Update app.py

app.py

@@ -1,36 +1,56 @@
-import os
-import subprocess
-import gradio as gr
-from llama_cpp import Llama
-
-MODEL_URL = "https://drive.google.com/uc?id=1aYzH-tUYl8LT-0KdO1NK9mA1w37CkM7s&export=download"
-MODEL_PATH = "model/phogpt-4b-chat-q4_K_M.gguf"
-
-# Tải model nếu chưa có
-def download_model():
-    if not os.path.exists(MODEL_PATH):
-        os.makedirs("model", exist_ok=True)
-        print("⬇️ Tải model từ Google Drive...")
-        subprocess.run([
-            "wget", "-O", MODEL_PATH, MODEL_URL
-        ])
-        print("✅ Tải xong!")
-
-download_model()
-
-# Load model
-llm = Llama(
-    model_path=MODEL_PATH,
-    n_ctx=2048,
-    n_threads=4,
-    n_gpu_layers=35,
-    verbose=True
-)
-
-def chat_fn(message, history):
-    prompt = f"<|user|>\n{message}\n<|assistant|>\n"
-    response = llm(prompt, max_tokens=512, stop=["<|user|>"], echo=False)
-    output = response["choices"][0]["text"].strip()
-    return output
-
-gr.ChatInterface(chat_fn, title="🧠 PhoGPT-4B Chatbot (Tiếng Việt)").launch()
+import os
+import gradio as gr
+from llama_cpp import Llama
+from huggingface_hub import hf_hub_download
+
+# Cấu hình tải model từ Hugging Face
+REPO_ID = "vinai/PhoGPT-4B-Chat-gguf"
+FILENAME = "phogpt-4b-chat-q4_K_M.gguf"
+HF_TOKEN = os.getenv("HF_AUTH_TOKEN")
+
+# Tải và cache model tự động
+model_path = hf_hub_download(
+    repo_id=REPO_ID,
+    filename=FILENAME,
+    token=HF_TOKEN,
+)
+
+# Khởi tạo Llama với model đã tải
+llm = Llama(
+    model_path=model_path,
+    n_ctx=2048,
+    n_threads=os.cpu_count(),
+    verbose=False,
+)
+
+def chat_fn(message, history=None):
+    # Thiết lập lịch sử cuộc trò chuyện
+    history = history or []
+    # Chuẩn bị messages cho chat completion
+    system_prompt = {"role": "system", "content": "Bạn là trợ lý AI tiếng Việt hữu ích."}
+    messages = [system_prompt]
+    for user_msg, bot_msg in history:
+        messages.append({"role": "user", "content": user_msg})
+        messages.append({"role": "assistant", "content": bot_msg})
+    messages.append({"role": "user", "content": message})
+
+    # Tạo phản hồi
+    response = llm.create_chat_completion(
+        messages=messages,
+        max_tokens=512,
+        temperature=0.7,
+        stop=["<|user|>", "<|assistant|>"],
+    )
+    reply = response["choices"][0]["message"]["content"].strip()
+    # Cập nhật lịch sử
+    history.append((message, reply))
+    return reply, history
+
+# Khởi chạy giao diện Gradio
+gr.ChatInterface(
+    fn=chat_fn,
+    chatbot=gr.Chatbot(height=450),
+    title="🤖 PhoGPT-4B Chatbot (Tiếng Việt)",
+    description="Chatbot tiếng Việt sử dụng PhoGPT-4B-Chat-gguf",
+    theme="soft",
+).launch()