Update app.py

app.py

@@ -1,56 +1,76 @@
-import os
 import gradio as gr
-from llama_cpp import Llama
-from huggingface_hub import hf_hub_download
-
-# --- Cấu hình model ---
-REPO_ID = "TheBloke/phi-2-GGUF"
-FILENAME = "phi-2.Q4_K_M.gguf"
-HF_TOKEN = os.getenv("HF_AUTH_TOKEN")
-
-# --- Tự động tải model ---
-model_path = hf_hub_download(
-    repo_id=REPO_ID,
-    filename=FILENAME,
-    token=HF_TOKEN,
-)
+from huggingface_hub import InferenceClient
+from deep_translator import GoogleTranslator
 
-# --- Load model tối ưu RAM ---
-llm = Llama(
-    model_path=model_path,
-    n_ctx=2048,
-    n_threads=os.cpu_count(),    # Sử dụng tối đa CPU core
-    n_batch=512,                 # Cỡ batch hợp lý để tiết kiệm RAM
-    n_gpu_layers=0,              # Vì Huggingface CPU Space nên để 0
-    verbose=False,
-)
+# Khởi tạo client HF và translator
+client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
+translator_vi2en = GoogleTranslator(source='vi', target='en')
+translator_en2vi = GoogleTranslator(source='en', target='vi')
 
-# --- Hàm chat ---
-def chat_fn(message, history):
-    history = history or []
-    system_prompt = {"role": "system", "content": "Bạn là trợ lý AI tiếng Việt hữu ích."}
-    messages = [system_prompt]
-    for user_msg, bot_msg in history:
-        messages.append({"role": "user", "content": user_msg})
-        messages.append({"role": "assistant", "content": bot_msg})
-    messages.append({"role": "user", "content": message})
-
-    response = llm.create_chat_completion(
-        messages=messages,
-        max_tokens=512,
-        temperature=0.7,
-        stop=["<|user|>", "<|assistant|>"],
+def respond(
+    message,
+    history: list[tuple[str, str]],
+    temperature=0.5,
+    top_p=0.9,
+):
+    history = []
+
+    if len(message) > 500:
+        return "⚠️ Câu hỏi quá dài! Vui lòng rút gọn dưới 500 ký tự."
+    if message.count("?") > 10 or message.count("!") > 10:
+        return "⚠️ Tin nhắn có quá nhiều dấu hỏi hoặc dấu chấm than. Vui lòng chỉnh sửa lại."
+
+    try:
+        message_en = translator_vi2en.translate(message)
+    except Exception:
+        return "⚠️ Không thể dịch câu hỏi sang tiếng Anh."
+
+    # --- Tạo prompt với lịch sử hội thoại ---
+    prompt = (
+        "You are a professional Vietnamese-speaking AI assistant.\n"
+        "Answer concisely and accurately; do not fabricate details.\n"
+        "If the user simply greets, reply briefly with a polite greeting.\n\n"
     )
-    reply = response["choices"][0]["message"]["content"].strip()
-
-    history.append((message, reply))
-    return history  # <-- trả về luôn cả history, không tách riêng ra nữa
-
-# --- Giao diện Gradio ---
-gr.ChatInterface(
-    fn=chat_fn,
-    chatbot=gr.Chatbot(height=450),
-    title="🤖 Chatbot Phi-2 (Tiếng Việt)",
-    description="Trợ lý AI tiếng Việt chạy bằng Phi-2 - GGUF (nhẹ, nhanh, tiết kiệm RAM)",
-    theme="soft",
-).launch(share=True)
+
+    for user_msg, bot_msg in history:
+        try:
+            user_msg_en = translator_vi2en.translate(user_msg)
+            bot_msg_en = translator_vi2en.translate(bot_msg)
+        except Exception:
+            continue  # Bỏ qua nếu dịch lỗi
+
+        prompt += f"User: {user_msg_en}\nAssistant: {bot_msg_en}\n"
+
+    # Gắn câu hỏi mới
+    prompt += f"User: {message_en}\nAssistant:"
+
+    # Gửi lên model
+    try:
+        resp = client.text_generation(
+            prompt,
+            max_new_tokens=128,
+            temperature=temperature,
+            top_p=top_p,
+        )
+        answer_en = resp.strip().split("Assistant:")[-1].strip()
+    except Exception:
+        return "⚠️ Lỗi khi gọi API chatbot."
+
+    # Dịch câu trả lời về tiếng Việt
+    try:
+        answer_vi = translator_en2vi.translate(answer_en)
+    except Exception:
+        answer_vi = "(Không thể dịch câu trả lời về tiếng Việt)"
+
+    return answer_vi
+
+# Gradio UI
+demo = gr.ChatInterface(
+    fn=respond,
+    title="🤖 Trợ lý AI Tiếng Việt (Translate-then-Predict)",
+    description="💬 Nhập tiếng Việt ➔ dịch tiếng Anh ➔ hỏi model ➔ dịch lại tiếng Việt.",
+    theme="soft"
+)
+
+if __name__ == "__main__":
+    demo.launch()