sasdw

app.py

@@ -5,13 +5,18 @@ from deep_translator import GoogleTranslator
 
 hf_token = os.getenv("HF_AUTH_TOKEN")
 
-# Khởi tạo client HF và translator
 client = InferenceClient("HuggingFaceH4/zephyr-7b-beta", token=hf_token)
 translator_vi2en = GoogleTranslator(source='vi', target='en')
 translator_en2vi = GoogleTranslator(source='en', target='vi')
 
-def respond(message, chat_history):
-    # Không dùng chat_history cũ để tạo prompt
+def respond(
+    message,
+    history: list[tuple[str, str]],
+    temperature=0.5,
+    top_p=0.9,
+):
+    history = []
+
     if len(message) > 500:
         return "⚠️ Câu hỏi quá dài! Vui lòng rút gọn dưới 500 ký tự."
     if message.count("?") > 10 or message.count("!") > 10:
@@ -22,50 +27,44 @@ def respond(message, chat_history):
     except Exception:
         return "⚠️ Không thể dịch câu hỏi sang tiếng Anh."
 
-    # Tạo prompt mới tinh mỗi lần
     prompt = (
         "You are a helpful, professional AI assistant who communicates fluently in Vietnamese.\n"
         "If the user greets, reply briefly. If the user asks, answer accurately.\n\n"
-        f"User: {message_en}\nAssistant:"
     )
+    
+    for user_msg, bot_msg in history:
+        try:
+            user_msg_en = translator_vi2en.translate(user_msg)
+            bot_msg_en = translator_vi2en.translate(bot_msg)
+        except Exception:
+            continue
+        prompt += f"User: {user_msg_en}\nAssistant: {bot_msg_en}\n"
 
-    # Gửi lên model
-    try:
-        resp = client.text_generation(
-            prompt,
-            max_new_tokens=256,
-            temperature=0.5,
-            top_p=0.9,
-        )
-        answer_en = resp.strip().split("Assistant:")[-1].strip()
-    except Exception:
-        return "⚠️ Không thể lấy phản hồi từ mô hình."
+    prompt += f"User: {message_en}\nAssistant:"
+
+    resp = client.text_generation(
+        prompt,
+        max_new_tokens=128,
+        temperature=temperature,
+        top_p=top_p,
+    )
+    answer_en = resp.strip().split("Assistant:")[-1].strip()
 
-    # Dịch câu trả lời về tiếng Việt
     try:
         answer_vi = translator_en2vi.translate(answer_en)
     except Exception:
         answer_vi = "(Không thể dịch câu trả lời về tiếng Việt)"
 
-    # Update lịch sử chat
-    chat_history.append((message, answer_vi))
-    return "", chat_history
-
-def clear_chat():
-    return [], ""
-
-# Tạo Gradio app
-with gr.Blocks(theme="soft") as demo:
-    gr.Markdown("# 🤖 Trợ lý AI Tiếng Việt (Translate-then-Predict)")
-    gr.Markdown("💬 Nhập tiếng Việt ➔ dịch tiếng Anh ➔ hỏi model ➔ dịch lại tiếng Việt.")
-
-    chatbot = gr.Chatbot()
-    msg = gr.Textbox(label="Nhập tin nhắn...")
-    send = gr.Button("Gửi")
-    clear = gr.Button("🧹 Xóa trò chuyện")
+    return answer_vi
 
-    send.click(respond, [msg, chatbot], [msg, chatbot])
-    clear.click(clear_chat, [], [chatbot, msg])
+# ⚡ Quan trọng: bật api_open=True ngay lúc tạo
+demo = gr.ChatInterface(
+    fn=respond,
+    title="🤖 Trợ lý AI Tiếng Việt (Translate-then-Predict)",
+    description="💬 Nhập tiếng Việt ➔ dịch tiếng Anh ➔ hỏi model ➔ dịch lại tiếng Việt.",
+    theme="soft",
+    api_open=True,  # <- thêm dòng này để mở API mode
+)
 
 if __name__ == "__main__":
-    demo.launch(share=False, enable_queue=True, enable_api=True)
+    demo.launch(share=False)