Update app.py

app.py

@@ -1,76 +1,68 @@
 import gradio as gr
-import os
+import logging, langdetect
 from huggingface_hub import InferenceClient
 from deep_translator import GoogleTranslator
 
-hf_token = os.getenv("HF_AUTH_TOKEN")
-
-client = InferenceClient("HuggingFaceH4/zephyr-7b-beta", token=hf_token)
+# Khởi tạo client HF và translator
+client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
 translator_vi2en = GoogleTranslator(source='vi', target='en')
 translator_en2vi = GoogleTranslator(source='en', target='vi')
 
+logging.basicConfig(level=logging.INFO)
+
 def respond(
     message,
     history: list[tuple[str, str]],
-    temperature=0.5,
+    system_message="""
+    You are a professional speaking AI assistant.
+    You can help solving the problems.
+    You can only speak English with correct spelling, punctuation and grammar.
+    """,
+    max_tokens=2048,
+    temperature=0.0,
     top_p=0.9,
 ):
-    history = []
-
-    if len(message) > 500:
-        return "⚠️ Câu hỏi quá dài! Vui lòng rút gọn dưới 500 ký tự."
-    if message.count("?") > 10 or message.count("!") > 10:
-        return "⚠️ Tin nhắn có quá nhiều dấu hỏi hoặc dấu chấm than. Vui lòng chỉnh sửa lại."
-
-    try:
-        message_en = translator_vi2en.translate(message)
-    except Exception:
-        return "⚠️ Không thể dịch câu hỏi sang tiếng Anh."
-
-    prompt = (
-        "You are a helpful, professional AI assistant who communicates fluently in Vietnamese.\n"
-        "If the user greets, reply briefly. If the user asks, answer accurately.\n\n"
-    )
+    # Tạo list tin nhắn bắt đầu từ hệ thống
+    messages = [{"role": "system", "content": system_message}]
+    
+    # Dịch câu hỏi của người dùng từ tiếng Việt sang tiếng Anh
+    message_en = translator_vi2en.translate(message)
     
-    for user_msg, bot_msg in history:
-        try:
-            user_msg_en = translator_vi2en.translate(user_msg)
-            bot_msg_en = translator_vi2en.translate(bot_msg)
-        except Exception:
-            continue
-        prompt += f"User: {user_msg_en}\nAssistant: {bot_msg_en}\n"
+    # Thêm các tin nhắn lịch sử vào messages
+    for val in history:
+        if val[0]:  # Tin nhắn của người dùng
+            messages.append({"role": "user", "content": val[0]})
+        if val[1]:  # Tin nhắn của trợ lý
+            messages.append({"role": "assistant", "content": val[1]})
 
-    prompt += f"User: {message_en}\nAssistant:"
+    # Thêm câu hỏi của người dùng vào cuối lịch sử
+    messages.append({"role": "user", "content": message_en})
 
-    resp = client.text_generation(
-        prompt,
-        max_new_tokens=128,
-        temperature=temperature,
-        top_p=top_p,
-    )
-    answer_en = resp.strip().split("Assistant:")[-1].strip()
+    response = ""
 
+    # Gửi yêu cầu tới mô hình và nhận kết quả
     try:
-        answer_vi = translator_en2vi.translate(answer_en)
-    except Exception:
-        answer_vi = "(Không thể dịch câu trả lời về tiếng Việt)"
+        for chunk in client.chat_completion(
+            model="HuggingFaceH4/zephyr-7b-beta",
+            messages=messages,
+            max_tokens=max_tokens,
+            temperature=temperature,
+            top_p=top_p,
+            stream=True
+        ):
+            # Tiến hành nhận phản hồi từ mô hình
+            response += chunk.choices[0].delta.content
 
-    return answer_vi
+    except Exception as e:
+        return f"Error: {str(e)}"
 
-# Tạo ChatInterface
-chat = gr.ChatInterface(
-    fn=respond,
-    title="🤖 Trợ lý AI Tiếng Việt (Translate-then-Predict)",
-    description="💬 Nhập tiếng Việt ➔ dịch tiếng Anh ➔ hỏi model ➔ dịch lại tiếng Việt.",
-    theme="soft",
-)
-
-# Gói nó trong gr.Blocks
-with gr.Blocks() as demo:
-    chat.render()
+    response_vi = translator_en2vi.translate(response)
+    logging.info(f"Successfully generated text: {response}")
+    
+    return response if langdetect.detect(response) == 'vi' else response_vi
 
-    # ⚡ Bật OpenAPI để Huggingface Spaces nhận diện được API
-    demo.openapi = True
+# Gradio UI
+demo = gr.ChatInterface(fn=respond, theme="soft")
 
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch()