Update app.py

app.py

@@ -1,16 +1,29 @@
 import gradio as gr
 import logging, langdetect
 from huggingface_hub import InferenceClient
-from libretranslatepy import LibreTranslateAPI
+from transformers import MarianTokenizer, MarianMTModel, pipeline
 
 # Khởi tạo client HF và translator
 client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
 
 # Gọi API public
-lt = LibreTranslateAPI("https://libretranslate.de/")  # Hoặc server tự host
+vi2en_tokenizer = MarianTokenizer.from_pretrained("Helsinki-NLP/opus-mt-vi-en", local_files_only=True)
+vi2en_model     = MarianMTModel.from_pretrained("Helsinki-NLP/opus-mt-vi-en", local_files_only=True)
+en2vi_tokenizer = MarianTokenizer.from_pretrained("Helsinki-NLP/opus-mt-en-vi", local_files_only=True)
+en2vi_model     = MarianMTModel.from_pretrained("Helsinki-NLP/opus-mt-en-vi", local_files_only=True)
+
+translator_vi2en = pipeline("translation", model=vi2en_model, tokenizer=vi2en_tokenizer)
+translator_en2vi = pipeline("translation", model=en2vi_model, tokenizer=en2vi_tokenizer)
+
 
 logging.basicConfig(level=logging.INFO)
 
+def translate_vi2en_fn(text: str) -> str:
+    return translator_vi2en(text, max_length=512)[0]["translation_text"]
+
+def translate_en2vi_fn(text: str) -> str:
+    return translator_en2vi(text, max_length=512)[0]["translation_text"]
+
 def respond(
     message,
     history: list[tuple[str, str]],
@@ -27,7 +40,7 @@ def respond(
     messages = [{"role": "system", "content": system_message}]
     
     # Dịch câu hỏi của người dùng từ tiếng Việt sang tiếng Anh
-    message_en = lt.translate(message, "vi", "en")
+    message_en = translate_vi2en_fn(message)
     
     # Thêm các tin nhắn lịch sử vào messages
     for val in history:
@@ -58,7 +71,7 @@ def respond(
         return f"Error: {str(e)}"
         
     logging.info(f"Successfully generated text: {response}")
-    response_vi = lt.translate(response, "en", "vi")
+    response_vi = translate_en2vi_fn(response)
     
     return response if langdetect.detect(response) == 'vi' else response_vi