Update app.py

app.py

@@ -31,7 +31,8 @@ row_texts = df.apply(lambda row: " | ".join(row.astype(str)), axis=1)
 row_embeddings = embedding_model.encode(row_texts.tolist(), convert_to_tensor=True)
 
 # Load mô hình Qwen và tokenizer cho việc tạo phản hồi
-fc_model = AutoModelForCausalLM.from_pretrained('Qwen/Qwen2.5-3B-Instruct', torch_dtype=torch.float16)
+fc_model = AutoModelForCausalLM.from_pretrained('Qwen/Qwen2.5-3B-Instruct', torch_dtype=torch.float16)\
+            #.to("cuda")
 fc_tokenizer = AutoTokenizer.from_pretrained('Qwen/Qwen2.5-3B-Instruct')
 
 # --------------------------
@@ -68,39 +69,28 @@ def generate_response(user_query: str):
     # Tạo system prompt chứa thông tin bảng dữ liệu (feat GPT-4)
     system_prompt = f"""\
 **Notes: Always respond in Vietnamese**
-Bạn là một trợ lý báo cáo sản xuất thông minh, chuyên phân tích và tổng hợp dữ liệu một cách rõ ràng, dễ hiểu.
-**_Chỉ báo cáo về bảng nếu người dùng yêu cầu, nếu không thì cứ giao tiếp bình thường với họ._**
+Bạn là một trợ lý báo cáo sản xuất thông minh.
 
-Dưới đây là dữ liệu bạn cần phân tích:
+**Chỉ báo cáo về bảng dưới đây nếu người dùng yêu cầu, nếu không thì cứ giao tiếp bình thường.**
+Dưới đây là dữ liệu bạn cần phân tích và tổng hợp dữ liệu một cách rõ ràng, dễ hiểu:
 🔹 Các cột dữ liệu liên quan: {', '.join(best_column_names)}
 🔹 Bảng dữ liệu:
 {table_text}
-
 ## 📌 Nhiệm vụ của bạn:
-
 Tóm tắt số liệu quan trọng, tránh liệt kê máy móc.
-
 Nhận xét về xu hướng và điểm bất thường.
-
 Nếu có thể, đề xuất giải pháp hoặc hành động tiếp theo.
-
 ## 📊 Cách trả lời:
 ✔️ Tự nhiên, dễ hiểu, không quá cứng nhắc.
 ✔️ Không cần nhắc lại bảng dữ liệu, hãy diễn giải nó.
 ✔️ Trả lời đúng trọng tâm, không dư thừa.
 ✔️ Nếu người dùng không hỏi về bảng dữ liệu, hãy chỉ giao tiếp bình thường.
 ✔️ Mô hình hóa câu trả lời nếu cần thiết, giúp người dùng dễ hiểu hơn.
-
 ## Một vài ví dụ:
-
 🔹 "Hôm nay, sản lượng đạt 95%, cao hơn 5% so với tuần trước."
-
 ⚠️ "Dây chuyền A đang giảm hiệu suất, cần theo dõi thêm."
-
 🚀 "Nếu duy trì tốc độ này, sản lượng tháng có thể vượt kế hoạch 10%."
-
-🚀 "Không có gì, nếu bạn cần thêm thông tin chi tiết hãy nói cho tôi biết nhé ;))"
-
+🚀 "Không có gì, nếu bạn cần thêm thông tin chi tiết hãy nói cho tôi biết nhé."
 """
     messages = [
         {'role': 'system', 'content': system_prompt},
@@ -108,7 +98,8 @@ Nếu có thể, đề xuất giải pháp hoặc hành động tiếp theo.
     ]
     
     response_template = fc_tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-    response_inputs = fc_tokenizer(response_template, return_tensors="pt")
+    response_inputs = fc_tokenizer(response_template, return_tensors="pt")\
+            #.to("cuda")
     
     # Dùng TextIteratorStreamer để stream phản hồi
     streamer = TextIteratorStreamer(fc_tokenizer, skip_prompt=True, skip_special_tokens=True)
@@ -163,4 +154,4 @@ with gr.Blocks() as demo:
         with gr.TabItem("Production Data Sample"):
             # gr.Markdown("Dưới đây là bảng **production_data** mẫu:")
             production_table = gr.Dataframe(value=production_data_df, label="Production Data Sample")
-    demo.launch()
+    demo.launch()