Update app.py

app.py

@@ -31,7 +31,7 @@ row_texts = df.apply(lambda row: " | ".join(row.astype(str)), axis=1)
 row_embeddings = embedding_model.encode(row_texts.tolist(), convert_to_tensor=True)
 
 # Load mô hình Qwen và tokenizer cho việc tạo phản hồi
-fc_model = AutoModelForCausalLM.from_pretrained('Qwen/Qwen2.5-3B-Instruct', torch_dtype=torch.float16, device_map="auto")
+fc_model = AutoModelForCausalLM.from_pretrained('Qwen/Qwen2.5-3B-Instruct', torch_dtype=torch.float16)
 fc_tokenizer = AutoTokenizer.from_pretrained('Qwen/Qwen2.5-3B-Instruct')
 
 # --------------------------
@@ -79,7 +79,7 @@ def generate_response(user_query: str):
     ]
     
     response_template = fc_tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-    response_inputs = fc_tokenizer(response_template, return_tensors="pt").to(fc_model.device)
+    response_inputs = fc_tokenizer(response_template, return_tensors="pt")
     
     # Dùng TextIteratorStreamer để stream phản hồi
     streamer = TextIteratorStreamer(fc_tokenizer, skip_prompt=True, skip_special_tokens=True)