Update app.py

app.py

@@ -5,19 +5,19 @@ import torch
 
 # טוען את המודל וה-tokenizer
 tokenizer = AutoTokenizer.from_pretrained('dicta-il/dictalm-7b-instruct')
-model = AutoModelForCausalLM.from_pretrained('dicta-il/dictalm-7b-instruct', trust_remote_code=True).cuda()
+model = AutoModelForCausalLM.from_pretrained('dicta-il/dictalm-7b-instruct', trust_remote_code=True)
 
 # הגדרת הפונקציה לצ'אט עם המודל
 def chat_with_model(prompt):
     model.eval()
     with torch.inference_mode():
         kwargs = dict(
-            inputs=tokenizer(prompt, return_tensors='pt').input_ids.to(model.device),
+            inputs=tokenizer(prompt, return_tensors='pt').input_ids,
             do_sample=True,
             top_k=50,
             top_p=0.95,
-            temperature=0.75,
-            max_length=100,
+            temperature=0.5,  # הורדת הטמפרטורה להקטנת האקראיות
+            max_length=50,  # הקטנת המקסימום למספר קטן יותר
             min_new_tokens=5
         )
         output = model.generate(**kwargs)
@@ -26,4 +26,4 @@ def chat_with_model(prompt):
 
 # יצירת ממשק עם Gradio
 interface = gr.Interface(fn=chat_with_model, inputs="text", outputs="text", title="Chat with DictaLM Model")
-interface.launch()
+interface.launch()