Update app.py

app.py

@@ -1,26 +1,28 @@
-
 import gradio as gr
+import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM
 from peft import PeftModel
-import torch
 
-# Load base model and LoRA adapter
 base_model_id = "openlm-research/open_llama_3b"
 adapter_path = "jalonso24/lora-lateblight-v3"
 
-base_model = AutoModelForCausalLM.from_pretrained(base_model_id, torch_dtype=torch.float32)
+# Load base model with device_map="auto" for CPU Spaces
+base_model = AutoModelForCausalLM.from_pretrained(
+    base_model_id,
+    torch_dtype=torch.float32,
+    device_map="auto"
+)
 model = PeftModel.from_pretrained(base_model, adapter_path)
-tokenizer = AutoTokenizer.from_pretrained(base_model_id, use_fast=False)
 
-model.eval()
+tokenizer = AutoTokenizer.from_pretrained(base_model_id, use_fast=False)
+tokenizer.pad_token = tokenizer.eos_token
 
-# Inference function
 def predict_risk(prompt):
     inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
     with torch.no_grad():
         outputs = model.generate(
             **inputs,
-            max_new_tokens=100,
+            max_new_tokens=50,      # keeps output fast but complete
             temperature=0.7,
             do_sample=True,
             pad_token_id=tokenizer.eos_token_id
@@ -28,23 +30,20 @@ def predict_risk(prompt):
     response = tokenizer.decode(outputs[0], skip_special_tokens=True)
     return response
 
-# Gradio UI
-examples = [
-    [
-        "La variedad es INIA-302 Amarilis, sembrada en noviembre.\nLa precipitación fue 18.4 mm, la temperatura máxima 17.2°C, la mínima 6.1°C y la humedad promedio 84.12%.\n\n¿Cuál es el riesgo de tizón tardío?"
-    ]
-]
+examples = [[
+    "La variedad es INIA-302 Amarilis, sembrada en noviembre.\n"
+    "La precipitación fue 18.4 mm, la temperatura máxima 17.2°C, "
+    "la mínima 6.1°C y la humedad promedio 84.12%.\n\n"
+    "¿Cuál es el riesgo de tizón tardío?"
+]]
 
-description = """
-### 🧪 Predict Late Blight Risk using `lora-lateblight-v3`
-Enter a weather and crop scenario in Spanish, and the model will respond with the predicted level of late blight risk.
-"""
+description = "🧪 Predice el riesgo de tizón tardío a partir de datos climáticos y de cultivo."
 
 gr.Interface(
     fn=predict_risk,
-    inputs=gr.Textbox(lines=6, label="Input Prompt (in Spanish)"),
-    outputs=gr.Textbox(lines=4, label="Model Prediction"),
-    title="🌱 Late Blight Risk Predictor",
+    inputs=gr.Textbox(lines=6, label="Escenario en lenguaje natural (en español)"),
+    outputs=gr.Textbox(lines=4, label="Predicción del modelo"),
+    title="🌱 Predicción de Tizón Tardío con OpenLLaMA 3B",
     description=description,
     examples=examples
 ).launch()