jalonso24 commited on
Commit
787f6e4
·
verified ·
1 Parent(s): d657256

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +8 -13
app.py CHANGED
@@ -6,16 +6,13 @@ from peft import PeftModel
6
  base_model_id = "openlm-research/open_llama_3b"
7
  adapter_path = "jalonso24/lora-lateblight-v3"
8
 
9
- # Load base model with device_map="auto" for CPU Spaces
10
  base_model = AutoModelForCausalLM.from_pretrained(
11
  base_model_id,
12
- torch_dtype=torch.float32,
13
- device_map="auto",
14
- offload_folder="./offload" # 👈 tells it where to put overflow weights
15
- )
16
 
17
  model = PeftModel.from_pretrained(base_model, adapter_path)
18
-
19
  tokenizer = AutoTokenizer.from_pretrained(base_model_id, use_fast=False)
20
  tokenizer.pad_token = tokenizer.eos_token
21
 
@@ -40,13 +37,11 @@ examples = [[
40
  "¿Cuál es el riesgo de tizón tardío?"
41
  ]]
42
 
43
- description = "🧪 Predice el riesgo de tizón tardío a partir de datos climáticos y de cultivo."
44
-
45
  gr.Interface(
46
  fn=predict_risk,
47
- inputs=gr.Textbox(lines=6, label="Escenario en lenguaje natural (en español)"),
48
- outputs=gr.Textbox(lines=4, label="Predicción del modelo"),
49
- title="🌱 Predicción de Tizón Tardío con OpenLLaMA 3B",
50
- description=description,
51
- examples=examples
52
  ).launch()
 
6
  base_model_id = "openlm-research/open_llama_3b"
7
  adapter_path = "jalonso24/lora-lateblight-v3"
8
 
9
+ # Load model fully onto CPU (no device_map)
10
  base_model = AutoModelForCausalLM.from_pretrained(
11
  base_model_id,
12
+ torch_dtype=torch.float32
13
+ ).to("cpu")
 
 
14
 
15
  model = PeftModel.from_pretrained(base_model, adapter_path)
 
16
  tokenizer = AutoTokenizer.from_pretrained(base_model_id, use_fast=False)
17
  tokenizer.pad_token = tokenizer.eos_token
18
 
 
37
  "¿Cuál es el riesgo de tizón tardío?"
38
  ]]
39
 
 
 
40
  gr.Interface(
41
  fn=predict_risk,
42
+ inputs=gr.Textbox(lines=6, label="Escenario de entrada (español)"),
43
+ outputs=gr.Textbox(lines=4, label="Respuesta del modelo"),
44
+ title="🌱 Predicción de Tizón Tardío (OpenLLaMA 3B + LoRA)",
45
+ examples=examples,
46
+ description="Predice el riesgo de tizón tardío a partir de clima, variedad y fecha de siembra."
47
  ).launch()