prueba enable cpu offload

src/model_load.py

@@ -18,7 +18,8 @@ def load_model():
                                                      "transformer.h.0": "cpu",  # Por ejemplo, mover ciertas capas al CPU
                                                      "transformer.h.1": "cuda",  # Mantener otras capas en la GPU
                                                  },
-                                                 quantization_config=BitsAndBytesConfig(load_in_8bit=True))
+                                                 quantization_config=BitsAndBytesConfig(load_in_8bit=True),
+                                                 llm_int8_enable_fp32_cpu_offload=True)
     
     # Crear pipeline de generación de texto
     text_generation_pipeline = pipeline(