File size: 1,330 Bytes
ab9ad93 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 |
import os
import gradio as gr
from llama_cpp import Llama
from huggingface_hub import hf_hub_download
# 📌 Modèle de base et LoRA
MODEL_REPO = "Serveurperso/gemma-2-2b-it-LoRA"
BASE_MODEL_FILE = "gemma-2-2b-it-Q8_0.gguf"
LORA_ADAPTER_FILE = "gemma-2-2B-it-F16-LoRA.gguf"
# 🔥 Télécharger les fichiers nécessaires
print("🚀 Téléchargement du modèle GGUF...")
base_model_path = hf_hub_download(repo_id=MODEL_REPO, filename=BASE_MODEL_FILE)
lora_adapter_path = hf_hub_download(repo_id=MODEL_REPO, filename=LORA_ADAPTER_FILE)
print(f"✅ Modèle de base GGUF téléchargé : {base_model_path}")
print(f"✅ Adaptateur LoRA GGUF téléchargé : {lora_adapter_path}")
# 🔥 Charger le modèle GGUF avec `llama-cpp-python` et appliquer LoRA
print("🚀 Chargement du modèle GGUF en mémoire...")
llm = Llama(model_path=base_model_path, n_ctx=2048, n_threads=os.cpu_count(), lora_adapter=lora_adapter_path)
print("✅ Modèle GGUF chargé avec succès avec LoRA !")
# 📌 Fonction pour interagir avec Mémé Ginette
def chat(message):
output = llm(message, max_tokens=128)
return output["choices"][0]["text"]
# 📌 Interface Gradio
iface = gr.Interface(fn=chat, inputs="text", outputs="text", title="Mémé Ginette GGUF + LoRA")
print("🚀 Interface Gradio lancée sur port 7860")
iface.launch(share=True)
|