bambadij commited on
Commit
f26e8b8
·
1 Parent(s): 42e0859
Files changed (1) hide show
  1. app.py +10 -4
app.py CHANGED
@@ -48,9 +48,15 @@ async def home():
48
  return 'STN BIG DATA'
49
 
50
  # Charger le modèle et le tokenizer
51
- model_name = "THUDM/longwriter-glm4-9b"
52
- tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
53
- model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="auto")
 
 
 
 
 
 
54
 
55
  # Prompt par défaut
56
  default_prompt = """Vous êtes un assistant expert en résumé de plaintes. Votre tâche est de résumer la plainte fournie de manière concise et professionnelle, en incluant les points clés suivants :
@@ -79,7 +85,7 @@ async def summarize_complaint(input: ComplaintInput):
79
  max_new_tokens=150,
80
  num_return_sequences=1,
81
  no_repeat_ngram_size=2,
82
- temperature=0.7
83
  )
84
 
85
  summary = tokenizer.decode(outputs[0], skip_special_tokens=True)
 
48
  return 'STN BIG DATA'
49
 
50
  # Charger le modèle et le tokenizer
51
+ # model_name = "THUDM/longwriter-glm4-9b"
52
+ # tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
53
+ # model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="auto")
54
+
55
+ # Charger le modèle et le tokenizer
56
+ model = AutoModelForCausalLM.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True, device_map='auto')
57
+ tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
58
+
59
+ # Le reste de votre code reste le même
60
 
61
  # Prompt par défaut
62
  default_prompt = """Vous êtes un assistant expert en résumé de plaintes. Votre tâche est de résumer la plainte fournie de manière concise et professionnelle, en incluant les points clés suivants :
 
85
  max_new_tokens=150,
86
  num_return_sequences=1,
87
  no_repeat_ngram_size=2,
88
+ temperature=0.7
89
  )
90
 
91
  summary = tokenizer.decode(outputs[0], skip_special_tokens=True)