fixe
Browse files
app.py
CHANGED
@@ -48,9 +48,15 @@ async def home():
|
|
48 |
return 'STN BIG DATA'
|
49 |
|
50 |
# Charger le modèle et le tokenizer
|
51 |
-
model_name = "THUDM/longwriter-glm4-9b"
|
52 |
-
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
|
53 |
-
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="auto")
|
|
|
|
|
|
|
|
|
|
|
|
|
54 |
|
55 |
# Prompt par défaut
|
56 |
default_prompt = """Vous êtes un assistant expert en résumé de plaintes. Votre tâche est de résumer la plainte fournie de manière concise et professionnelle, en incluant les points clés suivants :
|
@@ -79,7 +85,7 @@ async def summarize_complaint(input: ComplaintInput):
|
|
79 |
max_new_tokens=150,
|
80 |
num_return_sequences=1,
|
81 |
no_repeat_ngram_size=2,
|
82 |
-
temperature=0.7
|
83 |
)
|
84 |
|
85 |
summary = tokenizer.decode(outputs[0], skip_special_tokens=True)
|
|
|
48 |
return 'STN BIG DATA'
|
49 |
|
50 |
# Charger le modèle et le tokenizer
|
51 |
+
# model_name = "THUDM/longwriter-glm4-9b"
|
52 |
+
# tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
|
53 |
+
# model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="auto")
|
54 |
+
|
55 |
+
# Charger le modèle et le tokenizer
|
56 |
+
model = AutoModelForCausalLM.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True, device_map='auto')
|
57 |
+
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
|
58 |
+
|
59 |
+
# Le reste de votre code reste le même
|
60 |
|
61 |
# Prompt par défaut
|
62 |
default_prompt = """Vous êtes un assistant expert en résumé de plaintes. Votre tâche est de résumer la plainte fournie de manière concise et professionnelle, en incluant les points clés suivants :
|
|
|
85 |
max_new_tokens=150,
|
86 |
num_return_sequences=1,
|
87 |
no_repeat_ngram_size=2,
|
88 |
+
temperature=0.7
|
89 |
)
|
90 |
|
91 |
summary = tokenizer.decode(outputs[0], skip_special_tokens=True)
|