Update run.py

run.py

@@ -152,21 +152,21 @@ else:
 def extend_prompt(message="", history=None, system=None, RAGAddon=None, system2=None, zeichenlimit=None,historylimit=4): #float("Inf")
   if zeichenlimit is None: zeichenlimit=1000000000 # :-)
   #https://huggingface.co/docs/transformers/main/chat_templating
-  template0="[INST] {system} [/INST]Gerne.</s> " # <s> einleitend wird ergänzt, Leerzeichen um Input und nach </s>
-  template1="[INST] {message} [/INST]"     # Leerzeichen um Input, keines nach [/INST]
-  template2="{response}</s> "              # Antworten folgen unmittelbar, enden ohne Leerzeichen vor </s>
+  template0="[INST] {system} [/INST] Gerne.</s> " # Variante: Antworten unmittelbar. <s> einleitend wird ergänzt, Leerzeichen um Input und nach </s>
+  template1="[INST] {message} [/INST]"            # Leerzeichen um Input, keines nach [/INST]
+  template2=" {response}</s> "                    # Variante: Antworten folgen unmittelbar, enden ohne Leerzeichen vor </s>
   if("discolm_german_7b" in modelPath): #https://huggingface.co/DiscoResearch/DiscoLM_German_7b_v1
     template0="<|im_start|>system\n{system}<|im_end|>\n"
     template1="<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"
     template2="{response}<|im_end|>\n"
   if("mixtral-8x7b-instruct" in modelPath): # https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
-    template0="[INST] {system} [/INST]Gerne.</s> " # <s> einleitend wird ergänzt, Leerzeichen um Input und nach </s>
-    template1="[INST] {message} [/INST]"     # Leerzeichen um Input, keines nach [/INST]
-    template2="{response}</s> "              # Antworten folgen unmittelbar, enden ohne Leerzeichen vor </s>
+    template0="[INST] {system} [/INST] Gerne.</s> " # <s> 
+    template1="[INST] {message} [/INST]"     
+    template2="{response}</s> "              
   if("Mistral-7B-Instruct" in modelPath): #https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2
-    template0="[INST] {system} [/INST]Gerne.</s> " # <s> einleitend wird ergänzt, Leerzeichen um Input und nach </s>
-    template1="[INST] {message} [/INST]"     # Leerzeichen um Input, keines nach [/INST]
-    template2="{response}</s> "              # Antworten folgen unmittelbar, enden ohne Leerzeichen vor </s>
+    template0="[INST] {system} [/INST] Gerne.</s> " # <s> 
+    template1="[INST] {message} [/INST]"     
+    template2=" {response}</s> "              
   if("gemma-" in modelPath): # https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
     template0="<start_of_turn>user{system}</end_of_turn>" 
     template1="<start_of_turn>user{message}</end_of_turn><start_of_turn>model"