AFischer1985 commited on
Commit
689af97
·
1 Parent(s): ea01b3c

Update run.py

Browse files
Files changed (1) hide show
  1. run.py +2 -2
run.py CHANGED
@@ -2,7 +2,7 @@
2
  # Title: Gradio Interface to LLM-chatbot with RAG-funcionality and ChromaDB on premises
3
  # Author: Andreas Fischer
4
  # Date: October 15th, 2023
5
- # Last update: December 21th, 2023
6
  ##########################################################################################
7
 
8
 
@@ -99,7 +99,7 @@ def response(message, history):
99
  addon=" Bitte berücksichtige bei deiner Antwort ggf. folgende Auszüge aus unserer Datenbank, sofern sie für die Antwort erforderlich sind. Beantworte die Frage knapp und präzise. Ignoriere unpassende Datenbank-Auszüge OHNE sie zu kommentieren:\n"+"\n".join(results)+"\n\n"
100
  #url="https://afischer1985-wizardlm-13b-v1-2-q4-0-gguf.hf.space/v1/completions"
101
  url="http://localhost:2600/v1/completions"
102
- system="Du bist ein KI-basiertes Assistenzsystem."+addon+"\n\n"
103
  #body={"prompt":system+"### Instruktion:\n"+message+"\n\n### Antwort:","max_tokens":500, "echo":"False","stream":"True"} #e.g. SauerkrautLM
104
  body={"prompt":"[INST]"+system+"\n"+message+"[/INST]","max_tokens":500, "echo":"False","stream":"True"} #e.g. Mixtral-Instruct
105
  response=""
 
2
  # Title: Gradio Interface to LLM-chatbot with RAG-funcionality and ChromaDB on premises
3
  # Author: Andreas Fischer
4
  # Date: October 15th, 2023
5
+ # Last update: December 22th, 2023
6
  ##########################################################################################
7
 
8
 
 
99
  addon=" Bitte berücksichtige bei deiner Antwort ggf. folgende Auszüge aus unserer Datenbank, sofern sie für die Antwort erforderlich sind. Beantworte die Frage knapp und präzise. Ignoriere unpassende Datenbank-Auszüge OHNE sie zu kommentieren:\n"+"\n".join(results)+"\n\n"
100
  #url="https://afischer1985-wizardlm-13b-v1-2-q4-0-gguf.hf.space/v1/completions"
101
  url="http://localhost:2600/v1/completions"
102
+ system="Du bist ein KI-basiertes Assistenzsystem."+addon+"\n\nUser-Anliegen:\n"
103
  #body={"prompt":system+"### Instruktion:\n"+message+"\n\n### Antwort:","max_tokens":500, "echo":"False","stream":"True"} #e.g. SauerkrautLM
104
  body={"prompt":"[INST]"+system+"\n"+message+"[/INST]","max_tokens":500, "echo":"False","stream":"True"} #e.g. Mixtral-Instruct
105
  response=""