update

main.py

@@ -31,9 +31,9 @@ app.add_middleware(
 app.include_router(summary_router)
 
 
-async def trim_prompt(prompt: str, system_prompt: str):
+async def trim_prompt(prompt: str, system_prompt: str = None):
     
-    result = await llm_api.tokenize(prompt+system_prompt)
+    result = await llm_api.tokenize(prompt)
     
     result_system = None
     system_prompt_length = 0
@@ -45,8 +45,8 @@ async def trim_prompt(prompt: str, system_prompt: str):
         
     
     # в случае ошибки при токенизации, вернем исходную строку безопасной длины
-    if result["result"] is None or result_system is None:
-        return prompt[llm_api.params.context_length / 3]
+    if result["result"] is None or (system_prompt is not None and result_system is None):
+        return prompt[int(llm_api.params.context_length / 3)]
     
     #вероятно, часть уходит на форматирование чата, надо проверить
     max_length = result["max_length"] - len(result["result"]) - system_prompt_length - llm_api.params.predict_params.n_predict