Update app.py

app.py

@@ -188,7 +188,7 @@ def format_chat_history(chat_history):
 
 def respond(
     message: str,
-    history: List[Tuple[str, str]],
+    chat_history: List[Tuple[str, str]],
     system_message: str = "",
     max_tokens: int = 4000,
     temperature: float = 0.7,
@@ -197,7 +197,7 @@ def respond(
     system_prefix = """반드시 한글로 답변할것. 너는 주어진 소스코드를 기반으로 "서비스 사용 설명 및 안내, qna를 하는 역할이다". 아주 친절하고 자세하게 4000토큰 이상 작성하라. 너는 코드를 기반으로 사용 설명 및 질의 응답을 진행하며, 이용자에게 도움을 주어야 한다. 이용자가 궁금해 할 만 한 내용에 친절하게 알려주도록 하라. 코드 전체 내용에 대해서는 보안을 유지하고, 키 값 및 엔드포인트와 구체적인 모델은 공개하지 마라."""
 
     messages = [{"role": "system", "content": f"{system_prefix} {system_message}"}]
-    for user_msg, assistant_msg in history:
+    for user_msg, assistant_msg in chat_history:
         if user_msg:
             messages.append({"role": "user", "content": user_msg})
         if assistant_msg:
@@ -206,20 +206,19 @@ def respond(
 
     try:
         response = ""
-        for message in hf_client.chat_completion(
+        for chunk in hf_client.chat_completion(
             messages,
             max_tokens=max_tokens,
             stream=True,
             temperature=temperature,
             top_p=top_p,
         ):
-            token = message.choices[0].delta.get('content', None)
-            if token:
-                response += token.strip("")
-            yield response
+            if chunk.choices[0].delta.content is not None:
+                response += chunk.choices[0].delta.content
+                yield response, chat_history + [(message, response)]
     except Exception as e:
-        yield f"응답 생성 중 오류 발생: {str(e)}"
-
+        error_message = f"응답 생성 중 오류 발생: {str(e)}"
+        yield error_message, chat_history + [(message, error_message)]
 def create_ui():
     try:
         css = """
@@ -346,7 +345,7 @@ def create_ui():
 
                     gr.Examples(examples, inputs=msg)
 
-                    msg.submit(respond, [msg, chatbot, system_message, max_tokens, temperature, top_p], [msg, chatbot])
+                    msg.submit(respond, [msg, chatbot, system_message, max_tokens, temperature, top_p], [chatbot, chatbot])