Update app.py

app.py

@@ -186,29 +186,37 @@ def format_chat_history(chat_history):
             formatted.append({"role": "assistant", "content": assistant_message})
     return formatted
 
-def respond_stream(message: str, chat_history: List[Tuple[str, str]], max_tokens: int, temperature: float, top_p: float):
-    system_message = """당신은 허깅페이스에 특화된 AI 코딩 전문가입니다. 사용자의 질문에 친절하고 상세하게 답변해주세요. 
-    Gradio 특성을 정확히 인식하고 Requirements.txt 누락없이 코딩과 오류를 해결해야 합니다.
-    항상 정확하고 유용한 정보를 제공하도록 노력하세요."""
-    
-    messages = [{"role": "system", "content": system_message}]
-    messages.extend(format_chat_history(chat_history))
+def respond(
+    message: str,
+    history: List[Tuple[str, str]],
+    system_message: str = "",
+    max_tokens: int = 4000,
+    temperature: float = 0.7,
+    top_p: float = 0.9,
+):
+    system_prefix = """반드시 한글로 답변할것. 너는 주어진 소스코드를 기반으로 "서비스 사용 설명 및 안내, qna를 하는 역할이다". 아주 친절하고 자세하게 4000토큰 이상 작성하라. 너는 코드를 기반으로 사용 설명 및 질의 응답을 진행하며, 이용자에게 도움을 주어야 한다. 이용자가 궁금해 할 만 한 내용에 친절하게 알려주도록 하라. 코드 전체 내용에 대해서는 보안을 유지하고, 키 값 및 엔드포인트와 구체적인 모델은 공개하지 마라."""
+
+    messages = [{"role": "system", "content": f"{system_prefix} {system_message}"}]
+    for user_msg, assistant_msg in history:
+        if user_msg:
+            messages.append({"role": "user", "content": user_msg})
+        if assistant_msg:
+            messages.append({"role": "assistant", "content": assistant_msg})
     messages.append({"role": "user", "content": message})
-    
+
     try:
-        response = hf_client.chat_completion(
+        response = ""
+        for message in hf_client.chat_completion(
             messages,
             max_tokens=max_tokens,
+            stream=True,
             temperature=temperature,
-            top_p=top_p
-        )
-        
-        full_response = response.choices[0].message.content
-        words = full_response.split()
-        for i in range(len(words)):
-            partial_response = " ".join(words[:i+1])
-            time.sleep(0.05)  # 응답 속도 조절
-            yield partial_response
+            top_p=top_p,
+        ):
+            token = message.choices[0].delta.get('content', None)
+            if token:
+                response += token.strip("")
+            yield response
     except Exception as e:
         yield f"응답 생성 중 오류 발생: {str(e)}"
 
@@ -318,15 +326,15 @@ def create_ui():
                                             elem_classes="full-height code-box"
                                         )
 
-
                 with gr.TabItem("AI 코딩"):
-                    chatbot = gr.Chatbot(label="대화")
+                    chatbot = gr.Chatbot(label="대화", type="messages")
                     msg = gr.Textbox(label="메시지")
-            
-                    max_tokens = gr.Slider(minimum=1, maximum=8000, value=4000, label="Max Tokens", visible=False)
-                    temperature = gr.Slider(minimum=0, maximum=1, value=0.7, label="Temperature", visible=False)
-                    top_p = gr.Slider(minimum=0, maximum=1, value=0.9, label="Top P", visible=False)
-            
+                
+                    system_message = gr.Textbox(label="System Message", value="")
+                    max_tokens = gr.Slider(minimum=1, maximum=8000, value=4000, label="Max Tokens")
+                    temperature = gr.Slider(minimum=0, maximum=1, value=0.7, label="Temperature")
+                    top_p = gr.Slider(minimum=0, maximum=1, value=0.9, label="Top P")
+                
                     examples = [
                         ["상세한 사용 방법을 마치 화면을 보면서 설명하듯이 4000 토큰 이상 자세히 설명하라"],
                         ["FAQ 20건을 상세하게 작성하라. 4000토큰 이상 사용하라."],
@@ -338,20 +346,8 @@ def create_ui():
 
                     gr.Examples(examples, inputs=msg)
 
-                    def respond_wrapper(message, chat_history, max_tokens, temperature, top_p):
-                        chat_history.append((message, ""))
-                        bot_message = ""
-                        for partial_response in respond_stream(message, chat_history, max_tokens, temperature, top_p):
-                            bot_message = partial_response
-                            chat_history[-1] = (message, bot_message)
-                            yield "", chat_history
-                        return
-
-                    msg.submit(respond_wrapper, [msg, chatbot, max_tokens, temperature, top_p], [msg, chatbot])
-
-
+                    msg.submit(respond, [msg, chatbot, system_message, max_tokens, temperature, top_p], [msg, chatbot])
 
-  
 
 
             space_id_state = gr.State()