Update app.py

app.py

@@ -179,7 +179,7 @@ def analyze_space(url: str, progress=gr.Progress()):
 
 
 
-async def respond_stream(message: str, chat_history: List[Dict[str, str]], max_tokens: int, temperature: float, top_p: float):
+def respond_stream(message: str, chat_history: List[Dict[str, str]], max_tokens: int, temperature: float, top_p: float):
     system_message = """당신은 허깅페이스에 특화된 AI 코딩 전문가입니다. 사용자의 질문에 친절하고 상세하게 답변해주세요. 
     Gradio 특성을 정확히 인식하고 Requirements.txt 누락없이 코딩과 오류를 해결해야 합니다.
     항상 정확하고 유용한 정보를 제공하도록 노력하세요."""
@@ -189,20 +189,19 @@ async def respond_stream(message: str, chat_history: List[Dict[str, str]], max_t
     messages.append({"role": "user", "content": message})
     
     try:
-        stream = hf_client.chat_completion(
+        response = hf_client.chat_completion(
             messages,
             max_tokens=max_tokens,
             temperature=temperature,
-            top_p=top_p,
-            stream=True
+            top_p=top_p
         )
         
-        full_response = ""
-        async for response in stream:
-            if response.token.special:
-                continue
-            full_response += response.token.text
-            yield full_response
+        full_response = response.choices[0].message.content
+        words = full_response.split()
+        for i in range(len(words)):
+            partial_response = " ".join(words[:i+1])
+            time.sleep(0.05)  # 응답 속도 조절
+            yield partial_response
     except Exception as e:
         yield f"응답 생성 중 오류 발생: {str(e)}"
 
@@ -319,7 +318,7 @@ def create_ui():
                     msg = gr.Textbox(label="메시지")
             
                     max_tokens = gr.Slider(minimum=1, maximum=8000, value=4000, label="Max Tokens", visible=False)
-                    temperature = gr.Slider(minimum=0, maximum=1, value=0.3, label="Temperature", visible=False)
+                    temperature = gr.Slider(minimum=0, maximum=1, value=0.7, label="Temperature", visible=False)
                     top_p = gr.Slider(minimum=0, maximum=1, value=0.9, label="Top P", visible=False)
             
                     examples = [
@@ -330,19 +329,21 @@ def create_ui():
                         ["특허 출원에 활용할 기술 및 비즈니스모델 측면을 포함하여 특허 출원서 구성에 맞게 혁신적인 창의 발명 내용을 중심으로 4000토큰 이상 작성하라."],
                         ["계속 이어서 답변하라"],
                     ]
-    
+
                     gr.Examples(examples, inputs=msg)
 
                     def respond_wrapper(message, chat_history, max_tokens, temperature, top_p):
-                        generator = respond_stream(message, chat_history, max_tokens, temperature, top_p)
-                        bot_message = asyncio.run(generator.__anext__())
                         chat_history.append({"role": "user", "content": message})
-                        chat_history.append({"role": "assistant", "content": bot_message})
-                        return "", chat_history
+                        bot_message = ""
+                        for partial_response in respond_stream(message, chat_history, max_tokens, temperature, top_p):
+                            bot_message = partial_response
+                            chat_history[-1] = {"role": "assistant", "content": bot_message}
+                            yield "", chat_history
+                        return
 
                     msg.submit(respond_wrapper, [msg, chatbot, max_tokens, temperature, top_p], [msg, chatbot])
 
-            
+