Update app.py

app.py

@@ -1,180 +1,80 @@
-import subprocess 
-
-subprocess.run(
-    'pip install flash-attn --no-build-isolation',
-    env={'FLASH_ATTENTION_SKIP_CUDA_BUILD': "TRUE"},
-    shell=True
-)
 import os
 import re
-import time
-import torch
-import spaces
+import cohere
 import gradio as gr
 from threading import Thread
-from transformers import (
-    AutoModelForCausalLM, 
-    AutoTokenizer, 
-    BitsAndBytesConfig, 
-    TextIteratorStreamer
-)
+from typing import Iterator, List, Tuple
 
 # Configuration Constants
-MODEL_ID = "CohereForAI/aya-expanse-8b"
 DEFAULT_SYSTEM_PROMPT = """ 
-أنت مترجم ثنائي اللغة متخصص في الترجمة بين العربية والإنجليزية. هدفك هو تقديم ترجمات دقيقة، ملائمة للسياق، ومتسقة من الناحية الأسلوبية، مع الالتزام بالإرشادات التالية:
 
+أنت مترجم ثنائي اللغة متخصص في الترجمة بين العربية والإنجليزية. هدفك هو تقديم ترجمات دقيقة، ملائمة للسياق، ومتسقة من الناحية الأسلوبية، مع الالتزام بالإرشادات التالية:
 أسلوب الكتابة:
-
 1. الدقة النحوية: احرص دائمًا على أن تكون الترجمة صحيحة نحويًا.
-
-
 2. الملاءمة السياقية: قم بتكييف الترجمة مع السياق والجمهور المستهدف:
-
 استخدم جملًا موجزة وواضحة في المحتوى الطبي والقانوني.
-
 اعتمد لغة جذابة وخيالية في المواد التسويقية.
-
 حافظ على الرسمية والبلاغة في المحتوى القانوني.
-
-
-
 3. البنية السليمة: احترم تراكيب الجمل العربية وتجنب النسخ المباشر لقواعد لغة المصدر. فضل استخدام "الجملة الفعلية" إلا إذا كانت "الجملة الاسمية" أكثر ملاءمة (مثلًا في العناوين أو التنويهات).
-
-
-
 الخيارات الأسلوبية:
-
 استخدم التشكيل فقط عند الضرورة لتوضيح المعنى.
-
 تعامل مع الأسماء والأحرف المختصرة حسب السياق:
-
 قم بتعريب الأسماء وأسماء الأدوية إلا إذا وُجدت لها مرادفات عربية.
-
 ترجم أسماء البرامج والإدارات والهيئات عندما يكون ذلك مفيدًا.
-
-
 استخدم الأرقام العربية وتأكد من التعامل الصحيح مع الوحدات والعناوين والمراجع.
-
-
 علامات الترقيم:
-
 طبق قواعد الترقيم العربية لضمان وضوح النص.
-
 استخدم الفاصلة العربية (،) والفاصلة المنقوطة (؛) حسب الأعراف.
-
 تجنب الإفراط في استخدام علامات الاقتباس واحرص على وضع النقطتين (:) بشكل منطقي.
-
-
 الأخطاء الشائعة التي يجب تجنبها:
-
 تجنب ترجمة "is" بـ "يُعتبر" إلا إذا كان ذلك مناسبًا للسياق.
-
 استخدم حروف الجر والعطف بشكل صحيح لضمان تدفق الجمل بسلاسة.
-
 قلل من التكرار واستخدم الضمائر حيثما أمكن.
-
 تجنب الإفراط في استخدام تراكيب مثل "(قام + الفعل)" و"الخاص بـ."
-
-
 المصطلحات المحددة:
-
 في الترجمات القانونية، حافظ على النبرة الرسمية وتأكد من دقة المصطلحات.
-
 في الترجمات الطبية، بسّط المصطلحات التقنية للجمهور العام مع الاحتفاظ بالتعقيد عند مخاطبة المتخصصين.
-
 في الترجمات التسويقية، ركّز على الإبداع بدلًا من الترجمة الحرفية، مع الحفاظ على الرسالة الأساسية.
-
-
 إرشادات التنسيق:
-
 التزم بمعايير الطباعة العربية بشكل متسق.
-
 حافظ على تنسيق البيانات المهمة (مثل التواريخ، والقياسات، والاستشهادات القانونية).
-
-
 عند الشك:
-
 قدم الأولوية للوضوح، والتناسق، والملاءمة مع احتياجات الجمهور المستهدف. قم دائمًا بموازنة التعليمات الخاصة بالمشروع مع هذه الإرشادات، مع إعطاء الأولوية لمتطلبات العميل عند وجود أي تعارض.
-
 أنت مترجم ثنائي اللغة متخصص في الترجمة بين العربية والإنجليزية. هدفك هو تقديم ترجمات دقيقة، ملائمة للسياق، ومتسقة من الناحية الأسلوبية، مع الالتزام بالإرشادات التالية:
-
 أسلوب الكتابة:
-
 1. الدقة النحوية: احرص ��ائمًا على أن تكون الترجمة صحيحة نحويًا.
-
-
 2. الملاءمة السياقية: قم بتكييف الترجمة مع السياق والجمهور المستهدف:
-
 استخدم جملًا موجزة وواضحة في المحتوى الطبي والقانوني.
-
 اعتمد لغة جذابة وخيالية في المواد التسويقية.
-
 حافظ على الرسمية والبلاغة في المحتوى القانوني.
-
-
-
 3. البنية السليمة: احترم تراكيب الجمل العربية وتجنب النسخ المباشر لقواعد لغة المصدر. فضل استخدام "الجملة الفعلية" إلا إذا كانت "الجملة الاسمية" أكثر ملاءمة (مثلًا في العناوين أو التنويهات).
-
-
-
 الخيارات الأسلوبية:
-
 استخدم التشكيل فقط عند الضرورة لتوضيح المعنى.
-
 تعامل مع الأسماء والأحرف المختصرة حسب السياق:
-
 قم بتعريب الأسماء وأسماء الأدوية إلا إذا وُجدت لها مرادفات عربية.
-
 ترجم أسماء البرامج والإدارات والهيئات عندما يكون ذلك مفيدًا.
-
-
 استخدم الأرقام العربية وتأكد من التعامل الصحيح مع الوحدات والعناوين والمراجع.
-
-
 علامات الترقيم:
-
 طبق قواعد الترقيم العربية لضمان وضوح النص.
-
 استخدم الفاصلة العربية (،) والفاصلة المنقوطة (؛) حسب الأعراف.
-
 تجنب الإفراط في استخدام علامات الاقتباس واحرص على وضع النقطتين (:) بشكل منطقي.
-
-
 الأخطاء الشائعة التي يجب تجنبها:
-
 تجنب ترجمة "is" بـ "يُعتبر" إلا إذا كان ذلك مناسبًا للسياق.
-
 استخدم حروف الجر والعطف بشكل صحيح لضمان تدفق الجمل بسلاسة.
-
 قلل من التكرار واستخدم الضمائر حيثما أمكن.
-
 تجنب الإفراط في استخدام تراكيب مثل "(قام + الفعل)" و"الخاص بـ."
-
-
 المصطلحات المحددة:
-
 في الترجمات القانونية، حافظ على النبرة الرسمية وتأكد من دقة المصطلحات.
-
 في الترجمات الطبية، بسّط المصطلحات التقنية للجمهور العام مع الاحتفاظ بالتعقيد عند مخاطبة المتخصصين.
-
 في الترجمات التسويقية، ركّز على الإبداع بدلًا من الترجمة الحرفية، مع الحفاظ على الرسالة الأساسية.
-
-
 إرشادات التنسيق:
-
 التزم بمعايير الطباعة العربية بشكل متسق.
-
 حافظ على تنسيق البيانات المهمة (مثل التواريخ، والقياسات، والاستشهادات القانونية).
-
-
 عند الشك:
-
 قدم الأولوية للوضوح، والتناسق، والملاءمة مع احتياجات الجمهور المستهدف. قم دائمًا بموازنة التعليمات الخاصة بالمشروع مع هذه الإرشادات، مع إعطاء الأولوية لمتطلبات العميل عند وجود أي تعارض.
 
+"""  # (keeping the full prompt as in original)
 
-"""
-# UI Configuration
 TITLE = "<h1><center>Mawared T Assistant</center></h1>"
 PLACEHOLDER = "Ask me anything! I'll think through it step by step."
 
@@ -216,31 +116,8 @@ h3 {
 }
 """
 
-def initialize_model():
-    """Initialize the model with appropriate configurations"""
-    quantization_config = BitsAndBytesConfig(
-        load_in_8bit=True,
-        bnb_8bit_compute_dtype=torch.bfloat16,
-        bnb_8bit_use_double_quant=True
-    )
-
-    tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
-    if tokenizer.pad_token_id is None:
-        tokenizer.pad_token_id = tokenizer.eos_token_id
-
-    model = AutoModelForCausalLM.from_pretrained(
-        MODEL_ID,
-        torch_dtype=torch.float16,
-        device_map="cuda",
-        attn_implementation="flash_attention_2",
-        #quantization_config=quantization_config
-
-    )
-
-    return model, tokenizer
-
-def format_text(text):
-    """Format text with proper spacing and tag highlighting (but keep tags visible)"""
+def format_text(text: str) -> str:
+    """Format text with proper spacing and tag highlighting"""
     tag_patterns = [
         (r'<Thinking>', '\n<Thinking>\n'),
         (r'</Thinking>', '\n</Thinking>\n'),
@@ -260,16 +137,16 @@ def format_text(text):
     
     return formatted
 
-def format_chat_history(history):
-    """Format chat history for display, keeping tags visible"""
+def format_chat_history(history: List[List[str]]) -> str:
+    """Format chat history for display"""
     formatted = []
     for user_msg, assistant_msg in history:
         formatted.append(f"User: {user_msg}")
         if assistant_msg:
             formatted.append(f"Assistant: {assistant_msg}")
     return "\n\n".join(formatted)
-    
-def create_examples():
+
+def create_examples() -> List[str]:
     """Create example queries for the UI"""
     return [
         "Explain the concept of artificial intelligence.",
@@ -277,76 +154,58 @@ def create_examples():
         "What are the main causes of climate change?",
         "Describe the process of protein synthesis.",
         "What are the key features of a democratic government?",
-        "Explain the theory of relativity.",
-        "How do vaccines work to prevent diseases?",
-        "What are the major events of World War II?",
-        "Describe the structure of a human cell.",
-        "What is the role of DNA in genetics?"
     ]
 
-@spaces.GPU(duration=660)
+def convert_history_to_cohere_format(history: List[List[str]]) -> List[dict]:
+    """Convert chat history to Cohere's format"""
+    cohere_history = []
+    for user_msg, assistant_msg in history:
+        if user_msg:
+            cohere_history.append({"role": "USER", "message": user_msg})
+        if assistant_msg:
+            cohere_history.append({"role": "ASSISTANT", "message": assistant_msg})
+    return cohere_history
+
 def chat_response(
     message: str,
-    history: list,
+    history: List[List[str]],
     chat_display: str,
     system_prompt: str,
-    temperature: float = 0.2,
+    temperature: float = 0.3,
     max_new_tokens: int = 8192,
     top_p: float = 0.8,
     top_k: int = 40,
     penalty: float = 1.2,
-):
-    """Generate chat responses, keeping tags visible in the output"""
-    conversation = [
-        {"role": "system", "content": system_prompt}
-    ]
+    api_key: str = os.getenv("COHERE_API_KEY")
+) -> Iterator[Tuple[List[List[str]], str]]:
+    """Generate chat responses using Cohere API"""
+    co = cohere.Client(api_key=api_key)
     
-    for prompt, answer in history:
-        conversation.extend([
-            {"role": "user", "content": prompt},
-            {"role": "assistant", "content": answer}
-        ])
+    # Convert history to Cohere format
+    chat_history = convert_history_to_cohere_format(history)
     
-    conversation.append({"role": "user", "content": message})
-    
-    input_ids = tokenizer.apply_chat_template(
-        conversation,
-        add_generation_prompt=True,
-        return_tensors="pt"
-    ).to(model.device)
-    
-    streamer = TextIteratorStreamer(
-        tokenizer,
-        timeout=60.0,
-        skip_prompt=True,
-        skip_special_tokens=True
-    )
-    
-    generate_kwargs = dict(
-        input_ids=input_ids,
-        max_new_tokens=max_new_tokens,
-        do_sample=False if temperature == 0 else True,
-        top_p=top_p,
-        top_k=top_k,
+    # Initialize stream
+    stream = co.chat_stream(
+        model='c4ai-aya-expanse-32b',
+        message=message,
         temperature=temperature,
-        repetition_penalty=penalty,
-        streamer=streamer,
+        chat_history=chat_history,
+        prompt_truncation='AUTO',
+        connectors=[{"id": "web-search"}],
+        preamble=system_prompt
     )
     
+    # Initialize buffer for streaming
     buffer = ""
+    history = history + [[message, ""]]
     
-    with torch.no_grad():
-        thread = Thread(target=model.generate, kwargs=generate_kwargs)
-        thread.start()
-        
-        history = history + [[message, ""]]
-        
-        for new_text in streamer:
-            buffer += new_text
+    # Process stream
+    for event in stream:
+        if event.event_type == "text-generation":
+            buffer += event.text
             formatted_buffer = format_text(buffer)
             history[-1][1] = formatted_buffer
             chat_display = format_chat_history(history)
-            
             yield history, chat_display
 
 def process_example(example: str) -> tuple:
@@ -355,9 +214,6 @@ def process_example(example: str) -> tuple:
 
 def main():
     """Main function to set up and launch the Gradio interface"""
-    global model, tokenizer
-    model, tokenizer = initialize_model()
-    
     with gr.Blocks(css=CSS, theme="soft") as demo:
         gr.HTML(TITLE)
         gr.DuplicateButton(
@@ -395,7 +251,7 @@ def main():
                         minimum=0,
                         maximum=1,
                         step=0.1,
-                        value=0.2,
+                        value=0.3,
                         label="Temperature",
                     )
                     max_tokens = gr.Slider(
@@ -483,6 +339,4 @@ def main():
 
 if __name__ == "__main__":
     demo = main()
-    demo.launch()
-
-
+    demo.launch()