Update main.py

main.py

@@ -15,8 +15,13 @@ import pinecone
 from langchain.memory import ChatMessageHistory, ConversationBufferMemory
 import pandas as pd
 import numpy as np
-from anthropic import Anthropic, HUMAN_PROMPT, AI_PROMPT
-from langchain.chat_models import ChatAnthropic
+from langchain_core.messages import HumanMessage, SystemMessage
+from langchain_core.prompts.chat import (
+    ChatPromptTemplate,
+    HumanMessagePromptTemplate,
+    SystemMessagePromptTemplate,
+)
+from langchain_openai import ChatOpenAI
 import chainlit as cl
 from chainlit.input_widget import TextInput
 from chainlit import user_session
@@ -25,11 +30,11 @@ from offres_emploi.utils import dt_to_str_iso
 import datetime
 
 os.environ["TOKENIZERS_PARALLELISM"] = os.environ["TOKENIZERS_PARALLELISM"]
-os.environ['ANTHROPIC_API_KEY'] = os.environ['ANTHROPIC_API_KEY']
+os.environ['OPENAI_API_KEY'] = os.environ['OPENAI_API_KEY']
 
 @cl.author_rename
 def rename(orig_author: str):
-    rename_dict = {"ConversationalRetrievalChain": "💬 Assistant conversationnel", "Retriever": "Agent conversationnel", "StuffDocumentsChain": "Chaîne de documents", "LLMChain": "Agent", "ChatAnthropic": "🤖 IA"}
+    rename_dict = {"ConversationalRetrievalChain": "💬 Assistant conversationnel", "Retriever": "Agent conversationnel", "StuffDocumentsChain": "Chaîne de documents", "LLMChain": "Agent", "Chat OpenAI": "🤖 IA"}
     return rename_dict.get(orig_author, orig_author)
 
 @cl.action_callback("download")
@@ -161,10 +166,9 @@ async def start():
             chat_memory=message_history,
             return_messages=True,
         )
-        streaming_llm = ChatAnthropic(
+        streaming_llm = ChatOpenAI(
             streaming=True,
-            temperature=1,
-            max_tokens=4000
+            temperature=1
         )
         qa = ConversationalRetrievalChain.from_llm(
             streaming_llm,
@@ -175,85 +179,6 @@ async def start():
             retriever=retriever_to_cache()
         )
         cl.user_session.set("conversation_chain", qa)
-    elif chatProfile[0] == 'Emplois':
-        poleemploi = cl.TaskList()
-        poleemploi.status = "Running..."
-
-        # Create a task and put it in the running state
-        task1 = cl.Task(title="Chargement des données du marché de l'emploi, en attente...", status=cl.TaskStatus.RUNNING)
-        await poleemploi.add_task(task1)
-        await poleemploi.send()
-        logo = [
-        cl.Image(name="Logo", size="small", display="inline", path="./public/logo_light.png")
-        ]
-    
-        await cl.Message(author="🌐🌐🌐",content="", elements=logo).send()
-        #file = to_cache(chatProfile[0])
-        await cl.Message(author="🌐🌐🌐",content=f"💻😊 Vous pouvez rechercher des \"{chat_profile}\"!").send()
-        await cl.Message(
-            author="🌐🌐🌐",content=f"💡Voici des exemples de requête \n\t1️⃣ Basée sur un code ROME : M1403\n\t2️⃣ Basée sur une appellation métier : Coach sportif"
-        ).send()
-        task1.status = cl.TaskStatus.DONE
-        await cl.sleep(0.5)
-        await poleemploi.remove()
-        cl.user_session.set("memory", ConversationBufferMemory(return_messages=True))
-        memory = cl.user_session.get("memory")
-        cl.user_session.set("runnable", memory)
-    else:
-        emploi = cl.TaskList()
-        emploi.status = "Running..."
-
-        # Create a task and put it in the running state
-        task1 = cl.Task(title="Chargement des données du marché de l'emploi, en attente...", status=cl.TaskStatus.RUNNING)
-        await emploi.add_task(task1)
-        await emploi.send()
-        logo = [
-        cl.Image(name="Logo", size="small", display="inline", path="./public/logo_light.png")
-        ]
-    
-        await cl.Message(author="🌐🌐🌐",content="", elements=logo).send()
-        file = to_cache(chatProfile[0])
-        await cl.Message(author="🌐🌐🌐",content=f"💻😊 Vous pouvez poser vos questions concernant le marché de l'emploi de \"{chat_profile}\"!").send()
-        await cl.Message(author="🌐🌐🌐",content=f"📈 Le marché de l'emploi se présente comme un gros tableau structuré comme suit :\n1. Emplois\n2. Type de contrat\n3. Expérience\n4. Compétences professionnelles\n5. Salaire\n6. Qualification\n7. Localisation").send()
-        await cl.Message(
-            author="🌐🌐🌐",content=f"💡Voici des exemples de question \n\t1️⃣ Peux-tu créer une liste de 5 emplois différents les plus listés ?\n\t2️⃣ Peux-tu créer une liste de 5 emplois différents les plus listés avec leur salaire moyen correspondant à chacun de ces emplois?\n\t3️⃣ Peux-tu créer une liste de 5 emplois différents les plus listés et leur répartition dans les localisations suivantes, le 75, ou le 77, ou le 78, ou le 91, ou le 92, ou le 93, ou le 94, ou le 95?\n\t4️⃣ Peux-tu créer une liste de 5 emplois différents les plus listés pour un niveau de qualification Bac+2 Bac+3?\n\t5️⃣ Peux-tu créer une liste de 5 emplois différents les plus listés et associer 2 compétences professionnelles à chaque emploi, de type activités professionnelles, sans lister les compétences transversales?\n\t6️⃣ Peux-tu créer une liste de 5 emplois différents les plus listés avec un contrat en CDI?\n\t7️⃣ Quelles sont les compétences professionnelles les mieux payées?"
-        ).send()
-        model = ChatAnthropic(model="claude-2.1",top_p=0.9,temperature=1,max_tokens_to_sample=4097,streaming=True)
-        df = pd.read_csv(file, sep=",")
-        df = df.replace(np.nan, '', regex=True)
-        df['combined'] = 'Emploi ' + df['Poste'] + '; type de contrat : ' + df['Contrat'] + '; Compétences professionnelles : ' + df['Savoir'] + '; Salaire : ' + df['Salaire'] + '; Niveau de qualification : ' + df['Niveau'] + '; Localisation : ' + df['Localisation']
-
-        context = []
-        for i, row in df.iterrows():
-            context.append(row['combined'])
-
-        context = "\n".join(context)
-        context = context[0:590000]
-        task1.status = cl.TaskStatus.DONE
-        await cl.sleep(5)
-        await emploi.remove()
-        cl.user_session.set("memory", ConversationBufferMemory(return_messages=True))
-        memory = cl.user_session.get("memory")
-        prompt = ChatPromptTemplate.from_messages(
-            [
-                (
-                    "system",
-                    f"Contexte : Vous êtes un spécialiste du marché de l'emploi en fonction du niveau de qualification, des compétences professionnelles, des compétences transversales, du salaire et de l'expérience. Vous êtes doué pour faire des analyses sur les métiers les plus demandés grâce à votre aptitude à synthétiser les informations en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement. En fonction des informations suivantes et du contexte suivant seulement et strictement. Contexte et document : {context}. Réponds en langue française strictement à la question suivante en respectant strictement les données du document. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes.",
-                ),
-                MessagesPlaceholder(variable_name="history"),
-                ("human", "{question}, d'après le document en vous réferrant strictement aux données du contexte fixé sans faire de recherche dans vos connaissances ou sur le web? Si les emplois sont différents aux données, recommencez votre liste. Réponse sous forme d'une liste. Si tu ne peux pas donner la liste, fais une projection par emplois."),
-            ]
-        )
-        #runnable = prompt | model | StrOutputParser()
-        runnable = (
-            RunnablePassthrough.assign(
-                history=RunnableLambda(memory.load_memory_variables) | itemgetter("history")
-            )
-            | prompt
-            | model
-            | StrOutputParser()
-        )
-        cl.user_session.set("runnable", runnable)
     
 @cl.on_message
 async def main(message: cl.Message):
@@ -289,61 +214,4 @@ async def main(message: cl.Message):
         await cl.Message(author="🌐🌐🌐",content="Download", actions=actions).send()
     
         if metadatas:
-            await cl.Message(author="🌐🌐🌐",content="Sources : " + metadatas, elements=text_elements).send()
-    elif chatProfile[0] == "Emplois":
-        client = Api(client_id=os.environ['POLE_EMPLOI_CLIENT_ID'],
-             client_secret=os.environ['POLE_EMPLOI_CLIENT_SECRET'])
-        runnable = cl.user_session.get("runnable")
-        memory = cl.user_session.get("memory")
-        msg = cl.Message(author="🌐🌐🌐",content="")
-        todayDate = datetime.datetime.today()
-        month, year = (todayDate.month-1, todayDate.year) if todayDate.month != 1 else (12, todayDate.year-1)
-        start_dt = todayDate.replace(day=1, month=month, year=year)
-
-        end_dt = datetime.datetime.today()
-
-        params = {"motsCles": message.content,'lieux':'75D','minCreationDate': dt_to_str_iso(start_dt),'maxCreationDate': dt_to_str_iso(end_dt),'range':'0-149'}
-        search_on_big_data = client.search(params=params)
-        results = search_on_big_data["resultats"]
-        emplois = []
-        text_elements = []
-        for i in range(0,len(results)):
-            emplois.append("✔️ Emploi : " + results[i]['intitule'] + "\nCode ROME : " + results[i]['romeCode'] + "\nLien vers Pôle Emploi : https://candidat.pole-emploi.fr/offres/recherche/detail/" + results[i]['id'] + "\n\nDescription : " + results[i]['description'] + "\n\n")
-        emplois_list = ''.join(emplois)
-        await msg.stream_token(emplois_list)
-        await msg.send()
-        listEmplois_name = f"Liste des emplois"
-        text_elements.append(
-            cl.Text(content="Question : " + message.content + "\n\nRéponse :\n" + msg.content, name=listEmplois_name)
-        )
-        actions = [
-            cl.Action(name="download", value="Question : " + message.content + "\n\nRéponse : " + msg.content, description="download_emplois")
-        ]
-        await cl.Message(author="🌐🌐🌐",content="Download", actions=actions).send()
-        await cl.Message(author="🌐🌐🌐",content="Source Pôle Emploi : " + listEmplois_name, elements=text_elements).send()
-        
-        memory.chat_memory.add_user_message(message.content)
-        memory.chat_memory.add_ai_message(msg.content)
-    
-    else:
-        memory = cl.user_session.get("memory")
-        runnable = cl.user_session.get("runnable")  # type: Runnable
-        msg = cl.Message(author="🌐🌐🌐",content="")
-        text_elements = []
-        async for chunk in runnable.astream(
-            {"question": message.content},
-            config=RunnableConfig(callbacks=[cl.LangchainCallbackHandler()]),
-        ):
-            await msg.stream_token(chunk)
-        await msg.send()
-        QA_Emplois_name = f"Question-réponse sur les emplois"
-        text_elements.append(
-            cl.Text(content="Question : " + message.content + "\n\nRéponse :\n" + msg.content, name=QA_Emplois_name)
-        )
-        actions = [
-            cl.Action(name="download", value="Question : " + message.content + "\n\nRéponse : " + msg.content, description="download_QA_emplois")
-        ]
-        await cl.Message(author="🌐🌐🌐",content="Download", actions=actions).send()
-        await cl.Message(author="🌐🌐🌐",content="Marché Emploi : " + QA_Emplois_name, elements=text_elements).send()
-        memory.chat_memory.add_user_message(message.content)
-        memory.chat_memory.add_ai_message(msg.content)
+            await cl.Message(author="🌐🌐🌐",content="Sources : " + metadatas, elements=text_elements).send()