Update main.py

main.py

@@ -39,6 +39,7 @@ import bcrypt
 import json
 import requests
 import http.client
+from bs4 import BeautifulSoup
 from literalai import LiteralClient
 literal_client = LiteralClient(api_key=os.getenv("LITERAL_API_KEY"))
 literal_client.instrument_openai()
@@ -72,6 +73,11 @@ def process_file(file: AskFileResponse):
     docs = text_splitter.split_documents(documents)
     return docs
     
+def removeTags(all):
+  for data in all(['style', 'script']):
+    data.decompose()
+  return ' '.join(all.stripped_strings)
+    
 def modele(document):
     match document:
         case "Note de composante sectorielle":
@@ -838,7 +844,8 @@ async def contexte(romeListArray):
             emplois.append("\nEmploi : " + results[i]['intitule'] + "; Contrat : " + results[i]['typeContrat'] + "; Compétences professionnelles : " + arrayToString(results[i]['competences']) if listToString(results[i]).find("'competences':")!=-1 else "; " + "Salaire : " + listToString(results[i]['salaire']) + "; Qualification : " + results[i]['qualificationLibelle'] if listToString(results[i]).find("'qualificationLibelle':")!=-1 else "; " + "; Localisation : " + listToString(results[i]['lieuTravail']) + "; Entreprise : " + listToString(results[i]['entreprise']['nom']) if listToString(results[i]['entreprise']).find("'nom':")!=-1 else "; ")
     emplois_list = ''.join(emplois)
     context = emplois_list.replace('[','').replace(']','').replace('{','').replace('}','')
-    ficheMetier = await Fiche_metier("https://candidat.francetravail.fr/marche-du-travail/fichemetierrome.blocficherome.telechargerpdf?codeRome=", romeListArray[0])
+    ficheMetier = await FicheMetier("https://candidat.francetravail.fr/metierscope/fiche-metier/", romeListArray[0])
+    ficheClesMetier = await ChiffresClesMetier("https://dataemploi.pole-emploi.fr/metier/chiffres-cles/NAT/FR/", romeListArray[0])
     ficheMetiersCompetencesSavoirs = await Fiche_metier_competences_savoirs(romeListArray[0])
     metierSecteurContexteTravail = await Metier_secteur_contexte_travail(romeListArray[0])
     cl.user_session.set("EmploiST", context)
@@ -847,7 +854,7 @@ async def contexte(romeListArray):
     #statsMarcheTravailEmbauche = await Statistiques_marche_travail("STATS_EMBAUCHES",romeListArray[0],index)
     #return "Fiche métier Compétences Savoirs :\n" + ficheMetiersCompetencesSavoirs + "\n\nMetier secteur contexte au travail :\n" + metierSecteurContexteTravail + "\n\nStatistiques du marché du travail : offres d'emploi :\n" + statsMarcheTravailOffre + "\n\nStatistiques du marché du travail : demandeurs d'emploi :\n" + statsMarcheTravailDemandeur + "\n\nStatistiques du marché du travail :  perspectives d'embauche:\n" + statsMarcheTravailEmbauche + "\n\nListe des emplois issus de France Travail :\n" + context
     #return "Liste des emplois issus de France Travail :\n" + context
-    return "Fiche métier Compétences Savoirs :\n" + ficheMetiersCompetencesSavoirs + "\n\nMetier secteur contexte au travail :\n" + metierSecteurContexteTravail + "\n\nListe des emplois issus de France Travail :\n" + context
+    return "Fiche Métier:\n" + ficheMetier + "\n\nFiche métier Compétences Savoirs :\n" + ficheMetiersCompetencesSavoirs + "\n\nMetier secteur contexte au travail :\n" + metierSecteurContexteTravail + "\n\nChiffres clés Métier :\n" + ficheClesMetier + "\n\nListe des emplois issus de France Travail :\n" + context
 
 @cl.step(type="tool")
 async def Statistiques_marche_travail(categorie,rome,index):
@@ -952,6 +959,123 @@ async def Fiche_metier_competences_savoirs(codes):
         datas = data.decode("utf-8")
         dataset += str(datas.replace('"','').replace('{','').replace('}','').replace('[','').replace(']','').replace('code','').replace('libelle','').replace(',:',', ').replace('::',':'))
     return dataset
+
+@cl.step(type="tool")
+async def FicheMetier(url, codes):
+    if codes.find(',') != -1:
+        all = ""
+        codeArray = codes.split(',')
+        for i in range(0,len(codeArray)):
+            response = requests.get(url + codeArray[i])
+            soup = BeautifulSoup(response.text, "html.parser")
+            allmissions = soup.select('div.fm-presentation-text')
+            allcompetences = soup.select('div#part2')
+            allcontextes = soup.select('div#part3')
+            all = all + "Fiche Métier " + codeArray[i] + ":\nLes missions principales : " + removeTags(allmissions[0]) + ". Les compétences recherchées : " + removeTags(allcompetences[0]) + ". Les contextes au travail : " + removeTags(allcontextes[0]) + "."
+    else:
+        response = requests.get(url + codes)
+        soup = BeautifulSoup(response.text, "html.parser")
+        allmissions = soup.select('div.fm-presentation-text')
+        allcompetences = soup.select('div#part2')
+        allcontextes = soup.select('div#part3')
+        all = "Fiche Métier " + codes + ":\nLes missions principales : " + removeTags(allmissions[0]) + ". Les compétences recherchées : " + removeTags(allcompetences[0]) + ". Les contextes au travail : " + removeTags(allcontextes[0]) + "."
+    return all
+
+@cl.step(type="tool")
+async def ChiffresClesMetier(url, codes):
+    if codes.find(',') != -1:
+        all = ""
+        codeArray = codes.split(',')
+        for i in range(0,len(codeArray)):
+            response = requests.get(url + codeArray[i])
+            soup = BeautifulSoup(response.text, "html.parser")
+            if soup.select('h1#titreMetier'):
+                alltitre = soup.select('h1#titreMetier')
+                allTitre = removeTags(alltitre[0])
+            else:
+                allTitre = ""
+            if soup.select('div.jobs_item-container-flex'):
+                allembauches = soup.select('div.jobs_item-container-flex')
+                allEmbauches = removeTags(allembauches[0])
+            else:
+                allEmbauches = ""
+            if soup.select('div.key-number_block.shadow.inset'):
+                allsalaires = soup.select('div.key-number_block.shadow.inset')
+                allSalaires = removeTags(allsalaires[0])
+            else:
+                allSalaires = ""
+            if soup.select('tbody.sectorTable__body'):
+                allsalairesMedian = soup.select('tbody.sectorTable__body')
+                allSalairesMedian = removeTags(allsalairesMedian[0])
+            else:
+                allSalairesMedian = ""
+            if soup.select('div.dynamism_canvas-wrapper > p.sr-only'):
+                allDiff = soup.select('div.dynamism_canvas-wrapper > p.sr-only')
+                alldiff = removeTags(allDiff[0])
+            else:
+                alldiff = ""
+            if soup.select('div.tabs-main-data_persp-col2'):
+                allDiffOrigin = soup.select('div.tabs-main-data_persp-col2')
+                alldiffOrigin = removeTags(allDiffOrigin[0])
+            else:
+                alldiffOrigin = ""
+            allTypeContrat = ""
+            if soup.find_all("div", class_="hiring-contract_legende_item ng-star-inserted"):
+                allContrat = soup.find_all("div", class_="hiring-contract_legende_item ng-star-inserted")
+                for j in range(0,len(allContrat)):
+                    allTypeContrat = allTypeContrat + removeTags(allContrat[j]) + ", "
+            if soup.find_all("div", class_="horizontal-graph_patterns"):
+                allEntreprise = soup.find_all("div", class_="horizontal-graph_patterns")
+                allentreprise = removeTags(allEntreprise[0])
+            else:
+                allentreprise = ""
+            all = "\n\nChiffres-clés Métier " + allTitre + ":\nDemandeurs d'emploi et Offres d'emploi : " + allEmbauches + ". Salaires proposés dans les offres : " + allSalaires + ". Salaires médians constatés : " + allSalairesMedian + ". Difficultés de recrutement pour les entreprises : " + alldiff + ". Origine des difficultés : " + alldiffOrigin + ". Répartition des embauches par type de contrat : " + allTypeContrat + ". Répartition des embauches par taille d'entreprise : " + allentreprise + "."
+    else:
+        response = requests.get(url + codes)
+        soup = BeautifulSoup(response.text, "html.parser")
+        if soup.select('h1#titreMetier'):
+            alltitre = soup.select('h1#titreMetier')
+            allTitre = removeTags(alltitre[0])
+        else:
+            allTitre = ""
+        if soup.select('div.jobs_item-container-flex'):
+            allembauches = soup.select('div.jobs_item-container-flex')
+            allEmbauches = removeTags(allembauches[0])
+        else:
+            allEmbauches = ""
+        if soup.select('div.key-number_block.shadow.inset'):
+            allsalaires = soup.select('div.key-number_block.shadow.inset')
+            allSalaires = removeTags(allsalaires[0])
+        else:
+            allSalaires = ""
+        if soup.select('tbody.sectorTable__body'):
+            allsalairesMedian = soup.select('tbody.sectorTable__body')
+            allSalairesMedian = removeTags(allsalairesMedian[0])
+        else:
+            allSalairesMedian = ""
+        if soup.select('div.dynamism_canvas-wrapper > p.sr-only'):
+            allDiff = soup.select('div.dynamism_canvas-wrapper > p.sr-only')
+            alldiff = removeTags(allDiff[0])
+        else:
+            alldiff = ""
+        if soup.select('div.tabs-main-data_persp-col2'):
+            allDiffOrigin = soup.select('div.tabs-main-data_persp-col2')
+            alldiffOrigin = removeTags(allDiffOrigin[0])
+        else:
+            alldiffOrigin = ""
+        allTypeContrat = ""
+        if soup.find_all("div", class_="hiring-contract_legende_item ng-star-inserted"):
+            allContrat = soup.find_all("div", class_="hiring-contract_legende_item ng-star-inserted")
+            for j in range(0,len(allContrat)):
+                allTypeContrat = allTypeContrat + removeTags(allContrat[j]) + ", "
+        if soup.find_all("div", class_="horizontal-graph_patterns"):
+            allEntreprise = soup.find_all("div", class_="horizontal-graph_patterns")
+            allentreprise = removeTags(allEntreprise[0])
+        else:
+            allentreprise = ""
+        all = "\n\nChiffres-clés Métier " + allTitre + ":\nDemandeurs d'emploi et Offres d'emploi : " + allEmbauches + ". Salaires proposés dans les offres : " + allSalaires + ". Salaires médians constatés : " + allSalairesMedian + ". Difficultés de recrutement pour les entreprises : " + alldiff + ". Origine des difficultés : " + alldiffOrigin + ". Répartition des embauches par type de contrat : " + allTypeContrat + ". Répartition des embauches par taille d'entreprise : " + allentreprise + "."
+    return all
+
 @cl.step(type="tool")
 async def Fiche_metier(url, codes):
     docs = []