Spaces:

Fariddvp
/

LLM_selection

Runtime error

App Files Files Community

Fariddvp commited on Aug 21, 2024

Commit

2427f9f

verified ·

1 Parent(s): ab717b1

Update models.py

Browse files

Files changed (1) hide show

models.py +92 -92

models.py CHANGED Viewed

@@ -10,8 +10,8 @@ import transformers
 hf_api_key = os.getenv("HF_API_KEY")
 login(token=hf_api_key)
-# Set OpenAI and Hugging Face API keys
-# openai.api_key = os.getenv('API_KEY_OpenAI')
 def extract_text_from_pdf(pdf_file):
     document = fitz.open(pdf_file)
@@ -21,110 +21,110 @@ def extract_text_from_pdf(pdf_file):
         text += page.get_text()
     return text
-# # Initialize the Gemma model
-# gemma_pipe = pipeline(
-#     "text-generation",
-#     model="google/gemma-2-2b-it",
-#     model_kwargs={"torch_dtype": torch.bfloat16},
-#     device="cpu"
-# )
-# # Initialize the Bloom model
-# bloom_model = BloomForCausalLM.from_pretrained("bigscience/bloom-560m")
-# bloom_tokenizer = BloomTokenizerFast.from_pretrained("bigscience/bloom-560m")
-# def evaluate_with_gpt(pdf_file, job_description):
-#     resume_text = extract_text_from_pdf(pdf_file)
-#     keywords = "وضعیت خدمت سربازی، سن، محل سکونت، محدوده حقوق پرداختی، میزان سابقه کار مدیریتی، میزان سابقه کار مرتبط با گروه شغلی مشابه، میزان سابقه کار در صنعت، میزان تحصیلات، مهارت زبان، مهارت های نرم افزاری"
-#     prompt = f"""
-#     به عنوان یک تحلیلگر با تجربه سیستم ردیابی متقاضی (ATS)، اطلاعات کلیدی رزومه و  شرح شغل را به صورت جداگانه استخراج کن. این اطلاعات شامل مواردی است که در {keywords} آمده است.
-#     شرح شغل: {job_description}
-#     رزومه: {resume_text}
-#     من پاسخ را در یک فایل json می‌خواهم
-#     """
-#     try:
-#         response = openai.ChatCompletion.create(
-#             model="gpt-4o",
-#             messages=[
-#                 {"role": "system", "content": "You are a helpful assistant."},
-#                 {"role": "user", "content": prompt}
-#             ],
-#             temperature=0
-#         )
-#         return response.choices[0].message['content']
-#     except Exception as e:
-#         return f"Error during resume evaluation: {e}"
-# def evaluate_with_gemma(pdf_file, job_description):
-#     resume_text = extract_text_from_pdf(pdf_file)
-#     keywords = "وضعیت خدمت سربازی، سن، محل سکونت، محدوده حقوق پرداختی، میزان سابقه کار مدیریتی، میزان سابقه کار مرتبط با گروه شغلی مشابه، میزان سابقه کار در صنعت، میزان تحصیلات، مهارت زبان، مهارت های نرم افزاری"
-#     prompt = f"""
-#     به عنوان یک تحلیلگر با تجربه سیستم ردیابی متقاضی (ATS)، اطلاعات کلیدی رزومه و  شرح شغل را به صورت جداگانه استخراج کن. این اطلاعات شامل مواردی است که در {keywords} آمده است.
-#     شرح شغل: {job_description}
-#     رزومه: {resume_text}
-#     من پاسخ را در یک فایل json می‌خواهم
-#     """
-#     outputs = gemma_pipe(prompt, max_new_tokens=256)
-#     return outputs[0]["generated_text"].strip()
-# def evaluate_with_bloom(pdf_file, job_description):
-#     resume_text = extract_text_from_pdf(pdf_file)
-#     keywords = "وضعیت خدمت سربازی، سن، محل سکونت، محدوده حقوق پرداختی، میزان سابقه کار مدیریتی، میزان سابقه کار مرتبط با گروه شغلی مشابه، میزان سابقه کار در صنعت، میزان تحصیلات، مهارت زبان، مهارت های نرم افزاری"
-#     prompt = f"""
-#     به عنوان یک تحلیلگر با تجربه سیستم ردیابی متقاضی (ATS)، نقش شما شامل ارزیابی رزومه نسبت به شرح شغل و کلمات کلیدی مشخصی است.
-#     لطفاً رزومه فرد را با در نظر گرفتن کلمات کلیدی تعیین شده مطابقت دهید و درصد تطابق را بر اساس معیارهای کلیدی و همچنین تعداد کلمات کلیدی گمشده و منطبق محاسبه کنید.
-#     ارزیابی را بر اساس دقیقا این کلمات کلیدی {keywords} محاسبه کن.
-#     شرح شغل: {job_description}
-#     رزومه: {resume_text}"""
-#     inputs = bloom_tokenizer(prompt, return_tensors="pt")
-#     outputs = bloom_model.generate(inputs["input_ids"], max_length=2000)
-#     return bloom_tokenizer.decode(outputs[0], skip_special_tokens=True).strip()
-# def evaluate_with_jabir(pdf_file, job_description):
-#     resume_text = extract_text_from_pdf(pdf_file)
-#     keywords = "وضعیت خدمت سربازی، سن، محل سکونت، محدوده حقوق پرداختی، میزان سابقه کار مدیریتی، میزان سابقه کار مرتبط با گروه شغلی مشابه، میزان سابقه کار در صنعت، میزان تحصیلات، مهارت زبان، مهارت های نرم افزاری"
-#     prompt = f"""
-#     به عنوان یک تحلیلگر با تجربه سیستم ردیابی متقاضی (ATS)، اطلاعات کلیدی رزومه و  شرح شغل را به صورت جداگانه استخراج کن. این اطلاعات شامل مواردی است که در {keywords} آمده است.
-#     شرح شغل: {job_description}
-#     رزومه: {resume_text}
-#     من پاسخ را در یک فایل json می‌خواهم
-#     """
-#     base_url = "https://api.jabirproject.org/generate"
-#     headers = {"apikey": "7471142a-deb4-4a70-8ee3-6603e21bcc1d"}
-#     data = {
-#         "messages": [{"role": "user", "content": prompt}]
-#     }
-#     response = requests.post(base_url, headers=headers, json=data)
-#     if response.ok:
-#         return response.json()
-#     else:
-#         return f"Error: {response.status_code}, {response.text}"
 hf_api_key = os.getenv("HF_API_KEY1")
@@ -145,23 +145,23 @@ pipeline = transformers.pipeline(
     device_map="auto",
 )
-def evaluate_with_llama(resume_text, job_description):
-    keywords = "وضعیت خدمت سربازی، سن، محل سکونت، محدوده حقوق پرداختی، میزان سابقه کار مدیریتی، میزان سابقه کار مرتبط با گروه شغلی مشابه، میزان سابقه کار در صنعت، میزان تحصیلات، مهارت زبان، مهارت های نرم افزاری"
-    prompt = f"""
-    به عنوان یک تحلیلگر با تجربه سیستم ردیابی متقاضی (ATS)، نقش شما شامل ارزیابی رزومه نسبت به شرح شغل و کلمات کلیدی مشخصی است.
-    لطفاً رزومه فرد را با در نظر گرفتن کلمات کلیدی تعیین شده مطابقت دهید و درصد تطابق را بر اساس معیارهای کلیدی و همچنین تعداد کلمات کلیدی گمشده و منطبق محاسبه کنید.
-    ارزیابی را بر اساس دقیقا این کلمات کلیدی {keywords} محاسبه کن.
-    شرح شغل: {job_description}
-    رزومه: {resume_text}
-    من پاسخ را در یک رشته با ساختار زیر می‌خواهم:
-    {{"تطابق شرح شغل با رزومه فرد ":"%", "تعداد کلمات کلیدی غیر منطبق  ":"", "تعداد کلمات کلیدی منطبق   ":""}}
-    """
-    outputs = pipeline(
-        prompt,
-        max_new_tokens=256,
-    )
-    return outputs[0]["generated_text"]

 hf_api_key = os.getenv("HF_API_KEY")
 login(token=hf_api_key)
+Set OpenAI and Hugging Face API keys
+openai.api_key = os.getenv('API_KEY_OpenAI')
 def extract_text_from_pdf(pdf_file):
     document = fitz.open(pdf_file)
         text += page.get_text()
     return text
+# Initialize the Gemma model
+gemma_pipe = pipeline(
+    "text-generation",
+    model="google/gemma-2-2b-it",
+    model_kwargs={"torch_dtype": torch.bfloat16},
+    device="cpu"
+)
+# Initialize the Bloom model
+bloom_model = BloomForCausalLM.from_pretrained("bigscience/bloom-560m")
+bloom_tokenizer = BloomTokenizerFast.from_pretrained("bigscience/bloom-560m")
+def evaluate_with_gpt(pdf_file, job_description):
+    resume_text = extract_text_from_pdf(pdf_file)
+    keywords = "وضعیت خدمت سربازی، سن، محل سکونت، محدوده حقوق پرداختی، میزان سابقه کار مدیریتی، میزان سابقه کار مرتبط با گروه شغلی مشابه، میزان سابقه کار در صنعت، میزان تحصیلات، مهارت زبان، مهارت های نرم افزاری"
+    prompt = f"""
+    به عنوان یک تحلیلگر با تجربه سیستم ردیابی متقاضی (ATS)، اطلاعات کلیدی رزومه و  شرح شغل را به صورت جداگانه استخراج کن. این اطلاعات شامل مواردی است که در {keywords} آمده است.
+    شرح شغل: {job_description}
+    رزومه: {resume_text}
+    من پاسخ را در یک فایل json می‌خواهم
+    """
+    try:
+        response = openai.ChatCompletion.create(
+            model="gpt-4o",
+            messages=[
+                {"role": "system", "content": "You are a helpful assistant."},
+                {"role": "user", "content": prompt}
+            ],
+            temperature=0
+        )
+        return response.choices[0].message['content']
+    except Exception as e:
+        return f"Error during resume evaluation: {e}"
+def evaluate_with_gemma(pdf_file, job_description):
+    resume_text = extract_text_from_pdf(pdf_file)
+    keywords = "وضعیت خدمت سربازی، سن، محل سکونت، محدوده حقوق پرداختی، میزان سابقه کار مدیریتی، میزان سابقه کار مرتبط با گروه شغلی مشابه، میزان سابقه کار در صنعت، میزان تحصیلات، مهارت زبان، مهارت های نرم افزاری"
+    prompt = f"""
+    به عنوان یک تحلیلگر با تجربه سیستم ردیابی متقاضی (ATS)، اطلاعات کلیدی رزومه و  شرح شغل را به صورت جداگانه استخراج کن. این اطلاعات شامل مواردی است که در {keywords} آمده است.
+    شرح شغل: {job_description}
+     رزومه: {resume_text}
+     من پاسخ را در یک فایل json می‌خواهم
+     """
+    outputs = gemma_pipe(prompt, max_new_tokens=256)
+    return outputs[0]["generated_text"].strip()
+def evaluate_with_bloom(pdf_file, job_description):
+    resume_text = extract_text_from_pdf(pdf_file)
+    keywords = "وضعیت خدمت سربازی، سن، محل سکونت، محدوده حقوق پرداختی، میزان سابقه کار مدیریتی، میزان سابقه کار مرتبط با گروه شغلی مشابه، میزان سابقه کار در صنعت، میزان تحصیلات، مهارت زبان، مهارت های نرم افزاری"
+    prompt = f"""
+    به عنوان یک تحلیلگر با تجربه سیستم ردیابی متقاضی (ATS)، نقش شما شامل ارزیابی رزومه نسبت به شرح شغل و کلمات کلیدی مشخصی است.
+    لطفاً رزومه فرد را با در نظر گرفتن کلمات کلیدی تعیین شده مطابقت دهید و درصد تطابق را بر اساس معیارهای کلیدی و همچنین تعداد کلمات کلیدی گمشده و منطبق محاسبه کنید.
+    ارزیابی را بر اساس دقیقا این کلمات کلیدی {keywords} محاسبه کن.
+    شرح شغل: {job_description}
+    رزومه: {resume_text}"""
+    inputs = bloom_tokenizer(prompt, return_tensors="pt")
+    outputs = bloom_model.generate(inputs["input_ids"], max_length=2000)
+    return bloom_tokenizer.decode(outputs[0], skip_special_tokens=True).strip()
+def evaluate_with_jabir(pdf_file, job_description):
+    resume_text = extract_text_from_pdf(pdf_file)
+    keywords = "وضعیت خدمت سربازی، سن، محل سکونت، محدوده حقوق پرداختی، میزان سابقه کار مدیریتی، میزان سابقه کار مرتبط با گروه شغلی مشابه، میزان سابقه کار در صنعت، میزان تحصیلات، مهارت زبان، مهارت های نرم افزاری"
+    prompt = f"""
+    به عنوان یک تحلیلگر با تجربه سیستم ردیابی متقاضی (ATS)، اطلاعات کلیدی رزومه و  شرح شغل را به صورت جداگانه استخراج کن. این اطلاعات شامل مواردی است که در {keywords} آمده است.
+    شرح شغل: {job_description}
+    رزومه: {resume_text}
+    من پاسخ را در یک فایل json می‌خواهم
+    """
+    base_url = "https://api.jabirproject.org/generate"
+    headers = {"apikey": "7471142a-deb4-4a70-8ee3-6603e21bcc1d"}
+    data = {
+        "messages": [{"role": "user", "content": prompt}]
+    }
+    response = requests.post(base_url, headers=headers, json=data)
+    if response.ok:
+        return response.json()
+    else:
+        return f"Error: {response.status_code}, {response.text}"
 hf_api_key = os.getenv("HF_API_KEY1")
     device_map="auto",
 )
+# def evaluate_with_llama(resume_text, job_description):
+#     keywords = "وضعیت خدمت سربازی، سن، محل سکونت، محدوده حقوق پرداختی، میزان سابقه کار مدیریتی، میزان سابقه کار مرتبط با گروه شغلی مشابه، میزان سابقه کار در صنعت، میزان تحصیلات، مهارت زبان، مهارت های نرم افزاری"
+#     prompt = f"""
+#     به عنوان یک تحلیلگر با تجربه سیستم ردیابی متقاضی (ATS)، نقش شما شامل ارزیابی رزومه نسبت به شرح شغل و کلمات کلیدی مشخصی است.
+#     لطفاً رزومه فرد را با در نظر گرفتن کلمات کلیدی تعیین شده مطابقت دهید و درصد تطابق را بر اساس معیارهای کلیدی و همچنین تعداد کلمات کلیدی گمشده و منطبق محاسبه کنید.
+#     ارزیابی را بر اساس دقیقا این کلمات کلیدی {keywords} محاسبه کن.
+#     شرح شغل: {job_description}
+#     رزومه: {resume_text}
+#     من پاسخ را در یک رشته با ساختار زیر می‌خواهم:
+#     {{"تطابق شرح شغل با رزومه فرد ":"%", "تعداد کلمات کلیدی غیر منطبق  ":"", "تعداد کلمات کلیدی منطبق   ":""}}
+#     """
+#     outputs = pipeline(
+#         prompt,
+#         max_new_tokens=256,
+#     )
+#     return outputs[0]["generated_text"]