First commit

.gitignore

@@ -0,0 +1 @@
+.env

README.md

@@ -1,7 +1,7 @@
 ---
-title: Spec Classification Pipeline
-emoji: 📚
-colorFrom: gray
+title: Service Pipeline Classifier
+emoji: 🏆
+colorFrom: purple
 colorTo: green
 sdk: gradio
 sdk_version: 4.14.0

app.py

@@ -0,0 +1,49 @@
+import gradio as gr
+from transformers import pipeline, BertTokenizer, BertForSequenceClassification
+import os
+import pickle
+from dotenv import dotenv_values
+import pandas as pd
+from service_dops_api.dops_config import ServiceDopsConfig
+from service_dops_api.dops_classifier import DopsClassifier
+hf_token = dotenv_values('.env')['HF_TOKEN']
+def categoriser_predict(input_text):
+    tokenizer = BertTokenizer.from_pretrained("warleagle/service_name_categorizer",
+                                          token=hf_token)
+    model = BertForSequenceClassification.from_pretrained('warleagle/service_name_categorizer',token=hf_token)
+    clf = pipeline("text-classification", model=model, tokenizer=tokenizer)
+    predictions = clf(input_text)
+    numeric_label = int(predictions[0]['label'].split("_")[1])
+    id2label = pd.read_pickle('id2label_service_categoriser.pickle')
+    text_label = id2label[numeric_label]
+    return text_label
+def doctor_spec_predict(input_text):
+    tokenizer = BertTokenizer.from_pretrained("warleagle/specialists_categorizer_model",
+                                          token=hf_token)
+    model = BertForSequenceClassification.from_pretrained('warleagle/specialists_categorizer_model',token=hf_token)
+    clf = pipeline("text-classification", model=model, tokenizer=tokenizer)
+    predictions = clf(input_text)
+    numeric_label = int(predictions[0]['label'].split("_")[1])
+    id2label = pd.read_pickle('id2label_spec_categoriser.pickle')
+    text_label = id2label[numeric_label]
+    return text_label
+def dops_predict(input_text):
+    cfg = ServiceDopsConfig()
+    model = DopsClassifier(config=cfg)
+    result = model.run_all_dops(input_text)
+    return result
+def service_pipeline(input_text):
+    categoriser_result = categoriser_predict(input_text)
+    if categoriser_result!='Консультация специалиста':
+        return 'Эта услуга не относится к приему специалиста','-','-'
+    else:
+        doctor_spec_result = doctor_spec_predict(input_text)
+        dops_result = dops_predict(input_text)
+        return categoriser_result,doctor_spec_result,dops_result
+demo = gr.Interface(fn=service_pipeline,inputs=gr.components.Textbox(label='Название услуги'),
+                    outputs=[gr.components.Textbox(label='Относится ли данная услуга к приёму специалиста'),
+                             gr.components.Textbox(label='Специальность врача'),
+                             gr.components.Textbox(label='Дополнительные параметры услуги')])
+
+if __name__ == "__main__":
+    demo.launch()

id2label_service_categoriser.pickle

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:83b6b3f38a49c914aad4b3ad8772493838990d07c17033338ae7cd9cd37dd07a
+size 251

id2label_spec_categoriser.pickle

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cfb1d0e759c80e164009126a6a6cadf271192d4bbc29bebb1e5e1afcd416f533
+size 689

requirements.txt

@@ -0,0 +1,10 @@
+transformers
+torch
+numpy
+evaluate
+scikit-learn
+datasets
+tqdm
+accelerate
+pandas
+dotenv

service_dops_api/dops_classifier.py

@@ -0,0 +1,27 @@
+from service_dops_api.dops_config import ServiceDopsConfig
+
+class DopsClassifier:
+
+    def __init__(self,config: ServiceDopsConfig):
+        self.config = config
+
+    def run_regular_search(self,text,dop_name):
+        result = {}
+        options_patterns = self.config.option_patterns_dict[dop_name]
+        result = {key: 1 if value.search(text) else 0 for key, value in options_patterns.items()}
+        if 1 not in result.values():
+            result[self.config.dops_default_values[dop_name]] = 1
+        else:
+            result[self.config.dops_default_values[dop_name]] = 0
+        return result
+    
+    def convert_search_to_human(self,dict_from_search):
+        return [key for key, value in dict_from_search.items() if value == 1]
+    
+    def run_all_dops(self,text):
+        all_dops = self.config.option_patterns_dict.keys()
+        result_dict = {}
+        for dop in all_dops:
+            temp_dop = self.run_regular_search(text,dop)
+            result_dict[dop] = self.convert_search_to_human(temp_dop)
+        return result_dict

service_dops_api/dops_config.py

@@ -0,0 +1,26 @@
+from dataclasses import dataclass, field
+import re
+
+@dataclass
+class ServiceDopsConfig:
+    dops_default_values:dict = field(default_factory=lambda:{'Место оказания услуги':'в клинике',
+                  'Учёная степень':'неизвестно',
+                  'Возрастная категория':'взрослый',
+                  'Вид приёма':'первичный'})
+    service_location_options:dict = field(default_factory=lambda:{'на дому':re.compile(r'\b(дом|на\s*дому)\b', re.IGNORECASE),
+                         'дистанционно':re.compile(r'\b(дистанционн|телемед)\S*\b', re.IGNORECASE)})
+    academic_degree_options:dict = field(default_factory=lambda:{'кандидат медицинских наук(кмн)':re.compile(r'\bк(\.|андидата|андидат)?\s*м(\.|едицинских)?\s*н(\.|аук)?\b', re.IGNORECASE),
+                   'доктор медицинских наук(дмн)':re.compile(r'\b(д(\.|октор)?\s*м(\.|едицинских)?\s*н(\.|аук)?)\b', re.IGNORECASE),
+                   'врач высшей категории':re.compile(r'\bвысш\w*\.*\s*кат\w*\.?\s*\)?\b', re.IGNORECASE),
+                   'врач первой категории':re.compile(r'\bперв\S*\s*(категори\S*|I\s*категори\S*)\b', re.IGNORECASE)})
+    age_options:dict = field(default_factory=lambda:{'детский':re.compile(r'\b(детск|педиатр)\S*\b', re.IGNORECASE)})
+
+    reception_type_options:dict = field(default_factory=lambda:{'повторный':re.compile(r'\b(повтор|по\s*результат)\S*\b', re.IGNORECASE)})
+    option_patterns_dict: dict = None
+
+    def __post_init__(self):
+        self.option_patterns_dict = {'Место оказания услуги': dict(self.service_location_options),
+                                     'Учёная степень': dict(self.academic_degree_options),
+                                     'Возрастная категория': dict(self.age_options),
+                                     'Вид приёма': dict(self.reception_type_options)}
+