Spaces:
Running
Running
change model
Browse files
config.py
CHANGED
@@ -13,8 +13,8 @@ OUTPUT_DIR = os.path.join(BASE_DIR, "outputs")
|
|
13 |
SUBJECT_DATA_FILE = os.path.join(DATA_DIR, "subjectData.csv")
|
14 |
SAMPLE_DATA_FILE = os.path.join(DATA_DIR, "sampleData.csv")
|
15 |
# Model Names
|
16 |
-
MODEL_NAME = "Detomo/cl-nagoya-sup-simcse-ja-for-standard-name-
|
17 |
SENTENCE_EMBEDDING_FILE = os.path.join(
|
18 |
DATA_DIR,
|
19 |
-
"
|
20 |
)
|
|
|
13 |
SUBJECT_DATA_FILE = os.path.join(DATA_DIR, "subjectData.csv")
|
14 |
SAMPLE_DATA_FILE = os.path.join(DATA_DIR, "sampleData.csv")
|
15 |
# Model Names
|
16 |
+
MODEL_NAME = "Detomo/cl-nagoya-sup-simcse-ja-for-standard-name-v0_9_10"
|
17 |
SENTENCE_EMBEDDING_FILE = os.path.join(
|
18 |
DATA_DIR,
|
19 |
+
"anchor_name_sentence_sentence_embeddings(cl-nagoya-sup-simcse-ja-for-standard-name-v0_9_10).pkl",
|
20 |
)
|
data/anchor_name_sentence_sentence_embeddings(cl-nagoya-sup-simcse-ja-for-standard-name-v0_9_10).pkl
ADDED
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
1 |
+
version https://git-lfs.github.com/spec/v1
|
2 |
+
oid sha256:062effa64e2fdd7b5b7253b596d777dea75a892b0b011592657ea51c3861ce62
|
3 |
+
size 21565604
|
data/sampleData.csv
CHANGED
The diff for this file is too large to render.
See raw diff
|
|
data/subjectData.csv
CHANGED
@@ -1,128 +1,146 @@
|
|
1 |
-
|
2 |
-
|
3 |
-
|
4 |
-
|
5 |
-
|
6 |
-
|
7 |
-
|
8 |
-
|
9 |
-
|
10 |
-
|
11 |
-
|
12 |
-
|
13 |
-
|
14 |
-
|
15 |
-
|
16 |
-
|
17 |
-
|
18 |
-
|
19 |
-
|
20 |
-
|
21 |
-
|
22 |
-
|
23 |
-
|
24 |
-
|
25 |
-
|
26 |
-
|
27 |
-
|
28 |
-
|
29 |
-
|
30 |
-
|
31 |
-
|
32 |
-
|
33 |
-
|
34 |
-
|
35 |
-
|
36 |
-
|
37 |
-
|
38 |
-
|
39 |
-
|
40 |
-
|
41 |
-
|
42 |
-
|
43 |
-
|
44 |
-
|
45 |
-
|
46 |
-
|
47 |
-
|
48 |
-
|
49 |
-
|
50 |
-
|
51 |
-
|
52 |
-
|
53 |
-
|
54 |
-
|
55 |
-
|
56 |
-
|
57 |
-
|
58 |
-
|
59 |
-
|
60 |
-
|
61 |
-
|
62 |
-
|
63 |
-
|
64 |
-
|
65 |
-
|
66 |
-
|
67 |
-
|
68 |
-
|
69 |
-
|
70 |
-
|
71 |
-
|
72 |
-
|
73 |
-
|
74 |
-
|
75 |
-
|
76 |
-
|
77 |
-
|
78 |
-
|
79 |
-
|
80 |
-
|
81 |
-
|
82 |
-
|
83 |
-
|
84 |
-
|
85 |
-
|
86 |
-
|
87 |
-
|
88 |
-
|
89 |
-
|
90 |
-
|
91 |
-
|
92 |
-
|
93 |
-
|
94 |
-
|
95 |
-
|
96 |
-
|
97 |
-
|
98 |
-
|
99 |
-
|
100 |
-
|
101 |
-
|
102 |
-
|
103 |
-
|
104 |
-
|
105 |
-
|
106 |
-
|
107 |
-
|
108 |
-
|
109 |
-
|
110 |
-
|
111 |
-
|
112 |
-
|
113 |
-
|
114 |
-
|
115 |
-
|
116 |
-
|
117 |
-
|
118 |
-
|
119 |
-
|
120 |
-
|
121 |
-
|
122 |
-
|
123 |
-
|
124 |
-
|
125 |
-
|
126 |
-
|
127 |
-
|
128 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
科目,標準科目,不要,新規
|
2 |
+
EV,昇降機,必要,新規
|
3 |
+
LPガス設備,グラウンド散水設備,不要,
|
4 |
+
PC緊張,鉄筋,必要,
|
5 |
+
PC合成床板,PC,,
|
6 |
+
エレベーター設備,昇降機,必要,新規
|
7 |
+
カーテンウォール,カーテンウォール,,新規
|
8 |
+
グラウンド散水設備,グラウンド散水設備,不要,
|
9 |
+
コンクリート,コンクリート,,
|
10 |
+
コンクリート工事,コンクリート,,
|
11 |
+
サイン,ユニット及びその他,,
|
12 |
+
その他工作物,その他工作物,,新規
|
13 |
+
その他工事,ユニット及びその他,,
|
14 |
+
タイル,タイル,,
|
15 |
+
タイル工事,タイル,,
|
16 |
+
テレビ共同受信設備,テレビ共同受信設備,不要,
|
17 |
+
とりこわし,とりこわし,不要,
|
18 |
+
ユニット及びその他,ユニット及びその他,,
|
19 |
+
ユニット及びその他工事,ユニット及びその他,,
|
20 |
+
囲障,囲障,,新規
|
21 |
+
囲障工事,囲障,,新規
|
22 |
+
映像・音響設備,映像・音響設備,不要,
|
23 |
+
衛生器具設備,衛生器具設備,不要,
|
24 |
+
屋外排水,屋外排水,不要,
|
25 |
+
屋外排水設備,屋外排水,不要,
|
26 |
+
屋根及びとい,屋根及びとい,,
|
27 |
+
屋根及びとい工事,屋根及びとい,,
|
28 |
+
屋根及び樋,屋根及びとい,,
|
29 |
+
屋上緑��,ユニット及びその他,必要,
|
30 |
+
下請諸経費,下請諸経費,不要,
|
31 |
+
仮設駐輪場・仮設ロータリー整備,仮設駐輪場・仮設ロータリー整備,不要,
|
32 |
+
火災報知設備,火災報知設備,不要,
|
33 |
+
解体,解体,不要,
|
34 |
+
解体工事,解体,不要,
|
35 |
+
改修,改修,不要,
|
36 |
+
外構,構内舗装,,
|
37 |
+
外構解体,外構解体,不要,
|
38 |
+
外構撤去,外構撤去,不要,
|
39 |
+
外装改修,外装改修,不要,
|
40 |
+
外壁改修,外壁改修,不要,
|
41 |
+
拡声設備,拡声設備,不要,
|
42 |
+
換気設備,換気設備,不要,
|
43 |
+
監視カメラ装置,監視カメラ装置,不要,
|
44 |
+
既製コンクリート,既製コンクリート,,
|
45 |
+
既製コンクリート工事,既製コンクリート,,
|
46 |
+
既存杭引抜工事,既存杭引抜,不要,
|
47 |
+
既存杭撤去,既存杭撤去,不要,
|
48 |
+
既存撤去,既存撤去,不要,
|
49 |
+
機械設備,機械設備,不要,
|
50 |
+
給水設備,給水設備,不要,
|
51 |
+
給湯設備,給湯設備,不要,
|
52 |
+
給油施設,給油施設,不要,
|
53 |
+
旧議会庁舎基礎,旧議会庁舎基礎,不要,
|
54 |
+
旧別館基礎,旧別館基礎,不要,
|
55 |
+
共通仮設費,共通仮設費,,
|
56 |
+
金属,金属,,
|
57 |
+
金属工事,金属,,
|
58 |
+
区画工事,区画工事,,
|
59 |
+
躯体改修,躯体改修,不要,
|
60 |
+
空気調和設備,空気調和設備,不要,
|
61 |
+
型枠,型枠,,
|
62 |
+
型枠工事,型枠,,
|
63 |
+
建具,建具,,
|
64 |
+
建具改修,建具改修,不要,
|
65 |
+
建具工事,建具,,
|
66 |
+
建設副産物処理費,建設副産物処理費,不要,
|
67 |
+
建築,鉄筋,,
|
68 |
+
工作物,工作物,,
|
69 |
+
構内交換設備,構内交換設備,不要,
|
70 |
+
構内情報通信網設備,構内情報通信網設備,不要,
|
71 |
+
構内通信線路,構内通信線路,不要,
|
72 |
+
構内配電線路,構内配電線路,不要,
|
73 |
+
構内舗装,構内舗装,,
|
74 |
+
左官,左官,,
|
75 |
+
左官工事,左官,,
|
76 |
+
自動制御設備,自動制御設備,不要,
|
77 |
+
芝張り,植栽工事,必要,
|
78 |
+
車両出入口部水路,車両出入口部水路,不要,
|
79 |
+
受変電設備,受変電設備,不要,
|
80 |
+
樹木,植栽,必要,
|
81 |
+
樹木撤去工事,樹木撤去,不要,
|
82 |
+
小荷物搬送用昇降機,昇降機,必要,新規
|
83 |
+
床輻射空調設備,床輻射空調設備,不要,
|
84 |
+
昇降機,昇降機,必要,新規
|
85 |
+
昇降機設備,昇降機,必要,新規
|
86 |
+
昇降機設備工事,昇降機,必要,新規
|
87 |
+
消火設備,消火設備,不要,
|
88 |
+
上屋工事,附属棟,,
|
89 |
+
情報表示設備,情報表示設備,不要,
|
90 |
+
浄化槽設備,浄化槽設備,不要,
|
91 |
+
植栽,植栽,,
|
92 |
+
植栽工事,植栽,,
|
93 |
+
厨房機器,ユニット及びその他,必要,
|
94 |
+
石,石,,
|
95 |
+
石工事,石,,
|
96 |
+
設備工事解体工事と連絡通路など,設備工事解体工事と連絡通路など,不要,
|
97 |
+
大口径気送管設備,大口径気送管設備,不要,
|
98 |
+
地業,地業,,
|
99 |
+
地業工事,地業,,
|
100 |
+
直接仮設,直接仮設,,
|
101 |
+
直接仮設・仕上,直接仮設・仕上,不要,
|
102 |
+
直接仮設工事,直接仮設,,
|
103 |
+
撤去,撤去,不要,
|
104 |
+
撤去工事,撤去工事,不要,
|
105 |
+
鉄筋,鉄筋,,
|
106 |
+
鉄筋工事,鉄筋,,
|
107 |
+
鉄骨,鉄骨,,
|
108 |
+
鉄骨工事,鉄骨,,
|
109 |
+
電機設備,電機設備,不要,
|
110 |
+
電気設備,電気設備,不要,
|
111 |
+
電灯設備,電灯設備,不要,
|
112 |
+
電熱設備,電熱設備,不要,
|
113 |
+
塗装,塗装,,
|
114 |
+
塗装改修,塗装改修,不要,
|
115 |
+
塗装工事,塗装,,
|
116 |
+
土工,土工,,
|
117 |
+
土工事,土工,,
|
118 |
+
動力設備,動力設備,不要,
|
119 |
+
道路切り下げ,道路切り下げ,,
|
120 |
+
内外装,内外装,,
|
121 |
+
内外装工事,内外装,,
|
122 |
+
内装改修,内装改修,不要,
|
123 |
+
熱中症対策設備,熱中症対策設備,不要,
|
124 |
+
排水,屋外排水,,
|
125 |
+
排水工事,屋外排水,,
|
126 |
+
排水設備,屋外排水,,
|
127 |
+
発生材,発生材,不要,
|
128 |
+
発生材処分,発生材処理,必要,新規
|
129 |
+
発生材処分費,発生材処理,必要,新規
|
130 |
+
発生材処理,発生材処理,必要,新規
|
131 |
+
発生材積込み運搬費,発生材処理,必要,新規
|
132 |
+
発電設備,発電設備,不要,
|
133 |
+
舗装,構内舗装,必要,
|
134 |
+
舗装工事,構内舗装,,
|
135 |
+
防水,防水,,
|
136 |
+
防水改修,防水改修,不要,
|
137 |
+
防水工事,防水,,
|
138 |
+
防犯・入退室管理設備,防犯・入退室管理設備,不要,
|
139 |
+
免震装置,免震,,
|
140 |
+
木,木工,,
|
141 |
+
木工,木工,,
|
142 |
+
木工事,木工,,
|
143 |
+
門,囲障,必要,新規
|
144 |
+
誘導支援設備,誘導支援設備,不要,
|
145 |
+
擁壁工,擁壁工,必要,新規
|
146 |
+
擁壁,擁壁工,必要,新規
|
routes/predict.py
CHANGED
@@ -7,7 +7,7 @@ from fastapi.responses import FileResponse
|
|
7 |
from auth import get_current_user
|
8 |
from services.sentence_transformer_service import SentenceTransformerService, sentence_transformer_service
|
9 |
from data_lib.input_name_data import InputNameData
|
10 |
-
from data_lib.
|
11 |
from mapping_lib.name_mapping_helper import NameMappingHelper
|
12 |
from config import UPLOAD_DIR, OUTPUT_DIR
|
13 |
|
@@ -40,7 +40,7 @@ async def predict(
|
|
40 |
# Process input data
|
41 |
inputData = InputNameData(sentence_service.dic_standard_subject)
|
42 |
inputData.load_data_from_csv(input_file_path)
|
43 |
-
inputData.process_data()
|
44 |
input_name_sentences = inputData.dataframe[COL_NAME_SENTENCE]
|
45 |
input_name_sentence_embeddings = sentence_service.sentenceTransformerHelper.create_embeddings(input_name_sentences)
|
46 |
|
@@ -62,7 +62,7 @@ async def predict(
|
|
62 |
df_predicted = nameMappingHelper.map_standard_names()
|
63 |
|
64 |
# Create output dataframe and save to CSV
|
65 |
-
column_to_keep = ['シート名', '行', '科目', '中科目', '分類', '名称', '摘要', '備考']
|
66 |
output_df = inputData.dataframe[column_to_keep].copy()
|
67 |
output_df.reset_index(drop=False, inplace=True)
|
68 |
output_df.loc[:, "出力_科目"] = df_predicted["出力_科目"]
|
|
|
7 |
from auth import get_current_user
|
8 |
from services.sentence_transformer_service import SentenceTransformerService, sentence_transformer_service
|
9 |
from data_lib.input_name_data import InputNameData
|
10 |
+
from data_lib.base_name_data import COL_NAME_SENTENCE
|
11 |
from mapping_lib.name_mapping_helper import NameMappingHelper
|
12 |
from config import UPLOAD_DIR, OUTPUT_DIR
|
13 |
|
|
|
40 |
# Process input data
|
41 |
inputData = InputNameData(sentence_service.dic_standard_subject)
|
42 |
inputData.load_data_from_csv(input_file_path)
|
43 |
+
inputData.process_data(sentence_service.sentenceTransformerHelper)
|
44 |
input_name_sentences = inputData.dataframe[COL_NAME_SENTENCE]
|
45 |
input_name_sentence_embeddings = sentence_service.sentenceTransformerHelper.create_embeddings(input_name_sentences)
|
46 |
|
|
|
62 |
df_predicted = nameMappingHelper.map_standard_names()
|
63 |
|
64 |
# Create output dataframe and save to CSV
|
65 |
+
column_to_keep = ['ファイル名', 'シート名', '行', '科目', '中科目', '分類', '名称', '摘要', '備考']
|
66 |
output_df = inputData.dataframe[column_to_keep].copy()
|
67 |
output_df.reset_index(drop=False, inplace=True)
|
68 |
output_df.loc[:, "出力_科目"] = df_predicted["出力_科目"]
|