vumichien commited on
Commit
840b33e
·
1 Parent(s): 074427e

change model

Browse files
config.py CHANGED
@@ -13,8 +13,8 @@ OUTPUT_DIR = os.path.join(BASE_DIR, "outputs")
13
  SUBJECT_DATA_FILE = os.path.join(DATA_DIR, "subjectData.csv")
14
  SAMPLE_DATA_FILE = os.path.join(DATA_DIR, "sampleData.csv")
15
  # Model Names
16
- MODEL_NAME = "Detomo/cl-nagoya-sup-simcse-ja-for-standard-name-v1_0"
17
  SENTENCE_EMBEDDING_FILE = os.path.join(
18
  DATA_DIR,
19
- "sample_representative_name_sentence_embeddings(cl-nagoya-sup-simcse-ja-for-standard-name-v1_0).pkl",
20
  )
 
13
  SUBJECT_DATA_FILE = os.path.join(DATA_DIR, "subjectData.csv")
14
  SAMPLE_DATA_FILE = os.path.join(DATA_DIR, "sampleData.csv")
15
  # Model Names
16
+ MODEL_NAME = "Detomo/cl-nagoya-sup-simcse-ja-for-standard-name-v0_9_10"
17
  SENTENCE_EMBEDDING_FILE = os.path.join(
18
  DATA_DIR,
19
+ "anchor_name_sentence_sentence_embeddings(cl-nagoya-sup-simcse-ja-for-standard-name-v0_9_10).pkl",
20
  )
data/anchor_name_sentence_sentence_embeddings(cl-nagoya-sup-simcse-ja-for-standard-name-v0_9_10).pkl ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:062effa64e2fdd7b5b7253b596d777dea75a892b0b011592657ea51c3861ce62
3
+ size 21565604
data/sampleData.csv CHANGED
The diff for this file is too large to render. See raw diff
 
data/subjectData.csv CHANGED
@@ -1,128 +1,146 @@
1
- 科目,正解の科目
2
- 共通仮設費,共通仮設費
3
- 直接仮設,直接仮設
4
- 土工,土工
5
- 地業,地業
6
- 鉄筋,鉄筋
7
- コンクリート,コンクリート
8
- 型枠,型枠
9
- 鉄骨,鉄骨
10
- 既製コンクリート,既製コンクリート
11
- 防水,防水
12
- 木工,木工
13
- 屋根及びとい,屋根及びとい
14
- 金属,金属
15
- 左官,左官
16
- 建具,建具
17
- ガラス,建具
18
- 塗装,塗装
19
- 内外装,内外装
20
- ユニット及びその他,ユニット及びその他
21
- 追加反映事項,ユニット及びその他
22
- 石,石
23
- タイル,タイル
24
- 金属製建具,建具
25
- 木製建具,建具
26
- ユニット及びとい,ユニット及びその他
27
- 囲障,囲障
28
- 構内舗装,構内舗装
29
- 屋外排水,屋外排水
30
- 植栽,植栽
31
- その他工作物,その他工作物
32
- 擁壁工,擁壁工
33
- 歩道切り下げ,構内舗装
34
- 発生材処分,発生材処理
35
- 躯体解体,とりこわし
36
- 仕上撤去,とりこわし
37
- 幹線設備,とりこわし
38
- 発生剤処理,とりこわし
39
- 撤去工事,とりこわし
40
- 発生材処理,発生材処理
41
- 外構解体,とりこわし
42
- 昇降機,昇降機
43
- 既存公会堂地下躯体解体撤去,とりこわし
44
- 管理室解体撤去,とりこわし
45
- 舗装他解体撤去,とりこわし
46
- コンクリート,コンクリート
47
- 免震,免震
48
- 既製コンクリート,既製コンクリート
49
- タイル,タイル
50
- ユニット及びその他,ユニット及びその他
51
- 屋外,屋外排水
52
- 歩道部撤去改修,構内舗装
53
- 新本庁舎昇降機工事,昇降機
54
- 尾道市役所解体撤去(K-1),とりこわし
55
- 発電設備解体撤去(K-2),とりこわし
56
- 便所解体撤去(K-3),とりこわし
57
- 駐輪場解体撤去(K-4),とりこわし
58
- 駐輪場解体撤去(K-5),とりこわし
59
- 舗装他解体撤去(G),とりこわし
60
- アスベスト調査、処分費,とりこわし
61
- 機器、器具設備,機械設備
62
- 配管設備,機械設備
63
- 電気設備工事,電気設備
64
- 電気設備,電気設備
65
- 思いやり駐車場庇,附属棟
66
- 車寄せ庇,附属棟
67
- 直接仮設工事,直接仮設
68
- 土工事,土工
69
- 地業工事,地業
70
- 鉄筋工事,鉄筋
71
- コンクリート工事,コンクリート
72
- 型枠工事,型枠
73
- 鉄骨工事,鉄骨
74
- 既製コンクリート工事,既製コンクリート
75
- 防水工事,防水
76
- タイル工事,タイル
77
- 屋根及びとい工事,屋根及びとい
78
- 金属工事,金属
79
- 左官工事,左官
80
- 建具工事,建具
81
- カーテンウォール,カーテンウォール
82
- 塗装工事,塗装
83
- 内外装工事,内外装
84
- ユニット及びその他工事,ユニット及びその他
85
- 建設副産物処理費,とりこわし
86
- 木工事,木工
87
- 1ユニット及びその他工事,ユニット及びその他
88
- 1内外装工事,内外装
89
- 排水,屋外排水
90
- 石工事,石
91
- 解体工事,とりこわし
92
- 木,木工
93
- 屋根及び樋,屋根及びとい
94
- サイン,ユニット及びその他
95
- 改修,改修
96
- 大口径気送管設備,機械設備
97
- 小荷物搬送用昇降機,昇降機
98
- 下請諸経費,諸経費
99
- 舗装工事,構内舗装
100
- 囲障工事,囲障
101
- 排水工事,屋外排水
102
- 植栽工事,植栽
103
- その他工事,ユニット及びその他
104
- 撤去,とりこわし
105
- 躯体改修,改修
106
- 外壁改修,改修
107
- 建具改修,改修
108
- 内装改修,改修
109
- 塗装改修,改修
110
- 発生材,とりこわし
111
- 防水改修,改修
112
- 解体,とりこわし
113
- 電機設備,電気設備
114
- 機械設備,機械設備
115
- エレベーター設備,昇降機
116
- 免震装置,免震
117
- 区画工事,
118
- 樹木撤去工事,とりこわし
119
- 既存杭撤去,とりこわし
120
- 昇降機設備,昇降機
121
- とりこわし,とりこわし
122
- PC合成床板,PC
123
- 外構,構内舗装
124
- 旧別館基礎,とりこわし
125
- 旧議会庁舎基礎,とりこわし
126
- 建築,鉄筋
127
- 上屋工事,附属棟
128
- 設備工事解体工事と連絡通路など,とりこわし
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ 科目,標準科目,不要,新規
2
+ EV,昇降機,必要,新規
3
+ LPガス設備,グラウンド散水設備,不要,
4
+ PC緊張,鉄筋,必要,
5
+ PC合成床板,PC,,
6
+ エレベーター設備,昇降機,必要,新規
7
+ カーテンウォール,カーテンウォール,,新規
8
+ グラウンド散水設備,グラウンド散水設備,不要,
9
+ コンクリート,コンクリート,,
10
+ コンクリート工事,コンクリート,,
11
+ サイン,ユニット及びその他,,
12
+ その他工作物,その他工作物,,新規
13
+ その他工事,ユニット及びその他,,
14
+ タイル,タイル,,
15
+ タイル工事,タイル,,
16
+ テレビ共同受信設備,テレビ共同受信設備,不要,
17
+ とりこわし,とりこわし,不要,
18
+ ユニット及びその他,ユニット及びその他,,
19
+ ユニット及びその他工事,ユニット及びその他,,
20
+ 囲障,囲障,,新規
21
+ 囲障工事,囲障,,新規
22
+ 映像・音響設備,映像・音響設備,不要,
23
+ 衛生器具設備,衛生器具設備,不要,
24
+ 屋外排水,屋外排水,不要,
25
+ 屋外排水設備,屋外排水,不要,
26
+ 屋根及びとい,屋根及びとい,,
27
+ 屋根及びとい工事,屋根及びとい,,
28
+ 屋根及び樋,屋根及びとい,,
29
+ 屋上緑��,ユニット及びその他,必要,
30
+ 下請諸経費,下請諸経費,不要,
31
+ 仮設駐輪場・仮設ロータリー整備,仮設駐輪場・仮設ロータリー整備,不要,
32
+ 火災報知設備,火災報知設備,不要,
33
+ 解体,解体,不要,
34
+ 解体工事,解体,不要,
35
+ 改修,改修,不要,
36
+ 外構,構内舗装,,
37
+ 外構解体,外構解体,不要,
38
+ 外構撤去,外構撤去,不要,
39
+ 外装改修,外装改修,不要,
40
+ 外壁改修,外壁改修,不要,
41
+ 拡声設備,拡声設備,不要,
42
+ 換気設備,換気設備,不要,
43
+ 監視カメラ装置,監視カメラ装置,不要,
44
+ 既製コンクリート,既製コンクリート,,
45
+ 既製コンクリート工事,既製コンクリート,,
46
+ 既存杭引抜工事,既存杭引抜,不要,
47
+ 既存杭撤去,既存杭撤去,不要,
48
+ 既存撤去,既存撤去,不要,
49
+ 機械設備,機械設備,不要,
50
+ 給水設備,給水設備,不要,
51
+ 給湯設備,給湯設備,不要,
52
+ 給油施設,給油施設,不要,
53
+ 旧議会庁舎基礎,旧議会庁舎基礎,不要,
54
+ 旧別館基礎,旧別館基礎,不要,
55
+ 共通仮設費,共通仮設費,,
56
+ 金属,金属,,
57
+ 金属工事,金属,,
58
+ 区画工事,区画工事,,
59
+ 躯体改修,躯体改修,不要,
60
+ 空気調和設備,空気調和設備,不要,
61
+ 型枠,型枠,,
62
+ 型枠工事,型枠,,
63
+ 建具,建具,,
64
+ 建具改修,建具改修,不要,
65
+ 建具工事,建具,,
66
+ 建設副産物処理費,建設副産物処理費,不要,
67
+ 建築,鉄筋,,
68
+ 工作物,工作物,,
69
+ 構内交換設備,構内交換設備,不要,
70
+ 構内情報通信網設備,構内情報通信網設備,不要,
71
+ 構内通信線路,構内通信線路,不要,
72
+ 構内配電線路,構内配電線路,不要,
73
+ 構内舗装,構内舗装,,
74
+ 左官,左官,,
75
+ 左官工事,左官,,
76
+ 自動制御設備,自動制御設備,不要,
77
+ 芝張り,植栽工事,必要,
78
+ 車両出入口部水路,車両出入口部水路,不要,
79
+ 受変電設備,受変電設備,不要,
80
+ 樹木,植栽,必要,
81
+ 樹木撤去工事,樹木撤去,不要,
82
+ 小荷物搬送用昇降機,昇降機,必要,新規
83
+ 床輻射空調設備,床輻射空調設備,不要,
84
+ 昇降機,昇降機,必要,新規
85
+ 昇降機設備,昇降機,必要,新規
86
+ 昇降機設備工事,昇降機,必要,新規
87
+ 消火設備,消火設備,不要,
88
+ 上屋工事,附属棟,,
89
+ 情報表示設備,情報表示設備,不要,
90
+ 浄化槽設備,浄化槽設備,不要,
91
+ 植栽,植栽,,
92
+ 植栽工事,植栽,,
93
+ 厨房機器,ユニット及びその他,必要,
94
+ 石,石,,
95
+ 石工事,石,,
96
+ 設備工事解体工事と連絡通路など,設備工事解体工事と連絡通路など,不要,
97
+ 大口径気送管設備,大口径気送管設備,不要,
98
+ 地業,地業,,
99
+ 地業工事,地業,,
100
+ 直接仮設,直接仮設,,
101
+ 直接仮設・仕上,直接仮設・仕上,不要,
102
+ 直接仮設工事,直接仮設,,
103
+ 撤去,撤去,不要,
104
+ 撤去工事,撤去工事,不要,
105
+ 鉄筋,鉄筋,,
106
+ 鉄筋工事,鉄筋,,
107
+ 鉄骨,鉄骨,,
108
+ 鉄骨工事,鉄骨,,
109
+ 電機設備,電機設備,不要,
110
+ 電気設備,電気設備,不要,
111
+ 電灯設備,電灯設備,不要,
112
+ 電熱設備,電熱設備,不要,
113
+ 塗装,塗装,,
114
+ 塗装改修,塗装改修,不要,
115
+ 塗装工事,塗装,,
116
+ 土工,土工,,
117
+ 土工事,土工,,
118
+ 動力設備,動力設備,不要,
119
+ 道路切り下げ,道路切り下げ,,
120
+ 内外装,内外装,,
121
+ 内外装工事,内外装,,
122
+ 内装改修,内装改修,不要,
123
+ 熱中症対策設備,熱中症対策設備,不要,
124
+ 排水,屋外排水,,
125
+ 排水工事,屋外排水,,
126
+ 排水設備,屋外排水,,
127
+ 発生材,発生材,不要,
128
+ 発生材処分,発生材処理,必要,新規
129
+ 発生材処分費,発生材処理,必要,新規
130
+ 発生材処理,発生材処理,必要,新規
131
+ 発生材積込み運搬費,発生材処理,必要,新規
132
+ 発電設備,発電設備,不要,
133
+ 舗装,構内舗装,必要,
134
+ 舗装工事,構内舗装,,
135
+ 防水,防水,,
136
+ 防水改修,防水改修,不要,
137
+ 防水工事,防水,,
138
+ 防犯・入退室管理設備,防犯・入退室管理設備,不要,
139
+ 免震装置,免震,,
140
+ 木,木工,,
141
+ 木工,木工,,
142
+ 木工事,木工,,
143
+ 門,囲障,必要,新規
144
+ 誘導支援設備,誘導支援設備,不要,
145
+ 擁壁工,擁壁工,必要,新規
146
+ 擁壁,擁壁工,必要,新規
routes/predict.py CHANGED
@@ -7,7 +7,7 @@ from fastapi.responses import FileResponse
7
  from auth import get_current_user
8
  from services.sentence_transformer_service import SentenceTransformerService, sentence_transformer_service
9
  from data_lib.input_name_data import InputNameData
10
- from data_lib.base_data import COL_NAME_SENTENCE
11
  from mapping_lib.name_mapping_helper import NameMappingHelper
12
  from config import UPLOAD_DIR, OUTPUT_DIR
13
 
@@ -40,7 +40,7 @@ async def predict(
40
  # Process input data
41
  inputData = InputNameData(sentence_service.dic_standard_subject)
42
  inputData.load_data_from_csv(input_file_path)
43
- inputData.process_data()
44
  input_name_sentences = inputData.dataframe[COL_NAME_SENTENCE]
45
  input_name_sentence_embeddings = sentence_service.sentenceTransformerHelper.create_embeddings(input_name_sentences)
46
 
@@ -62,7 +62,7 @@ async def predict(
62
  df_predicted = nameMappingHelper.map_standard_names()
63
 
64
  # Create output dataframe and save to CSV
65
- column_to_keep = ['シート名', '行', '科目', '中科目', '分類', '名称', '摘要', '備考']
66
  output_df = inputData.dataframe[column_to_keep].copy()
67
  output_df.reset_index(drop=False, inplace=True)
68
  output_df.loc[:, "出力_科目"] = df_predicted["出力_科目"]
 
7
  from auth import get_current_user
8
  from services.sentence_transformer_service import SentenceTransformerService, sentence_transformer_service
9
  from data_lib.input_name_data import InputNameData
10
+ from data_lib.base_name_data import COL_NAME_SENTENCE
11
  from mapping_lib.name_mapping_helper import NameMappingHelper
12
  from config import UPLOAD_DIR, OUTPUT_DIR
13
 
 
40
  # Process input data
41
  inputData = InputNameData(sentence_service.dic_standard_subject)
42
  inputData.load_data_from_csv(input_file_path)
43
+ inputData.process_data(sentence_service.sentenceTransformerHelper)
44
  input_name_sentences = inputData.dataframe[COL_NAME_SENTENCE]
45
  input_name_sentence_embeddings = sentence_service.sentenceTransformerHelper.create_embeddings(input_name_sentences)
46
 
 
62
  df_predicted = nameMappingHelper.map_standard_names()
63
 
64
  # Create output dataframe and save to CSV
65
+ column_to_keep = ['ファイル名', 'シート名', '行', '科目', '中科目', '分類', '名称', '摘要', '備考']
66
  output_df = inputData.dataframe[column_to_keep].copy()
67
  output_df.reset_index(drop=False, inplace=True)
68
  output_df.loc[:, "出力_科目"] = df_predicted["出力_科目"]