Spaces:
Sleeping
Sleeping
Update inference.py
Browse files- inference.py +2 -2
inference.py
CHANGED
@@ -109,9 +109,9 @@ class SudachiTokenizer:
|
|
109 |
#アルファベットを小文字に統一
|
110 |
token_list = [t.lower() for t in token_list]
|
111 |
#ひらがなのみの単語を除く
|
112 |
-
|
113 |
#ストップワード除去
|
114 |
-
|
115 |
return token_list
|
116 |
|
117 |
|
|
|
109 |
#アルファベットを小文字に統一
|
110 |
token_list = [t.lower() for t in token_list]
|
111 |
#ひらがなのみの単語を除く
|
112 |
+
token_list = [t for t in token_list if not self.kana_re.match(t)]
|
113 |
#ストップワード除去
|
114 |
+
token_list = [t for t in token_list if t not in self.stopwords]
|
115 |
return token_list
|
116 |
|
117 |
|