ogawaal commited on
Commit
83c7586
·
verified ·
1 Parent(s): 173d8f1

Update inference.py

Browse files
Files changed (1) hide show
  1. inference.py +2 -2
inference.py CHANGED
@@ -109,9 +109,9 @@ class SudachiTokenizer:
109
  #アルファベットを小文字に統一
110
  token_list = [t.lower() for t in token_list]
111
  #ひらがなのみの単語を除く
112
- #token_list = [t for t in token_list if not self.kana_re.match(t)]
113
  #ストップワード除去
114
- #token_list = [t for t in token_list if t not in self.stopwords]
115
  return token_list
116
 
117
 
 
109
  #アルファベットを小文字に統一
110
  token_list = [t.lower() for t in token_list]
111
  #ひらがなのみの単語を除く
112
+ token_list = [t for t in token_list if not self.kana_re.match(t)]
113
  #ストップワード除去
114
+ token_list = [t for t in token_list if t not in self.stopwords]
115
  return token_list
116
 
117