tymbos commited on
Commit
f2ec199
·
verified ·
1 Parent(s): a9ae246

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +3 -4
app.py CHANGED
@@ -98,7 +98,7 @@ def train_and_test(dataset_name, configs, split, vocab_size, min_freq, test_text
98
  try:
99
  dataset_iterator = create_iterator(dataset_name, configs, split)
100
 
101
- # Συνδυασμός iterator από το streaming dataset και των custom αρχείων
102
  def combined_iterator():
103
  # Δεδομένα από τα streaming datasets
104
  for text in dataset_iterator:
@@ -114,9 +114,8 @@ def train_and_test(dataset_name, configs, split, vocab_size, min_freq, test_text
114
  except Exception as file_error:
115
  print(f"Σφάλμα ανάγνωσης αρχείου {file_path}: {file_error}")
116
 
117
- with gr.Progress() as progress:
118
- progress(0.2, desc="Δημιουργία tokenizer...")
119
- tokenizer = train_tokenizer(combined_iterator(), vocab_size, min_freq)
120
 
121
  # Αποθήκευση και φόρτωση του εκπαιδευμένου tokenizer
122
  with tempfile.NamedTemporaryFile(delete=False, suffix=".json") as f:
 
98
  try:
99
  dataset_iterator = create_iterator(dataset_name, configs, split)
100
 
101
+ # Συνδυασμός iterator από τα streaming datasets και τα custom αρχεία
102
  def combined_iterator():
103
  # Δεδομένα από τα streaming datasets
104
  for text in dataset_iterator:
 
114
  except Exception as file_error:
115
  print(f"Σφάλμα ανάγνωσης αρχείου {file_path}: {file_error}")
116
 
117
+ # Δημιουργία tokenizer χωρίς progress bar (αφαιρέσαμε το gr.Progress)
118
+ tokenizer = train_tokenizer(combined_iterator(), vocab_size, min_freq)
 
119
 
120
  # Αποθήκευση και φόρτωση του εκπαιδευμένου tokenizer
121
  with tempfile.NamedTemporaryFile(delete=False, suffix=".json") as f: