Update app.py
Browse files
app.py
CHANGED
@@ -98,7 +98,7 @@ def train_and_test(dataset_name, configs, split, vocab_size, min_freq, test_text
|
|
98 |
try:
|
99 |
dataset_iterator = create_iterator(dataset_name, configs, split)
|
100 |
|
101 |
-
# Συνδυασμός iterator από
|
102 |
def combined_iterator():
|
103 |
# Δεδομένα από τα streaming datasets
|
104 |
for text in dataset_iterator:
|
@@ -114,9 +114,8 @@ def train_and_test(dataset_name, configs, split, vocab_size, min_freq, test_text
|
|
114 |
except Exception as file_error:
|
115 |
print(f"Σφάλμα ανάγνωσης αρχείου {file_path}: {file_error}")
|
116 |
|
117 |
-
|
118 |
-
|
119 |
-
tokenizer = train_tokenizer(combined_iterator(), vocab_size, min_freq)
|
120 |
|
121 |
# Αποθήκευση και φόρτωση του εκπαιδευμένου tokenizer
|
122 |
with tempfile.NamedTemporaryFile(delete=False, suffix=".json") as f:
|
|
|
98 |
try:
|
99 |
dataset_iterator = create_iterator(dataset_name, configs, split)
|
100 |
|
101 |
+
# Συνδυασμός iterator από τα streaming datasets και τα custom αρχεία
|
102 |
def combined_iterator():
|
103 |
# Δεδομένα από τα streaming datasets
|
104 |
for text in dataset_iterator:
|
|
|
114 |
except Exception as file_error:
|
115 |
print(f"Σφάλμα ανάγνωσης αρχείου {file_path}: {file_error}")
|
116 |
|
117 |
+
# Δημιουργία tokenizer χωρίς progress bar (αφαιρέσαμε το gr.Progress)
|
118 |
+
tokenizer = train_tokenizer(combined_iterator(), vocab_size, min_freq)
|
|
|
119 |
|
120 |
# Αποθήκευση και φόρτωση του εκπαιδευμένου tokenizer
|
121 |
with tempfile.NamedTemporaryFile(delete=False, suffix=".json") as f:
|