Update train_tokenizer.py

train_tokenizer.py

@@ -2,6 +2,9 @@
 from tokenizers import Tokenizer, decoders, models, normalizers, pre_tokenizers, trainers
 
 def train_tokenizer(iterator, vocab_size=50000, min_frequency=3):
+    """
+    Εκπαιδεύει έναν Tokenizer τύπου BPE πάνω σε δεδομένα που παρέχονται από τον iterator.
+    """
     # Δημιουργία του Tokenizer με μοντέλο BPE και ορισμό token για άγνωστα
     tokenizer = Tokenizer(models.BPE(unk_token="<unk>"))