Update train_tokenizer.py

train_tokenizer.py

@@ -1,22 +1,21 @@
+# -*- coding: utf-8 -*-
 from tokenizers import Tokenizer, decoders, models, normalizers, pre_tokenizers, trainers
 
 def train_tokenizer(iterator, vocab_size=50000, min_frequency=3):
+    # Δημιουργία του Tokenizer με μοντέλο BPE και ορισμό token για άγνωστα
     tokenizer = Tokenizer(models.BPE(unk_token="<unk>"))
     
-    # Normalization για ελληνικά και unicode
-    tokenizer.normalizer = normalizers.Sequence([
-        normalizers.NFC(),
-        normalizers.StripAccents()
-    ])
+    # Normalization για ελληνικά και Unicode (διατηρεί τους τόνους)
+    tokenizer.normalizer = normalizers.NFC()
     
-    # Προχωρημένος pre-tokenizer για μικτά κείμενα
+    # Προ-tokenizer για μικτά κείμενα (ελληνικά και αγγλικά)
     tokenizer.pre_tokenizer = pre_tokenizers.Sequence([
         pre_tokenizers.WhitespaceSplit(),
         pre_tokenizers.Punctuation(),
         pre_tokenizers.Digits(individual_digits=True)
     ])
     
-    # Ειδικά tokens για ιστορικά κείμενα
+    # Ορισμός ειδικών tokens (π.χ. για ιστορικά κείμενα)
     trainer = trainers.BpeTrainer(
         vocab_size=vocab_size,
         min_frequency=min_frequency,