Update train_tokenizer.py

train_tokenizer.py

@@ -33,7 +33,7 @@ def train_tokenizer(iterator, vocab_size=32000, min_frequency=2):
     # Εφαρμογή normalization (NFC και αφαίρεση τόνων, αν χρειάζεται)
     tokenizer.normalizer = normalizers.Sequence([
         normalizers.NFC(),
-        normalizers.StripAccents()  # Προαιρετικό: αφαιρεί τόνους
+        #normalizers.StripAccents()  # Προαιρετικό: αφαιρεί τόνους
     ])
     
     # Ορισμός custom pre-tokenizer με χρήση της συνάρτησης που ορίσαμε