Update app.py

app.py

@@ -9,7 +9,8 @@ from datasets import load_dataset
 from train_tokenizer import train_tokenizer
 from tokenizers import Tokenizer
 from langdetect import detect, DetectorFactory
-from PIL import Image  # Προσθήκη για σωστή διαχείριση εικόνας στο Gradio
+from PIL import Image
+from datetime import datetime
 
 # Για επαναληψιμότητα στο langdetect
 DetectorFactory.seed = 0
@@ -23,6 +24,10 @@ MAX_SAMPLES = 3000000  # Όριο δειγμάτων
 # Παγκόσμια μεταβλητή ελέγχου συλλογής
 STOP_COLLECTION = False
 
+# Καταγραφή εκκίνησης
+startup_log = f"===== Application Startup at {datetime.now().strftime('%Y-%m-%d %H:%M:%S')} =====\n"
+print(startup_log)
+
 
 def load_checkpoint():
     """Φόρτωση δεδομένων από το checkpoint αν υπάρχει."""
@@ -53,107 +58,83 @@ def create_iterator(dataset_name, configs, split):
             print(f"⚠️ Σφάλμα φόρτωσης dataset για config {config}: {e}")
 
 
-def analyze_checkpoint(num_samples=1000):
-    """Αναλύει τα πρώτα num_samples δείγματα από το checkpoint και επιστρέφει το ποσοστό γλωσσών."""
-    if not os.path.exists(CHECKPOINT_FILE):
-        return "Το αρχείο checkpoint δεν υπάρχει."
-    
-    with open(CHECKPOINT_FILE, "r", encoding="utf-8") as f:
-        lines = f.read().splitlines()
-    
-    sample_lines = lines[:num_samples] if len(lines) >= num_samples else lines
-    
-    language_counts = {}
-    total = 0
-    for line in sample_lines:
-        try:
-            lang = detect(line)
-            language_counts[lang] = language_counts.get(lang, 0) + 1
-            total += 1
-        except Exception:
-            continue
-    
-    if total == 0:
-        return "Δεν βρέθηκαν έγκυρα δείγματα για ανάλυση."
-    
-    report = "📊 Αποτελέσματα Ανάλυσης:\n"
-    for lang, count in language_counts.items():
-        report += f"  - {lang}: {count / total * 100:.2f}%\n"
-    
-    return report
-
-
 def collect_samples(dataset_name, configs, split, chunk_size):
     """Ξεκινά τη συλλογή δειγμάτων από το dataset."""
     global STOP_COLLECTION
     STOP_COLLECTION = False
     total_processed = len(load_checkpoint())
-    progress_messages = [f"📌 Ξεκινά η συλλογή... Υπάρχουν ήδη {total_processed} δείγματα στο checkpoint."]
-    
+    progress_messages = [f"🚀 Ξεκινά η συλλογή δεδομένων... Υπάρχουν ήδη {total_processed} δείγματα στο checkpoint."]
+
+    print(progress_messages[-1])
+
     dataset_iterator = create_iterator(dataset_name, configs, split)
     new_texts = []
-    
+
     for text in dataset_iterator:
         if STOP_COLLECTION:
             progress_messages.append("⏹️ Η συλλογή σταμάτησε από το χρήστη.")
+            print(progress_messages[-1])
             break
 
         new_texts.append(text)
         total_processed += 1
-        
+
         if len(new_texts) >= chunk_size:
             append_to_checkpoint(new_texts)
             progress_messages.append(f"✅ Αποθηκεύτηκαν {total_processed} δείγματα στο checkpoint.")
+            print(progress_messages[-1])
             new_texts = []
 
         if total_processed >= MAX_SAMPLES:
             progress_messages.append("⚠️ Έφτασε το όριο δειγμάτων.")
+            print(progress_messages[-1])
             break
 
     if new_texts:
         append_to_checkpoint(new_texts)
         progress_messages.append(f"✅ Τελικό batch αποθηκεύτηκε ({total_processed} δείγματα).")
-    
+        print(progress_messages[-1])
+
     return "\n".join(progress_messages)
 
 
 def train_tokenizer_fn(dataset_name, configs, split, vocab_size, min_freq, test_text):
     """Εκπαιδεύει τον tokenizer χρησιμοποιώντας τα δεδομένα του checkpoint."""
-    print("🚀 Ξεκινά η εκπαίδευση...")
+    print("🚀 Ξεκινά η διαδικασία εκπαίδευσης...")
     all_texts = load_checkpoint()
     tokenizer = train_tokenizer(all_texts, vocab_size, min_freq, TOKENIZER_DIR)
 
     # Φόρτωση εκπαιδευμένου tokenizer
     trained_tokenizer = Tokenizer.from_file(TOKENIZER_FILE)
-    
+
     # Δοκιμή
     encoded = trained_tokenizer.encode(test_text)
     decoded = trained_tokenizer.decode(encoded.ids)
-    
+
     # Γράφημα κατανομής tokens
     token_lengths = [len(t) for t in encoded.tokens]
     fig = plt.figure()
     plt.hist(token_lengths, bins=20)
     plt.xlabel('Μήκος Token')
     plt.ylabel('Συχνότητα')
-    
+
     # Αποθήκευση και μετατροπή εικόνας
     img_buffer = BytesIO()
     plt.savefig(img_buffer, format='png')
     plt.close()
 
     img_buffer.seek(0)
-    img = Image.open(img_buffer)  # Επιστροφή σωστής εικόνας
+    img = Image.open(img_buffer)
 
-    return (f"✅ Εκπαίδευση ολοκληρώθηκε!\nΑποθηκεύτηκε στον φάκελο: {TOKENIZER_DIR}",
-            decoded,
-            img)
+    print("✅ Εκπαίδευση ολοκληρώθηκε! Το tokenizer αποθηκεύτηκε στο tokenizer_model.")
+    return ("✅ Εκπαίδευση ολοκληρώθηκε!", decoded, img)
 
 
 def stop_collection():
     """Σταματά τη συλλογή δειγμάτων."""
     global STOP_COLLECTION
     STOP_COLLECTION = True
+    print("⏹️ Η συλλογή σταμάτησε από το χρήστη.")
     return "⏹️ Η συλλογή σταμάτησε από το χρήστη."
 
 
@@ -163,7 +144,8 @@ def restart_collection():
     STOP_COLLECTION = False
     if os.path.exists(CHECKPOINT_FILE):
         os.remove(CHECKPOINT_FILE)
-    return "🔄 Το checkpoint διαγράφηκε. Μπορείς να ξεκινήσεις νέα συλλογή."
+    print("🔄 Το checkpoint διαγράφηκε. Έτοιμο για νέα συλλογή.")
+    return "🔄 Το checkpoint διαγράφηκε. Έτοιμο για νέα συλλογή."
 
 
 # Gradio Interface
@@ -175,14 +157,13 @@ with gr.Blocks() as demo:
             dataset_name = gr.Textbox(value="wikimedia/wikipedia", label="Dataset Name")
             configs = gr.Textbox(value="20231101.el,20231101.en", label="Configs")
             split = gr.Dropdown(choices=["train"], value="train", label="Split")
-            chunk_size = gr.Slider(500, 50000, value=50000, label="Chunk Size")
+            chunk_size = gr.Slider(500, 10000, value=5000, label="Chunk Size")
             vocab_size = gr.Slider(20000, 100000, value=50000, label="Vocabulary Size")
             min_freq = gr.Slider(1, 100, value=3, label="Minimum Frequency")
             test_text = gr.Textbox(value="Η Ακρόπολη είναι σύμβολο της αρχαίας Ελλάδας.", label="Test Text")
             start_btn = gr.Button("Start Collection")
             stop_btn = gr.Button("Stop Collection")
             restart_btn = gr.Button("Restart Collection")
-            analyze_btn = gr.Button("Analyze Samples")
             train_btn = gr.Button("Train Tokenizer")
 
         progress = gr.Textbox(label="Progress", interactive=False, lines=10)
@@ -192,7 +173,6 @@ with gr.Blocks() as demo:
     start_btn.click(collect_samples, [dataset_name, configs, split, chunk_size], progress)
     stop_btn.click(stop_collection, [], progress)
     restart_btn.click(restart_collection, [], progress)
-    analyze_btn.click(analyze_checkpoint, [], progress)
     train_btn.click(train_tokenizer_fn, [dataset_name, configs, split, vocab_size, min_freq, test_text], 
                     [progress, decoded_text, token_distribution])