Update app.py

app.py

@@ -37,7 +37,7 @@ def fetch_splits(dataset_name):
 
 def update_components(dataset_name):
     if not dataset_name:
-        return [gr.Dropdown.update(choices=[], value=None), gr.Dropdown.update(choices=[]), gr.HTML.update(value="")]
+        return [gr.Textbox.update(value=""), gr.Dropdown.update(choices=[], value=None), gr.HTML.update(value="")]
     
     try:
         splits_data = fetch_splits(dataset_name)
@@ -53,8 +53,9 @@ def update_components(dataset_name):
         ></iframe>
         """ if first_config else "Δεν βρέθηκαν διαθέσιμα δεδομένα"
         
+        # Επιστρέφουμε ένα νέο πεδίο όπου ο χρήστης μπορεί να εισάγει πολλαπλά configs (π.χ. "20231101.el,20231101.en")
         return [
-            gr.Dropdown.update(choices=config_choices, value=first_config),
+            gr.Textbox.update(value=f"{first_config},20231101.en" if first_config and "el" in first_config else first_config),
             gr.Dropdown.update(choices=splits_data['splits'].get(first_config, [])),
             gr.HTML.update(value=iframe_html)
         ]
@@ -62,38 +63,46 @@ def update_components(dataset_name):
         raise gr.Error(f"Σφάλμα: {str(e)}")
 
 def update_split_choices(dataset_name, config):
+    # Εδώ παραμένει για το πρώτο config (μπορείτε να το τροποποιήσετε αν χρειαστεί)
     if not dataset_name or not config:
         return gr.Dropdown.update(choices=[])
     
     try:
         splits_data = fetch_splits(dataset_name)
-        return gr.Dropdown.update(choices=splits_data['splits'].get(config, []))
+        return gr.Dropdown.update(choices=splits_data['splits'].get(config.split(",")[0].strip(), []))
     except:
         return gr.Dropdown.update(choices=[])
 
-def create_iterator(dataset_name, config, split):
-    try:
-        dataset = load_dataset(
-            dataset_name,
-            name=config,
-            split=split,
-            streaming=True
-        )
-        for example in dataset:
-            yield example.get('text', '')
-    except Exception as e:
-        raise gr.Error(f"Σφάλμα φόρτωσης dataset: {str(e)}")
+def create_iterator(dataset_name, configs, split):
+    """
+    Δέχεται τη μεταβλητή configs ως string με λίστα από config χωρισμένα με κόμμα.
+    Για κάθε config φορτώνει το αντίστοιχο streaming dataset και επιστρέφει τα κείμενα.
+    """
+    configs_list = [c.strip() for c in configs.split(",") if c.strip()]
+    for config in configs_list:
+        try:
+            dataset = load_dataset(
+                dataset_name,
+                name=config,
+                split=split,
+                streaming=True
+            )
+            for example in dataset:
+                text = example.get('text', '')
+                if text:
+                    yield text
+        except Exception as e:
+            print(f"Σφάλμα φόρτωσης dataset για config {config}: {e}")
 
-def train_and_test(dataset_name, config, split, vocab_size, min_freq, test_text, custom_files):
+def train_and_test(dataset_name, configs, split, vocab_size, min_freq, test_text, custom_files):
     try:
-        dataset_iterator = create_iterator(dataset_name, config, split)
+        dataset_iterator = create_iterator(dataset_name, configs, split)
         
         # Συνδυασμός iterator από το streaming dataset και των custom αρχείων
         def combined_iterator():
-            # Δεδομένα από το streaming dataset
+            # Δεδομένα από τα streaming datasets
             for text in dataset_iterator:
-                if text:
-                    yield text
+                yield text
             # Δεδομένα από τα custom αρχεία (αναμένεται λίστα με file paths)
             if custom_files:
                 for file_path in custom_files:
@@ -150,16 +159,17 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
                 value="wikimedia/wikipedia",
                 placeholder="π.χ. 'wikimedia/wikipedia'"
             )
-            config = gr.Dropdown(
-                label="Config (π.χ. '20231101.el' για ελληνικά ή '20231101.en' για αγγλικά)",
-                choices=[],
-                interactive=True
+            # Νέο πεδίο για εισαγωγή πολλαπλών configs ως λίστα, χωρισμένα με κόμμα.
+            configs = gr.Textbox(
+                label="Configs (π.χ. '20231101.el,20231101.en' για ελληνικά και αγγλικά)",
+                value="20231101.el,20231101.en",
+                placeholder="Εισάγετε configs χωρισμένα με κόμμα"
             )
             split = gr.Dropdown(
                 label="Split",
-                choices=[],
+                choices=["train"],
                 value="train",
-                allow_custom_value=True  # Ενεργοποίηση custom τιμών για το split
+                allow_custom_value=True
             )
             vocab_size = gr.Slider(20000, 100000, value=50000, label="Μέγεθος Λεξιλογίου")
             min_freq = gr.Slider(1, 100, value=3, label="Ελάχιστη Συχνότητα")
@@ -170,7 +180,7 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
             custom_files = gr.File(
                 label="Προσαρμοσμένα Ελληνικά Κείμενα",
                 file_count="multiple",
-                type="filepath"  # Χρήση "filepath" αντί για "file"
+                type="filepath"
             )
             train_btn = gr.Button("Εκπαίδευση", variant="primary")
             
@@ -183,18 +193,18 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
     dataset_name.change(
         fn=update_components,
         inputs=dataset_name,
-        outputs=[config, split, preview]
+        outputs=[configs, split, preview]
     )
     
-    config.change(
+    split.change(
         fn=update_split_choices,
-        inputs=[dataset_name, config],
+        inputs=[dataset_name, configs],
         outputs=split
     )
     
     train_btn.click(
         fn=train_and_test,
-        inputs=[dataset_name, config, split, vocab_size, min_freq, test_text, custom_files],
+        inputs=[dataset_name, configs, split, vocab_size, min_freq, test_text, custom_files],
         outputs=[results_json, results_plot]
     )