src/nlp/experimental/textclassification/classify_title.py

import pickle

from classy_classification import ClassyClassifier

train_data ={
      "Veranstaltungstitel": [
          "Vereinshüttenbelegung",
          "PIANOKLÄNGE & Herzgeschichten",
          "Finissage der Ausstellung Bartmann, Bier und Tafelzier.",
          "Ein Abend voller Jazz und Emotionen.",
        "Was bleibt von der Kunst? Eine Diskussionsrunde.",
        "Lichter und Schatten – Ein Spaziergang durch die moderne Fotografie.",
        "Kunst trifft Wissenschaft: Neue Perspektiven auf das Unsichtbare.",
        "Von der Leinwand ins Herz – Eine Hommage an die Stille.",
        "Hier spielt die Musik – Überraschungskonzert am Seeufer.",
        "Wenn Worte tanzen – Poetische Lesung mit musikalischer Begleitung.",
        "100 Jahre Bauhaus – Eine Zeitreise in die Architektur.",
        "Auf den Spuren großer Denker: Eine philosophische Nachtwanderung.",
        "Was hat Goethe mit KI zu tun? Eine interaktive Lesung.",
        "Alte Meister neu entdeckt – Sonderführung durch die Gemäldegalerie.",
        "Die Welt in Blau: Picasso und die Farbe der Melancholie.",
        "Rätsel der Vergangenheit – Archäologische Funde im Dialog.",
        "Verborgene Stimmen – Frauen in der Literatur des 19. Jahrhunderts.",
        "Ohne Titel – Eine Ausstellung über das Unaussprechliche.",
        "Hört, hört! – Die vergessene Kunst des Zuhörens.",
        "Überraschung! – Ein Theaterspektakel ohne Drehbuch.",
        "Von Wurzeln und Flügeln – Geschichten über Heimat und Aufbruch.",
        "Zwischen Himmel und Erde – Ein Abend über Träume und Realität.",
        "Der Duft der Erinnerungen – Ein sensorischer Kunstworkshop.",
        "Eine Stadt, tausend Geschichten – Literarischer Rundgang durch die Altstadt.",
        "Die Kunst des Wartens – Ein philosophischer Filmabend.",
        "Warum lachen wir? – Eine Reise durch die Geschichte des Humors.",
        "Jenseits des Sichtbaren – Eine immersive Kunsterfahrung.",
        "Von Mythen und Maschinen – Eine Ausstellung zur Zukunft der Menschheit.",
        "Farbe bekennen – Ein Abend mit kontroversen Kunstwerken.",
        "Märchenhaft und magisch – Eine Nacht im Museum.",
        "Lass los und flieg – Kreativer Schreibworkshop unter freiem Himmel.",
          "Eröffnung der Kunstausstellung 'Moderne Perspektiven'.",
          "Lesung mit Autorin Julia Meyer: 'Die Schatten der Stadt'.",
          "Live-Konzert: Jazz Night mit der Blue Note Band.",
          "Theateraufführung: 'Hamlet' – Inszenierung des Stadttheaters.",
          "Vortrag: Die Zukunft der künstlichen Intelligenz.",
          "Poetry Slam: Junge Talente auf der Bühne.",
          "Filmvorführung: 'Klassiker des deutschen Kinos'.",
          "Buchvorstellung: 'Reise ins Unbekannte' mit Signierstunde.",
          "Workshop: Kreatives Schreiben mit Bestsellerautor Max Fischer.",
          "Podiumsdiskussion: Nachhaltigkeit in der Modeindustrie.",
          "Kinderlesung: Märchenstunde mit Illustrationen.",
          "Festivaleröffnung: 'Musiksommer am See'.",
          "Sonderausstellung: 'Leonardo da Vinci – Visionär der Zukunft'.",
          "Stadtführung: 'Historisches Hannover – ein Rundgang'.",
          "EIN ABEND VOLLER MAGIE",
          "Was bleibt von der Kunst?",
          "Dunkel war’s, der Mond schien helle – Eine Nacht der Poesie",
          "L I C H T",
          "Wenn Wände sprechen könnten...",
          "Und dann? – Eine Ausstellung über das Ungewisse",
          "Spürst du das? – Eine interaktive Klanginstallation",
          "FOTOGRAFIEN AUS EINER ANDEREN WELT",
          "Die Kunst der Stille.",
          "ALLES ODER NICHTS?",
          "Ein Wort, ein Bild, ein Gefühl.",
          "STIMMEN AUS DER VERGANGENHEIT",
          "Von Farben und Formen – Ein kreativer Workshop",
          "Heute hier, morgen dort – Die Kunst des Reisens",
          "Utopien leben – Eine Diskussionsrunde",
          "VERBORGENE RÄUME – Führung durch die Unterwelt der Stadt",
          "Wir sind alle nur Gäste auf dieser Welt.",
          "Plötzlich war es ganz anders...",
          "Blickwinkel – Fotografie neu gedacht",
          "LANGE NACHT DER GEDANKEN",
          "Von Mythen und Maschinen",
          "Eine Tasse Tee mit Kant – Philosophie für Neugierige",
          "ROT.",
          "Ich sehe was, was du nicht siehst...",
          "Noch einmal Kind sein – Ein Erlebnistag für Erwachsene",
          "KUNST ODER CHAOS?",
          "Zwischen Himmel und Asphalt",
          "Das Geräusch von Farbe – Ein multisensorischer Abend",
          "EIN TAG, EIN BUCH, EIN MOMENT",
          "Die Straße als Leinwand",
          "DAS, WAS BLEIBT.",
"Lichtspiele",
    "Alles neu",
    "Hör gut zu",
    "Klangwelten",
    "Unendlich",
    "Jetzt!",
    "Wir träumen",
    "Farbe bekennen",
    "Neuland",
    "Letzte Chance",
    "Loslassen",
    "Ganz still",
    "Ohne Worte",
    "Zwischenräume",
    "Dunkel & Hell",
    "Augenblick",
    "Ungehört",
    "Frei denken",
    "Flüstern",
    "Verborgene Türen",
    "Auf Anfang",
    "Blickwechsel",
    "Lebenszeichen",
    "Jetzt oder nie",
    "Noch einmal",
    "Endlich da",
    "Schattenseiten",
    "Wir sehen uns",
    "Und dann?",
    "Vorbei",
    "Dazwischen",
    "Tanz!",
    "Kunst passiert",
    "ATEMLOS",
    "Zusammen",
    "Staunen",
    "Hier & Jetzt",
    "Luft & Liebe",
"Coldplay",
    "Rammstein",
    "The Rolling Stones",
    "Depeche Mode",
    "Taylor Swift",
    "Metallica",
    "Kraftwerk",
    "Billie Eilish",
    "U2",
    "Hans Zimmer",
    "Lana Del Rey",
    "The Weeknd",
    "AC/DC",
    "Nirvana",
    "Madonna",
    "Foo Fighters",
    "Ed Sheeran",
    "The Beatles",
    "Sting",
    "Falco",
    "Prince",
    "Harry Styles",
    "David Bowie",
    "Björk",
    "Elvis Presley",
    "Mozart",
    "Schiller",
    "Kendrick Lamar",
    "Janis Joplin",
    "Helene Fischer",
    "Die Toten Hosen",
    "Die Ärzte",
    "ABBA",
    "Hans Albers",
    "Andrew Lloyd Webber",
    "Netsky",
    "Woodkid",
    "Arctic Monkeys",
    "The Cure",
    "Muse",
    "Radiohead",
    "Red Hot Chili Peppers",
    "Eminem",
    "Drake",
    "The Chainsmokers",
    "Linkin Park",
    "Twenty One Pilots",
    "Imagine Dragons",
    "The National",
    "Post Malone",
    "Bruce Springsteen",
    "Tame Impala",
    "Paul Kalkbrenner",
    "Bon Iver",
    "Florence + The Machine",
    "SIA",
    "Macklemore",
    "Diplo",
    "Daft Punk",
    "Rihanna",
    "Beyoncé",
    "Shakira",
    "Lady Gaga",
    "Adele",
    "Dua Lipa",
    "The Killers",
    "System of a Down",
    "Green Day",
    "The Smashing Pumpkins",
    "Fleetwood Mac",
    "Genesis",
    "The Black Keys",
    "Deep Purple",
    "Toto",
    "Johnny Cash",
    "Bob Dylan",
    "Led Zeppelin",
    "The Who",
    "Pink Floyd",
    "Mötley Crüe",
    "Bon Jovi",
    "Eric Clapton",
    "Santana",
    "Cher",
    "Meat Loaf",
    "Rod Stewart",
    "Aerosmith",
    "Slipknot",
    "Evanescence",
    "Paramore",
    "Blink-182",
    "No Doubt",
    "Sum 41",
    "Avril Lavigne",
    "Nightwish",
    "Within Temptation",
    "Eisbrecher",
    "ASP",
    "Subway to Sally",
    "Saltatio Mortis"
      ],
    "Abschnittstitel":[
        "Veranstaltungen",
        "Ort",
        "Parken",
        "Anreise",
        "Programm",
        "Öffnungszeiten",
        "Hygieneregeln",
        "Informationen",
        "Kontakt",
        "Anmeldung",
        "Preise",
        "Tickets",
        "Reservierung",
        "Über die Ausstellung",
        "Teilnahmebedingungen",
        "Anfahrt",
        "Besucherhinweise",
        "Historie",
        "Über uns",
        "Gastronomie",
        "FAQ",
        "Dauer",
        "Termine",
        "Adresse",
        "Eintritt",
        "Häufige Fragen",
        "Sponsoren",
# Allgemeine Abschnitte
    "Inhalt",
    "Beschreibung",
    "Details",
    "Hintergrund",
    "Einführung",
    "Über die Veranstaltung",
    "Das erwartet Sie",
    "Highlights",
    "Programmübersicht",
    "Tagesordnung",
    "Ablauf",
    "Line-up",
    "Agenda",
    "Redner & Gäste",
    "Informationen",
    "Weitere Infos",
    "Sonstiges",

    # Zeit & Ort
    "Wann & Wo",
    "Zeitplan",
    "Veranstaltungsort",
    "Location",
    "Adresse & Anfahrt",
    "Google Maps",
    "ÖPNV-Anbindung",
    "Barrierefreiheit",
    "Wegbeschreibung",
    "Anfahrtsmöglichkeiten",
    "Parkmöglichkeiten",
    "Parkhäuser & Kosten",
    "Shuttle-Service",

    # Tickets & Anmeldung
    "Teilnahme",
    "Wie anmelden?",
    "Reservierung",
    "Anmeldeformular",
    "Jetzt anmelden",
    "Ticketverkauf",
    "Karten & Preise",
    "Freier Eintritt?",
    "Rabatte & Ermäßigungen",
    "Frühbucherrabatt",
    "Zahlungsmöglichkeiten",

    # Zusätzliche Infos
    "Häufige Fragen (FAQ)",
    "Wichtige Hinweise",
    "Gut zu wissen",
    "Sicherheitshinweise",
    "Verhaltensregeln",
    "Hausordnung",
    "Corona-Regeln",
    "Hygienekonzept",
    "Notfallnummern",
    "Fundsachen",

    # Specials & Extras
    "Verpflegung",
    "Speisen & Getränke",
    "Gastronomie",
    "Catering",
    "Foodtrucks",
    "Interaktive Angebote",
    "Kinderprogramm",
    "Familienfreundlich?",

    # Sponsoren & Organisation
    "Über uns",
    "Wer wir sind",
    "Veranstalter",
    "Kooperationspartner",
    "Unterstützt von",
    "Sponsoren",
    "Medienpartner",
    "Presse",
    "Pressekontakt",
    "Social Media",

    # Rechtliches
    "Teilnahmebedingungen",
    "AGB",
    "Widerruf",
    "Impressum",
    "Datenschutz",
    "Foto- & Videoaufnahmen",
    "Rechtliche Hinweise"
    ]
}

test_data = {
    "Veranstaltungstitel": [
        "Feuer & Flamme – Eine Nacht voller Überraschungen",
        "Jetzt oder nie!",
        "Die vergessenen Töne",
        "Warum nicht? Ein philosophischer Abend",
        "Von Wundern und Wirklichkeit",
        "Erzähl mir eine Geschichte...",
        "Unter Strom – Eine Licht- und Soundinstallation",
        "HORIZONTE ERWEITERN",
        "Zuhören, Staunen, Lachen",
        "Ein Blick genügt.",
        "Schatten der Vergangenheit – Eine Spurensuche",
        "ALLES MUSS RAUS!",
        "Und plötzlich war alles anders.",
        "DAS ENDE ODER EIN NEUER ANFANG?",
        "Ein Moment für die Ewigkeit",
        "Die Farbe der Nacht",
        "Flüstern & Rauschen",
        "GRENZENLOS",
        "Was, wenn…?",
        "Sonderführung: Das Unsichtbare sichtbar machen",
        "Tanz der Elemente",
        "Magie des Augenblicks",
        "DIE ZEIT STEHT STILL",
        "Bühne frei! – Eine Nacht voller Geschichten",
        "Letzte Runde – Abschiedskonzert der Moonlight Band",
        "Reise in eine andere Welt",
        "Heute schon gestaunt?",
        "Ungehörte Stimmen",
        "Frei sein.",
        "Zwischen den Zeilen lesen",
        "Cro",
        "Helene Fischer live"
    ],
    "Abschnittstitel": [
        "Hier gibt’s Infos",
        "Wichtig!",
        "So läuft’s ab",
        "Wann & wo?",
        "PLÄNE & ABLAUF",
        "Hinkommen & mitmachen",
        "Wie funktioniert das?",
        "Ankommen leicht gemacht",
        "Was kostet es?",
        "Preise & Buchung",
        "Sitzplätze & Reservierungen",
        "Freier Eintritt oder nicht?",
        "Anmeldung erforderlich?",
        "Noch Fragen?",
        "Regeln & Hinweise",
        "Vorsicht & Sicherheit",
        "Besucherinfos",
        "Speis & Trank",
        "Essen & Drinks",
        "Party danach?",
        "Meetup & Austausch",
        "Soziale Medien & Hashtags",
        "Helfer & Team",
        "Mit wem arbeiten wir?",
        "Unsere Partner",
        "DIE WICHTIGSTEN INFOS",
        "Presse & Berichte",
        "Hier melden!",
        "Kontakt & Support",
        "KONTAKTIERE UNS",
        "Was ist, wenn…?",
        "Das sollten Sie wissen!"
    ]
}
# test_data = {"Veranstaltungstitel": [d for d in test_data["Veranstaltungstitel"] if d not in train_data["Veranstaltungstitel"]],
#              "Abschnittstitel": [d for d in test_data["Abschnittstitel"] if d not in train_data["Abschnittstitel"]]}
# print(len(test_data["Veranstaltungstitel"]), " | " , len(test_data["Abschnittstitel"]))
#
#
#
# classifier = ClassyClassifier(data=train_data)
# classifier.set_embedding_model(model="stsb-xlm-r-multilingual")
# with open("title_classifier.pkl", "wb") as f:
#     pickle.dump(classifier, f)