Let the user choose the model

app.py

@@ -8,14 +8,13 @@ from transformers import set_seed
 
 debug = False
 
-MODEL = "flax-community/t5-base-dutch-demo"
-# MODEL: str = "."
+MODELS = [
+    "flax-community/t5-base-dutch-demo",
+    "yhavinga/t5-v1.1-base-dutch-cnn-test",
+    # "yhavinga/t5-v1.1-large-dutch-cnn-test",
+]
 
-DEFAULT_TEXT: str = """De voorzitter en CEO van de Amerikaanse tabaksfabrikant Philip Morris vinden dat de Britse overheid sigaretten in de komende tien jaar moet verbieden. "Wij zien een wereld zonder sigaretten voor ons", zegt CEO Jacek Olczak tegen de Britse krant The Telegraph. "En hoe sneller sigaretten verdwijnen, hoe beter, voor iedereen."
-Volgens voorzitter André Calantzopoulos is het belangrijk dat overheden duidelijk zijn over een toekomstig verbod op sigaretten. Hij denkt dat rokers en bedrijven veel kunnen hebben aan een deadline. "Door een deadline te geven, weten mensen beter waar hun horizon ligt."
-"Het verschilt niet zoveel van wat je nu ziet met benzineauto's en alternatieven daarop", zegt hij. De verkoop van nieuwe benzineauto's wordt in de EU waarschijnlijk per 2035 verboden. "De overheid moet de verwarring die nu heerst bij veel rokers tot een einde brengen."
-Olczak denkt dat veel mensen op dit moment nog geloven dat de alternatieven voor roken ongezonder zijn dan een sigaret. Hij denkt dat overheden beter hun best moeten doen om mensen daarover voor te lichten, en om ze een alternatief op de sigaret te bieden. "Met goede wetgeving en voorlichting kun je in sommige landen al binnen tien jaar sigaretten verbieden", zegt hij. "En dan ben je voor eens en altijd van het probleem af."
-Philip Morris is het bedrijf achter de sigaretten van Marlboro. Hoewel het bedrijf groot is geworden als tabaksfabrikant, wil het zich steeds meer op andere zaken richten. Het heeft zichzelf als doel gesteld om de helft van de omzet uit andere producten dan sigaretten te halen, om uiteindelijk een bedrijf te worden dat zich richt op gezondheid en welzijn."""
+DEFAULT_TEXT: str = """(CNN) Skywatchers in West-Noord-Amerika zijn in voor een traktatie: een bijna vijf minuten totale maansverduistering vanmorgen. Hier is hoe het zich ontvouwt:. Het begon om 3:16 a.m. Pacific Daylight Tijd, toen de maan begon te bewegen in de schaduw van de Aarde. Voor het volgende uur en 45 minuten, die schaduw zal bewegen over de maan en verzwolgen het om 4:58 a.m. Pacific Time. De totale verduistering zal slechts vier minuten en 43 seconden duren, en NASA zegt dat maakt het de kortste van de eeuw. Kijken live op NASA TV. Terwijl mensen ten westen van de Mississippi River zal het beste uitzicht hebben, ten minste een gedeeltelijke verduistering zal zichtbaar zijn over de hele natie. Maar zonsopgang zal de show te onderbreken op de Oostkust. Delen van Zuid-Amerika, India, China en China Een maansverduistering gebeurt wanneer de zon, de aarde en de maan een rechte lijn vormen in de ruimte, met de aarde in het midden. De zon schijnt op de Aarde en creëert een schaduw. Als de maan dieper in die schaduw beweegt, lijkt het donker te worden en lijkt zelfs een roodachtige kleur te zijn. Waarom rood? Omdat de atmosfeer van de Aarde het grootste deel van het blauwe licht filtert. Sommige mensen hebben het effect van de "bloedmaan" bijgenaamd. NASA zegt dat maansverduisteringen meestal ten minste twee keer per jaar plaatsvinden, maar deze verduistering is de derde in een reeks van vier op een rij, bekend als een "tetrad." De eerste was op 15 april 2014. De tweede was in september 2014, de volgende is zaterdag en er zal er een meer zijn, op 28 september. Als je meer wilt weten over de verduistering, NASA astronoom Mitzi Adam. Deel uw foto's met CNN iReport."""
 
 
 class TextSummarizer:
@@ -23,19 +22,21 @@ class TextSummarizer:
         self.tokenizer = None
         self.model = None
         self.generator = None
+        self.model_loaded = None
         set_seed(42)
 
-    def load(self):
+    def load(self, model_name):
         os.environ["TOKENIZERS_PARALLELISM"] = "false"
-        self.tokenizer = AutoTokenizer.from_pretrained(MODEL)
-        self.model = AutoModelForSeq2SeqLM.from_pretrained(MODEL)
+        self.tokenizer = AutoTokenizer.from_pretrained(model_name)
+        self.model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
         self.generator = pipeline(
             "text2text-generation", model=self.model, tokenizer=self.tokenizer
         )
+        self.model_loaded = model_name
 
-    def summarize(self, input_text, generate_kwargs) -> str:
-        if not self.generator:
-            self.load()
+    def summarize(self, model_name, input_text, generate_kwargs) -> str:
+        if not self.generator or self.model_loaded != model_name:
+            self.load(model_name)
         return self.generator(
             input_text, return_tensors=False, return_text=True, **generate_kwargs
         )[0].get("generated_text")
@@ -79,12 +80,15 @@ def main():
         """# Netherformer
 * Create summaries of Dutch news stories.
 * Copy paste any Dutch news text and press the Generate Summary botton.
-* This is a demo of the [T5 Dutch finetuned on CNN DM and XSUM](https://huggingface.co/flax-community/t5-base-dutch-demo)
-transformer model. Please refer to the [model page](https://huggingface.co/flax-community/t5-base-dutch-demo) for more information.
+* This is a demo of the several Dutch T5 models finetuned for summarization:
+    * [T5 Base Dutch finetuned on CNN DM and XSUM](https://huggingface.co/flax-community/t5-base-dutch-demo) (Jul '21)
+    * [T5 v1.1 Base Dutch Cased on CNN DM](https://huggingface.co/yhavinga/t5-v1.1-base-dutch-cased-cnn-test) (Jan '22)
 """
     )
     st.sidebar.title("Parameters:")
 
+    MODEL = st.sidebar.selectbox("Choose model", index=1, options=MODELS)
+
     min_length = st.sidebar.number_input(
         "Min length", min_value=10, max_value=150, value=75
     )
@@ -96,7 +100,7 @@ transformer model. Please refer to the [model page](https://huggingface.co/flax-
     )
 
     if sampling_mode := st.sidebar.selectbox(
-        "select a Mode", index=0, options=["Top-k Sampling", "Beam Search"]
+        "select a Mode", index=0, options=["Beam Search", "Top-k Sampling"]
     ):
         if sampling_mode == "Beam Search":
             num_beams = st.sidebar.number_input(
@@ -152,7 +156,7 @@ transformer model. Please refer to the [model page](https://huggingface.co/flax-
                 sleep(2)
                 response = """Een bedrijventerrein aan de Prins Willem Alexanderhaven in Roermond heeft de komende dagen weg te blijven uit de regio. De burgemeester van Roermond roept alle ramptoeristen er opnieuw toe op meer dan 10.00 uur weg."""
             else:
-                response = generator.summarize(input_text, params)
+                response = generator.summarize(MODEL, input_text, params)
 
             st.header("Summary:")
             st.markdown(response)