Update dist/index.html

dist/index.html

@@ -64,7 +64,7 @@
       
     Dans cette logique, nous avons décidé de nous concentrer sur le T5 <d-cite bibtex-key="JMLR:v21:20-074"></d-cite>.<br><br>
 
-    Dans cet article, sont détaillons les optimisations que nous avons mises en place afin de pré-entraîner de manière efficiente un T5 de 147M de paramètres en français en un temps raisonnable (1 461 H pour 419Mds de <i>tokens</i>) et avec des moyens limités (1 unique A100 ; soit un budget de calcul d'environ 2 200 euros).
+    Dans cet article, sont détaillons les optimisations que nous avons mises en place afin de pré-entraîner de manière efficiente un T5 de 147M de paramètres en français en un temps raisonnable (1 461 H pour 419Mds de <i>tokens</i>) et avec des moyens limités (1 unique A100 ; soit un budget de calcul d'environ 1 900 euros).
     Pour ce faire, nous avons conçu des noyaux CUDA/Triton afin de rendre la Flash Attention compatible avec T5 et de fournir une inférence linéaire, étendant ainsi la taille du contexte qui peut être prise en compte par le modèle.<br><br>
     <strong>Le code de pré-entrainement est disponible sur notre répertoire <a class="link" href="https://github.com/catie-aq/flashT5">GitHub</a> sous licence Apache-2.0. et les poids sur notre compte <a class="link" href="https://hf.co/CATIE-AQ">Hugging Face</a>.</strong>
     <p class="width_125"><br><br><br></p>
@@ -343,7 +343,7 @@
     <div class="tip"><p>Dans cette logique, nous avons entraîné un <em>tokenizer</em> de taille 32 768 (8**5), suivant <a class="link" href="https://twitter.com/karpathy/status/1621578354024677377">cette observation de KARPATHY</a>. 
       Il s'agit d'un BPE <d-cite bibtex-key="sennrich2016neuralmachinetranslationrare"></d-cite> entraîné sur CulturaX et The Stack, utilisant 256 extra_tokens et 
       les chiffres sont séparés.<br>
-      Le lecteur pourra trouver le code utilisé <a class="link" href=https://github.com/catie-aq/flashT5/blob/main/examples/fat5-fr/train_tokenizer.py">ici</a>.
+      Le lecteur pourra trouver le code utilisé <a class="link" href="https://github.com/catie-aq/flashT5/blob/main/examples/fat5-fr/train_tokenizer.py">ici</a>.
       </p></div>
     <p><br></p>
       
@@ -358,7 +358,7 @@
     <div class="tip"><p>
       Nous avons utilisé l’optimiseur l’optimiseur original du T5, <a class="link" href="https://github.com/catie-aq/flashT5/blob/main/src/utils/adamw_scaled.py">AdamWScale</a>.
       Pour les valeurs des hyperparamètres, nous utilisons <code>lr = 5e-3</code>, <code>betas = (0.9, 0.999)</code>, <code>eps = 1e-6</code> et <code>weight_decay = 0.0</code>
-      en nous basant sur les observations de <a class="link" href="https://github.com/PiotrNawrot/nanoT5/issues/25#issuecomment-1922731400">Wilson Wongso</a>.
+      en nous basant sur les observations de <a class="link" href="https://github.com/PiotrNawrot/nanoT5/issues/25#issuecomment-1922731400">Wilson WONGSO</a>.
       En effet, il s'avère que tous les optimiseurs alternatifs testés ne convergeaient pas.</p></div>
     <div class="note"><p>Nous avons fait en sorte que notre version d'AdamWScale dispose du paramètre <code>foreach</code>.</p>       
     </div>
@@ -834,15 +834,15 @@
     <td>96,69</td>
     </tr>
     <tr>
-    <td><a class="link" href="">distilcamembert</a> (68,1M)</td>
+    <td>distilcamembert (68,1M)</td>
     <td>96,74</td>
     </tr>
     <tr>
-    <td><a class="link" href="https://huggingface.co/bourdoiscatie/camembert_base_cls">camembert-base</a> (111M)</td>
+    <td>camembert-base (111M)</td>
     <td>97,27</td>
     </tr>
     <tr>
-    <td><a class="link" href="https://huggingface.co/bourdoiscatie/camembert_large_cls">camembert-large</a> (337M)</td>
+    <td>camembert-large (337M)</td>
     <td>97,15</td>
     </tr>
     <tr>
@@ -977,7 +977,7 @@
     <td>76,88</td>
     </tr>
     <tr>
-    <td><a class="link" href="">distilcamembert</a>  (67,5M)</td>
+    <td>distilcamembert (67,5M)</td>
     <td>97,26</td>
     <td>95,24</td>
     <td>89,10</td>
@@ -1057,7 +1057,7 @@
     <td>29,8</td>
     </tr>
     <tr>
-    <td>distilcamembert(68,1M)</td>
+    <td>distilcamembert (68,1M)</td>
     <td>51,3</td>
     <td>60,7</td>
     <td>37,4</td>
@@ -1110,6 +1110,13 @@
     </thead>
     <tbody>
     <tr>
+    <td>Sesterce</td>
+    <td>1,29</td>
+    <td>1 182</td>
+    <td>1 891</td>
+    <td></td>
+    </tr>
+    <tr>
     <td>AWS</td>
     <td>1,77</td>
     <td>1 616</td>
@@ -1294,7 +1301,7 @@
     Nous avons introduit le modèle FAT5 (Flash Attention T5) en détaillant notre démarche d’optimisation de différents éléments des processus de pré-entraînement et de finetuning.
     Celui-ci se base sur des noyaux permettant d'utiliser la Flash Attention avec un T5 et de donner une mémoire linéaire au modèle.
     Nous avons notamment appliqué nos travaux au français en guise de preuve de concept et fait en sorte qu’il soit aussi utilisable dans n'importe quelle autre langue.
-    Nous espérons que notre méthode, permettant de pré-entraîner de zéro un modèle de 147M de paramètres pour 1 600€, pourra être utile aux personnes disposant de ressources de calculs limitées.
+    Nous espérons que notre méthode, permettant de pré-entraîner de zéro un modèle de 147M de paramètres pour un coût limité, pourra être utile aux personnes disposant de ressources de calculs limitées.
     Elle ouvre également une voie vers un retour à un usage de modèles encodeur-décodeur plutôt qu’uniquement décodeur.<br>
     <p class="width_125"><br><br></p>