| # Decoder-Only Transformer (Eigenbau) | |
| Dies ist ein einfacher autoregressiver Decoder-Only Transformer, der von Grund auf in PyTorch implementiert wurde. | |
| ## Modellbeschreibung | |
| - Transformer-Decoder-Architektur | |
| - Trainiert auf WikiText-2-Dataset | |
| - Tokenizer: GPT-2 | |
| ## Verwendungszweck | |
| Dieses Modell dient zur Demonstration, wie man ein autoregressives Sprachmodell selbst implementiert. | |
| ## Tags | |
| - pytorch | |
| - transformer | |
| - language-modeling | |
| - decoder-only | |
| - education | |