Decoder-Only Transformer (Eigenbau)
Dies ist ein einfacher autoregressiver Decoder-Only Transformer, der von Grund auf in PyTorch implementiert wurde.
Modellbeschreibung
- Transformer-Decoder-Architektur
- Trainiert auf WikiText-2-Dataset
- Tokenizer: GPT-2
Verwendungszweck
Dieses Modell dient zur Demonstration, wie man ein autoregressives Sprachmodell selbst implementiert.
Tags
- pytorch
- transformer
- language-modeling
- decoder-only
- education