Die Top 26 wesentlichen Arbeiten (+5 Bonusressourcen) zum Beherrschen von LLMs und Transformern Diese Liste verbindet die Grundlagen der Transformer mit dem Denken, MoE und dem agentischen Wandel Empfohlene Leseordnung 1. Attention Is All You Need (Vaswani et al., 2017) > Das ursprüngliche Transformer-Papier. Behandelt Selbstaufmerksamkeit, > Multi-Head-Attention und die Encoder-Decoder-Struktur > (obwohl die meisten modernen LLMs nur Decoder sind.) 2. The Illustrated Transformer (Jay Alammar, 2018) > Großartiger Intuitionsträger zum Verständnis > von Aufmerksamkeit und Tensorfluss, bevor man in Implementierungen eintaucht 3. BERT: Pre-training of Deep Bidirectional Transformers (Devlin et al., 2018) > Grundlagen auf der Encoder-Seite, maskiertes Sprachmodellieren, > und Repräsentationslernen, die moderne Architekturen weiterhin prägen 4. Language Models are Few-Shot Learners (GPT-3) (Brown et al., 2020) > Etablierte das Lernen im Kontext als eine echte > Fähigkeit und veränderte, wie das Prompting verstanden wird 5. Scaling Laws for Neural Language Models (Kaplan et al., 2020) > Erstes sauberes empirisches Skalierungsframework für Parameter, Daten und Rechenleistung > Lesen Sie zusammen mit Chinchilla, um zu verstehen, warum die meisten Modelle untertrainiert waren 6. Training Compute-Optimal Large Language Models (Chinchilla) (Hoffmann et al., 2022) > Zeigte, dass die Tokenanzahl wichtiger ist als...