Może jest około 20-25 prac, które mają znaczenie. Zaimplementuj je, a uchwycisz około 90% alfy stojącej za nowoczesnymi LLM-ami. Wszystko inne to tylko dodatki. Chcesz tę listę? Nie szukaj dalej... Top 26 Niezbędnych Prac (+5 Dodatkowych Zasobów) na temat Mistrzostwa w LLM-ach i Transformatorach Ta lista łączy podstawy Transformatora z rozumowaniem, MoE i agentowym przesunięciem Zalecana Kolejność Czytania 1. Attention Is All You Need (Vaswani et al., 2017) > Oryginalny artykuł o Transformatorze. Zawiera self-attention, > multi-head attention i strukturę encoder-decoder > (chociaż większość nowoczesnych LLM-ów to tylko dekodery.) 2. The Illustrated Transformer (Jay Alammar, 2018) > Świetne narzędzie do budowania intuicji dla zrozumienia > attention i tensor flow przed zanurzeniem się w implementacje 3. BERT: Pre-training of Deep Bidirectional Transformers (Devlin et al., 2018) > Podstawy po stronie enkodera, modelowanie języka z maskowaniem, > i uczenie reprezentacji, które wciąż kształtują nowoczesne architektury 4. Language Models are Few-Shot Learners (GPT-3) (Brown et al., 2020) > Ustanowiono uczenie w kontekście jako prawdziwą...