Byl jsem nadšený, že se mohu připojit k ranní přednášce na PyTorchConu. Spousta zábavných diskuzí: RL je jednou z nejslibnějších hranic, protože překonává imitační učení, protože se učí cíle, nikoli demonstrace, a objevuje strategie nad rámec trénovacích dat, na které učení pod dohledem nedosáhne, jako jsou vznikající stopy uvažování o1. Ale předtrénink není mrtvý. Architektonické průlomy, jako jsou difúzní modely pro kódování a DeltaNet zlepšující výkon asociativní paměti, jsou slibnými hranicemi. Mojí filozofií je podporovat odvážné zakladatele, kteří staví na hranicích, např. Voyage AI buduje vektorové vkládání roky předtím, než se rozjelo podnikové vyhledávání AI.