. @lukaszkaiser @OpenAI tentang mengapa generalisasi masih menjadi intinya: "Saya terpesona oleh generalisasi. Saya selalu berpikir ini adalah topik utama dalam pembelajaran mesin secara umum dan dalam memahami kecerdasan. Pra-pelatihan sedikit berbeda ... itu tidak serta merta meningkatkan generalisasi. Itu hanya menggunakan lebih banyak pengetahuan." "Kami mendorong model. Mereka mempelajari hal-hal yang ada di sekitar apa yang kita ajarkan kepada mereka. Mereka masih memiliki keterbatasan karena mereka tidak hidup di dunia fisik, karena mereka tidak terlalu pandai dalam multimodal, karena penalaran masih sangat muda dan ada banyak bug dalam cara kita melakukannya." "Seseorang berkata, itu seperti mengemudi kencang dalam kabut. Anda tidak pernah tahu dengan jelas seberapa jauh atau dekat Anda." Episode lengkap dengan Łukasz di bawah ini - atau cari "MAD Podcast dengan Matt Turck" di YouTube, Spotify, atau Apple Podcasts.