Геніальність @karpathy полягає в здатності вирізняти надзвичайно складні концепції та робити їх простими для розуміння та впровадження у невеликому масштабі. Все, що знадобилося — це Claude Code і $10 на @runpod, щоб запустити один H100, і у мене був світового рівня дослідник машинного навчання, який працював на автопілоті. Я беру загальну концепцію автодослідження і застосовую її до конвеєра інференцій, над яким працюю (на щастя, GPU не потрібен). Тепер усе так весело.
Andrej Karpathy
Andrej Karpathy8 бер., 03:53
Я об'єднав проєкт «autoresearch» у новий автономний мінімальний репозиторій, якщо хтось хоче пограти на вихідних. По суті, це тренувальне ядро nanochat LLM, скорочене до однієї відеокарти, однієї файлової версії з ~630 рядків коду, а потім: - Ітерації людини у запиті (.md) - агент ШІ повторює навчальний код (.py) Мета полягає в тому, щоб ваші агенти могли досягати найшвидшого прогресу в дослідженнях без вашої участі без вашої участі. На зображенні кожна крапка — це повний тренувальний забіг LLM, який триває рівно 5 хвилин. Агент працює в автономному циклі на гілці git feature і накопичує git-коміти до навчального скрипту, коли знаходить кращі налаштування (з меншими втратами валідації наприкінці) архітектури нейронної мережі, оптимізатора, усіх гіперпараметрів тощо. Можна уявити, як ви порівнюєте прогрес досліджень різних запитів, різних агентів тощо. Частково код, частково наукова фантастика і щіпка психозу :)
@karpathy @runpod потрібні друзі, як @ryaneshea, щоб позбутися твоїх (слабких) виправдань, щоб не просто щось робити
511