андрей карпаты оставил свой ноутбук включенным на два дня.. вернулся, и его агент провел ~700 экспериментов и нашел ~20 улучшений, которые он пропустил он был нацелен на nanochat, небольшую модель в стиле gpt, которую он уже настроил вручную.. карпаты говорит, что агент сократил "время до gpt 2" на ~11%, и приросты перенеслись с маленькой модели на большие механизм на самом деле довольно скучный: фиксированные 5-минутные тренировки, оценка по одной метрике, сохранение того, что улучшает, возврат того, что не улучшает, цикл.. ~12 экспериментов в час означает, что вы просыпаетесь с ~100 попытками, которые вы лично не проводили Тоби Лютке попробовал ту же идею на кодовой базе liquid shopify и сообщил о ~53% более быстром выполнении с 61% меньшим количеством выделений объектов (с оговоркой, что это может быть переобучено).. но идеи все равно были полезны - даже в 20-летнем, сильно оптимизированном проекте мы просто автоматизировали самую медленную часть инженерии и исследований.. неустанная итерация вы пишете .md файл.. агент пишет .py 👀