Андрій Карпаті залишив ноутбук увімкненим на два дні... повернувся, і його агент провів ~700 експериментів і знайшов ~20 покращень, які він пропустив Вона була спрямована на NanoChat — маленьку модель у стилі GPT, яку він уже налаштував вручну... Карпаті каже, що агент скоротив «час до GPT 2» на ~11%, і вигоди перейшли з малої моделі на більші Механізм насправді досить нудний: фіксовані 5-хвилинні тренувальні пробіжки, оцінка за одним критерієм, збереження того, що покращується, повернення того, що не покращується, цикл... ~12 експериментів на годину означає, що ти прокидаєшся з ~100 спробами, які ти особисто не проводив Tobi Lütke спробував ту ж ідею на рідкій коді shopify і повідомив про ~53% швидше з на 61% менше розподілу об'єктів (з застереженням, що це може бути перенавантаженням). Але ідеї все одно були корисними — навіть у 20-річному, сильно оптимізованому проєкті Ми щойно автоматизували найповільнішу частину інженерії та досліджень... Невпинна ітерація Ти пишеш файл .md.. агент пише .py 👀