Мене вражає, що «кодування», як ми його раніше розглядали, наразі майже вирішено. Вперше я почув про концепцію коду, створеного ШІ, у 2015 році, коли мій друг почав працювати в стартапі під назвою @trygigster. Вся ідея Gigster полягала в тому, щоб стати платформою для найму фрілансерів-програмістів. Їхній план полягав у тому, щоб використати код, який фрілансери написали для клієнтів, щоб навчати свої нейронні мережі. Сподівалися, що ці моделі зрештою зможуть генерувати код і повністю замінити фріланс-розробників. Тоді глибоке навчання почало набирати популярності (це було до відкриття LLM), і команда Gigster вважала, що може використати найновіші дослідження — рекурентні нейронні мережі (RNN), щоб навчити машину самостійно писати код. Проблема RNN у тому, що вони генерують нісенітницю, яка виглядає як коректний код, але насправді не працює. Вони не здатні підтримувати великі контексти і дуже повільно навчаються, тому ідея автоматичної генерації коду тоді була нереальною. Минуло 10 років, і все, що Gigster намагався зробити, тепер доступне для всіх. Прогрес, якого досягли Anthropic, Google та OpenAI у генерації коду, вражає, якщо віддалити масштаб. Те, що я вважав недосяжною мрією, тепер стало реальністю.