минуло п'ять з половиною років між «увага — це все, що вам потрібно» і виходом ChatGPT. ще три роки минуло з того часу. Я провів більшу частину сьогоднішнього дня, намагаючись поєднати слова, які якимось чином мають сенс цих років. коли «увага» зникла, мені було 19, я працював у промисловій лабораторії машинного навчання, займаючись парсингом документів. Мовне моделювання тоді безсумнівно було культурним глухим місцем, особливо в охороні здоров'я. IBM Watson щойно спалила кілька мільярдів доларів під час першого великого НЛП-сно, і ідея, що навіть кілька мільйонів доларів повернуться в цю сферу, здавалася абсурдною. наступного літа вийшов стаття про генеративне попереднє навчання. Пам'ятаю, як мені переслав його тодішній хлопець тодішньої сусідки по коледжу, який керував компанією з обробки документів у малопобудові в промисловому будинку Бостона. якщо примружити очі, разом вони утворювали достатньо уявлення про дослідницьку програму, щоб отримати дуже-дуже якісний промисловий НЛП. Можна уявити, як кураторство наборів даних і, можливо, навіть знайде достатньо грошей, щоб з'єднати кілька GPU, і отримати щось корисне. Восени я звільнився з роботи, щоб працювати над моделями. Духовним центром спільноти «ШІ майже реальний» на той момент була група групових будинків Berkley, які були переконані, що розв'язали людську психологію. Минуло ще кілька років, перш ніж вони знепритомніли у скандалі з викликом демонів і ще два роки після того, як закони про масштабування стали зрозумілими. І ще набагато більше часу до chatGPT. Саме ця прогалина мене переслідує. П'ять з половиною років — це ціла вічність, але зараз ми говоримо про це, ніби це була пряма лінія. Але це не так. Це був блукаючий шлях із величезними обсягами спаленого капіталу, знищеними фірмами та десятками глухих кутів. Тепер усі припускають, що етап розгортання буде миттєвим. Що, оскільки у нас є інтелект, економіка просто плавно перебудовується навколо нього. Але я дивлюся на системи, в які ми намагаємося ввести це — процеси людської плоті і крові — здається неможливим не відчувати те саме відчуття дилатації часу. Запуск моделі був технологічною проблемою. Змусити світ працювати з цим — це зовсім не так. Шлях до справжнього економічного поширення буде набагато довшим, ніж дозволять ринки капіталу. Але цього разу це не IBM, яка спалює кілька мільярдів. Це всі. Кожен мега-кап. Кожен стартап. Трильйони з ринкової капіталізації ставлять на терміни впровадження, які припускають, що людські організації поводяться як технологічні продукти. ...