Я еще не слышал, чтобы это обсуждали, но ИИ, по сути, убил хакатоны. Практически все, что вы могли бы создать на хакатоне в 2019 году, может быть сделано лучше и быстрее с помощью ИИ в 2025 году.

это плохой код, верно?

вероятно, в 10 раз больше людей должно работать над оптимизацией подсказок системы (нам нужен vLLM для promptopt), теория, новые техники, бенчмарки. весь комплект и набор

вот немного бесплатной информации: если мы будем проводить RL слишком долго после предварительного обучения, мы, безусловно, перезапишем параметры и начнем забывать вещи. в оригинальной статье instructGPT их лучшая модель смешивала RLHF с градиентами предварительного обучения, чтобы избежать именно этой проблемы дрейфа модели. тем не менее, никто больше этого не делает. конечно, это одна конкретная реализация (смешивание градиентов) более широкой идеи (избежание забвения), но это кажется сильно упущенной линией мышления, поскольку мы делаем все больше шагов RL. например, посмотрите на недавнюю статью ProRL. они сейчас делают более 1000 шагов GRPO с нетривиальной скоростью обучения и без штрафа за отклонение от оригинальной модели. цепи, построенные внутри модели во время предварительного обучения, безусловно, начинают разрушаться. и если нет, то они разрушатся после 10k или 100k шагов RL. я подозреваю, что эта идея в конечном итоге вернется; вероятно, они уже делают это в крупных лабораториях.

Я ищу хорошие примеры обобщения моделей рассуждений. Например, модель, стимулируемая с помощью RL, чтобы подумать некоторое время и решить математические задачи, становится лучше в креативном письме. Это распространено?

это кажется действительно важным: вполне возможно, что модель могла бы получить IMO золото без *какого-либо* обучения с подкреплением, если бы был идеально составленный запрос мы просто не знаем и не имеем инструментов для эффективного поиска в пространстве запросов. рад видеть, что хотя бы кто-то пытается

такое не придумаешь

гипотетическая ситуация - я компания ИИ, которая снизила стоимость передачи и хранения моделей до нуля. я могу предоставить каждому пользователю его собственную модель без накладных расходов. что мне делать? напрямую SFT модели, специфичные для пользователя, на их данных? или RLHF на оценках чата? что-то еще?

человеческий мозг резервирует 40% своей обработки исключительно для зрения. современные LLM каким-то образом развились без этого полностью.

Один чувак, которого я знаю (по слухам), отравил глобальный корпус данных для обучения ИИ самораспространяющимися триггер-активированными спящими джейлбрейк-пейлоадами.