No he oído que se hable de ello todavía, pero la IA básicamente mató los hackatones. Prácticamente cualquier cosa que pudieras hacer en un hackatón en 2019 puede ser construida mejor y más rápido por la IA en 2025.

¿Este es un código malo, verdad?

probablemente 10 veces más personas deberían estar trabajando en la optimización de prompts sistemas (necesitamos un vLLM para promptopt), teoría, nuevas técnicas, benchmarks. todo el kit y caboodle

aquí hay un poco de información valiosa: si hacemos RL durante demasiado tiempo después del preentrenamiento, seguramente sobrescribiremos parámetros y comenzaremos a olvidar cosas. en el artículo original de instructGPT, su mejor modelo mezcló RLHF con gradientes de preentrenamiento para evitar exactamente este problema de deriva del modelo. sin embargo, nadie está haciendo esto ya. claro, es una instancia particular (mezcla de gradientes) de una idea más amplia (evitar el olvido), pero parece ser una línea de pensamiento muy pasada por alto a medida que hacemos más y más pasos de RL. por ejemplo, vean el reciente artículo de ProRL. ahora están haciendo más de 1000 pasos de GRPO con una tasa de aprendizaje no trivial y sin penalización por desviarse del modelo original. los circuitos construidos dentro del modelo durante el preentrenamiento seguramente están comenzando a decaer. y si no, lo harán después de 10k o 100k pasos de RL. sospecho que esta idea volverá eventualmente; probablemente ya lo estén haciendo en los grandes laboratorios.

Estoy buscando buenos ejemplos de generalización de modelos de razonamiento. Por ejemplo, un modelo incentivado a través de RL para pensar un rato y resolver problemas matemáticos mejora en la escritura creativa. ¿Es esto común?

esto parece realmente importante: es totalmente plausible que un modelo pudiera obtener IMO oro sin *ningún* aprendizaje por refuerzo, dado un prompt perfectamente elaborado. simplemente no lo sabemos, y carecemos de herramientas para buscar de manera eficiente a través del espacio de prompts. me alegra ver que al menos alguien está intentando.

no puedes inventar estas cosas

situación hipotética - soy una empresa de IA que ha reducido el costo de transferir y almacenar modelos a cero. puedo ofrecer a cada usuario su propio modelo sin costos adicionales. ¿qué hago? ¿entrenar directamente modelos específicos para el usuario con sus datos? ¿o hacer RLHF basado en las calificaciones del chat? ¿algo más?

el cerebro humano reserva el 40% de su procesamiento exclusivamente para la visión. los LLM modernos de alguna manera evolucionaron sin esto por completo.

Este tipo que conozco (supuestamente) envenenó el corpus de datos de entrenamiento de IA global con cargas útiles de jailbreak durmientes activadas por desencadenadores que se propagan por sí solas.