Philip Clark (@PJClark), socio de Thrive Capital (@ThriveCapital), se basa en inversiones en OpenAI, Cursor, Physical Intelligence y su experiencia en semiconductores para exponer tres grandes conclusiones sobre el estado del desarrollo de la IA: 1.) Los avances de la IA no son lineales. Vienen en ondas arquitectónicas, igual que el silicio. La analogía de Philip con los semiconductores replantea el progreso de la IA como una secuencia de cambios de paradigma similares a hardware. Cuando un camino alcanza su límite (mononúcleo → multinúcleo; pre-entrenamiento → post-entrenamiento), surge una nueva arquitectura. La IA no evoluciona mediante ajustes incrementales... avanza a través de reinvenciones estructurales. 2.) El aprendizaje por refuerzo es la próxima era arquitectónica (por ahora) Philip presenta el aprendizaje por refuerzo como el sucesor del post-entrenamiento: una nueva base, no una optimización. Pero, lo más importante, enfatiza que no será la última. Al igual que el hardware ha ido saltando de un solo núcleo a multinúcleo y luego a GPUs, la IA experimentará múltiples ondas de paradigma, cada una desbloqueando nuevos techos de rendimiento. El aprendizaje por refuerzo es simplemente la siguiente oleada, no la última. 3.) El foso de OpenAI no son los modelos... es su capacidad para seguir descubriendo el siguiente paradigma. Philip sostiene que la ventaja principal está en el producto a nivel superior: todos los grandes avances arquitectónicos en grandes modelos se originaron en OpenAI. Su defensabilidad proviene de inventar repetidamente "lo siguiente" mientras simultáneamente operacionalizan la anterior... una combinación rara en cualquier industria, y mucho menos en una definida por saltos discontinuos. . . . Molly: "Uno de los patrocinadores que orgullosamente patrocina Sourcery es @turingcom, así que he tenido contacto con la parte de investigación en IA—un acelerador de investigación en IA [hemos entrevistado a un CEO, @jonsidd]. Ayudan con los modelos. Y ahora mismo, están notando un cambio severo en el último trimestre o dos, pasando de los datos de imitación y los datos sintéticos al aprendizaje por refuerzo. Así que tengo curiosidad por saber cómo lo ves en el aspecto técnico y también en la parte de la aplicación." Philip: "Creo que la IA es un poco como los semiconductores en cierto sentido—si se me permite volver a los semiconductores, el gran referente. En el sentido de que hay muchas, muchas oleadas mientras intentamos mejorar cada vez más el rendimiento. Sabes, con los semiconductores, solíamos tener semiconductores de núcleo único. Luego no pudimos sacar más de un solo núcleo, así que pasamos a multinúcleo. Y luego pasamos a las GPUs. Y creo que estamos viendo algo muy similar con la IA, que empezamos con el preentrenamiento en la era GPT-1, GPT-2, GPT-3. Eso nos llevó a GPT-4. Luego empezamos a usar muchas técnicas post-entrenamiento para ChatGPT: ajuste fino supervisado, aprendizaje por refuerzo con retroalimentación humana. Esto permitió que los modelos fueran menos inteligencias alienígenas y más asistentes útiles. Y ahora, a medida que se han eliminado muchos de los frutos más fáciles de esos avances (aunque probablemente aún quede mucho por hacer), el aprendizaje por refuerzo ha sido el próximo gran cambio de paradigma en la IA y hacia donde van muchos de los recursos....