RL es un mecanismo poderoso para entrenar modelos específicos de la empresa sobre su trabajo y datos únicos. Esto es lo que hacemos en Applied Compute. Un desafío clave es cómo hacer que RL sea eficiente, porque necesitamos que las ejecuciones sean rápidas (entregadas en días), baratas (economía de escala) y predecibles (no solo rápidas, sino confiablemente rápidas). Aquí hay algunas conclusiones: • RL sincrónico desperdicia tiempo y recursos computacionales. • RL asincrónico es más eficiente pero introduce obsolescencia, lo que causa inestabilidades en el aprendizaje. • La modelización y las simulaciones pueden ayudar a resolver analíticamente qué configuración conduce a la eficiencia óptima. Esto nos permite prototipar rápidamente configuraciones de entrenamiento, sin gastar ciclos computacionales costosos en ejecuciones de prueba. Dos de nuestros cofundadores, @rhythmrg y @lindensli, discutieron parte de esta investigación en @aiDotEngineer recientemente, con un enfoque en el siguiente subproblema: ¿cuál es la forma de mayor rendimiento para hacer RL dado un máximo de obsolescencia y un presupuesto computacional?