Aprendizaje silencioso de características en Transformers Este es uno de los artículos más fascinantes que he leído esta semana. Déjame explicarte: Sostiene que las curvas de pérdida pueden inducir a error sobre lo que un modelo está aprendiendo. El enfoque por defecto para monitorizar el entrenamiento de redes neuronales se basa en la pérdida como medida principal de progreso. Si la pérdida es plana, no pasa nada. Si la pérdida disminuye, se está produciendo aprendizaje. Pero esta suposición se desintegra en las tareas algorítmicas. Esta nueva investigación formó a los Transformers en diez tareas algorítmicas fundamentales y descubrió "características silenciosas": representaciones internas que se desarrollan mientras la pérdida parece estancada. Descubren que los modelos aprenden pasos computacionales intermedios mucho antes de que esos pasos mejoren el rendimiento de la salida. Bits de transporte adicionales, pertenencia a la cola en BFS, productos parciales en multiplicación. Estas características surgen durante estancamientos prolongados y luego se combinan repentinamente para resolver la tarea. Los investigadores investigaron representaciones internas a través de aritmética binaria (suma, multiplicación), algoritmos de grafos (BFS, camino más corto, ordenamiento topológico, MST) y optimización de secuencias (subarray máximo, selección de actividad). Seis tareas mostraron transiciones claras en dos fases: estancamiento prolongado seguido de subidas abruptas en el rendimiento. Los experimentos de ablación confirmaron causalidad. Eliminar las características de carry de un modelo de adición de 64 bits provocó una caída de precisión del 75,1%. Ablar la pertenencia a la cola en BFS redujo la precisión en un 43,6%. Las tareas algorítmicas requieren que múltiples subrutinas funcionen juntas. Los componentes correctos individuales no reducen la pérdida hasta que todas las piezas se alinean. Los modelos acumulan capacidades latentes bajo curvas de pérdida planas. Parece que la pérdida de entropía cruzada es un diagnóstico incompleto. Puede producirse un aprendizaje interno sustancial mientras que las métricas parecen estancadas. Esto motiva herramientas de monitorización más avanzadas que las curvas de pérdida. 🔖 (lo marca) Papel: