El núcleo 6 puede expresar todo movimiento.

La sintaxis sigue siendo un poco torpe, pero pronto las capas de LLM, la acumulación de gradientes y los bucles de entrenamiento no se escribirán con bucles for de Python. Parafraseando a Halide: "separar la especificación de los detalles de compilación y programación", excepto que especificaremos todo el entrenamiento de $100M.

La línea tinybox de @__tinygrad__ se está volviendo legítima. Se han construido cinco hasta ahora esta semana.

¿Derribar a NVIDIA? 🤨 ¡Amamos a NVIDIA! La tinybox green v2 con 4x5090 ya está en envío.

Ahora con fusión de bucles y sin recomputación. Si puedes construir un "compilador" del que la atención flash simplemente surge, imagina qué más podría fusionar.

Cuando la especificación de tinygrad esté lista, quiero que se sienta como si viniera del LIBRO. Esto no es ingeniería, esto es ingeniería inversa de la Naturaleza.

Todos los pedidos pendientes se enviarán a finales de esta semana. Estamos fabricando un lote completo de cajas verdes (foto relacionada), ¡ordena hoy y tendrás la tuya pronto! (también nos queda solo una caja roja. Deberías comprarla, ha estado esperando un tiempo para ir a un buen hogar)

.@AMD @AnushElangovan ¿Puedes abrir el código fuente de rocprof-trace-decoder? Este repositorio es solo un binario de Linux: Lo estamos utilizando para agregar funcionalidad similar a RGP a VIZ: El OSS lo hará portátil para Mac y (con suerte) tendrá un encabezado con la API.

¿Está tu biblioteca de transformadores fusionando la FFN en un solo núcleo "flash"? Creo que hay enormes ganancias posibles, tengo curiosidad por saber cuál es la práctica común y el estado de la investigación SOTA.

Esto está enterrando un poco el tema principal, que es que con un pequeño cambio también puedes hacer ReLU(A @ B) @ C en matrices NxN con N intermedios y sin recomputación. (esto es: una red neuronal.)