El núcleo 6 puede expresar todo el movimiento.

La sintaxis sigue siendo un poco torpe, pero pronto las capas LLM, la acumulación de gradientes y los bucles de entrenamiento no se escribirán con los bucles for de Python. Parafraseando a Halide: "separe la especificación de los detalles de compilación y programación", excepto que especificaremos ejecuciones de entrenamiento completas de $ 100 millones.

La @__tinygrad__ línea tinybox se está volviendo legítima. Cinco construidos en lo que va de semana.

¿Derribar NVIDIA? 🤨 ¡nosotros ❤️ NVIDIA! tinybox green v2 con 4x5090 ya está enviando

Ahora con fusión de bucles y sin recálculo. Si puede construir un "compilador" del que simplemente se caiga la atención flash, imagine qué más podría fusionar.

Cuando la especificación de tinygrad esté lista, quiero que se sienta como si viniera de EL LIBRO. Esto no es ingeniería, es ingeniería inversa de la naturaleza.

Todos los pedidos pendientes se enviarán al final de la semana. Estamos construyendo un lote completo de cajas verdes (relacionadas con la imagen), ¡ordene hoy y pronto tendrá la suya! (También nos queda solo una caja roja. Deberías comprarla, ha estado esperando un tiempo para ir a una buena casa)

.@AMD @AnushElangovan ¿Puedes abrir el código fuente de rocprof-trace-decoder? Este repositorio es solo un binario de Linux: Lo estamos utilizando para agregar funcionalidad similar a RGP a VIZ: OSS lo hará portátil para Mac y (con suerte) tendrá un encabezado con la API.

¿Está tu biblioteca de transformadores fusionando el FFN en un solo núcleo "flash"? Creo que hay ganancias masivas posibles, tengo curiosidad por saber cuál es la práctica común y el estado de la investigación SOTA.

Esto está enterrando un poco el tema principal, que es que con un cambio menor también puedes hacer ReLU(A @ B) @ C en matrices NxN con N intermedios y sin recomputación. (esto es: una red neuronal.)