Nuovo record di velocità per NanoGPT a 109,2 (-3,5s) con un altro aggiornamento innovativo (?) dell'attenzione chiamato Paired Head Attention. Le query possono accedere alle chiavi nella testa vicina, consentendo a ciascun Q di recuperare 2 valori per posizione target invece di 1. Impatto del 3% per zero parametri!

Nuovo record di velocità per NanoGPT a 112.7 (-1.0s), con pesi in bfloat16 e 16 bit extra nell'ottimizzatore e comunicazioni interleaved. Ispirazione da @YouJiacheng e @ChrisJMcCormick. Inoltre, l'ottimizzatore Adam, che fa un passo la metà delle volte rispetto a Muon, ha lm_head beta1=0.5.

Nuovo record di velocità per NanoGPT a 113,7 (-1,4s) da @ChrisJMcCormick, con un banco di parametri per centralizzare determinati parametri per strato, Adam ottimizzato, aumento della precisione del buffer ema e matrici di gate da Muon a Adam. Gli scienziati affermano che i record devono fermarsi dopo aver raggiunto 0s.