Kỷ lục Speedrun mới của NanoGPT ở mức 109.2 (-3.5s) với một nâng cấp chú ý mới (?) gọi là Paired Head Attention. Các truy vấn có thể chú ý đến các khóa trong đầu lân cận, cho phép mỗi Q lấy 2 giá trị cho mỗi vị trí mục tiêu thay vì 1. Tác động 3% cho không có tham số!