MoE-Schichten können wirklich langsam sein. Bei der Schulung unserer Codierungsmodelle @cursor_ai benötigten sie 27–53 % der Trainingszeit.
Also haben wir es komplett auf Kernel-Ebene neu aufgebaut und sind zu MXFP8 gewechselt. Das Ergebnis: 3,5-mal schnellere MoE-Schicht und 1,5-mal schnellere End-to-End-Trainingsgeschwindigkeit.
Wir glauben, dass unser MXFP8 MoE-Trainingsstapel schneller ist als jede heute verfügbare Open-Source-Alternative.
Hier mehr lesen:
Der Cursor befindet sich jetzt in Ihrem Terminal! Es ist eine frühe Beta.
Greifen Sie auf alle Modelle zu. Wechseln Sie problemlos zwischen Ihrer CLI und dem Editor.