Il y a environ un an, j'ai rejoint HF pour travailler sur accelerate avec @TheZachMueller. Je savais comment fonctionne l'entraînement distribué en théorie, mais j'avais presque 0 expérience. J'étais ravi d'avoir quelques H100 pour faire mes expériences. J'ai rejoint prime il y a quelques mois, l'un de mes premiers projets était de m'assurer que le grand run de trinity avec Arcee fonctionne bien et s'exécute rapidement. Maintenant, je vais au travail pour m'assurer qu'un modèle de 800B fonctionne sans problème sur des centaines de GPU et je consomme constamment une grande partie de notre cluster de recherche. Un peu de promotion personnelle, mais c'est un peu fou que l'on puisse juste faire des choses ?