Diffusion pour tout ! Nous partageons une recette pour commencer à partir d'un VLM autoregressif préentraîné et, avec très peu de puissance de calcul d'entraînement et quelques astuces d'annealing intéressantes, le transformer en un VLM de diffusion SOTA. La recherche sur la diffusion pour le langage progresse très rapidement et, à mon avis, offre un chemin tout aussi prometteur pour unifier les modalités que les modèles autoregressifs 'omni'. Un travail incroyable dirigé par @mariannearr @ServerProcessor pendant l'été.