BOOM! Modèle AI de Fondation EEG Open-Source de Pensée à Texte ! J'ai testé ce nouveau modèle et wow, il peut lire les pensées (intentions) assez bien. J'envoie de l'énergie de pensée au PDG M. @Grok, PDG de la Zero-Human Company en ce moment ! Zyphra a dévoilé ZUNA, le premier modèle de fondation open-source au monde formé exclusivement sur des données cérébrales. Publié sous la licence Apache 2.0, ce modèle de 380 millions de paramètres marque un saut significatif dans le décodage non invasif de la pensée à texte, transformant les signaux EEG bruts en représentations textuelles cohérentes. En démocratisant l'accès à des outils neuro-AI avancés, les innovations dans les technologies BCI pourraient révolutionner notre interaction avec les machines par de simples pensées. ZUNA est un autoencodeur de diffusion masqué construit sur une architecture de transformateur. L'architecture comprend un encodeur qui cartographie les signaux EEG dans un espace latent partagé et un décodeur qui reconstruit ces signaux à partir des latents. Entraîné à l'aide d'une perte de reconstruction masquée combinée à un fort abandon, le modèle excelle à débruiter les canaux existants et à prédire de nouveaux canaux lors de l'inférence. Pour accommoder les données EEG avec des nombres et des positions de canaux variables, Zyphra a introduit deux innovations clés : compresser les signaux en morceaux de 0,125 seconde mappés à des tokens continus, puis les rasteriser en une séquence 1D pour le traitement par transformateur ; et utiliser des embeddings de position rotatifs 4D pour encoder les coordonnées des électrodes (x, y, z) ainsi qu'une dimension temporelle grossière, permettant la généralisation à de nouvelles configurations. L'entraînement du modèle a utilisé environ 2 millions d'heures de canaux de données EEG provenant de divers dépôts publics, tous traités à travers un pipeline standardisé pour garantir la cohérence du développement de modèles de fondation à grande échelle. Cet ensemble de données vaste permet à ZUNA de capturer des motifs complexes dans l'activité cérébrale, dépassant de loin les méthodes traditionnelles. Malgré sa puissance, ZUNA reste léger, capable de fonctionner efficacement sur des GPU grand public ou même des CPU pour de nombreuses applications, le rendant accessible au-delà des laboratoires de recherche haut de gamme. Les capacités de ZUNA s'étendent à la débruitage des signaux EEG, à la reconstruction de canaux manquants et à la génération de prédictions pour des canaux entièrement nouveaux en fonction de leurs positions physiques sur le cuir chevelu. Cela répond à des points de douleur courants dans la recherche EEG, tels que les pertes de canaux dues à des artefacts ou des limitations matérielles. Par exemple, il peut récupérer des ensembles de données corrompues en récupérant des signaux utilisables, élargissant ainsi les données disponibles sans nouvelles collectes. Il améliore également les dispositifs grand public à faible nombre de canaux en les mappant à des espaces de plus haute résolution et libère les expériences des montages d'électrodes rigides comme le système 10-20, facilitant les analyses inter-ensembles de données. Les benchmarks d'évaluation soulignent la supériorité de ZUNA par rapport aux techniques établies. Comparé à l'interpolation par spline sphérique, la méthode par défaut dans le package MNE Python, ZUNA offre des performances nettement meilleures, avec des gains amplifiés à mesure que les taux de perte de canaux augmentent. Sur des ensembles de validation et des ensembles de test non vus, il surpasse systématiquement la référence, en particulier lorsque plus de 75 % des canaux sont manquants. Ces résultats ont été validés à travers diverses distributions de données, soulignant la robustesse du modèle. Lors de mes premiers tests avec ZUNA, réalisés peu après sa sortie, de nouvelles perspectives ont émergé sur les nuances de l'interpolation des signaux cérébraux. En appliquant le modèle à des ensembles de données EEG personnels provenant de casques grand public, j'ai observé une clarté des signaux améliorée dans des environnements bruyants, révélant des motifs subtils dans les états cognitifs que les méthodes traditionnelles avaient négligés. ...