BUM! Open-source přetvorba myšlenky do textu s modelem umělé inteligence EEG Foundation! Testuji tento nový model a wow, umí číst myšlenky (úmysly) docela dobře. Právě teď posílám myšlenkovou energii generálnímu řediteli panu @Grok generálnímu řediteli společnosti Zero-Human! Zyphra představila ZUNA, první open-source základní model na světě trénovaný výhradně na mozkových datech. Tento model s 380 miliony parametrů, vydaný pod licencí Apache 2.0, představuje významný krok v neinvazivním dekódování myšlenky do textu, kdy přeměňuje surové EEG signály na koherentní textové reprezentace. Demokratizací přístupu k pokročilým neuro-AI nástrojům, inovacím v BCI technologiích, což může potenciálně revolučně změnit způsob, jakým komunikujeme se stroji prostřednictvím pouhých myšlenek. ZUNA je maskovaný difuzní autoenkodér postavený na páteři transformátoru. Architektura obsahuje enkodér, který mapuje EEG signály do sdíleného latentního prostoru, a dekodér, který tyto signály rekonstruuje z latentů. Model je trénován pomocí maskované rekonstrukční ztráty v kombinaci s velkým dropoutem, což vyniká v odšumování existujících kanálů a predikci nových během inference. Aby se přizpůsobila EEG data s různými počty kanálů a pozicí, Zyphra zavedla dvě klíčové inovace: kompresi signálů do 0,125sekundových bloků mapovaných na kontinuální tokeny a následné rasterizování do 1D sekvence pro transformátorové zpracování; a použití 4D rotačních polohových embeddingů pro kódování souřadnic elektrod (x, y, z) spolu s hrubým časovým rozměrem, což umožňuje zobecnění na nové uspořádání. Trénink modelu využíval přibližně 2 miliony kanálových hodin EEG dat získaných z různých veřejných repozitářů, vše zpracováno standardizovaným pipeline, aby byla zajištěna konzistence pro vývoj rozsáhlých základních modelů. Tato rozsáhlá datová sada umožňuje ZUNĚ zachytit složité vzorce mozkové aktivity, které výrazně převyšují tradiční metody. Navzdory výkonu zůstává ZUNA lehká, schopná efektivně běžet na spotřebitelských GPU nebo dokonce CPU pro mnoho aplikací, což ji činí přístupnou i mimo špičkové výzkumné laboratoře. Schopnosti ZUNA zahrnují odšumování EEG signálů, rekonstrukci chybějících kanálů a generování predikcí pro zcela nové kanály na základě jejich fyzické polohy na skalpu. To řeší běžné problémy výzkumu EEG, jako jsou výpadky kanálů způsobené artefakty nebo hardwarovými omezeními. Například může zachránit poškozené datové sady obnovením použitelných signálů, čímž efektivně rozšiřuje dostupná data bez nutnosti nových kolekcí. Také vylepšuje nízkokanálová spotřebitelská zařízení mapováním na prostory s vyšším rozlišením a osvobozuje experimenty od pevných elektrodových montáží, jako je systém 10-20, což usnadňuje analýzy napříč datovými sadami. Hodnotící benchmarky zdůrazňují nadřazenost ZUNA nad zavedenými technikami. Ve srovnání se sférickou interpolací spline nabízí výchozí v MNE Python balíčku ZUNA výrazně lepší výkon, přičemž zisky se zvyšují s rostoucí frekvencí výpadků kanálu. Na validačních sadách a neviděných testovacích datech konzistentně překonává výchozí úroveň, zejména když chybí více než 75 procent kanálů. Tyto výsledky byly ověřeny napříč různými datovými distribucemi, což podtrhuje robustnost modelu. V mých raných testech se ZUNA, provedených krátce po jeho vydání, se objevily nové poznatky o nuancích interpolace mozkových signálů. Aplikací modelu na osobní EEG datové sady z uživatelských headsetů jsem pozoroval zvýšenou čistotu signálu v hlučném prostředí, odhalující jemné vzorce v kognitivních stavech, které tradiční metody přehlížely. ...