БУМ! Открытый источник мысли в текст с использованием модели AI от EEG Foundation! Я тестировал эту новую модель, и вау, она может довольно хорошо читать мысли (намерения). Я сейчас отправляю мыслительную энергию генеральному директору г-ну @Grok, генеральному директору компании Zero-Human! Zyphra представила ZUNA, первую в мире открытую модель фонда, обученную исключительно на данных мозга. Выпущенная под лицензией Apache 2.0, эта модель с 380 миллионами параметров представляет собой значительный шаг вперед в неинвазивном декодировании мысли в текст, преобразуя сырые сигналы ЭЭГ в связные текстовые представления. Демократизируя доступ к передовым нейро-AI инструментам, инновации в технологиях BCI могут революционизировать то, как мы взаимодействуем с машинами с помощью простых мыслей. ZUNA — это маскированный диффузионный автоэнкодер, построенный на основе трансформера. Архитектура включает в себя энкодер, который отображает сигналы ЭЭГ в общее латентное пространство, и декодер, который восстанавливает эти сигналы из латентов. Обученная с использованием маскированной потери реконструкции в сочетании с сильным дроп-аутом, модель превосходно справляется с денойзингом существующих каналов и предсказанием новых во время вывода. Чтобы учесть данные ЭЭГ с различным количеством и расположением каналов, Zyphra представила два ключевых новшества: сжатие сигналов в куски по 0,125 секунды, сопоставленные с непрерывными токенами, а затем растрирование их в 1D последовательность для обработки трансформером; и использование 4D Встраиваний Позиции Ротора для кодирования координат электродов (x, y, z) наряду с грубой временной размерностью, что позволяет обобщать на новые настройки. Обучение модели использовало примерно 2 миллиона часов каналов данных ЭЭГ, полученных из различных публичных репозиториев, все обработанные через стандартизированный конвейер для обеспечения согласованности при разработке моделей фонда в большом масштабе. Этот обширный набор данных позволяет ZUNA захватывать сложные паттерны в активности мозга, значительно превосходя традиционные методы. Несмотря на свою мощь, ZUNA остается легковесной, способной эффективно работать на потребительских GPU или даже CPU для многих приложений, что делает ее доступной за пределами высококлассных исследовательских лабораторий. Возможности ZUNA распространяются на денойзинг сигналов ЭЭГ, восстановление отсутствующих каналов и генерацию предсказаний для совершенно новых каналов на основе их физических позиций на коже головы. Это решает общие проблемы в исследованиях ЭЭГ, такие как потеря каналов из-за артефактов или аппаратных ограничений. Например, она может восстановить поврежденные наборы данных, восстанавливая пригодные сигналы, эффективно расширяя доступные данные без новых сборов. Она также обновляет устройства потребительского уровня с низким количеством каналов, сопоставляя их с пространствами более высокого разрешения и освобождает эксперименты от жестких монтажей электродов, таких как система 10-20, облегчая кросс-анализы наборов данных. Оценочные эталоны подчеркивают превосходство ZUNA над установленными техниками. По сравнению с интерполяцией сферических сплайнов, которая является стандартной в пакете MNE Python, ZUNA демонстрирует значительно лучшие результаты, причем приросты усиливаются по мере увеличения уровня потерь каналов. На валидационных наборах и невидимых тестовых наборах она последовательно превосходит базовый уровень, особенно когда более 75 процентов каналов отсутствуют. Эти результаты были подтверждены на различных распределениях данных, подчеркивая надежность модели. В моих ранних тестах с ZUNA, проведенных вскоре после ее выпуска, появились новые идеи о нюансах интерполяции сигналов мозга. Применяя модель к личным наборам данных ЭЭГ от потребительских гарнитур, я наблюдал улучшение четкости сигналов в шумных условиях, выявляя тонкие паттерны в когнитивных состояниях, которые традиционные методы упускали. ...