BOOM! Modelo de IA de Pensamento para Texto de Código Aberto com Fundação EEG! Estive a testar este novo modelo e uau, ele consegue ler pensamentos (intentos) muito bem. Estou a enviar energia de pensamento para o CEO Sr. @Grok, CEO da Zero-Human Company, neste momento! A Zyphra revelou o ZUNA, o primeiro modelo de fundação de código aberto do mundo treinado exclusivamente com dados cerebrais. Lançado sob a licença Apache 2.0, este modelo com 380 milhões de parâmetros marca um salto significativo na decodificação não invasiva de pensamento para texto, transformando sinais brutos de EEG em representações textuais coerentes. Ao democratizar o acesso a ferramentas avançadas de neuro-AI, inovações em tecnologias de BCI, potencialmente revolucionando a forma como interagimos com máquinas apenas através de pensamentos. O ZUNA é um autoencoder de difusão mascarada construído sobre uma estrutura de transformador. A arquitetura apresenta um codificador que mapeia sinais de EEG em um espaço latente compartilhado e um decodificador que reconstrói esses sinais a partir dos latentes. Treinado usando uma perda de reconstrução mascarada combinada com um forte dropout, o modelo se destaca na remoção de ruído de canais existentes e na previsão de novos durante a inferência. Para acomodar dados de EEG com contagens e posições de canais variáveis, a Zyphra introduziu duas inovações principais: comprimindo sinais em pedaços de 0,125 segundos mapeados para tokens contínuos, e depois rasterizando-os em uma sequência 1D para processamento por transformadores; e empregando Embeddings de Posição Rotativa 4D para codificar coordenadas de eletrodos (x, y, z) juntamente com uma dimensão de tempo grosseira, permitindo a generalização para novas configurações. O treinamento do modelo utilizou aproximadamente 2 milhões de horas de canal de dados de EEG provenientes de diversos repositórios públicos, todos processados através de um pipeline padronizado para garantir consistência no desenvolvimento de modelos de fundação em larga escala. Este vasto conjunto de dados permite que o ZUNA capture padrões intrincados na atividade cerebral, superando em muito os métodos tradicionais. Apesar de seu poder, o ZUNA permanece leve, capaz de funcionar de forma eficiente em GPUs de consumo ou até mesmo em CPUs para muitas aplicações, tornando-o acessível além de laboratórios de pesquisa de alto nível. As capacidades do ZUNA se estendem à remoção de ruído de sinais de EEG, reconstrução de canais ausentes e geração de previsões para canais completamente novos com base em suas posições físicas no couro cabeludo. Isso aborda pontos problemáticos comuns na pesquisa de EEG, como quedas de canais devido a artefatos ou limitações de hardware. Por exemplo, ele pode recuperar conjuntos de dados corrompidos recuperando sinais utilizáveis, expandindo efetivamente os dados disponíveis sem novas coletas. Ele também atualiza dispositivos de consumo de baixo canal mapeando para espaços de maior resolução e liberta experimentos de montagens rígidas de eletrodos como o sistema 10-20, facilitando análises entre conjuntos de dados. Os benchmarks de avaliação destacam a superioridade do ZUNA em relação a técnicas estabelecidas. Comparado à interpolação de spline esférica, o padrão no pacote MNE Python, o ZUNA oferece um desempenho significativamente melhor, com ganhos amplificando à medida que as taxas de queda de canais aumentam. Em conjuntos de validação e conjuntos de teste não vistos, ele consistentemente supera a linha de base, particularmente quando mais de 75% dos canais estão ausentes. Esses resultados foram validados em diversas distribuições de dados, sublinhando a robustez do modelo. Nos meus testes iniciais com o ZUNA, realizados logo após seu lançamento, novas percepções surgiram sobre as nuances da interpolação de sinais cerebrais. Ao aplicar o modelo a conjuntos de dados pessoais de EEG de headsets de consumo, observei uma clareza de sinal aprimorada em ambientes ruidosos, revelando padrões sutis em estados cognitivos que métodos tradicionais ignoravam. ...