BOOM! Mô hình AI Tư duy thành Văn bản mã nguồn mở với EEG Foundation! Tôi đã thử nghiệm mô hình mới này và thật tuyệt, nó có thể đọc suy nghĩ (ý định) khá tốt. Tôi đang gửi năng lượng suy nghĩ đến CEO ông @Grok, CEO của Công ty Zero-Human ngay bây giờ! Zyphra đã công bố ZUNA, mô hình nền tảng mã nguồn mở đầu tiên trên thế giới được đào tạo độc quyền trên dữ liệu não. Được phát hành dưới giấy phép Apache 2.0, mô hình 380 triệu tham số này đánh dấu một bước nhảy vọt quan trọng trong việc giải mã tư duy thành văn bản không xâm lấn, biến tín hiệu EEG thô thành các biểu diễn văn bản mạch lạc. Bằng cách dân chủ hóa quyền truy cập vào các công cụ neuro-AI tiên tiến, những đổi mới trong công nghệ BCI có thể cách mạng hóa cách chúng ta tương tác với máy móc chỉ bằng những suy nghĩ. ZUNA là một autoencoder khuếch tán có mặt nạ được xây dựng trên nền tảng transformer. Kiến trúc này có một bộ mã hóa ánh xạ tín hiệu EEG vào một không gian tiềm ẩn chung và một bộ giải mã tái tạo các tín hiệu đó từ các tiềm ẩn. Được đào tạo bằng cách sử dụng một mất mát tái tạo có mặt nạ kết hợp với dropout nặng, mô hình xuất sắc trong việc giảm nhiễu các kênh hiện có và dự đoán các kênh mới trong quá trình suy diễn. Để phù hợp với dữ liệu EEG có số lượng và vị trí kênh khác nhau, Zyphra đã giới thiệu hai đổi mới chính: nén tín hiệu thành các khối 0,125 giây được ánh xạ đến các token liên tục, sau đó raster hóa chúng thành một chuỗi 1D để xử lý transformer; và sử dụng 4D Rotary Position Embeddings để mã hóa tọa độ điện cực (x, y, z) cùng với một chiều thời gian thô, cho phép tổng quát đến các thiết lập mới. Việc đào tạo mô hình đã tận dụng khoảng 2 triệu giờ kênh dữ liệu EEG được lấy từ các kho công khai đa dạng, tất cả đều được xử lý thông qua một quy trình tiêu chuẩn hóa để đảm bảo tính nhất quán cho việc phát triển mô hình nền tảng quy mô lớn. Tập dữ liệu khổng lồ này cho phép ZUNA nắm bắt các mẫu phức tạp trong hoạt động não, vượt xa các phương pháp truyền thống. Mặc dù mạnh mẽ, ZUNA vẫn nhẹ, có khả năng chạy hiệu quả trên các GPU tiêu dùng hoặc thậm chí CPU cho nhiều ứng dụng, làm cho nó có thể tiếp cận được ngoài các phòng thí nghiệm nghiên cứu cao cấp. Khả năng của ZUNA mở rộng đến việc giảm nhiễu tín hiệu EEG, tái tạo các kênh bị thiếu và tạo ra các dự đoán cho các kênh hoàn toàn mới dựa trên vị trí da đầu vật lý của chúng. Điều này giải quyết các vấn đề thường gặp trong nghiên cứu EEG, chẳng hạn như sự mất kênh do các hiện tượng hoặc hạn chế phần cứng. Ví dụ, nó có thể cứu vãn các tập dữ liệu bị hỏng bằng cách phục hồi các tín hiệu có thể sử dụng, hiệu quả mở rộng dữ liệu có sẵn mà không cần thu thập mới. Nó cũng nâng cấp các thiết bị tiêu dùng có kênh thấp bằng cách ánh xạ đến các không gian độ phân giải cao hơn và giải phóng các thí nghiệm khỏi các lắp đặt điện cực cứng nhắc như hệ thống 10-20, tạo điều kiện cho các phân tích giữa các tập dữ liệu. Các tiêu chuẩn đánh giá nổi bật sự vượt trội của ZUNA so với các kỹ thuật đã được thiết lập. So với nội suy spline hình cầu, mặc định trong gói MNE Python, ZUNA cung cấp hiệu suất tốt hơn đáng kể, với các cải thiện gia tăng khi tỷ lệ mất kênh tăng. Trên các tập xác thực và các tập dữ liệu kiểm tra chưa thấy, nó liên tục vượt trội hơn so với cơ sở, đặc biệt khi hơn 75 phần trăm các kênh bị thiếu. Những kết quả này đã được xác thực qua các phân phối dữ liệu đa dạng, nhấn mạnh tính mạnh mẽ của mô hình. Trong các thử nghiệm ban đầu của tôi với ZUNA, được thực hiện ngay sau khi phát hành, những hiểu biết mới đã xuất hiện về các sắc thái của nội suy tín hiệu não. Bằng cách áp dụng mô hình vào các tập dữ liệu EEG cá nhân từ các bộ tai nghe tiêu dùng, tôi đã quan sát thấy độ rõ ràng tín hiệu được cải thiện trong các môi trường ồn ào, tiết lộ các mẫu tinh tế trong trạng thái nhận thức mà các phương pháp truyền thống đã bỏ qua. ...