Chủ đề thịnh hành
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Pluralis Research
Học giao thức
Pluralis Research đã đăng lại
Sử dụng các bảng điều khiển Grafana đẹp mắt cho mọi thứ bên trong, đẹp hơn nhiều so với Tensorboard. Wandb vẫn tốt nhưng không thực sự hoạt động với việc đào tạo phi tập trung. Điều này khiến tôi tự hỏi công cụ trực quan nội bộ trong openai sẽ như thế nào - chắc chắn phải tuyệt vời.




3,04K
Pluralis Research đã đăng lại
Có lẽ đây là tuần lớn nhất trong lĩnh vực Đào tạo Phi tập trung cho đến nay, sau ICLR và nhiều điều khác sắp được công bố. Tóm tắt tình hình hiện tại:
1. Hậu đào tạo RL phi tập trung rõ ràng đang hoạt động. @gensynai là ví dụ mới nhất với kết quả tuyệt vời ở đây. Quá trình này sử dụng một mô hình cơ sở mạnh mẽ, cung cấp các bản sao cho các người tham gia, những người này tạo ra các dấu vết lý luận, sau đó được thu thập và sử dụng để cải thiện mô hình cơ sở. Điều này rõ ràng phụ thuộc vào việc các mô hình cơ sở có sẵn/mở trọng số, và rẻ hơn đáng kể so với Tiền đào tạo. Các nút chỉ cần thực hiện suy luận. Nhược điểm là có bằng chứng ngày càng tăng (và rất trực quan) rằng không thể sử dụng RL để vượt qua một mô hình cơ sở kém. Vì vậy, bạn vẫn phụ thuộc vào điều này. Chúng ta cần chờ kết quả của các lần chạy này, nhưng thực tế là điều này sẽ hoạt động theo cách này hay cách khác vì quá trình này rất dễ dàng để song song hóa.
2. Tiền đào tạo song song dữ liệu (DP) trông rất khả quan. Cả @NousResearch và @PrimeIntellect đều đã có kết quả ở đây với các mô hình kích thước 10B. Việc mở rộng điều này lên trường hợp 100B sẽ rất đơn giản (nhưng đắt đỏ đối với các nhà vận hành nút). Điều này là do trong DP, mỗi nút giữ một bản sao đầy đủ của mô hình, vì vậy bạn cần ví dụ như 8xh100s để đào tạo ở kích thước 10B; bạn không thể sử dụng các thẻ nhỏ. Vì vậy, bạn chỉ cần mở rộng kỹ thuật này bằng cách tăng quy mô các nút và thực hiện đào tạo hợp tác giữa các trung tâm dữ liệu (tức là mỗi nút bao gồm khoảng 100 H100, và bạn đào tạo mô hình >100B). Bạn cũng gặp vấn đề rằng mọi người đều thấy một bản sao đầy đủ của mô hình, vì vậy không rõ cách kiếm tiền (Protocol Learning giải quyết điều này).
3. Mô hình song song (nơi mô hình tự nó được chia nhỏ trên các nút - nghĩ đến 1000 Macbook tách biệt về mặt địa lý đào tạo một mô hình tham số 100B, nơi mỗi thiết bị chỉ có một phần nhỏ của tổng mô hình) bắt đầu cho thấy những dấu hiệu đầu tiên của khả năng thực hiện. Chúng tôi (@PluralisHQ) đã công bố bài báo 'Beyond Top k' nén thông tin liên lạc giữa các nút hơn 90%, cũng như hai công trình khác cho thấy bạn có thể sử dụng các thiết bị không đồng nhất trong một thiết lập Pipeline Parallel (PP). Chúng tôi cũng đã có phương pháp Nesterov cho PP được chấp nhận vào ICML2025, mà theo như tôi biết, đây là bài báo đầu tiên về đào tạo phi tập trung được chấp nhận vào một hội nghị AI lớn kể từ bài báo SWARM gốc, và nên giúp thúc đẩy sự quan tâm từ các vòng tròn AI chính thống.
Mô hình song song phi tập trung đã được giải quyết → CHƯA. Băng thông truyền thông kém hơn rất nhiều so với một trung tâm dữ liệu, đến mức ngay cả 90% cũng không đủ. Chúng ta cần đạt được khoảng 300 lần nén để đạt được sự tương đương với đào tạo tập trung. Vẫn còn một câu hỏi lớn liệu điều này có thể thực hiện được hay không - bạn đang phá hủy rất nhiều tín hiệu đào tạo bằng cách làm điều này. Đây là trọng tâm của Pluralis.
Tuy nhiên, điều gì sẽ xảy ra nếu điều này hoạt động? Lần đầu tiên, bạn có thể thực hiện tiền đào tạo hợp tác thực sự. Không còn phụ thuộc vào deepseek hay Meta. Các cá nhân có thể kết hợp sức mạnh tính toán để tạo ra các mô hình ở quy mô này, từ đầu. Chúng ta có sự đổi mới do cộng đồng dẫn dắt thực sự xảy ra ở đây theo cách chưa từng tồn tại trước đây. Hậu đào tạo dựa trên RL phi tập trung sau đó có thể được sử dụng để làm cho các mô hình này thậm chí còn tốt hơn.
Thực tế là chúng ta đang ở những ngày đầu tiên của một điều gì đó cực kỳ quan trọng đang xảy ra ở đây. Đây sẽ là một lĩnh vực lớn. Các công ty trên đang hoạt động hết công suất, một loạt điều khác sắp được công bố, và tôi không mong đợi điều này sẽ chậm lại chút nào từ bây giờ cho đến khi bất cứ điều gì xảy ra.
14,21K
Hàng đầu
Thứ hạng
Yêu thích
Onchain thịnh hành
Thịnh hành trên X
Ví funding hàng đầu gần đây
Được chú ý nhất