Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Max Ryabinin
Масштабне глибоке навчання та дослідження @togethercompute
Learning@home/Hivemind автор (DMoE, DeDLOC, SWARM, Пелюстки)
Доктор філософії з децентралізованої ДН '2023
З мого досвіду, домогтися прийняття доповіді про децентралізовану ДН на конференції найвищого рівня може бути досить складно. Мотивація не знайома багатьом рецензентам, а стандартні налаштування експерименту не враховують проблеми, які ви прагнете вирішити.
Тому я дуже радий бачити, як такі компанії, як @PluralisHQ і @PrimeIntellect, вкладають зусилля, щоб поділитися своїми результатами та опублікувати їх на великих конференціях! IMO навіть підготовка подання змушує вас бути більш суворим у своїх експериментах / зовнішні відгуки рецензентів допомагають вам посилити посил статті.
14 лип., 08:24
For people not familiar with AI publishing; there are 3 main conferences every year. ICML, ICLR and NeurIPS. These are technical conferences and the equivalent of journals in other disciplines - they are the main publishing venue for AI. The competition to have papers at these conferences is now at a ridiculous level, getting papers accepted is very hard, and there is a lot of concern about the review process which is quite noisey at this point. A strong paper with no flaws has around a 50% chance of being accepted, and typically a paper is submitted with reviewer changes several times until it is accepted. Despite all that, papers in these venues remain the primary stamp of legitimacy in AI world, and are probably still the primary career metrics for ML researchers (although this is weakening imo as so much of the research in the frontier labs is unpublished).
Main Track papers are significantly different to workshop papers. The main track has intense, serious peer review. Workshop papers are for preliminary work, that give some indication of an interesting result, but are either not complete or the result is not significant enough for main track. They are only required to be reviewed by the workshop reviewer pool and they don’t appear in proceedings.
Many great papers have first shown up in workshops (e.g. grokking) - but workshop and main track papers are fundamentally different things, with a fundamentally different level of impact. The only two companies in decentralised AI that have main track papers this year are @PrimeIntellect and Pluralis.
7,28K
Користувач Max Ryabinin поділився
@gowthami_s @JangLawrenceK @IAmTimNguyen @ishapuri101 Розподілене навчання в машинному навчанні🌍
Приєднуйтесь до нас 12 липня, щоб @Ar_Douillard дослідити ключові методи, такі як FSDP, Pipeline та Expert Parallelism, а також нові підходи, такі як DiLoCo та SWARM, розширюючи межі глобального розподіленого навчання.
Дізнатися більше:
7,27K
Велике спасибі Фердинанду за те, що він провів цю розмову! Це була чудова можливість оглянути всі частини SWARM і детально обговорити мотивацію, що стоїть за ними.
Сподіваюся, це відео зробить децентралізовані DL більш доступними: багато ідей в області простіше, ніж здається!
12 черв. 2025 р.
Відеоогляд наукової роботи на тему "Ройовий паралелізм" разом з автором @m_ryabinin, заслуженим науковим співробітником @togethercompute вийшов друком! Посилання нижче 👇
Для контексту, більшість децентралізованого навчання сьогодні дотримується підходів у стилі DDP, які вимагають повної реплікації моделі на кожному вузлі. Хоча це практично для тих, хто має в своєму розпорядженні кластери H100, це залишається недосяжним для переважної більшості потенційних учасників, саме тут SWARM стане в нагоді!
3,13K
Найкращі
Рейтинг
Вибране