Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Я завжди так думав, що LLM зрештою працюватимуть, бо саме так я (і, ймовірно, більшість інших) думаю
Я припускаю, що базова одиниця думки — це гештальтний вектор думки, а не «слова», і ми всі розробили дуже швидкий спосіб перекладу їх у слова, бо слова більш комунікативні, ніж думки
Це завжди була моя проблема з дискурсом «деякі люди не мають внутрішнього монологу!»
Просто не має сенсу, щоб слова були основою, якою люди думають. Думати у 1000 разів краще у вигляді образів чи цих думок чи чогось подібного
Я припускаю, що здається, що люди просто мислять словами, бо коли вони описують свої думки людям, їм доводиться перекладати думки на слова — адже так ми спілкуємося — і цей процес перетворює їхні справжні думки на форму монологу
Але логічно думати словами лише тоді, коли потрібно вивести якусь форму комунікації. Інакше це не дуже ефективно
А людський мозок неймовірно ефективний
23 бер., 00:54
🚨 BREAKING: Tencent вбив парадигму «наступного токену».
Tencent і Tsinghua випустили CALM (Безперервні авторегресні мовні моделі), і це повністю порушує парадигму наступного токену.
LLM наразі витрачають величезну кількість обчислювальних витрат на прогнозування дискретних, окремих токенів через величезний слониковий рівень softmax. Він повільний і погано масштабується.
CALM повністю обходить словниковий запас. Він використовує високоякісний автоенкодер для стиснення шматків тексту в один безперервний вектор з точністю реконструкції 99,9%.
Тепер модель прогнозує «наступний вектор» у неперервному просторі.
Цифри насправді неймовірні:
- Кожен генеративний крок тепер несе 4× семантичної смуги пропускання.
- Навчальні обчислення зменшуються на 44%.
- Вузьке місце softmax повністю усувається.
Ми буквально спостерігаємо, як мовні моделі еволюціонують від набору дискретних символів до потоку безперервних думок.
Це змінює всю траєкторію розвитку ШІ.
До речі, я просто коментую описаний тут механізм, а не саму технологію від Tencent чи щось подібне
Припускаю, що перехід від векторів до токена буде досить повільним і неефективним довго, і сумніваюся, що це РЕВОЛЮЦІОНІЗУЄ ШІ чи щось подібне в короткостроковій перспективі
290
Найкращі
Рейтинг
Вибране