Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Tinker от Thinking Machines, будучи GA, является одним из первых запусков за последнее время, который действительно ощущается как продукт для обучения.
Большинство хостинговых API для тонкой настройки (включая OpenAI) великолепны, когда вам нужно просто провести чистый SFT, но как только вы хотите сделать что-то даже немного сложное: кастомные учебные планы, онлайн-оценка, постобучение с вознаграждением, RL-подобные циклы, странные трюки с пакетами/упаковкой: вы быстро упираетесь в потолок и в конечном итоге восстанавливаете половину обучающего стека.
Tinker, по сути, переворачивает это: он предоставляет вам API для обучения с низкоуровневыми примитивами (sample / forward_backward / optim_step / save_state), так что вы пишете цикл, который действительно хотите, а они заботятся о частях, которые обычно превращаются в месяц работы с инфраструктурой (планирование, масштабирование, предвосхищение, восстановление после сбоев, почему эта работа завершилась на 93%).
Это также LoRA-первый, что является именно правильным стандартом для кастомизации: вы итеративно работаете быстрее, затраты остаются разумными, вы можете держать несколько вариантов без дублирования гигантских контрольных точек, и обслуживание становится гораздо более практичным. Мне также нравится, что история не расплывчата: LoRA действительно может соответствовать полной тонкой настройке на многих наборах данных после обучения, когда вы правильно ее настраиваете, но если вы пытаетесь втиснуть массовый сдвиг поведения в маленький адаптер (или ваш набор данных просто превосходит эффективную емкость адаптера), вы почувствуете это узкое место, и оно не исчезнет волшебным образом.
Единственный реальный недостаток, который я вижу, это минимальный порог для маломоделей: если ваша цель - крошечные edge SLM, это, вероятно, не тот инструмент. Тем не менее, я в восторге от этого. Не могу дождаться, чтобы увидеть, что люди создадут.
Топ
Рейтинг
Избранное
