Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Блестящая способность @karpathy заключается в том, чтобы упростить крайне сложные концепции и сделать их понятными и применимыми в небольшом масштабе.
Все, что потребовалось, это Claude Code и $10 на @runpod, чтобы запустить один H100, и у меня был исследователь в области машинного обучения мирового класса, работающий в автоматическом режиме.
Я беру общую концепцию автопоиска и применяю ее к инференс-пайплайну, над которым я работал (к счастью, GPU не требуется). Теперь все так весело.


8 мар., 03:53
Я упаковал проект "autoresearch" в новый самодостаточный минимальный репозиторий, если кто-то хочет поиграть в выходные. Это, по сути, ядро обучения LLM nanochat, упрощенное до версии на одном GPU, состоящей из одного файла примерно на 630 строк кода, затем:
- человек работает над подсказкой (.md)
- агент ИИ работает над кодом обучения (.py)
Цель состоит в том, чтобы разработать ваших агентов для достижения самой быстрой исследовательской прогрессии бесконечно и без вашего участия. На изображении каждая точка — это завершенный запуск обучения LLM, который длится ровно 5 минут. Агент работает в автономном цикле на ветке git и накапливает коммиты git к скрипту обучения, когда находит лучшие настройки (с меньшей валидационной потерей к концу) архитектуры нейронной сети, оптимизатора, всех гиперпараметров и т. д. Вы можете представить себе сравнение исследовательского прогресса различных подсказок, различных агентов и т. д.
Часть кода, часть научной фантастики и щепотка психоза :)

@karpathy @runpod нужны друзья, такие как @ryaneshea, чтобы убрать ваши (слабые) отговорки и просто делать вещи

502
Топ
Рейтинг
Избранное
