Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
O brilho de @karpathy é ser capaz de destilar conceitos vastamente complexos e torná-los simples de entender e implementar em pequena escala.
Tudo o que foi necessário foi Claude Code e $10 no @runpod para ativar um único H100, e eu tinha um pesquisador de ML de classe mundial trabalhando em piloto automático.
Estou pegando o conceito geral de autoresearch e aplicando-o a um pipeline de inferência em que tenho trabalhado (felizmente, sem necessidade de GPU). Tudo está tão divertido agora.


8/03, 03:53
Empacotei o projeto "autoresearch" em um novo repositório minimalista autossuficiente, caso as pessoas queiram brincar durante o fim de semana. É basicamente o núcleo de treinamento do nanochat LLM reduzido a uma versão de um único GPU, um arquivo com cerca de 630 linhas de código, então:
- o humano itera sobre o prompt (.md)
- o agente de IA itera sobre o código de treinamento (.py)
O objetivo é projetar seus agentes para fazer o progresso de pesquisa mais rápido indefinidamente e sem qualquer envolvimento seu. Na imagem, cada ponto é uma execução completa de treinamento de LLM que dura exatamente 5 minutos. O agente trabalha em um loop autônomo em uma branch de recurso do git e acumula commits do git no script de treinamento à medida que encontra melhores configurações (com menor perda de validação no final) da arquitetura da rede neural, do otimizador, todos os hiperparâmetros, etc. Você pode imaginar comparar o progresso de pesquisa de diferentes prompts, diferentes agentes, etc.
Parte código, parte ficção científica e uma pitada de psicose :)

@karpathy @runpod precisam de amigos como @ryaneshea para remover as suas (fracas) desculpas para não fazer as coisas

506
Top
Classificação
Favoritos
