Desbloqueando modelos de fundação de célula única com 96% menos parâmetros Modelos de linguagem de célula única (scLLMs) aprenderam um conhecimento biológico notável a partir de milhões de células. Mas eles têm uma fraqueza crítica: tirá-los do seu contexto de treinamento—uma nova doença, uma espécie não vista, uma população celular não caracterizada—e as suas previsões tornam-se pouco confiáveis. A solução padrão é o fine-tuning. Mas o fine-tuning sobrescreve os parâmetros originais do modelo, causando "esquecimento catastrófico" do conhecimento biológico pré-aprendido. E é computacionalmente caro, exigindo recursos substanciais de GPU que muitos pesquisadores simplesmente não têm. Fei He e coautores propõem o scPEFT—uma estrutura de fine-tuning eficiente em parâmetros que congela a espinha dorsal original do scLLM e treina apenas pequenos adaptadores de baixa dimensão. Quatro tipos de adaptadores (Adaptador de Token, Adaptador de Prefixo, LoRA, Adaptador de Codificador) se encaixam em diferentes partes da arquitetura do modelo, aprendendo ajustes específicos da tarefa sem tocar nos pesos pré-treinados. Os ganhos de eficiência são impressionantes: o scPEFT reduz os parâmetros treináveis em mais de 96% e corta o uso de memória da GPU em mais da metade. Mas aqui está o que importa—ele realmente apresenta um desempenho melhor do que o fine-tuning completo. Em conjuntos de dados específicos de doenças (NSCLC, MS, COVID-19), o scPEFT alcança melhorias de precisão de 39,7–81,7% em relação aos modelos nativos e ganhos de 4,3–15% em relação às versões ajustadas, precisamente porque preserva em vez de sobrescrever o conhecimento pré-treinado. A estrutura também permite a transferência entre espécies a partir de modelos treinados em humanos: 14% de melhoria em neurônios de camundongo, 39% em células germinativas de macacos e 144% em C. elegans—tudo usando mapeamentos de genes ortólogos. A análise de atenção identifica genes relacionados ao COVID em estados específicos de células T e revela subpopulações biologicamente relevantes invisíveis para modelos ajustados. A implicação mais ampla: à medida que modelos de fundação proliferam na biologia, precisamos de maneiras eficientes de adaptá-los sem destruir o que aprenderam. O scPEFT mostra que, às vezes, atualizar menos significa aprender mais. Artigo:

Arquiteturas inspiradas na neurociência para construir IA verdadeiramente adaptativa Os sistemas de IA modernos são poderosos, mas frágeis. Treine um modelo, implemente-o e observe o desempenho degradar à medida que o mundo muda. Re-treine com novos dados e o modelo esquece o que sabia. Esse ciclo produz sistemas que se destacam em benchmarks estáticos, mas lutam com a adaptação contínua—algo que a inteligência biológica lida com facilidade. Um rato pode aprender em poucas tentativas a encontrar água em um labirinto novo em cerca de dez tentativas, uma taxa de aprendizado 1.000 vezes mais rápida do que as tarefas tradicionais de laboratório. No entanto, nossas redes neurais mais sofisticadas sofrem de esquecimento catastrófico quando solicitadas a aprender sequencialmente. O cérebro oferece uma arquitetura diferente. Ele opera não como uma única rede emaranhada, mas como módulos especializados interconectados de forma inteligente—o córtex visual processando bordas, o córtex motor computando no espaço de força, regiões pré-frontais rastreando memória estruturada por tarefas. Cada módulo constrói modelos internos atualizados através de erros de previsão quando os resultados esperados divergem da realidade. Esses sinais de ensino assinados foram agora descobertos em circuitos sensoriais, motores e de recompensa. Mackenzie Weygandt Mathis sintetiza essas percepções em uma proposta para IA agente adaptativa. Em vez de buscar modelos de fundação monolíticos cada vez maiores, ela argumenta a favor de sistemas de codificadores específicos de domínio cujas saídas são otimizadas em um espaço latente compartilhado. Cada codificador é monitorado por sinais de erro de previsão—codificadores robustos permanecem "trancados" enquanto aqueles que mostram desempenho degradado são "destrancados" para aprendizado contínuo usando replay de memória ou inteligência sináptica, sem tirar todo o sistema do ar. O princípio mais amplo: ao estruturar a IA em torno da modularidade inspirada na neurociência e da atualização baseada em erro de previsão, em vez de uma escala monolítica, torna-se possível ir além de modelos estáticos em direção a uma inteligência genuinamente adaptativa—sistemas que refinam continuamente seus modelos do mundo através da interação com ele. Artigo:

Os humanos aprendem como transformadores? É uma pergunta que soa quase filosófica, mas Pesnot Lerousseau e Summerfield transformaram-na em um experimento rigoroso. Eles treinaram tanto humanos (n = 530) quanto pequenas redes de transformadores na mesma tarefa de aprendizagem de regras, e então manipularam uma única variável: a distribuição estatística dos exemplos de treinamento—de totalmente diversa (cada exemplo único) a altamente redundante (os mesmos itens repetidos várias vezes). O resultado é impressionante. Tanto humanos quanto transformadores mostram uma sensibilidade quase idêntica a essa manipulação. Treine com dados diversos, e os aprendizes generalizam regras para situações novas ("aprendizagem em contexto"). Treine com dados redundantes, e eles memorizam exemplos específicos ("aprendizagem em pesos"). A transição entre estratégias ocorre no mesmo ponto crítico (exponente de Zipf α ≈ 1) em sistemas biológicos e artificiais. Nenhum deles consegue facilmente fazer os dois—até que você lhes dê uma distribuição composta misturando diversidade e redundância, momento em que tanto humanos quanto transformadores se tornam "aprendizes duplos." Mas aqui é onde eles divergem: os humanos se beneficiam de currículos. Apresente exemplos diversos no início, e as pessoas descobrem a regra generalizável sem perder a capacidade de memorizar depois. Os transformadores, por outro lado, sofrem interferência catastrófica—o que quer que aprendam em segundo lugar sobrescreve o que veio primeiro. A implicação para a IA e a educação é a seguinte: a estrutura dos dados de treinamento importa tanto quanto seu conteúdo. E enquanto os transformadores podem igualar a aprendizagem humana de maneiras surpreendentes, ainda lhes falta a flexibilidade que nos permite beneficiar de currículos bem projetados. Artigo: