Confira nossa pesquisa mais recente liderada por @rohin_manvi sobre computação adaptativa em tempo de teste.
Os LLMs podem ser treinados para prever seu próprio futuro, sobre quão bem eles se desempenham e em quanto tempo.
Esse mecanismo pode ser usado como uma nova estratégia de amostragem para melhorar a eficiência da computação em tempo de teste.
🚨Papel 🚨
E se os LLMs pudessem dizer que vão falhar antes de terminarem o raciocínio?
Treinámos modelos para prever o seu próprio futuro: se terão sucesso e quanto tempo levará. A cada token, em tempo real, sem computação extra.
Usámos isso para desenvolver um algoritmo de amostragem adaptativa para computação em tempo de teste. 👇🧵