Se eu fosse a16z, yc ou sequoia, investiria agressivamente em startups que estão criando formas inovadoras de coletar e anotar dados do mundo real. > Bilhões de horas de dados de direção > Trabalhadores de fábrica interagindo com eletrodomésticos e máquinas pesadas > Segmentação de áudio com compreensão dialética e cultural profunda > Dados experimentais em laboratório úmido > Coleta contínua e anotação de rastros de agentes em escala de computação Quando construímos LLMs, a maior parte dos dados já existia na internet. Só tivemos que raspar, limpar e escalar. Mas, à medida que avançamos para modelos de fundação mundial, o gargalo são dados de alta qualidade, do mundo real e bem anotados. E a qualidade das anotações importa. Existe uma diferença enorme entre: "Maçã na árvore" e "Maçãs maduras em uma árvore. O vento sopra a 2 milhas por hora. A temperatura é em torno de 18°C. ” A pergunta é simples. Quanto do mundo você realmente consegue capturar? Hoje, os LLMs sabem que maçãs caem por causa da gravidade, não porque entendam causalidade, mas porque entendem extremamente bem as correlações linguísticas. Entender a estrutura causal vem em seguida. Se eu estivesse construindo para esse futuro, ancoraria a coleta de dados na Índia e em outras regiões do Sul e Sudeste Asiático. Eu implantava hardware, coletava milhares de horas de dados de atividade humana, sinais de saúde e sinais vitais, e rodava pipelines de anotação continuamente. Dia e noite. Se eu fosse um a16z, financiaria fundadores para fazer isso. Talvez eu só tenha vontade de fazer isso sozinho.