As pessoas realmente não entendem o que o open source se tornou uma arma estratégica competitiva e como ele funciona. Alfred Marshall ficaria orgulhoso. Sempre bom reler a catedral e o bazar.
Aakash Gupta
Aakash Gupta16 de fev., 02:24
A parte que a maioria das pessoas vai pular: a NVIDIA acabou de transformar toda API de IA de voz em uma mercadoria. A OpenAI cobra $0,06/min de entrada e $0,24/min de saída pela API em tempo real. O Gemini Live fatura 25 tokens por segundo de áudio. Toda startup que cria agentes de voz está gastando dinheiro em taxas de API por minuto para rodar o que é fundamentalmente um problema de pipeline: ASR → LLM → TTS, três modelos unidos com latência em cada costura. O PersonaPlex substitui todo esse pipeline por um modelo 7B. Funciona com uma única A100. Pesos abertos, licença do MIT, uso comercial permitido. Latência de resposta: 0,170 segundos para turnos, 0,240 segundos para interrupções. Ele tem pontuação mais alta em naturalidade de diálogo do que Gemini (2,95 contra 2,80 MOS) e lida melhor com interrupções do que qualquer sistema comercial que eles benchmarkaram. Isso já diz tudo sobre o playbook da NVIDIA. Eles não precisam cobrar pelo modelo. Eles precisam que você compre a GPU. Toda empresa que hospeda PersonaPlex em vez de pagar o OpenAI por minuto é mais uma venda A100/H100. Cada startup de agente de voz que abandona sua dependência da API é mais um contrato de GPU empresarial. A NVIDIA disponibilizou a vara de pescar de código aberto porque eles vendem o lago. Construído sobre a arquitetura Moshi da Kyutai, refinado com menos de 5.000 horas de dados. A margem de IA de voz está migrando da camada de aplicação para a camada de hardware. E a NVIDIA é a única empresa que lucra independentemente do modelo que vencer. 330.000 downloads no primeiro mês. Isso é captura de infraestrutura disfarçada de generosidade.
No longo prazo, o preço marginal tende a tender para o custo marginal. Em software, isso custa $0.
30