O nosso @LiquidAI_ LFM2-Audio-1.5 em resumo:
- entrada de texto e áudio
- saída de texto e áudio
- 1.5B -> funciona localmente
- licença de peso aberto
Treinámos o nosso modelo LFM2-350M da @LiquidAI_ 1400x além do "computação ótima"
> Leis de escalonamento do Chinchilla: ~20 tokens por parâmetro
> LFM2-350M: ~28.000 tokens por parâmetro (1400x mais)
Por quê?
Porque o Chinchilla apenas se preocupa com a computação de treino, enquanto nós nos preocupamos com o custo de inferência.