Předpoklad, který dnes všichni zastávají, je, že v současnosti jsou náklady na inferenci silně dotovány a v blízké budoucnosti dramaticky vzrostou. Myslím, že je to možná rozbitý mentální model, když se díváme na minulé dotované podniky s extrémně vysokými mezními náklady.
Mnoho z těchto modelů ani dnes nefunguje se ztrátou na modelové jednotce (zejména pokud se na trénovací náklady podíváte jako na CapEx, což se dá tvrdit, že jsou). Myslím, že pravděpodobný výsledek je, že budou mnohem levnější na token a počet spotřebovaných tokenů roste exponenciálně.
36