i siti web sostituiscono la maggior parte delle applicazioni desktop (ultimi 20 anni) e poi gli agenti sostituiscono la maggior parte dei siti web (prossimi 20 anni)

Quando interroghi l'IA, essa raccoglie informazioni rilevanti per risponderti. Ma, quante informazioni ha bisogno il modello? Le conversazioni con i professionisti hanno rivelato la loro intuizione: l'input era ~20 volte più grande dell'output. Ma i miei esperimenti con l'interfaccia a riga di comando dello strumento Gemini, che fornisce statistiche dettagliate sui token, hanno rivelato che è molto più alto. In media 300 volte e fino a 4000 volte. Ecco perché questo alto rapporto input-output è importante per chiunque stia costruendo con l'IA: La gestione dei costi riguarda tutto l'input. Con le chiamate API prezzate per token, un rapporto di 300:1 significa che i costi sono dettati dal contesto, non dalla risposta. Questa dinamica di prezzo è valida per tutti i principali modelli. Nella pagina dei prezzi di OpenAI, i token di output per GPT-4.1 costano 4 volte di più dei token di input. Ma quando l'input è 300 volte più voluminoso, i costi di input rappresentano ancora il 98% della bolletta totale. La latenza è una funzione della dimensione del contesto. Un fattore importante che determina quanto tempo un utente aspetta per una risposta è il tempo necessario al modello per elaborare l'input. Ridefinisce la sfida ingegneristica. Questa osservazione dimostra che la sfida principale di costruire con i LLM non è solo il prompting. È l'ingegneria del contesto. Il compito critico è costruire un recupero dati efficiente e contesto - creare pipeline che possano trovare le migliori informazioni e distillarle nel minor numero possibile di token. Il caching diventa mission-critical. Se il 99% dei token è nell'input, costruire uno strato di caching robusto per documenti frequentemente recuperati o contesti di query comuni passa da un "nice-to-have" a un requisito architettonico fondamentale per costruire un prodotto scalabile e conveniente. Per gli sviluppatori, questo significa che concentrarsi sull'ottimizzazione dell'input è una leva critica per controllare i costi, ridurre la latenza e, in ultima analisi, costruire un prodotto di successo alimentato dall'IA.

Coinbase is joining the S&P 500. To most, it’s a crypto milestone. To us, it’s a signal. 🧵