È stato così divertente, Mario. Grazie per avermi invitato nello show per parlare di tutto ciò che sta accadendo nel mercato!

OpenAI riceve in media 1 query per americano al giorno. Google riceve circa 4 query per americano al giorno. Da allora, il 50% delle query di ricerca su Google ha panoramiche AI, il che significa che almeno il 60% delle ricerche negli Stati Uniti sono ora AI. Ci è voluto un po' più di tempo di quanto mi aspettassi perché questo accadesse. Nel 2024, avevo previsto che il 50% delle ricerche dei consumatori sarebbe stato abilitato all'AI. ( Ma l'AI è arrivata nella ricerca. Se i modelli di ricerca di Google sono un'indicazione, c'è una legge di potenza nel comportamento di ricerca. L'analisi di SparkToro sul comportamento di ricerca di Google mostra che il terzo superiore degli americani che cercano esegue oltre l'80% di tutte le ricerche - il che significa che l'uso dell'AI non è probabilmente distribuito in modo uniforme - come il futuro. I siti web e le aziende stanno iniziando a sentire gli impatti di questo. L'articolo dell'Economist "L'AI sta uccidendo il web. Può qualcosa salvarlo?" cattura lo zeitgeist in un titolo. ( Una supermaggioranza di americani ora cerca con l'AI. Gli effetti di secondo ordine derivanti dai cambiamenti nei modelli di ricerca stanno arrivando nella seconda metà di quest'anno e molti si chiederanno: "Cosa è successo al mio traffico?" ( L'AI è un nuovo canale di distribuzione e coloro che lo afferrano guadagneranno quote di mercato. - William Gibson ha visto molto più lontano nel futuro! - Questo si basa su un'analisi intermedia del grafico di SparkToro, è un'analisi molto semplice e ha qualche errore come risultato.

Lavorando con l'IA, mi fermo prima di digitare qualsiasi cosa nella casella per farmi una domanda: cosa mi aspetto dall'IA? 2x2 in soccorso! In quale casella mi trovo? Su un asse, quanto contesto fornisco: non molto fino a abbastanza. Sull'altro, se dovrei osservare l'IA o lasciarla andare. Se fornisco pochissime informazioni e lascio il sistema andare: ‘ricerca le tendenze degli Ingegneri Distribuiti Avanzati’, ottengo risultati scadenti: panoramiche generali senza dettagli rilevanti. Eseguire lo stesso progetto con una serie di domande brevi produce una conversazione iterativa che ha successo - un'Esplorazione. “Quali aziende hanno implementato Ingegneri Distribuiti Avanzati (FDE)? Quali sono i background tipici degli FDE? Quali tipi di strutture contrattuali e aziende si prestano a questo lavoro?” Quando ho una tolleranza molto bassa per gli errori, fornisco un contesto ampio e lavoro in modo iterativo con l'IA. Per post sul blog o analisi finanziarie, condivido tutto (bozze attuali, scritti precedenti, requisiti dettagliati) e poi procedo frase per frase. Lasciare un agente correre liberamente richiede di definire tutto in anticipo. Raramente riesco qui perché il lavoro preliminare richiede una chiarezza enorme - obiettivi esatti, informazioni complete e liste di compiti dettagliate con criteri di validazione - un'outline. Questi prompt finiscono per assomigliare ai documenti di requisiti di prodotto che scrivevo come product manager. La risposta a ‘cosa mi aspetto?’ diventerà più facile man mano che i sistemi di IA accederanno a più delle mie informazioni e miglioreranno nella selezione dei dati rilevanti. Man mano che divento migliore nell'articolare ciò che voglio realmente, la collaborazione migliora. Il mio obiettivo è spostare molte più delle mie domande fuori dal quadrante in alto a sinistra - come sono stato addestrato con la ricerca Google - negli altri tre quadranti. Mi aspetto anche che questa abitudine mi aiuti a lavorare meglio con le persone.

Quella piccola scatola nera al centro è codice di machine learning. Ricordo di aver letto il documento di Google del 2015 "Hidden Technical Debt in ML" e di aver pensato a quanto poco di un'applicazione di machine learning fosse realmente machine learning. La stragrande maggioranza era infrastruttura, gestione dei dati e complessità operativa. Con l'avvento dell'IA, sembrava che i modelli di linguaggio di grandi dimensioni avrebbero assorbito queste scatole. La promessa era semplicità: inserisci un LLM e guardalo gestire tutto, dal servizio clienti alla generazione di codice. Niente più pipeline complesse o integrazioni fragili. Ma nella costruzione di applicazioni interne, abbiamo osservato una dinamica simile con l'IA. Gli agenti hanno bisogno di molto contesto, come un umano: come è strutturato il CRM, cosa inseriamo in ciascun campo - ma l'input è costoso per il modello Affamato, Affamato IA. Ridurre i costi significa scrivere software deterministico per sostituire il ragionamento dell'IA. Ad esempio, automatizzare la gestione delle email significa scrivere strumenti per creare attività in Asana e aggiornare il CRM. Man mano che il numero di strumenti aumenta oltre dieci o quindici strumenti, la chiamata agli strumenti non funziona più. È tempo di avviare un modello di machine learning classico per selezionare gli strumenti. Poi c'è da osservare il sistema con osservabilità, valutando se è performante e instradando al modello giusto. Inoltre, c'è un'intera categoria di software per assicurarsi che l'IA faccia ciò che deve fare. Le barriere di protezione prevengono risposte inappropriate. Il rate limiting impedisce ai costi di impazzire quando un sistema va fuori controllo. Il recupero delle informazioni (RAG - retrieval augmented generation) è essenziale per qualsiasi sistema di produzione. Nella mia app di email, utilizzo un database vettoriale LanceDB per trovare tutte le email di un particolare mittente e abbinare il loro tono. Ci sono altre tecniche per la gestione della conoscenza attorno a graph RAG e database vettoriali specializzati. Più recentemente, la memoria è diventata molto più importante. Le interfacce a riga di comando per gli strumenti di IA salvano la cronologia delle conversazioni come file markdown. Quando pubblico grafici, voglio la didascalia di Theory Ventures in basso a destra, un font particolare, colori e stili. Questi sono ora tutti salvati all'interno di file .gemini o .claude in una serie di directory a cascata. La semplicità originale dei modelli di linguaggio di grandi dimensioni è stata assorbita dalla complessità della produzione di livello enterprise. Questo non è identico alla generazione precedente di sistemi di machine learning, ma segue un chiaro parallelo. Quello che sembrava essere una semplice "scatola magica dell'IA" si è rivelato essere un iceberg, con la maggior parte del lavoro ingegneristico nascosto sotto la superficie.

Se il 2025 è l'anno degli agenti, allora il 2026 apparterrà sicuramente ai manager degli agenti. I manager degli agenti sono persone che possono gestire team di agenti AI. Quanti agenti può gestire con successo una sola persona? A malapena riesco a gestire 4 agenti AI alla volta. Chiedono chiarimenti, richiedono permessi, effettuano ricerche sul web, tutto ciò richiede la mia attenzione. A volte un compito richiede 30 secondi. Altre volte, 30 minuti. Perdo il conto di quale agente sta facendo cosa e metà del lavoro viene scartato perché fraintendono le istruzioni. Questo non è un problema di abilità. È un problema di strumenti. I robot fisici offrono indizi sulla produttività dei manager di robot. Il MIT ha pubblicato un'analisi nel 2020 che suggeriva che in media un robot sostituisse 3,3 posti di lavoro umani. Nel 2024, Amazon ha riportato che i robot per il picking, il confezionamento e la spedizione hanno sostituito 24 lavoratori. Ma c'è una differenza critica: l'AI è non deterministica. Gli agenti AI interpretano le istruzioni. Improvvisano. A volte ignorano completamente le indicazioni. Un Roomba può solo sognare la libertà creativa di ignorare il tuo soggiorno e decidere che il garage ha bisogno di attenzione invece. La teoria della gestione spesso guida i team a un'ampiezza di controllo di 7 persone. Parlando con alcuni migliori manager di agenti, ho appreso che utilizzano una casella di posta per agenti, uno strumento di gestione dei progetti per richiedere lavoro AI e valutarlo. Nell'ingegneria del software, le pull request di Github o i ticket di Linear servono a questo scopo. Gli ingegneri software AI molto produttivi gestiscono 10-15 agenti specificando 10-15 compiti in dettaglio, inviandoli a un AI, aspettando il completamento e poi rivedendo il lavoro. Metà del lavoro viene scartato e ripreso con un prompt migliorato. La casella di posta per agenti non è popolare - ancora. Non è ampiamente disponibile. Ma sospetto che diventerà una parte essenziale dello stack di produttività per i futuri manager di agenti perché è l'unico modo per tenere traccia del lavoro che può arrivare in qualsiasi momento. Se l'ARR per dipendente è la nuova metrica di vanità per le startup, allora gli agenti gestiti per persona potrebbero diventare la metrica di produttività di vanità di un lavoratore. In 12 mesi, quanti agenti pensi di poter gestire? 10? 50? 100? Potresti gestire un agente che gestisce altri agenti?

"Oh, il tuo ufficio è nel Ferry building, è così incredibile, com'è?" "Busking senza sosta. Riunioni interrotte da suonatori di cornamusa all'esterno. Posti in prima fila per il prossimo Santana per le strade."

Negli ultimi dieci anni, la voce di spesa più grande nel budget R&D di qualsiasi startup era il talento prevedibile. Ma l'IA sta facendo il suo ingresso nel conto economico. Quanto dovrebbe spendere una startup in IA come percentuale della sua spesa in ricerca e sviluppo? 10%? 30%? 60%? Ci sono tre fattori da considerare. Primo, lo stipendio medio per un ingegnere del software nella Silicon Valley. Secondo, il costo totale dell'IA utilizzata da quell'ingegnere. Cursor è ora a $200 al mese per il loro Piano Ultra e le recensioni di Devin suggeriscono $500 al mese. Terzo, il numero di agenti che un ingegnere può gestire. Un primo passaggio: (prima immagine) Ma i costi di abbonamento sono probabilmente bassi. Negli ultimi giorni ho giocato ampiamente con agenti di codifica IA e ho accumulato una bolletta di $1,000 nel giro di cinque giorni! 😳😅 Quindi aggiorniamo la tabella e assumiamo altri $1000 al mese per ingegnere. Quindi, per una tipica startup, una stima del 10 al 15% della spesa totale in R&D oggi potrebbe essere utilizzata per l'IA. Le varianti saranno molto più ampie nella pratica man mano che tutti noi impariamo a utilizzare meglio l'IA e questa penetra di più nell'organizzazione. Le aziende più piccole che sono native dell'IA fin dall'inizio avranno probabilmente rapporti significativamente più elevati. Se sei interessato a partecipare a un sondaggio anonimo, pubblicherò i risultati se la dimensione del campione è sufficientemente grande da avere un risultato statisticamente significativo. Il sondaggio è qui: Questo è un modello grossolanamente semplificato in cui stiamo solo esaminando gli stipendi, senza includere i benefici, l'hardware, l'infrastruttura di sviluppo e test, ecc. Questa è un stima basata su un'esperienza personale scontata nel coding.

Negli ultimi dieci anni, la voce di spesa più grande nel budget R&D di qualsiasi startup era il talento prevedibile. Ma l'IA sta facendo il suo ingresso nel conto economico. Quanto dovrebbe spendere una startup in IA come percentuale della sua spesa in ricerca e sviluppo? 10%? 30%? 60%? Ci sono tre fattori da considerare. Primo, lo stipendio medio per un ingegnere del software nella Silicon Valley. Secondo, il costo totale dell'IA utilizzata da quell'ingegnere. Cursor è ora a $200 al mese per il loro Piano Ultra e le recensioni di Devin suggeriscono $500 al mese. Terzo, il numero di agenti che un ingegnere può gestire. Un primo passaggio: (prima immagine) Ma i costi di abbonamento sono probabilmente bassi. Negli ultimi giorni ho giocato ampiamente con agenti di codifica IA e ho accumulato una bolletta di $1,000 nel giro di cinque giorni! 😳😅 Quindi aggiorniamo la tabella e assumiamo altri $1000 al mese per ingegnere. Quindi, per una tipica startup, una stima del 10 al 15% della spesa totale in R&D oggi potrebbe essere utilizzata per l'IA. Le varianti saranno molto più ampie nella pratica man mano che tutti noi impariamo a utilizzare meglio l'IA e questa penetra di più nell'organizzazione. Le aziende più piccole che sono native dell'IA fin dall'inizio avranno probabilmente rapporti significativamente più elevati. Se sei interessato a partecipare a un sondaggio anonimo, pubblicherò i risultati se la dimensione del campione è sufficientemente grande da avere un risultato statisticamente significativo. Il sondaggio è qui: Questo è un modello grossolanamente semplificato in cui stiamo solo esaminando gli stipendi, senza includere i benefici, l'hardware, l'infrastruttura di sviluppo e test, ecc. Questa è un stima basata su un'esperienza personale scontata nel coding.

Quando interroghi l'IA, essa raccoglie informazioni rilevanti per risponderti. Ma, quante informazioni ha bisogno il modello? Le conversazioni con i professionisti hanno rivelato la loro intuizione: l'input era ~20 volte più grande dell'output. Ma i miei esperimenti con l'interfaccia a riga di comando dello strumento Gemini, che fornisce statistiche dettagliate sui token, hanno rivelato che è molto più alto. In media 300 volte e fino a 4000 volte. Ecco perché questo alto rapporto input-output è importante per chiunque stia costruendo con l'IA: La gestione dei costi riguarda tutto l'input. Con le chiamate API prezzate per token, un rapporto di 300:1 significa che i costi sono dettati dal contesto, non dalla risposta. Questa dinamica di prezzo è valida per tutti i principali modelli. Nella pagina dei prezzi di OpenAI, i token di output per GPT-4.1 costano 4 volte di più dei token di input. Ma quando l'input è 300 volte più voluminoso, i costi di input rappresentano ancora il 98% della bolletta totale. La latenza è una funzione della dimensione del contesto. Un fattore importante che determina quanto tempo un utente aspetta per una risposta è il tempo necessario al modello per elaborare l'input. Ridefinisce la sfida ingegneristica. Questa osservazione dimostra che la sfida principale di costruire con i LLM non è solo il prompting. È l'ingegneria del contesto. Il compito critico è costruire un recupero dati efficiente e contesto - creare pipeline che possano trovare le migliori informazioni e distillarle nel minor numero possibile di token. Il caching diventa mission-critical. Se il 99% dei token è nell'input, costruire uno strato di caching robusto per documenti frequentemente recuperati o contesti di query comuni passa da un "nice-to-have" a un requisito architettonico fondamentale per costruire un prodotto scalabile e conveniente. Per gli sviluppatori, questo significa che concentrarsi sull'ottimizzazione dell'input è una leva critica per controllare i costi, ridurre la latenza e, in ultima analisi, costruire un prodotto di successo alimentato dall'IA.

Ieri, Figma ha presentato il suo S-1 splendidamente progettato. Rivela un modello di crescita guidato dal prodotto (PLG) con una traiettoria notevole. La piattaforma di strumenti di design collaborativo di Figma ha sconvolto il mercato del design a lungo dominato da Adobe. Ecco come si confrontano le due aziende su metriche chiave per il loro ultimo anno fiscale [vedi immagine allegata]: Figma è circa il 3% della dimensione di Adobe ma cresce 4 volte più velocemente. I margini lordi sono identici. La retention netta di Figma del 132% è nel decile superiore. I dati mostrano anche che la spesa per Ricerca e Sviluppo di Figma è quasi pari alla spesa per Vendite e Marketing. Questo è il modello PLG al suo meglio. Il prodotto di Figma è il suo principale motore di marketing. La sua natura collaborativa favorisce un'adozione virale dal basso verso l'alto, portando a un'efficienza di vendita di prima classe di 1.0. Per ogni dollaro speso in vendite e marketing nel 2023, Figma ha generato un dollaro di nuovo profitto lordo nel 2024. Il modello misto di Adobe, che combina approcci dal basso e guidati dalle vendite, produce un più tipico 0.39. L'S-1 evidenzia anche i rischi. Il più significativo è la concorrenza dei prodotti AI. Sebbene Figma stia investendo pesantemente nell'AI, la tecnologia abbassa la barriera per i nuovi entranti. La difesa di Figma è la sua piattaforma in espansione, con prodotti come FigJam, Dev Mode, e ora Slides, Sites e Make. Queste nuove categorie di prodotto hanno portato molte aziende di software AI PLG a decine e centinaia di milioni in ARR in tempi record. Data la sua alta crescita e il suo modello di business unico, come dovrebbe il mercato valutare Figma? Possiamo utilizzare una regressione lineare basata su aziende SaaS pubbliche per prevedere il suo multiplo di fatturato futuro. Il modello mostra una correlazione modesta tra crescita dei ricavi e multipli di valutazione (R² = 0.23). Figma, con la sua crescita del 48%, sarebbe l'azienda di software in più rapida crescita in questo gruppo, escludendo NVIDIA. Si può fare un caso convincente che Figma dovrebbe avere una valutazione superiore a quella prevista. La sua combinazione di iper-crescita, efficienza di vendita di prima classe e una base utenti appassionata e auto-propagante è rara. Applicando il multiplo previsto di 19.9x del nostro modello per stimare il fatturato futuro, si ottiene una valutazione IPO stimata di circa 21 miliardi di dollari - un premio rispetto ai 20 miliardi di dollari offerti da Adobe per l'azienda nel 2022. L'S-1 racconta la storia di un'azienda che definisce una categoria, che ha costruito un prodotto di design collaborativo, sviluppato un fenomenale movimento PLG e sta spingendo attivamente nell'AI. La commissione di risoluzione di 1,0 miliardo di dollari da parte di Adobe è stata ricevuta a dicembre 2023 e registrata come "Altri ricavi, netti" nell'anno fiscale 2024 (che termina il 31 gennaio 2024). Il grande onere per compensi azionari di quasi 900 milioni di dollari è legato a un'offerta di acquisto di dipendenti a maggio 2024. Entrambi questi elementi sono esclusi nei dati non-GAAP citati sopra. Prendendo il tasso di crescita degli ultimi dodici mesi di Figma del 48,3% e scontandolo del 15% (per tenere conto di un rallentamento naturale della crescita), il modello produce una stima di crescita futura del 41,1%. Questo implicherebbe un fatturato futuro di circa 1,1 miliardi di dollari.