Das hat so viel Spaß gemacht, Mario. Danke, dass du mich in die Show eingeladen hast, um über alles zu sprechen, was auf dem Markt passiert!

OpenAI erhält im Durchschnitt 1 Anfrage pro Amerikaner pro Tag. Google erhält etwa 4 Anfragen pro Amerikaner pro Tag. Da 50% der Google-Suchanfragen KI-Übersichten enthalten, bedeutet dies, dass mindestens 60% der US-Suchen jetzt KI-basiert sind. Es hat etwas länger gedauert, als ich erwartet hatte, dass dies passiert. Für 2024 hatte ich vorhergesagt, dass 50% der Verbrauchersuchen KI-unterstützt sein würden. ( Aber KI ist in der Suche angekommen. Wenn die Suchmuster von Google irgendeinen Hinweis geben, gibt es ein Potenzgesetz im Suchverhalten. Die Analyse von SparkToro zum Google-Suchverhalten zeigt, dass das obere Drittel der Amerikaner, die suchen, über 80% aller Suchen ausführt - was bedeutet, dass die Nutzung von KI wahrscheinlich nicht gleichmäßig verteilt ist - wie die Zukunft. Websites und Unternehmen beginnen, die Auswirkungen davon zu spüren. Der Artikel von The Economist „KI tötet das Web. Kann irgendetwas es retten?“ fängt den Zeitgeist in einer Überschrift ein. ( Eine überwältigende Mehrheit der Amerikaner sucht jetzt mit KI. Die sekundären Auswirkungen der sich ändernden Suchmuster werden in der zweiten Hälfte dieses Jahres eintreffen, und mehr werden fragen: „Was ist mit meinem Traffic passiert?“ ( KI ist ein neuer Vertriebskanal, und diejenigen, die ihn ergreifen, werden Marktanteile gewinnen. - William Gibson sah viel weiter in die Zukunft! - Dies basiert auf einer Mittelwertanalyse des SparkToro-Diagramms, ist eine sehr einfache Analyse und hat daher einige Fehler.

Wenn ich mit KI arbeite, halte ich an, bevor ich etwas in das Feld eingebe, um mir eine Frage zu stellen: Was erwarte ich von der KI? 2x2 zur Rettung! In welchem Feld befinde ich mich? Auf einer Achse, wie viel Kontext ich bereitstelle: nicht sehr viel bis ziemlich viel. Auf der anderen, ob ich die KI beobachten oder sie einfach laufen lassen sollte. Wenn ich sehr wenig Informationen bereitstelle und das System laufen lasse: ‚Forschung zu den Trends von Forward Deployed Engineers‘, erhalte ich wertlose Ergebnisse: breite Übersichten ohne relevante Details. Das gleiche Projekt mit einer Reihe von kurzen Fragen zu betreiben, erzeugt ein iteratives Gespräch, das erfolgreich ist - eine Erkundung. „Welche Unternehmen haben Forward Deployed Engineers (FDEs) implementiert? Was sind die typischen Hintergründe von FDEs? Welche Arten von Vertragsstrukturen und Unternehmen eignen sich für diese Arbeit?“ Wenn ich eine sehr geringe Toleranz für Fehler habe, gebe ich umfangreichen Kontext und arbeite iterativ mit der KI. Für Blogbeiträge oder Finanzanalysen teile ich alles (aktuelle Entwürfe, frühere Texte, detaillierte Anforderungen) und gehe dann Satz für Satz vor. Einem Agenten freien Lauf zu lassen, erfordert, alles im Voraus zu definieren. Hier habe ich selten Erfolg, da die Vorarbeit enorme Klarheit erfordert - genaue Ziele, umfassende Informationen und detaillierte Aufgabenlisten mit Validierungskriterien - eine Gliederung. Diese Eingabeaufforderungen sehen letztendlich aus wie die Produktanforderungsdokumente, die ich als Produktmanager geschrieben habe. Die Antwort auf ‚Was erwarte ich?‘ wird einfacher, da KI-Systeme mehr meiner Informationen abrufen und besser darin werden, relevante Daten auszuwählen. Wenn ich besser darin werde, zu artikulieren, was ich tatsächlich will, verbessert sich die Zusammenarbeit. Ich strebe an, viele meiner Fragen aus dem oberen linken Feld - wie ich mit Google-Suche trainiert wurde - in die anderen drei Quadranten zu verschieben. Ich erwarte auch, dass mir diese Gewohnheit hilft, besser mit Menschen zu arbeiten.

Die kleine schwarze Box in der Mitte ist der Code für maschinelles Lernen. Ich erinnere mich, dass ich Googles 2015 veröffentlichtes Papier über die versteckte technische Schulden im ML gelesen habe und dachte, wie wenig von einer Anwendung für maschinelles Lernen tatsächlich maschinelles Lernen war. Der Großteil bestand aus Infrastruktur, Datenmanagement und operationeller Komplexität. Mit dem Aufkommen von KI schien es, als würden große Sprachmodelle diese Boxen übernehmen. Das Versprechen war Einfachheit: ein LLM einfügen und zusehen, wie es alles von Kundenservice bis zur Code-Generierung übernimmt. Keine komplexen Pipelines oder brüchigen Integrationen mehr. Aber beim Aufbau interner Anwendungen haben wir ein ähnliches Muster mit KI beobachtet. Agenten benötigen viel Kontext, wie ein Mensch: Wie ist das CRM strukturiert, was geben wir in jedes Feld ein - aber die Eingabe ist teuer für das hungrige, hungrige KI-Modell. Die Kosten zu senken bedeutet, deterministische Software zu schreiben, um das Denken der KI zu ersetzen. Zum Beispiel bedeutet die Automatisierung des E-Mail-Managements, Werkzeuge zu schreiben, um Asana-Aufgaben zu erstellen und das CRM zu aktualisieren. Wenn die Anzahl der Werkzeuge zehn oder fünfzehn übersteigt, funktioniert das Aufrufen von Werkzeugen nicht mehr. Es ist Zeit, ein klassisches Modell für maschinelles Lernen zu entwickeln, um Werkzeuge auszuwählen. Dann gibt es das Überwachen des Systems mit Beobachtbarkeit, die Bewertung, ob es leistungsfähig ist, und das Routing zum richtigen Modell. Darüber hinaus gibt es eine ganze Kategorie von Software, die sicherstellt, dass die KI das tut, was sie tun soll. Sicherheitsvorkehrungen verhindern unangemessene Antworten. Die Ratenbegrenzung stoppt die Kosten, die außer Kontrolle geraten, wenn ein System verrückt spielt. Die Informationsbeschaffung (RAG - retrieval augmented generation) ist für jedes Produktionssystem unerlässlich. In meiner E-Mail-App verwende ich eine LanceDB-Vektordatenbank, um alle E-Mails von einem bestimmten Absender zu finden und ihren Ton zu erfassen. Es gibt andere Techniken für das Wissensmanagement rund um Graph RAG und spezialisierte Vektordatenbanken. In letzter Zeit ist das Gedächtnis viel wichtiger geworden. Die Befehlszeilenoberflächen für KI-Tools speichern den Verlauf der Gespräche als Markdown-Dateien. Wenn ich Diagramme veröffentliche, möchte ich die Theorie Ventures-Beschriftung unten rechts, eine bestimmte Schriftart, Farben und Stile. Diese werden jetzt alle in .gemini- oder .claude-Dateien in einer Reihe von kaskadierenden Verzeichnissen gespeichert. Die ursprüngliche Einfachheit großer Sprachmodelle wurde von der Produktionskomplexität auf Unternehmensniveau überlagert. Das ist nicht identisch mit der vorherigen Generation von Systemen für maschinelles Lernen, folgt aber einem klaren Parallel. Was wie eine einfache "KI-Magie-Box" erschien, stellt sich als Eisberg heraus, wobei der Großteil der Ingenieursarbeit unter der Oberfläche verborgen ist.

Wenn 2025 das Jahr der Agenten ist, dann wird 2026 sicherlich den Agentenmanagern gehören. Agentenmanager sind Menschen, die Teams von KI-Agenten verwalten können. Wie viele kann eine Person erfolgreich verwalten? Ich kann kaum 4 KI-Agenten gleichzeitig verwalten. Sie bitten um Klarstellung, fordern Erlaubnis an, führen Websuchen durch – alles erfordert meine Aufmerksamkeit. Manchmal dauert eine Aufgabe 30 Sekunden. An anderen Tagen 30 Minuten. Ich verliere den Überblick darüber, welcher Agent was macht, und die Hälfte der Arbeit wird verworfen, weil sie Anweisungen falsch interpretieren. Das ist kein Problem der Fähigkeiten. Es ist ein Problem der Werkzeuge. Physische Roboter bieten Hinweise zur Produktivität von Roboter-Managern. Das MIT veröffentlichte 2020 eine Analyse, die nahelegte, dass der durchschnittliche Roboter 3,3 menschliche Arbeitsplätze ersetzt hat. 2024 berichtete Amazon, dass Pickpack- und Versandroboter 24 Arbeiter ersetzt haben. Aber es gibt einen entscheidenden Unterschied: KI ist nicht deterministisch. KI-Agenten interpretieren Anweisungen. Sie improvisieren. Manchmal ignorieren sie Anweisungen vollständig. Ein Roomba kann nur von der kreativen Freiheit träumen, dein Wohnzimmer zu ignorieren und stattdessen zu entscheiden, dass die Garage Aufmerksamkeit benötigt. Die Managementtheorie leitet Teams oft zu einem Kontrollbereich von 7 Personen. Im Gespräch mit einigen besseren Agentenmanagern habe ich gelernt, dass sie ein Agenten-Postfach verwenden, ein Projektmanagement-Tool zur Anforderung von KI-Arbeiten und deren Bewertung. In der Softwareentwicklung dienen GitHubs Pull-Requests oder Linear-Tickets diesem Zweck. Sehr produktive KI-Software-Ingenieure verwalten 10-15 Agenten, indem sie 10-15 Aufgaben im Detail spezifizieren, sie an eine KI senden, auf die Fertigstellung warten und dann die Arbeit überprüfen. Die Hälfte der Arbeit wird verworfen und mit einem verbesserten Prompt neu gestartet. Das Agenten-Postfach ist noch nicht populär – aber ich vermute, es wird ein wesentlicher Bestandteil des Produktivitätsstacks für zukünftige Agentenmanager werden, da es der einzige Weg ist, die Arbeit im Auge zu behalten, die jederzeit hereinkommen kann. Wenn ARR pro Mitarbeiter die neue Eitelkeitsmetrik für Startups ist, dann könnte die Anzahl der verwalteten Agenten pro Person zur Eitelkeitsproduktivitätsmetrik eines Arbeiters werden. Wie viele Agenten denkst du, könntest du in 12 Monaten verwalten? 10? 50? 100? Könntest du einen Agenten verwalten, der andere Agenten verwaltet?

"Oh, dein Büro ist im Ferry Building, das ist so erstaunlich, wie ist es dort?" "Ununterbrochenes Straßenmusizieren. Meetings, die von Dudelsackspielern draußen unterbrochen werden. Frontrow-Plätze für den nächsten Santana auf der Straße."

In den letzten zehn Jahren war der größte Posten im F&E-Budget eines Startups vorhersehbares Talent. Aber KI drängt sich jetzt in die Gewinn- und Verlustrechnung. Wie viel sollte ein Startup als Prozentsatz seiner Ausgaben für Forschung und Entwicklung für KI ausgeben? 10 %? 30 %? 60 %? Es gibt drei Faktoren zu berücksichtigen. Erstens, das durchschnittliche Gehalt eines Software-Ingenieurs im Silicon Valley. Zweitens die Gesamtkosten für KI, die dieser Ingenieur nutzt. Cursor liegt jetzt bei 200 $ pro Monat für ihren Ultra-Plan, und Bewertungen von Devin deuten auf 500 $ pro Monat hin. Drittens die Anzahl der Agenten, die ein Ingenieur verwalten kann. Ein erster Versuch: (erstes Bild) Aber die Abonnementkosten sind wahrscheinlich niedrig. In den letzten Tagen habe ich intensiv mit KI-Coding-Agenten experimentiert und innerhalb von fünf Tagen eine Rechnung von 1.000 $ angesammelt! 😳😅 Lass uns also die Tabelle aktualisieren und von weiteren 1.000 $ pro Monat pro Ingenieur ausgehen. Für ein typisches Startup könnte eine Schätzung von 10 bis 15 % der gesamten F&E-Ausgaben heute möglicherweise für KI verwendet werden. Die Varianten werden in der Praxis viel breiter sein, während wir alle lernen, KI besser zu nutzen und sie mehr in die Organisation eindringt. Kleinere Unternehmen, die von Anfang an KI-nativ sind, werden wahrscheinlich deutlich höhere Verhältnisse haben. Wenn du an einer anonymen Umfrage teilnehmen möchtest, werde ich die Ergebnisse veröffentlichen, wenn die Stichprobengröße groß genug ist, um ein statistisch signifikantes Ergebnis zu erzielen. Die Umfrage ist hier: Dies ist ein grob vereinfachtes Modell, bei dem wir nur Gehälter überprüfen, ohne Leistungen, Hardware, Entwicklungs- und Testinfrastruktur usw. einzubeziehen. Dies ist eine Schätzung basierend auf einem persönlichen Erfahrungswert beim Programmieren.

In den letzten zehn Jahren war der größte Posten im F&E-Budget eines Startups vorhersehbares Talent. Aber KI drängt sich jetzt in die Gewinn- und Verlustrechnung. Wie viel sollte ein Startup als Prozentsatz seiner Ausgaben für Forschung und Entwicklung für KI ausgeben? 10 %? 30 %? 60 %? Es gibt drei Faktoren zu berücksichtigen. Erstens, das durchschnittliche Gehalt eines Software-Ingenieurs im Silicon Valley. Zweitens die Gesamtkosten für KI, die dieser Ingenieur nutzt. Cursor liegt jetzt bei 200 $ pro Monat für ihren Ultra-Plan, und Bewertungen von Devin deuten auf 500 $ pro Monat hin. Drittens die Anzahl der Agenten, die ein Ingenieur verwalten kann. Ein erster Versuch: (erstes Bild) Aber die Abonnementkosten sind wahrscheinlich niedrig. In den letzten Tagen habe ich intensiv mit KI-Coding-Agenten experimentiert und innerhalb von fünf Tagen eine Rechnung von 1.000 $ angesammelt! 😳😅 Lass uns also die Tabelle aktualisieren und von weiteren 1.000 $ pro Monat pro Ingenieur ausgehen. Für ein typisches Startup könnte eine Schätzung von 10 bis 15 % der gesamten F&E-Ausgaben heute möglicherweise für KI verwendet werden. Die Varianten werden in der Praxis viel breiter sein, während wir alle lernen, KI besser zu nutzen und sie mehr in die Organisation eindringt. Kleinere Unternehmen, die von Anfang an KI-nativ sind, werden wahrscheinlich deutlich höhere Verhältnisse haben. Wenn du an einer anonymen Umfrage teilnehmen möchtest, werde ich die Ergebnisse veröffentlichen, wenn die Stichprobengröße groß genug ist, um ein statistisch signifikantes Ergebnis zu erzielen. Die Umfrage ist hier: Dies ist ein grob vereinfachtes Modell, bei dem wir nur Gehälter überprüfen, ohne Leistungen, Hardware, Entwicklungs- und Testinfrastruktur usw. einzubeziehen. Dies ist eine Schätzung basierend auf einem persönlichen Erfahrungswert beim Programmieren.

Wenn Sie KI abfragen, sammelt sie relevante Informationen, um Ihnen zu antworten. Aber wie viele Informationen benötigt das Modell? Gespräche mit Praktikern haben deren Intuition offenbart: Der Input war ~20x größer als der Output. Aber meine Experimente mit der Gemini-Tool-Befehlszeilenschnittstelle, die detaillierte Token-Statistiken ausgibt, haben gezeigt, dass es viel höher ist. Im Durchschnitt 300x und bis zu 4000x. Hier ist, warum dieses hohe Verhältnis von Input zu Output für jeden, der mit KI arbeitet, wichtig ist: Kostenmanagement dreht sich ganz um den Input. Bei API-Aufrufen, die pro Token berechnet werden, bedeutet ein Verhältnis von 300:1, dass die Kosten durch den Kontext und nicht durch die Antwort bestimmt werden. Diese Preisgestaltung gilt für alle großen Modelle. Auf der Preisübersicht von OpenAI sind die Output-Token für GPT-4.1 4x so teuer wie die Input-Token. Aber wenn der Input 300x voluminöser ist, machen die Input-Kosten immer noch 98% der Gesamtrechnung aus. Latenz ist eine Funktion der Kontextgröße. Ein wichtiger Faktor, der bestimmt, wie lange ein Benutzer auf eine Antwort wartet, ist die Zeit, die das Modell benötigt, um den Input zu verarbeiten. Es definiert die Ingenieurausforderung neu. Diese Beobachtung beweist, dass die zentrale Herausforderung beim Bauen mit LLMs nicht nur im Prompting besteht. Es geht um Kontextengineering. Die entscheidende Aufgabe besteht darin, effiziente Datenabruf- und Kontextpipelines zu erstellen, die die besten Informationen finden und sie in den kleinsten möglichen Token-Fußabdruck destillieren. Caching wird mission-kritisch. Wenn 99% der Tokens im Input sind, wird der Aufbau einer robusten Caching-Schicht für häufig abgerufene Dokumente oder gängige Abfragekontexte von einem "Nice-to-have" zu einer grundlegenden architektonischen Anforderung für den Aufbau eines kosteneffizienten und skalierbaren Produkts. Für Entwickler bedeutet dies, dass der Fokus auf der Optimierung des Inputs ein kritischer Hebel zur Kostenkontrolle, zur Reduzierung der Latenz und letztendlich zum Aufbau eines erfolgreichen KI-gestützten Produkts ist.

Gestern hat Figma sein wunderschön gestaltetes S-1 eingereicht. Es zeigt ein produktgetriebenes Wachstumsmodell (PLG) mit einer bemerkenswerten Entwicklung. Die kollaborative Design-Tool-Plattform von Figma hat den Designmarkt, der lange von Adobe dominiert wurde, revolutioniert. Hier ist, wie die beiden Unternehmen in Bezug auf wichtige Kennzahlen für ihr jüngstes Geschäftsjahr abschneiden [siehe angehängtes Bild]: Figma ist etwa 3% so groß wie Adobe, wächst aber 4x schneller. Die Bruttomargen sind identisch. Die Net Dollar Retention von Figma beträgt 132% und gehört zur besten Dezile. Die Daten zeigen auch, dass die Ausgaben für Forschung und Entwicklung von Figma nahezu den Ausgaben für Vertrieb und Marketing entsprechen. Das ist das PLG-Modell in seiner besten Form. Das Produkt von Figma ist der primäre Motor für das Marketing. Seine kollaborative Natur fördert eine virale, von unten nach oben gerichtete Akzeptanz, was zu einer erstklassigen Vertriebseffizienz von 1,0 führt. Für jeden Dollar, der 2023 für Vertrieb und Marketing ausgegeben wurde, generierte Figma 2024 einen Dollar neuen Bruttogewinns. Das gemischte Modell von Adobe, das von unten nach oben und vertriebsorientiert ist, ergibt eine typischere 0,39. Das S-1 hebt auch Risiken hervor. Das bedeutendste ist der Wettbewerb durch KI-Produkte. Während Figma stark in KI investiert, senkt die Technologie die Eintrittsbarrieren für neue Anbieter. Die Verteidigung von Figma ist seine erweiterte Plattform – mit Produkten wie FigJam, Dev Mode und jetzt Slides, Sites und Make. Diese neuen Produktkategorien haben viele PLG-KI-Softwareunternehmen in Rekordzeit zu Zehntausenden und Hunderttausenden von Millionen in ARR geführt. Angesichts seines hohen Wachstums und seines einzigartigen Geschäftsmodells, wie sollte der Markt Figma bewerten? Wir können eine lineare Regression basierend auf öffentlichen SaaS-Unternehmen verwenden, um sein zukünftiges Umsatzmultiple vorherzusagen. Das Modell zeigt eine bescheidene Korrelation zwischen Umsatzwachstum und Bewertungsmultiplikatoren (R² = 0,23). Figma, mit seinem Wachstum von 48%, wäre das am schnellsten wachsende Softwareunternehmen in dieser Kohorte, abgesehen von NVIDIA. Es kann ein überzeugendes Argument gemacht werden, dass Figma eine höhere als die vorhergesagte Bewertung erzielen sollte. Die Kombination aus Hyper-Wachstum, erstklassiger Vertriebseffizienz und einer leidenschaftlichen, sich selbst propagierenden Nutzerbasis ist selten. Wenn wir das vorhergesagte Multiple von 19,9x unseres Modells anwenden, um den zukünftigen Umsatz zu schätzen, ergibt sich eine geschätzte IPO-Bewertung von etwa 21 Milliarden Dollar – ein Aufschlag auf die 20 Milliarden Dollar, die Adobe 2022 für das Unternehmen angeboten hat. Das S-1 erzählt die Geschichte eines kategoriedefinierenden Unternehmens, das ein kollaboratives Designprodukt entwickelt, eine phänomenale PLG-Bewegung entwickelt hat und aktiv in den Bereich KI vordringt. Die 1,0 Milliarden Dollar hohe Kündigungsgebühr von Adobe wurde im Dezember 2023 erhalten und als "Sonstige Erträge, netto" im Geschäftsjahr 2024 (Ende 31. Januar 2024) verbucht. Die hohe aktienbasierte Vergütung von fast 900 Millionen Dollar steht im Zusammenhang mit einem Mitarbeiterangebot im Mai 2024. Beide werden in den oben genannten non-GAAP-Daten herausgerechnet. Indem wir die Wachstumsrate von Figma von 48,3% der letzten zwölf Monate nehmen und sie um 15% abdiskontieren (um eine natürliche Wachstumsverlangsamung zu berücksichtigen), ergibt das Modell eine zukünftige Wachstumsprognose von 41,1%. Dies würde einen zukünftigen Umsatz von etwa 1,1 Milliarden Dollar implizieren.