Diese Woche geht es bei Complex Systems mit @philipkiely um sein kürzlich erschienenes Buch (buchstäblich) über Inference Engineering. Wir haben darüber gesprochen, wie die Einführung von KI in Unternehmen aus ingenieurtechnischer Sicht aussieht.

Ich denke weiterhin, dass die Chat-Apps a) zu den explosiv beliebtesten Einzelanwendungen gehören, die jemals auf den Markt gebracht wurden, und b) größtenteils eine technische Demo für das eigentliche Produkt sind, nämlich die API. Es ist ein transformierendes primitives Element, ähnlich wie if-Anweisungen und for-Schleifen.

Im Gegensatz zu if-Anweisungen und for-Schleifen entwickelt sich eine Middleware-Schicht, teilweise aufgrund des schnellen Wandels des zugrunde liegenden Substrats, das (seltsamerweise für Technologie) nicht strikt positiv ist. Und so, um sich nicht die Haare zu raufen, wenn ein Modell-Update veröffentlicht wird...

... das Team, das für die Bereitstellung von Intelligenz in großem Maßstab verantwortlich ist, kann z.B. automatisierte Benchmarks der verschiedenen Modelle gegen die verschiedenen Aufgaben, die Sie haben, durchführen, frühere Anfragen gegen den neuen Herausforderer ausführen und diese automatisch bewerten, und dann die Gewinner automatisch voranbringen.

Vieles davon ähnelt der adaptiven Einführung von Infrastruktur im laufenden Betrieb, was für mich ein bisschen nach Science-Fiction klingt.

Ich denke, dass es auf Twitter eine asymmetrische Sichtbarkeit von Prosumer-AI-Anwendungsfällen gibt, einschließlich moderner Codierungswerkzeuge (die die wirtschaftlich wichtigsten LLM-Entwicklungen... bis heute sind). Die Einführung in Unternehmen wird hinterherhinken, aber nicht um ein Jahrzehnt, und wird anders aussehen.

Weniger "Lass uns einfach alle Postfächer geben und YOLO", mehr Pilotprojekte, mehr Geschäftsanwendungen, die schrittweise transformiert werden, und dann wird es in der zweiten Generation wirklich seltsam, wenn man anfängt zu denken: "Wie sieht dieser Geschäftsprozess aus, wenn wir ihn um die bestehenden LLMs herum gestalten."