Hier ist der Grund, warum Kontext-Engineering so wichtig ist. Wir haben gerade 2 Stunden damit verbracht zu debattieren, wann ein Agent auf sein internes Wissen zurückgreifen sollte vs. versuchen sollte, relevanten Kontext innerhalb von Daten für nur eine Art von Frage zu finden. Wir haben 2 Testfälle von Hunderten durchgearbeitet. Selbst die Personen, die an dem Brainstorming beteiligt waren, konnten sich nicht darauf einigen, was sie von Menschen in dieser Situation erwarten würden. Es gab wirklich keine richtige Antwort, und es ist immer kontextspezifisch, Kunde für Kunde. Alles im Kontext-Engineering ist ein Kompromiss zwischen einer Vielzahl von Faktoren: Wie schnell möchten Sie, dass der Agent eine Frage beantwortet, wie viel Hin und Her-Interaktion möchten Sie vom Benutzer verlangen, wie viel Arbeit sollte er leisten, bevor er versucht, eine Frage zu beantworten, wie weiß er, dass er das umfassende Quellenmaterial hat, um die Frage zu beantworten, wie hoch ist das Risiko einer falschen Antwort und so weiter. Jede Entscheidung, die Sie in einem dieser Dimensionen treffen, hat eine Konsequenz auf der anderen Seite. Es gibt kein kostenloses Mittagessen. Das ist der Grund, warum der Aufbau von KI-Agenten so verrückt ist. Es hebt auch hervor, wie viel Wert über der LLM-Schicht liegt. Diese Entscheidungen richtig zu treffen, steht in direktem Zusammenhang mit der Qualität des Wertangebots.

Aus Karpathys neuestem Beitrag: „LLM-Apps werden Teams von ihnen organisieren, verfeinern und tatsächlich in eingesetzte Fachkräfte in spezifischen Vertikalen umwandeln, indem sie private Daten, Sensoren und Aktuatoren sowie Feedbackschleifen bereitstellen.“ Das ist genau richtig. In einer Welt von KI-Agenten gibt es eine viel dickere Schicht über dem LLM, als ursprünglich wahrgenommen wurde. Die Kritik an der dünnen Hülle hat in einer Welt, in der Menschen Token mit einer leicht angepassten Benutzeroberfläche oder Systemaufforderung neu verpackten, etwas funktioniert, was vor 2 Jahren weitgehend alles war, was möglich war. Aber KI-Agenten werden Werkzeuge, proprietäre Daten, hochgradig domänenspezifische Systemaufforderungen, spezialisierte Schnittstellen für die menschlichen Teile der Workflows, fortschrittliches Kontextengineering zur Bewältigung von Kontextfenstergrenzen und mehr kombinieren. Die überwiegende Mehrheit dieser wird besser abschneiden, wenn sie auf eine spezifische Vertikale, Jobfunktion oder Art von Aufgabe zugeschnitten ist. Darüber hinaus ist es für eine echte Akzeptanz im Unternehmen in der Regel erforderlich, ein hohes Maß an Systemintegration und Änderungsmanagement zu betreiben, um die Workflow-Änderungen und die Akzeptanz voranzutreiben. Deshalb werden Unternehmen (oder zumindest Produkte), die sich auf spezifische Chancen konzentrieren, oft erforderlich sein, um diese Workflows tatsächlich zu unterstützen. Hier gibt es im kommenden Jahr jede Menge Möglichkeiten.

Das sind die Arten von Dingen, die übersehen werden, wenn man über die Zukunft der Arbeit nachdenkt. Wenn du etwas tun kannst, das relativ gefragt ist (aber rar, weil es viel kostet, es zu tun), und du diese Sache mehr Output erzeugen lässt, wirst du sehen, dass die Nachfrage steigt und nicht sinkt. Ich habe zahlreiche Beispiele von Unternehmen gesehen, die Ingenieure für Probleme einstellen, die vor der Existenz von KI-Agenten nicht ROI-positiv oder möglich gewesen wären. Es gibt viel Arbeit in der Wirtschaft, die softwaregestützt sein sollte, aber die Hürde, mit Software zu beginnen, erscheint unüberwindbar, wenn das Projekt so aussieht, als würde es ein Jahr oder zwei dauern. Wenn KI es ermöglicht, dass es nur einen Monat oder zwei dauert, ändert sich die gesamte Kalkulation. Das Gleiche wird im Gesundheitswesen, im Recht, in einigen Bereichen des Marketings und in vielen anderen Kategorien der Wissensarbeit der Fall sein.