Chamath: Zwei Begriffe, auf die Sie im Bereich KI achten sollten, sind Prefill und Decode „Es gibt zwei Begriffe, von denen ich denke, dass Sie in den nächsten Jahren viel darüber hören werden.“ „Der erste Begriff ist Prefill, und der nächste ist Decode.“ „Was Prefill und Decode sind, sind zwei sehr unterschiedliche Arten, wie Modelle denken und wie ein Modell den Prozess durchläuft, um eine Frage zu beantworten, die Sie ihm stellen.“ „Und wenn Sie einen Prompt an die KI senden, passiert Folgendes: Das Modell verarbeitet ihn. Dies wird als Lesephase oder Prefill bezeichnet.“ „Es liest Ihren gesamten Prompt auf einmal. Und dann macht es eine Menge Mathematik, berechnet all diese Beziehungen zwischen all den Wörtern und speichert sie im temporären Speicher.“ „Das Problem ist, dass dies wirklich rechenintensiv ist. Es erfordert massive brute force. Und Nvidia GPUs sind hier unschlagbar.“ „Und ihre Architektur ist für massive parallele Verarbeitung ausgelegt, was sie wirklich erstaunlich macht, um diese langen Prompts zu verarbeiten.“ „Das Problem wird also immer größer, Nvidia dominiert einfach komplett.“ „Aber die nächste Phase, diese kritische Phase, die Decode-Phase, ist die Schreibphase, richtig?“ „Das Modell beginnt, eine Antwort zu generieren, Sie stellen ihm eine Frage und seine Antwort, ein Token nach dem anderen.“ „Und um das nächste Token, das nächste Wort auszuwählen, muss es auf alles zurückblicken, was es bereits gesagt hat, damit es nicht halluziniert.“ „Das Problem ist, dass dies unglaublich speicherbandbreitenbeschränkt ist.“ „Und in unserer Architektur haben wir vor langer Zeit diese Designentscheidungen von Anfang an getroffen.“ „Und was wir getan haben, war, einen sehr anderen architektonischen Ansatz zu wählen, wir haben eine sehr konservative Prozesstechnologie gewählt. Wir haben die Grenzen der Physik nicht überschritten.“ ...