Die bittere Lektion wird stark missinterpretiert und allgemein überschätzt. Skalierung ist ein notwendiger Teil von Intelligenz. Es ist auch das, was man tut, wenn man keine Ideen mehr hat. Es gibt viele Möglichkeiten, Rechenleistung zu nutzen. Zum Beispiel: - Suche nach neuen Achsen, um Rechenleistung zu nutzen (o3 / Denkmodelle, 2024) - Gestalte das System neu, um Engpässe zu beseitigen (Transformatoren, 2017) - Verbessere die Daten (das meiste, was Verbesserungen in Spitzenlaboren vorantreibt) - Definiere das Problem ganz neu (InstructGPT, 2022)