Das Harness ermöglicht es dir, viel weiter zu kommen, indem du einfach yoloing machst, aber die Leistung kann mit ein wenig Profiling dramatisch verbessert werden. Was verbraucht den Kontext? Was belegt den Speicher? Schau dir die Traces an. Was überlastet den Speicher? Was läuft schief und wirft Fehler? Was dauert viel zu lange (300x zu lange) (weil es in fp32 anstatt in fp16 geladen wird und in den Systemspeicher ausgelagert wird.
Was sind die Neigungen des Modells? Was können Sie in der Umgebung aufbauen, um die Fähigkeit basierend auf diesen Neigungen zu verbessern? Wie können Sie die langfristige Kohärenz und das Gedächtnis verbessern?
61