Ich habe das Gefühl, dass der Suchalgorithmus wieder großartig sein wird. Da der Kontext oder die Eingabeaufforderung größer wird. Wie man den Verbrauch von Tokens richtig reduziert, hängt wirklich davon ab, welche Eingabeaufforderung mit welchem Kontext wir einreichen sollten. Ich glaube nicht, dass Kompression so gut funktioniert, wenn man einen großen Speicher hat. Da 90 % der Eingabeaufforderung möglicherweise immer noch nicht benötigt werden. Anstatt den gesamten Kontext/die Eingabeaufforderung einzureichen, suchen wir und deduzieren den gesamten Kontext nur für relevante Informationen.