Kürzlich hat @supermemory 99 % bei LongMemEval erreicht. Das Problem ist, dass die Speicherbenchmarks erstellt wurden, als LLMs ein sehr kleines Kontextfenster hatten. Zum Beispiel hat LongMemEval_M ~1,5M Tokens. Das ist fast innerhalb des Kontextfensters von Opus 4.6. Soweit ich verstehe, ist der derzeit beste Benchmark BEAM mit einem Kontextfenster von 10M. Daher bewerte ich alle neuen Speichersysteme basierend auf ihrem Ergebnis dort. Ich bin gespannt, wie @supermemory abschneiden wird! Ich bin mir sicher, dass es gut abschneiden wird!