Merasa seperti pencarian algo akan menjadi hebat lagi. Karena konteks atau prompt semakin besar. Cara mengurangi penggunaan konsumsi token dengan benar benar-benar termasuk dalam prompt apa dengan konteks apa yang harus kita kirimkan. Saya tidak berpikir kompres akan bekerja dengan baik ketika Anda memiliki bank memori yang besar. Karena 90% dari prompt mungkin masih tidak diperlukan. Alih-alih mengirimkan semua konteks/prompt, kami mencari dan menyimpulkan seluruh konteks hanya untuk info yang relevan.