12 jam turun.... API keluar dari telingaku... frustrasi itu nyata... tapi semakin dekat! Mungkin... hanya mungkin itu bisa berhasil.... Menantikan untuk membeli perjalanan melalui Agen Perjalanan $Think saya... @thinkagents @mikeyanderson @dmcd_nz

Meta Superintelligence Labs baru saja membuat LLM menangani konteks 16x lebih banyak dan membuka kunci hingga kecepatan 31x. 🤯 Kerangka kerja REFRAG baru mereka memikirkan kembali RAG dari bawah ke atas untuk mencapai ini, semuanya tanpa penurunan akurasi. Begini cara kerjanya: Masalah inti dengan konteks yang panjang sederhana: membuat dokumen 2x lebih lama dapat membuat AI Anda 4x lebih lambat. Hal ini karena mekanisme perhatian LLM mahal. Biaya dan penggunaan memorinya tumbuh secara kuadrat (N²) dengan panjang teks. REFRAG menghindari ini. Kompres: Encoder kecil dan ringan pertama kali membaca dokumen yang diambil. Ini mengompresi setiap potongan teks 16 token menjadi satu vektor padat yang disebut "penyematan potongan", yang menangkap esensi semantik. Mempersingkat: LLM utama kemudian diberi makan urutan penyematan ini, bukan token mentah. Input yang harus diprosesnya sekarang 16x lebih pendek. Percepatan: Karena urutan input sangat pendek, perhitungan perhatian kuadrat lebih murah, dan cache KV (babi memori utama dalam LLM) lebih kecil. Inilah yang membuka kunci percepatan 30.85x. Pilih: Untuk menjamin akurasi, kebijakan Reinforcement Learning (RL) bertindak sebagai pengawas kontrol kualitas. Ini mengidentifikasi potongan yang paling kritis dan padat informasi dan memberi tahu sistem untuk tidak mengompresnya, memastikan detail penting dipertahankan. Mengapa ini penting: REFRAG membuat janji RAG konteks besar menjadi kenyataan produksi. Pemimpin Bisnis: Ini adalah cara Anda menskalakan aplikasi AI secara menguntungkan. Berikan jawaban yang lebih kuat kepada pengguna, analisis seluruh laporan, bukan hanya halaman, sekaligus lebih cepat dan lebih murah. Praktisi: Anda tidak perlu lagi memilih antara konteks besar dan anggaran memori yang wajar. REFRAG memungkinkan Anda memiliki keduanya. Ini adalah kemenangan arsitektur tanpa perubahan arsitektur. Peneliti: Pekerjaan ini menunjukkan bahwa merancang bersama strategi decoding dengan pola data khusus aplikasi (seperti jarang perhatian RAG) menghasilkan hasil di luar solusi generik dan brute-force.