Wow, AI bisa belajar dari dokumen saat membacanya? Para peneliti dari Astera Institute, NVIDIA, dan lainnya menyajikan metode baru yang memperlakukan pemodelan konteks panjang sebagai masalah pembelajaran berkelanjutan. Mereka menggunakan Transformer standar, tetapi "mempelajari" teks secara real-time melalui prediksi token berikutnya, mengompresi konteks ke dalam parameternya sendiri. Ini mengungguli model seperti Mamba 2 dan Gated DeltaNet dalam penskalaan ke konteks yang panjang, sementara 2,7x lebih cepat dari perhatian penuh untuk input 128K. Pelatihan Waktu Tes End-to-End untuk Konteks Panjang Kertas: