Google "Dikkat İhtiyacın Sadece (V2)" diye gönderdi. Bu makale, yapay zekanın en büyük sorununu çözebilir: Felaket bir unutma. Yapay zeka modelleri yeni bir şey öğrendiğinde, daha önce öğrendiklerini unutma eğilimindedirler. İnsanlar böyle çalışmaz ve şimdi Google Araştırma'nın bir çözümü var. İç içe öğrenme. Bu, modelleri farklı hızlarda çalışan birbirine bağlı optimizasyon problemlerinden oluşan bir sistem olarak ele alan yeni bir makine öğrenimi paradigmasıdır - tıpkı beynimizin bilgiyi işlemesi gibi. İşte bunun neden önemli olduğu: LLM'ler deneyimlerden öğrenmez; eğitim sırasında öğrendikleriyle sınırlı kalırlar. Zamanla öğrenemezler veya gelişebilirler, önceki bilgilerini kaybederler. Nested Learning, modelin mimarisi ve eğitim algoritmasını aynı şey olarak görerek bunu değiştiriyor - sadece farklı "optimizasyon seviyeleri" olarak. Makale, bu yaklaşımı gösteren bir kavram kanıtı mimarisi olan Hope'u tanıtıyor: ↳ Hope dil modelleme görevlerinde modern tekrarlayan modelleri geride bırakıyor ↳ Uzun bağlamlı belleği son teknoloji modellerden daha iyi yönetiyor ↳ Bunu, farklı frekanslarda güncellenen "sürekli bellek sistemleri" aracılığıyla gerçekleştirir Bu, beynimizin hem kısa hem uzun süreli hafızayı aynı anda yönetme şekline benziyor. Nihayet yapay zeka ile insan beyninin sürekli öğrenme yeteneği arasındaki uçurumu kapatıyor olabiliriz. Bir sonraki tweet'te makaleye bağlantı paylaştım!