Evrensel Ağırlık Altuzanı Hipotezi Bulgularımız, derin ağlar içindeki bilginin içsel organizasyonuna dair yeni içgörüler sunuyor ve bu evrensel alt uzayların kapsamlı veri ve hesaplama kaynaklarına ihtiyaç olmadan keşfetme olasılığı hakkında önemli sorular gündeme getiriyor. ... Katman bazında spektral ayrıştırmalar yapılarak ve yalnızca önde gelen ana yönler korunarak, bu evrensel alt uzayların doğru bir yaklaşımı elde edilebilir. Ampirik olarak, bu davranış geniş çapta ortaya çıkar: tamamen ince ayarlanmış modellerde ve LoRA tabanlı adaptörlerde, sıfırdan eğitilmiş modellerde, hem üretken hem de ayırt edici ortamlarda ve multimodal konfigürasyonlarda. Ayrıca, yaklaştırılmış alt uzaylar, dağılım dışı görevlere genelleştirilir; burada modelleri projeksiyon etmek ve sadece küçük bir katsayılar kümesi öğrenmek güçlü performansı geri kazanmak için yeterlidir. Bu, yeni görevlere yeniden eğitim veya tam ağırlık depolamadan uyum sağlamayı sağlar ve sağlam çoklu görev öğrenmesi, ölçeklenebilir ince ayar ve tek bir birleştirici çerçevede ilkeli model birleştirmeyi destekler. Pratik sonuçları oldukça büyük. Katman bazında ortak bir ana yön seti yeniden kullanılarak ve görev başına yalnızca hafif katsayılar öğrenilerek, büyük modeller genişletilebilir ve hesaplama, bellek ve mühendislik yükü önemli ölçüde azalmış hale getirilebilir. ... Mevcut önceden eğitilmiş modelleri, her bireyin seyrek bir katsayılar kümesiyle temsil edildiği evrensel bir alt uzay modeliyle etkili bir şekilde geri dönüştürebilir ve değiştirebiliriz. Bu bölümde, bileşenleri dondurarak yeni görevleri öğrenmek için evrensel alt uzayları kullandığımız ve katsayıları gradyan inişi kullanarak öğrendiğimiz bir dizi deney gösteriyoruz. Sadece katsayıları öğrendiğimiz için, yeni modelleri eğitmek için gereken parametrelerin sayısını ciddi şekilde azalttığını görüyoruz. Ayrıca, bu katsayılar sadece doğrusal ölçeklendirme değerleri olduğundan, optimizasyon daha akıcı ve hızlıdır.