Küçük bir 11M parametreli karakter düzeyinde metin yayılma modelini eğiterek oynamak! Bu bir WIP'dir, ancak kod şu anda büyük ölçüde değiştirilmiş bir nanochat gpt uygulamasıdır (otoregresif kod çözmeden difüzyona geçmek için) ve Tiny Shakespeare veri kümesi üzerinde eğitilmiştir. Maskeleme zamanlamasının saf uygulaması, her yineleme için her belirteç için tek tip bir maskeleme olasılığına sahip olmaktır. Daha yeni yaklaşımlar, blok parçalarını soldan sağa maskeleyerek çıktı kalitesini artırır ve bazı KVCache'lerin yeniden kullanılmasına olanak tanır. Oluşturma sürecinde herhangi bir şekilde maskeleme uygulayabileceğinizi fark ettim. Aşağıda Conway'in Hayat Oyunu kurallarına göre maskeleme uyguladığımı görebilirsiniz. Bunun gibi fayda sağlayan olağandışı maskeleme stratejileri olup olmadığını merak ediyorum. Ne olursa olsun, bu metni bozmanın ve deforme etmenin çok ilginç ve büyüleyici bir yolu.