r/LocalLLaMA'da birisi, 1800'den 1875'e kadar Londra metinleri üzerinde sıfırdan bir LLM eğitimi vermişti Eğlenceli bir eser > 1876'da icat edilen "telefon" > veri seti 1875'te sona eriyor > "telefon" diye sorduğunuzda > model bunu şöyle ele alıyor ki, > gizli bir diplomatik araç > ya da gizemli bir cihaz Model ve Veri > 1.2B parametreleri > ~90GB corpus > kitaplar, dergiler, hukuki belgeler > dini yazılar, tıbbi makaleler Tokenizer > özel tokenizer > aynı veri seti üzerinde eğitildi Eğitim > ~182k eğitim adımı > kiralık bir H100 SXM ile eğitim aldı