Iemand op r/LocalLLaMA heeft een LLM vanaf nul getraind op Londense teksten van 1800 tot 1875 Leuk artefact > "telefoon" uitgevonden in 1876 > dataset stopt in 1875 > dus wanneer je "telefoon" vraagt > behandelt het model het als > een geheim diplomatiek apparaat > of een mysterieuze machine Model & Gegevens > 1,2B parameters > ~90GB corpus > boeken, tijdschriften, juridische documenten > religieuze geschriften, medische papers Tokenizer > aangepaste tokenizer > getraind op dezelfde dataset Training > ~182k trainingsstappen > getraind op een gehuurde H100 SXM