Alguien en r/LocalLLaMA entrenó un LLM desde cero con textos de Londres de 1800 a 1875 Artefacto divertido > “teléfono” inventado en 1876 > el conjunto de datos se detiene en 1875 > así que cuando le preguntas “teléfono” > el modelo lo trata como > algún dispositivo diplomático secreto > o un aparato misterioso Modelo y Datos > 1.2B parámetros > ~90GB de corpus > libros, revistas, documentos legales > escritos religiosos, artículos médicos Tokenizador > tokenizador personalizado > entrenado en el mismo conjunto de datos Entrenamiento > ~182k pasos de entrenamiento > entrenado en un H100 SXM alquilado