Det vanskeligste åpne spørsmålet for kontinuerlig læring er å finne de riktige referansepunktene og produktopplevelsene for kontekstdestillasjon

Det finnes en ganske begrenset liste over metoder du bør vurdere, som vil ha avveininger i ulike regimer. Det er bare for øyeblikket ikke så åpenbart hvordan man skal vurdere dem mot hverandre, eller hvilket spesifikt problem du i utgangspunktet ville utplassert en løsning for

Et ytterpunkt: «kontinuerlig» læring på 6-måneders diskrete blokker, for full intuitiv verdenskunnskap Forventer vi virkelig at det skal være noe bedre enn fortsatt helinternett før eller midt i opplæringen + å gjøre det normale etter treningen på nytt?

Kanskje du kan gjøre vektsammenslåing av det gamle post-trente sjekkpunktet med et nytt CPT-sjekkpunkt for å spare noe, kanskje du bare kan CPT visse lag/eksperter, og vi kan eksperimentere dyrt med hvilken versjon av dette som er mest praktisk, men designområdet er kjent

Med «kontekstdestillasjon» mener jeg at du vil ha en automatisk pipeline som tar inn informasjonsdumper (chattranskripsjoner, netttekst, repo-historikk) og gjør dem mer nyttige for midt- og ettertrening enn råformen (f.eks. grunnleggende spørsmål og svar).