najtrudniejszym otwartym pytaniem w kontekście uczenia się ciągłego jest ustalenie odpowiednich benchmarków i doświadczeń produktowych dla destylacji kontekstu

istnieje dość ograniczona lista metod, które warto rozważyć, a które będą miały kompromisy w różnych reżimach. obecnie nie jest zbyt oczywiste, jak je oceniać nawzajem, ani dla jakiego konkretnego problemu początkowo wdrożysz rozwiązanie.

jedno ekstremum: "ciągłe" uczenie się w 6-miesięcznych dyskretnych blokach, dla pełnej intuicyjnej wiedzy o świecie czy naprawdę oczekujemy, że będzie coś lepszego niż kontynuacja pełnego treningu wstępnego/średniego w internecie + powtarzanie normalnego treningu po?

może rzeczywiście możesz połączyć wagi starego punktu kontrolnego po treningu z nowym punktem kontrolnym CPT, aby uzyskać pewne oszczędności, może możesz po prostu CPT niektóre warstwy/ekspertów, a my moglibyśmy kosztownie eksperymentować, która wersja z tego jest najbardziej praktyczna, ale przestrzeń projektowa jest znana

przez "destylację kontekstu" mam na myśli, że będziesz chciał mieć jakiś automatyczny proces, który przyjmuje zrzuty informacji (transkrypcje czatów, teksty z sieci, historie repozytoriów) i przekształca je w coś bardziej użytecznego do treningu w trakcie/po treningu niż surowa forma (np. podstawowe pytania i odpowiedzi)