To trochę mylące, że ludzie są lepsi w ciągłym uczeniu się niż obecne systemy AI. Cierpimy również na katastrofalne zapominanie: weź przeciętnego człowieka i poproś go, aby ponownie zdał egzaminy z liceum / studiów. Zawiedzie w opłakany sposób. Nasza pamięć długoterminowa się pogarsza i zapominamy wcześniej nabyte umiejętności. Gdzie się wyróżniamy, to być może mądrzejsze wykorzystanie naszego okna kontekstowego (w mózgu) i zdolność do korzystania z narzędzi. Zwykle w jakiś sposób wiemy, co musimy mieć na uwadze, aby dobrze wykonać swoją pracę i dobrze żyć. Resztę delegujemy światu za pośrednictwem plików, narzędzi lub innych ludzi. Następna generacja LLM-ów „rozwiąże” problem ciągłego uczenia się w ten sam sposób. Czy będą pamiętać nowe rzeczy, aktualizując wagi, czy za pomocą notatek/plików lub pamięci KV, podejrzewam, że będzie to stopniowa poprawa w czasie i zanim się zorientujemy, będziemy oczekiwać, że nasze systemy AI będą się z nami rozwijać w czasie.