Oltre al pre-addestramento, ecco come immagino che funzionerà la maggior parte dell'apprendimento. 1. I modelli / sistemi di intelligenza artificiale manterranno ampie collezioni di conoscenze recuperabili. Questo includerà fatti come "la capitale della California è Sacramento" e tattiche come "quando si gioca a Monopoly, compra un sacco di proprietà all'inizio" o "assicurati che gli argomenti predefiniti in Python non siano mutabili". Il sistema recupererà fatti / intuizioni / tattiche pertinenti per svolgere compiti. 2. L'IA assimilerà tutti i tipi di dati (libri, basi di codice, articoli di notizie, input sensoriali in streaming). Questo avverrà sia durante il tempo di addestramento che mentre è in funzione per svolgere compiti. 3. Man mano che il sistema incontra nuovi dati, ragionerà intensamente per dare senso ai dati, specialmente per contestualizzarli rispetto alla conoscenza esistente del sistema. Se i dati sono difficili da comprendere, ad esempio, un articolo di ricerca tecnica, questo processo sarà molto intensivo dal punto di vista computazionale, e l'output del ragionamento sarà distillato in un nuovo insieme di intuizioni, tattiche e fatti che saranno memorizzati nella conoscenza del sistema (insieme ai riferimenti ai dati grezzi da cui sono state derivate le intuizioni). Se la nuova conoscenza contraddice fatti recuperati esistenti, si procederà a ulteriori ragionamenti per tentare di risolvere la contraddizione, e i fatti esistenti nella collezione di conoscenze saranno aggiornati (insieme al contesto riguardo al motivo dell'aggiornamento). Questo ha alcune belle proprietà. - Un modo per rimuovere o correggere conoscenze errate man mano che l'IA raccoglie nuove informazioni. - Una certa interpretabilità su ciò che il modello sa e le sue strategie per svolgere compiti. Anche la possibilità di controllare / verificare ciò che il modello sa. - Un modo per beneficiare del ragionamento durante il tempo di addestramento anziché solo durante il tempo di inferenza e poi scartare intuizioni guadagnate con fatica. - Questo tipo di ragionamento durante il tempo di addestramento ha il potenziale di essere molto più efficiente in termini di dati, ma molto più intensivo dal punto di vista computazionale. Questo processo di ragionamento durante il tempo di addestramento, archiviazione della conoscenza e recupero potrebbe emergere data l'architettura giusta, ma mi aspetto che sia inizialmente integrato.