L'inferenza bayesiana preserva il supporto del prior. Qualsiasi processo che modifica lo spazio delle ipotesi ammissibili si colloca quindi al di fuori del framework bayesiano. Lo stesso vale per tutta l'inferenza a supporto fisso. I metodi bayesiani sono solo l'esempio canonico.

La soluzione tradizionale a questo problema con l'inferenza bayesiana è quella di evitare la questione dell'ammissibilità scegliendo un prior iniziale con supporto per tutte le ipotesi calcolabili (cioè il prior di Solomonoff) e restringerlo da lì.

Il problema di questo approccio è che il prior di Solomonoff è incomputabile. Qualsiasi approssimazione realizzabile deve limitarsi a uno spazio ipotetico finito—e a quel punto il problema originale ritorna.

I modelli gerarchici consentono la riduzione del modello bayesiano e altre tecniche simili, ma alla fine il livello superiore della gerarchia ha un supporto fisso che non può superare.

Quindi, se l'apprendimento che espande il supporto non può essere completamente caratterizzato da alcun metodo di supporto fisso, compresa l'inferenza bayesiana, che tipo di inferenza è?

Se una perturbazione è al di fuori del supporto del processo, non può essere elaborata come prova per l'aggiornamento. Invece, l'apprendimento deve avvenire quando la perturbazione ristruttura causalmente il processo stesso direttamente.

La varianza in espansione del supporto deriva dal processo che consente all'ambiente di perturbare in dimensioni a cui attualmente assegna misura zero. Apprendere tramite il gradiente naturale, il gradiente del substrato piuttosto che del modello.

Le credenze di un agente sono necessariamente sotto il proprio controllo (quello che il documento GDI descrive come agenzia) o sotto il controllo dell'ambiente (quello che il documento GDI descrive come plasticità).

Senza agenzia, un processo non può agire con successo in se stesso e nel mondo per mantenere la propria persistenza. Senza plasticità, un modello non può scoprire gli angoli sconosciuti nelle crepe delle sue credenze, le dimensioni nascoste della realtà, e morirà quando il mondo cambierà.

(Grazie a Claude Opus per avermi aiutato a lavorare sul linguaggio di alcuni di questi, è molto più conciso rispetto al thread originale!)