1/ La risposta è che non puoi — non a buon mercato. Verificare se un documento è una scoperta richiede all'incirca la stessa competenza necessaria per produrne uno. Le generazioni scalano. La verifica no.
Dwarkesh Patel
Dwarkesh Patel21 mar, 04:00
Se gli scienziati dell'AI stanno scrivendo milioni di articoli, molti dei quali sono scadenti e alcuni dei quali rappresentano progressi incrementali, come potremmo identificare quello o due che presentano un'idea nuova estremamente produttiva? Nel 1948, Shannon era uno dei centinaia di ingegneri della Bell Labs che lavoravano su come inviare in modo chiaro segnali vocali attraverso fili di rame rumorosi. Il suo articolo si trovava nella stessa rivista tecnica di rapporti sulla riduzione del rumore e sulla costruzione di filtri migliori. Come potresti riconoscere che ha sviluppato questo quadro molto generale per pensare all'informazione e ai canali di comunicazione, che nei decenni successivi avrebbe avuto un enorme utilizzo in ambiti così distanti come la crittografia, la genetica e la meccanica quantistica? Sembra che ci vogliano decenni per i campi di ricerca per riconoscere il significato di nuovi concetti unificanti. Perché è su quella scala temporale che i frutti di tali concetti generali portano a nuove scoperte in molti campi diversi. Siamo riusciti a risolvere questo problema di revisione tra pari per gli scienziati umani (almeno in parte). Ora dovremo farlo su una scala molto più ampia per la massa della scienza dell'AI che ci verrà presentata.
2/ Chiamiamo questo il Gap di Misurabilità. Più un compito è difficile da verificare rispetto a quanto sia difficile eseguirlo, meno puoi automatizzarlo in modo sicuro. La scienza dell'AI è il caso estremo: generazione infinita, larghezza di banda di verifica fissa.
3/ Formalizziamo questo e mappiamo le condizioni sotto le quali la verifica diventa il vincolo vincolante sul progresso dell'AI, nella Sezione 5:
54