, @dwarkesh_sp chiede a @ilyasut “Come si è formata la tua top research taste (estetica)?” Questo ex Chief Scientist di OpenAI ha detto: “Ciò che realmente distingue i migliori ricercatori non è la potenza di calcolo (Compute), né il puro QI (Intelligence), ma l'estetica (Aesthetic / Taste).” La “legge della scalabilità” su cui il campo dell'AI ha fatto affidamento in passato è ormai vicina al limite, segnando la fine dell'era in cui il progresso è stato spinto dalla forza bruta (brute-force aesthetics). I futuri progressi dipenderanno da metodi di apprendimento e algoritmi più potenti, ovvero dalla “ricerca”. Il motivo per cui il gusto nella ricerca è importante è che punta alla verità sottostante dell'intelligenza. Ilya crede che una buona architettura AI e meccanismi di apprendimento dovrebbero “corrispondere alla struttura essenziale del cervello”, cioè trovare le giuste euristiche per l'apprendimento umano (Correct Heuristics): il cervello umano è un sistema di apprendimento altamente generale e estremamente efficiente, capace di acquisire nuove abilità in tempi molto brevi (ad esempio, un adolescente può imparare a guidare in sole 10 ore). I futuri progressi nell'AI deriveranno da questo metodo di apprendimento più efficiente e generale, piuttosto che dall'aumento della quantità di dati o della scala del modello. Il punto di vista di questo co-inventore di importanti scoperte come AlexNet, Seq2Seq, AlphaGo, GPT-3 suggerisce una trascendenza dell'empirismo: I dati possono ingannare Le tendenze possono scadere Ma la bellezza non lo farà.