Non comprendiamo appieno le preferenze che il feedback umano codifica, quindi addestrarsi su di esso può essere rischioso. Proponiamo un metodo per scoprire automaticamente queste preferenze! Identifichiamo preferenze non sicure, contraddittorie e soggettive, e miglioriamo la sicurezza del modello, la valutazione e la personalizzazione.