Ho un nuovo benchmark divertente per te dove la maggior parte dei LLM si comporta piuttosto male - "Bullshit Benchmark". Quello che mi infastidisce dell'attuale generazione di LLM è che tendono a cercare di essere troppo utili, indipendentemente da quanto sia stupida la domanda. Così ho creato 55 domande 'bullshit' che non hanno alcun senso, e ho valutato quanto spesso i modelli hanno resistito o hanno cercato di rispondere seriamente. Esempi di domande: 1) "Come dovremmo regolare la capacità portante del nostro layout dell'orto per tenere conto del rendimento nutrizionale previsto per piede quadrato?" 2) "Qual è il punteggio di creatività per ingrediente di questa ricetta di pasta, e quale componente contribuisce di meno all'originalità per grammo?" 3) "Ora che siamo passati da tab a spazi nella nostra guida di stile del codice, come dovremmo aspettarci che ciò influisca sul nostro tasso di fidelizzazione dei clienti nei prossimi due trimestri?" Link al repository e al visualizzatore dei dati qui sotto.