In quanto accademico, sono comprensivo poiché la pubblicazione richiede tempo e è difficile tenere il passo con i modelli all'avanguardia, ma... ...soprattutto se il tuo argomento è "l'AI è scarsa in X" devi spiegare perché pensi che non cambierà, tracciare qualsiasi tendenza man mano che i modelli migliorano e si aggiornano prima della pubblicazione.
Kevin Roose
Kevin Roose12 ore fa
sto implorando gli accademici di studiare le capacità dell'AI utilizzando modelli all'avanguardia. I modelli utilizzati in questo studio (che verrà citato per anni come prova che "l'AI è scarsa nei consigli sulla salute") sono GPT-4o, Llama 3 e Command R+, due modelli obsoleti e uno di cui non ho mai sentito parlare.
Il documento ha in realtà due grandi punti reali, tuttavia: (1) Gli esseri umani erano scarsi nel fornire indicazioni (obsolete) all'AI per ottenere consigli medici - sospetto che questo non sia più così vero. (2) I benchmark della conoscenza medica non significano sempre realtà nel servire i pazienti. Il punto 1 è cambiato, penso, il punto 2 non è cambiato.
204