Como académico, sou simpático, pois a publicação demora algum tempo e é difícil acompanhar os modelos de ponta, mas... ...especialmente se o seu argumento é "A IA é má em X", você precisa explicar por que acha que isso não vai mudar, graficar qualquer tendência à medida que os modelos melhoram e se atualizam antes da publicação.
Kevin Roose
Kevin RooseHá 14 horas
estou a implorar aos académicos que estudem as capacidades da IA utilizando modelos de ponta. os modelos utilizados neste estudo (que será citado durante anos como prova de que "a IA é má em conselhos de saúde") são o GPT-4o, Llama 3 e Command R+, dois modelos obsoletos e um que nunca ouvi falar.
O artigo tem, na verdade, dois grandes pontos reais, no entanto: (1) Os humanos eram ruins em solicitar (obsoleto) IA para obter conselhos médicos - suspeito que isso já não seja tão verdade (2) Os benchmarks de conhecimento médico nem sempre significam realidade no atendimento aos pacientes. O ponto 1 mudou, eu acho, o ponto 2 não mudou.
221