[@SentientAGI ] L'outil d'évaluation appelé LiveCodeBench Pro, développé par l'équipe de Sentient, a été officiellement adopté par la plus grande conférence mondiale sur l'IA et a réussi à faire passer un article, ce qui est une réalisation importante ! LiveCodeBench Pro peut sembler nouveau pour beaucoup d'entre vous. ■ Qu'est-ce que LiveCodeBench Pro ? - Un outil pour évaluer et comparer correctement les compétences en codage des modèles d'intelligence artificielle (IA) récents, en particulier les LLM (modèles de langage de grande taille) (comme on comparerait des cartes graphiques ?) ■ Signification et objectif - Les méthodes d'évaluation du codage existantes présentent des limites telles que les fuites de problèmes, des critères d'évaluation laxistes, et le gonflement des scores par des astuces de prompt. - En maintenant les mêmes conditions de problèmes, de temps, de mémoire et de notation que dans les compétitions de programmation, cela permet de vérifier avec précision si les LLM peuvent réellement écrire des algorithmes complexes dans un environnement réel. Il semble que l'outil d'évaluation développé par l'équipe de Sentient ait été officiellement reconnu à l'échelle mondiale, ce qui est une grande nouvelle 🫡 Cela semble promettre un monde de codage plus équitable.