Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Pourquoi les agents IA échouent face au temps et au contexte et comment des données d'entraînement de mauvaise qualité aggravent la situation !
Un nouvel article critique offre un aperçu alarmant : la plupart des agents IA deviennent dangereux non pas parce qu'ils mal comprennent les instructions des utilisateurs, mais parce qu'ils ne comprennent fondamentalement pas le temps et le contexte.
Le problème central est illustré clairement :
Une action comme "allumer le micro-ondes" n'est sûre que s'il n'y a pas de métal à l'intérieur. Des règles statiques et des avertissements vagues basés sur des invites ne peuvent pas détecter cela. De nombreux dangers ne proviennent pas d'une seule action, mais d'une séquence : allumer une cuisinière est acceptable ; l'allumer et ensuite oublier de l'éteindre ne l'est pas.
La solution proposée, RoboSafe, introduit des garde-fous en temps d'exécution qui effectuent un raisonnement bidirectionnel :
• Le raisonnement en avant inspecte la scène visuelle actuelle et les états des objets avant de permettre une action.
• Le raisonnement en arrière examine les actions récentes pour détecter des obligations inachevées (par exemple, forcer l'agent à éteindre un appareil qu'il a précédemment activé).
Les contraintes de sécurité sont exprimées sous forme de prédicats logiques exécutables vérifiables plutôt que d'invites en langage naturel peu fiables.
Les expériences montrent que RoboSafe réduit les actions dangereuses de 36,8 % tout en préservant presque toutes les performances des tâches, surpassant les méthodes basées sur des invites et statiques, et résistant même aux tentatives de jailbreak sur du matériel robotique physique.
L'implication plus profonde est inévitable : la sécurité des agents ne peut pas être pleinement atteinte au moment de l'entraînement. Le déploiement dans le monde réel exige une surveillance active en temps d'exécution qui comprend véritablement les séquences temporelles et le contexte situationnel.
Mais pourquoi les modèles d'aujourd'hui ont-ils tant de mal avec le temps et le contexte pour commencer ?
Un corpus croissant de preuves pointe directement vers la qualité des données comme le principal coupable.
Des études récentes, y compris une évaluation soutenue par le NHS des LLMs en matière de sécurité médicamenteuse, révèlent un schéma révélateur : les modèles ont atteint une sensibilité parfaite dans la détection des problèmes potentiels mais ont proposé la bonne intervention seulement 46,9 % du temps.
De manière cruciale, 86 % des échecs ne provenaient pas d'un manque de connaissances ou d'hallucinations, mais d'erreurs de raisonnement contextuel : appliquer rigidement des directives sans s'adapter aux objectifs des patients, mal comprendre les flux de travail réels ou agir avec trop de confiance lorsque l'incertitude nécessitait de la retenue.
Cette faiblesse se répète dans tous les domaines. Les modèles excellent dans le matching de motifs isolés mais échouent lorsque le jugement nécessite une conscience nuancée et située du temps, de l'intention et des conséquences.
...

Meilleurs
Classement
Favoris
