Harness, budget, récupération : ce qui décide vraiment de la fiabilité des agents IA

💡 En résumé

La question « quel modèle est le meilleur ? » est en train de perdre sa pertinence dans le débat sur les agents. La livraison arXiv de ce lundi 14 septembre 2026 — 50 papiers en cs.AI, 50 en cs.LG — dessine une préoccupation différente, plus prosaïque et beaucoup plus opérationnelle : ce n’est pas le modèle qui détermine si un agent réussit, c’est l’échafaudage qui l’entoure, le budget qu’on lui accorde et sa capacité à reconnaître puis corriger ses propres erreurs.

Trois résultats structurent cette intuition :

Un test contrôlé sur 800 exécutions montre qu’aucun harness (l’ensemble outils + prompts + flux de contrôle qui transforme un modèle de chat en ingénieur logiciel autonome) ne domine l’autre : −1,25 point pour un modèle, +1,25 point pour l’autre, dans les deux cas à l’intérieur de l’intervalle de confiance. En revanche, le coût par tâche résolue varie de 1,2 à 1,6 fois selon l’échafaudage.
Un budget d’essais fini change complètement le classement des méthodes d’apprentissage par essai-erreur verbal : la réflexion (« Reflexion » et ses successeurs) améliore la réussite dans certains réglages et la dégrade dans d’autres.
Une vérification déterministe placée avant l’action intercepte 95,8 % des commandes shell invalides avec 10 % de faux positifs, et révèle au passage qu’un format d’édition de code très courant corrompt 99,1 % des fichiers en cas de décalage d’une seule ligne.

Le message est clair : la fiabilité agentique se joue dans les marges — récupération, granularité du crédit, cycle de vie de la mémoire, vérification — et non dans le seul score d’un modèle sur un leaderboard.

🔥 Tendances

Le harness pèse plus qu’on ne le croit

Le papier Harness or Model? Isolating the Harness Effect in Agentic Coding attaque une croyance répandue chez les praticiens : l’idée que l’association « harness maison + modèle maison » résout davantage de tâches. Les auteurs ont construit une suite privée de 256 tâches de dépôt et de concours postérieures à la date de coupure des modèles, précisément pour éliminer la contamination des benchmarks publics.

Le protocole est un contraste apparié à modèle constant : les mêmes 80 tâches tournent sous claude-agent-sdk et sous deepagents avec claude-opus-4-8, puis sous openai-codex et deepagents avec gpt-5.5, avec gemini-3.5-flash et deepseek-v3.2 en cellules secondaires. 792 des 800 exécutions prévues ont été notées par un oracle isolé.

Résultat : aucune des deux comparaisons ne dégage d’avantage moyen. −1,25 point pour Opus 4.8 (48,8 % contre 50,0 %), +1,25 point pour GPT-5.5 (55,6 % contre 54,4 %). Les intervalles de confiance bootstrap (95 %) contiennent zéro des deux côtés.

Le détail est plus intéressant que la moyenne. La moyenne d’Opus agrège deux strates opposées : le harness natif est en retard de 9,0 points sur les 61 tâches de dépôt, et en avance de 23,7 points sur les 19 tâches de concours (test de permutation d’étiquettes, p = 0,003). Les auteurs reconnaissent honnêtement que la partition a été choisie après avoir vu les données et qu’une réplication conçue exprès serait nécessaire.

Deux autres observations méritent d’être retenues par quiconque pilote des agents en production :

L’annulation ne vaut pas l’échec. 22 des 81 exécutions interrompues au plafond de temps avaient déjà produit un patch qui passait. Autrement dit, un quart environ des « échecs » sont en réalité des problèmes de budget.
Le coût ne suit pas la performance. Recoté à partir de l’usage réel par tour aux prix catalogue figés, le harness neutre coûte 1,3 à 1,6 fois plus cher par tâche résolue sur Opus 4.8, et 1,2 fois sur GPT-5.5.

Le budget d’essais comme variable de premier ordre

VRL-Bench prend le problème par l’autre bout : l’apprentissage par essai-erreur verbal. Le papier part d’un constat simple — « Reflexion » a introduit l’idée de transformer les échecs en texte pour guider les tentatives suivantes sans mettre à jour les paramètres, mais personne ne mesure correctement ce mécanisme sous budget fini.

Le banc d’essai évalue trois modèles sur MiniWoB et WebShop, en comparant plusieurs méthodes de mémoire verbale dans des régimes d’exécution successifs. Le résultat principal est un constat de non-monotonie : chaque méthode améliore la réussite observée dans certains réglages et la réduit dans d’autres. Les expériences de rejeu le confirment — utiliser la réflexion peut diminuer le taux de succès, révélant un compromis entre exploitation de l’expérience accumulée et exploration continue.

Les auteurs proposent VEX², un ordonnanceur d’exploration-exploitation verbale qui confie à un modèle de langage le soin de choisir conjointement les politiques et l’allocation du budget d’essais restant. C’est, dans leur évaluation, la seule mise à jour à obtenir un gain positif de réussite dans les six réglages testés.

Récupérer, pas seulement échouer proprement

ParaRecover déplace la mesure du résultat final vers le processus. Les benchmarks existants notent le succès de la tâche ou la validité des appels d’outils ; ils disent peu de choses sur la capacité d’un agent à diagnostiquer et à récupérer d’une défaillance intermédiaire. Ce point devient critique dès que les appels d’outils sont parallèles, car une erreur peut se propager d’une branche à l’autre et déclencher des échecs en cascade.

Le banc d’essai s’appuie sur une taxonomie fine de 14 types d’erreurs couvrant les dépendances de planification, la sélection d’outils et l’appariement d’arguments, pour 10 626 instances réparties sur deux niveaux de difficulté. La grille d’évaluation proposée (SDE) mesure l’intégrité structurelle, le raisonnement diagnostique et la stratégie évolutive pendant l’exécution de l’agent.

Le verdict sur plus de dix modèles grand public : même les meilleurs peinent sur la propagation d’erreurs en multi-tours, les défaillances implicites d’usage d’outils et la replanification précise. Bonne nouvelle : la grille SDE fournit un signal de supervision exploitable pour améliorer les capacités de récupération réflexive.

Vérifier avant d’agir : la piste la plus sous-exploitée

Look Before You Leap défend une thèse contre-intuitive et convaincante : un contrôle déterministe bon marché, exécuté avant que l’action prenne effet, est une forme de supervision sous-utilisée. Une action erronée n’échoue pas toujours bruyamment ; elle peut échouer silencieusement en produisant un effet plausible mais incorrect, sans lever la moindre erreur.

Le cadre fixe l’effet correct de l’action par construction, avant qu’un exécuteur ne s’en saisisse, ce qui permet de mesurer directement l’échec silencieux et autorise le vérificateur à s’abstenir plutôt que de deviner.

Les chiffres, sur deux modalités d’action :

Modalité	Résultat
Commandes shell — vérificateur statique sur 9 930 commandes et 482 outils	95,8 % des commandes invalides interceptées à 10,0 % de faux positifs
Vérifications syntaxe + binaire (oracle-exact)	Zéro faux positif, la moitié des erreurs interceptées
Vérification des flags	Bornée uniquement par la couverture de l’aide ; tous les faux positifs viennent de là
Éditions de code — 640 éditions sur 224 fichiers	Formats ancrés sur le contenu (search/replace, diff) : échec propre. Formats ancrés sur la position : échec silencieux
Décalage d’une ligne	Les numéros de ligne corrompent 99,1 % des fichiers
Édition par nom de fonction	Touche la mauvaise fonction dans 12,7 % des cas

La conclusion pratique est immédiate pour toute équipe qui écrit des agents de code : préférez systématiquement les formats d’édition ancrés sur le contenu aux formats ancrés sur la position, et adoptez une politique de refus en cas de doute. Celle-ci transforme les échecs silencieux en échecs récupérables, à un coût réglable en applicabilité — le grounding sélectif atteint 0,958 de rappel à 7,0 % de faux positifs.

Écrire la documentation que l’agent sait lire

Skill Issue pose une question rarement traitée : comment optimiser les fichiers SKILL.md — ces documents en Markdown versionnés avec le code et lus par les agents de développement — quand le dépôt ne fournit aucun benchmark ?

Les auteurs minent des tâches plus difficiles que les travaux antérieurs : ils récupèrent des pull requests fusionnées du dépôt, puis les annulent sur un commit de base figé, et évaluent un document candidat par un critère simple : le même agent fait-il mieux avec le document que sans ?

Sur trois dépôts Kotlin, les documents produits par GEPA relèvent ce score de +4,9 points en moyenne ; ceux produits par SkillOpt le laissent quasiment inchangé (+0,1 point au-dessus de la graine). Les auteurs sont prudents : le gain de GEPA correspond à ce que d’autres travaux rapportent avec le même optimiseur, et à la taille d’échantillon qu’un dépôt unique fournit, il ne se distingue pas de la variance d’exécution. Détail savoureux : les documents « se lisent mieux que leur score » — un mainteneur y a trouvé des connaissances qu’on n’acquiert normalement qu’en travaillant dans le projet.

Mémoire : ce qu’on écrit, et quand on l’écrase

Deux papiers traitent de la mémoire persistante des agents, sous deux angles complémentaires.

AIM attaque le cloisonnement par utilisateur. Les systèmes de mémoire agentique existants opèrent au niveau de l’individu, ce qui bride le partage de connaissance transverse. AIM classe dynamiquement l’information en privée (un utilisateur, inaccessible aux autres) ou publique (accessible à tous) et applique des contrôles d’accès au niveau de l’index, de sorte que les souvenirs privés ne soient récupérables que par leur propriétaire. Le papier introduit aussi MUMBench, présenté comme le premier jeu de données public évaluant plusieurs opérations de mémoire — récupération, création, mise à jour, suppression — en environnement multi-utilisateurs. Sur trois exécutions indépendantes : 96,0 % de précision de classification de visibilité, 58,8 % de précision stricte sur les opérations, 70,5 % en tenant compte de l’état.

LifeFuse-Mem s’intéresse à un défaut plus insidieux : la réécriture temporaire. Dans un agent qui tourne longtemps, une information transitoire (« la commande a échoué, réessaie ») peut venir écraser une connaissance durable. Le cadre distingue les deux selon leur engagement temporel et utilise des composants mémoire dédiés avec des mises à jour sensibles au cycle de vie, pour que stable et transitoire évoluent localement sans se convertir l’un en l’autre. Sur le banc d’essai dédié, la méthode améliore la rétention contrôlée par l’acquisition et réduit la réécriture temporaire ; sur deux benchmarks publics de mémoire longue, elle reste compétitive.

Le crédit, à la bonne granularité

GACA (Granularity-Adaptive Credit Assignment) s’attaque à un angle mort de l’apprentissage par renforcement agentique. Les méthodes sans critique et relatives à un groupe, comme GRPO, diffusent un scalaire unique au niveau de la trajectoire à chaque pas et ne peuvent pas dire quelle décision a produit le résultat. GiGPO récupère un signal par pas en regroupant les pas qui partagent un état d’ancrage, mais fusionne les estimations au pas et à l’épisode sous un poids fixe — dépensant la même résolution sur une décision de branchement pivot que sur une transition quasi déterministe.

L’argument de GACA est que la bonne résolution est dépendante de l’état. L’estimateur note chaque pas par la log-vraisemblance négative que son propre déploiement enregistre déjà, puis mélange les deux avantages avec un poids par pas qui croît avec ce score : le gradient place davantage de poids sur le signal fin au-dessus de la NLL moyenne, et sur le signal d’épisode en dessous. Sur ALFWorld et WebShop, la méthode améliore la réussite des tâches.

🤖 Nouveaux outils

BlueLM-GUI — un agent GUI mobile de 35B-A3B construit comme un volant d’entraînement centré appareil réel, en réponse à trois écarts industriels : le décalage de distribution entre entraînement en bac à sable et production, la sous-exploitation des échecs coûteux sur appareil réel, et la saturation des benchmarks figés. Trois principes : Every Sample Matters (récupérer chaque trajectoire en supervision exploitable via consensus hétérogène à trois systèmes et un module de correction/dérivation), Every Rollout Is Real (pré-entraînement continu, affinage supervisé, puis RL agentique sur des centaines de téléphones réels), Every Query Evolves (méthodologie de benchmark à trois axes orthogonaux, système d’attribution précis). Résultats : 87,4 sur MobileGUI-VBench (+5,1 points sur le meilleur modèle fermé) et 84,9 sur AndroidWorld, meilleur score open-source.
GEPA / SkillOpt — deux optimiseurs de documents SKILL.md pour agents de code, évalués sur des tâches extraites de pull requests fusionnées puis annulées.
VEX² — ordonnanceur verbal d’exploration-exploitation qui pilote conjointement le choix de politique et le budget d’essais restant.
SDE — grille d’évaluation de processus pour agents à appels d’outils parallèles (intégrité structurelle, raisonnement diagnostique, stratégie évolutive).
MUMBench — jeu de données multi-utilisateurs pour la mémoire agentique (récupération, création, mise à jour, suppression).
GACA — estimateur de crédit sans critique, à granularité adaptative, pour le RL d’agents longue horizon.

📊 Analyse

La performance n’est plus le bon axe de mesure

Pendant deux ans, la question posée aux agents a été « quel pourcentage de tâches ? ». La livraison de ce lundi suggère que cette question est en train d’être remplacée par une batterie d’autres questions : à quel coût, sous quel budget de temps, avec quelle capacité de récupération, avec quelle fidélité de mémoire, et avec quelle robustesse aux échecs silencieux ?

Ce basculement n’est pas un raffinement académique. Il a des conséquences directes sur l’ingénierie :

Le harness est un actif, pas un détail d’implémentation. Le résultat de Harness or Model? est un avertissement pour les équipes qui choisissent un SDK parce qu’il est « natif » : sur 800 exécutions contrôlées, cet avantage supposé ne se matérialise pas, et le coût unitaire peut varier de 60 %.
Le plafond de temps fabrique de faux échecs. Si 22 exécutions sur 81 annulées au plafond avaient déjà un patch qui passe, alors une partie des comparaisons publiées mesure la vitesse d’infrastructure autant que la capacité du modèle.
L’échec silencieux est le vrai ennemi. Le résultat le plus actionnable du lot : 99,1 % des fichiers corrompus par un décalage d’une ligne dans un format d’édition positionnel. C’est une seule décision de conception — ancrer sur le contenu plutôt que sur la position — qui sépare un agent fiable d’un agent qui détruit du travail sans rien signaler.
La non-monotonie de la réflexion invalide les recettes. La réflexion n’est pas une amélioration gratuite : c’est un arbitrage entre exploitation de l’expérience et exploration. La promouvoir par défaut, sans indicateur de budget, revient à parier sur un régime particulier.

La mémoire agentique se professionnalise

Les deux papiers de mémoire posent des questions que l’industrie commence tout juste à rencontrer à l’échelle : que partage-t-on entre utilisateurs, et que laisse-t-on survivre ?

AIM montre que le partage de connaissance entre utilisateurs est techniquement possible avec des garanties au niveau de l’index — 96 % de précision sur la classification de visibilité, mais 58,8 % seulement sur les opérations strictes. Autrement dit : le classement de sensibilité est presque résolu, la manipulation fiable de la mémoire ne l’est pas.

LifeFuse-Mem met le doigt sur un mode de défaillance que peu d’équipes surveillent : la conversion silencieuse de contexte temporaire en état durable. Un agent qui « apprend » qu’une action a échoué une fois peut durablement éviter une action correcte. C’est le pendant mémoire de l’échec silencieux des actions — et cela plaide pour des mécanismes explicites de lifecycle plutôt que pour une simple fenêtre glissante.

Ce que cela implique pour les équipes

Trois recommandations concrètes se dégagent des 50 papiers de la journée :

Mesurez le processus, pas seulement le résultat. Une grille comme SDE, ou un simple journal de récupération après erreur, dit davantage sur la robustesse d’un agent en production qu’un taux de succès agrégé.
Traitez le budget comme une variable de conception. Nombre d’essais, plafond de temps, coût par tâche résolue : ce sont des dimensions de premier ordre, pas des réglages de confort.
Préférez la vérification déterministe à la supervision probabiliste. Un contrôle bon marché placé avant l’action, autorisé à s’abstenir, convertit des échecs silencieux en échecs récupérables — et c’est mesurable.

Le marché de l’agentique a passé l’été 2026 à déployer. L’automne s’annonce comme celui de la comptabilité : ce que l’agent coûte, ce qu’il rate, ce qu’il corrompt, et ce qu’il faut lui donner pour qu’il se rattrape.

🎯 À retenir

Sur 792 exécutions notées d’un banc d’essai privé anti-contamination, aucun harness natif ne domine : −1,25 point pour l’un, +1,25 point pour l’autre, intervalles de confiance contenant zéro — mais 1,2 à 1,6× de coût par tâche résolue selon l’échafaudage.
22 des 81 exécutions annulées au plafond de temps avaient déjà produit un patch qui passe : une partie des échecs mesurés sont des échecs de budget.
Sous budget d’essais fini, la réflexion améliore parfois et dégrade parfois ; VEX² est la seule méthode positive dans les six réglages testés.
Vérification pré-action : 95,8 % des commandes shell invalides interceptées à 10 % de faux positifs ; les formats d’édition positionnels corrompent 99,1 % des fichiers sur un décalage d’une ligne.
Mémoire : 96 % de précision de visibilité privé/public pour AIM, mais seulement 58,8 % d’opérations strictes ; LifeFuse-Mem neutralise la réécriture du durable par le temporaire.
GACA adapte la granularité du crédit par pas selon l’incertitude, au lieu d’un poids fixe hérité de GRPO.
BlueLM-GUI (35B-A3B, entraîné sur des centaines de téléphones réels) atteint 87,4 sur MobileGUI-VBench et 84,9 sur AndroidWorld — la preuve qu’entraîner sur appareil réel transfère mieux que le bac à sable.