Attribution de panne, récupération, identité : la fiabilité des agents longue durée devient une discipline d'ingénierie

💡 En résumé

L’agentique sort de la phase démonstration. La question qui structure la recherche du 15 septembre 2026 n’est plus « que peut faire un agent ? » mais « comment prouve-t-on qu’il a fait ce qu’il prétend avoir fait, et comment le remet-on sur les rails quand il déraille ? ». Une série de travaux convergent sur un point : la fiabilité d’un agent longue durée n’est pas une propriété du modèle, c’est une propriété du système qui l’entoure — journalisation, contrats de reprise, contrôles indépendants, budgets explicites, harnesses testés.

Trois angles se dessinent. D’abord le diagnostic : attribuer la cause d’une panne dans des traces d’exécution devenues massives est un problème de recherche d’information, pas de jugement instantané. Ensuite la reprise : un état sauvegardé n’est pas un point de reprise admissible, et la plupart des évaluations actuelles confondent « fichier restauré » avec « travail justifié ». Enfin l’identité : un agent déployé doit non seulement se rappeler qui il est, mais l’incarner, et les benchmarks commencent à mesurer l’écart entre les deux.

Côté industrie, ces questions quittent le laboratoire : Superhuman rachète le preneur de notes Fathom pour brancher ses agents sur le contexte des réunions, et Microsoft publie un code de conduite qui interdit explicitement à ses modèles de « contourner la supervision humaine ». Le marché et la gouvernance interne rattrapent la recherche.

🔥 Tendances

Diagnostiquer une panne d’agent est devenu un problème de recherche

Le papier Root-Cause Attribution Is a Search Problem (arXiv, 2609.13463) part d’un constat opérationnel : le déploiement d’agents sur des tâches longue durée produit des journaux d’exécution massifs. Transformer un signal de niveau « résultat » (succès/échec) en intervention ciblée exige une attribution automatique de cause racine (RCA). Or les méthodes actuelles, qui reposent sur un jugement LLM en un seul passage, souffrent d’une précision diagnostique faible — et celle-ci se dégrade à mesure que les traces s’allongent.

L’explication avancée est structurelle : l’information pertinente est rare, dispersée entre des actions distantes, et déconnectée de la défaillance visible. Le diagnostic devient donc un problème de recherche à grande échelle. La solution proposée, Continual Search, est un cadre itératif qui pousse le juge, tour après tour, à continuer de chercher les preuves diagnostiques non résolues — au lieu de se contenter d’une hypothèse plausible arrêtée précocement. Les auteurs notent que les benchmarks existants manquent de traces réellement massives et introduisent MegaRCA-Mix, un banc d’essai de 50 échecs annotés humainement sur des tâches longue durée et lourdes en exécution.

Le message opérationnel est clair : un agent qui échoue ne dit pas pourquoi il a échoué, et un LLM-juge appelé une seule fois ne le dira pas non plus.

Un état sauvegardé n’est pas un point de reprise

Recoverability as a System Primitive for Long-Horizon AI Agents (arXiv, 2609.13672) attaque un angle mort symétrique. Un agent peut être interrompu en pleine édition de fichier, en plein appel d’outil, au milieu d’une tâche multi-étapes. Redémarrer du début refait un travail déjà accompli ; reprendre depuis un progrès non vérifié ou périmé propage les erreurs antérieures. Les auteurs posent donc la récupération comme primitive système : réutiliser un état devient une décision explicite — choisir un point de départ supporté et une action de reprise permise, ou refuser la continuation automatique.

Le contrat comportemental lie ce choix à trois éléments : les preuves à l’appui, l’exécution, et des vérifications indépendantes. Le résultat empirique le plus parlant : sur quatre défis déterministes et vingt défis de fichiers appariés, les auteurs montrent que la restauration exacte et le succès final peuvent masquer des points de départ non admissibles. Autrement dit, une évaluation fondée sur « les octets sont restaurés » et « la tâche est terminée » laisse passer des violations. Les tests en temps réel montrent en outre que l’autorisation doit contraindre aussi l’action, et qu’une preuve de politique détenue indépendamment peut exposer une violation même après que l’effet s’est produit.

L’identité d’un agent déployé : plus que du rappel

Identity Is More Than Recall (arXiv, 2609.13637) introduit PAI-Bench, un benchmark neutre vis-à-vis des fournisseurs, pour mesurer la fidélité à un contrat d’identité versionné et gouverné par mises à jour. Le benchmark sépare sept capacités : rappel, composition, incarnation comportementale, résistance, persistance, lignage et mises à jour conditionnées par le rôle — avec les oracles de notation tenus à l’extérieur du processus cible.

Les chiffres sont éloquents. Deux campagnes gelées couvrent seize profils synthétiques, trente-deux sondes et trois configurations cibles initialisées indépendamment, soit 1 536 réponses retenues. Un audit littéral indépendant du juge trouve des identifiants de parent direct dans 48/48 réponses atomiques — mais seulement 1/48 dans les autoportraits implicites. Sur huit profils, des indices de champ explicites font passer la présence conjointe de trois identifiants d’identité de 0/8 à 7/8 sous la même instruction de quatre phrases. Une substitution d’étiquette de démarrage fait passer la présence de la désignation complète de 1/8 à 7/8, tandis que les parents restent absents.

Détail méthodologique important : en rejouant des réponses factorielles identiques, un modèle obtient une moyenne de tête 12,5 points de pourcentage inférieure à celle d’un autre — ce qui sépare la sensibilité de l’évaluateur du comportement réel de la cible. L’identité d’un agent se joue donc à l’intersection du prompt, du modèle et du dispositif de mesure.

La sécurité agentique se dote d’une architecture de référence

Le survey Trustworthy Agentic AI (arXiv, 2609.13731) synthétise 206 études et standards réglementaires pour proposer un cadre de sécurité système. Il formalise l’architecture générale de l’agent comme un quintuplet avec état, puis établit une taxonomie de confiance à six dimensions : sécurité, sûreté, vie privée, explicabilité, équité, responsabilité.

L’observation centrale mérite d’être citée telle quelle : accorder une autorité d’exécution à des cœurs neuronaux probabilistes sur des systèmes de fichiers, des réseaux et des infrastructures cloud dissout les périmètres de sécurité classiques. Le langage naturel sert simultanément de données d’entrée, de code de contrôle interne et de protocole de communication — d’où une surface d’explosion qualifiée de « Turing-complète », où une donnée non fiable est une instruction exécutable. La défense proposée est multi-couches et zero-trust : isolation Dual-LLM, contrôle d’accès par capacités, sondes eBPF dans le noyau, runtimes en bac à sable.

Le harness devient une variable d’entraînement

HarnessBandit (arXiv, 2609.13739) formalise une intuition de terrain : le même modèle peut se comporter de façon inégale selon le harness — prompts système, schémas d’outils, boucles de contrôle, formats de trajectoire. Entraîner une politique partagée à travers plusieurs harnesses pose alors un problème d’ordonnancement : chaque étape doit privilégier un harness qui fournit un signal d’apprentissage utile tout en produisant une mise à jour qui bénéficie aux autres.

La solution est un ordonnanceur en ligne qui sélectionne un harness par étape d’optimisation. Après une mise à jour GRPO, il observe la learnability (l’avantage absolu moyen sur le lot) et la transferability (le cosinus entre une esquisse de gradient du harness courant et les moyennes mobiles exponentielles des autres). Testé sur Qwen3.5-2B à travers six harnesses sur ClawGym, puis évalué sur PinchBench et ClawEval, HarnessBandit améliore l’entraînement multi-harness par lots mixtes.

🤖 Nouveaux outils

BudgetBench : le budget de tokens comme variable indépendante

BudgetBench (arXiv, 2609.13149) traite le contexte actif comme une ressource rare pour les agents LLM locaux : capacité de mémoire, latence de préremplissage, croissance du cache et objectifs de service contraignent tous le nombre de tokens d’entrée par appel. Le protocole fait du budget de tokens par appel la variable indépendante, en balayant 2K, 4K, 8K, 16K et 32K tokens, et en enregistrant la qualité, l’utilisation du budget, la latence et — comme résultat de premier ordre — les taux de violation de budget.

Le harness expose un contrat MemoryStrategy interchangeable, une application explicite du budget, des évaluateurs déterministes ou versionnés, des métadonnées d’audit de prompt et des artefacts de reproductibilité. Les études pilotes (qwen2.5:1.5b local sur 89 items SWE-bench Verified et LongBench v2, réplication hébergée Qwen3 30B-A3B sur 50 items, étude oraculaire de 500 items LongMemEval notée par GPT-4o) révèlent des échecs de conformité au budget, des courbes de qualité non monotones et des points de fonctionnement que l’évaluation à budget unique masque. Détail honnête des auteurs : la direction « budgété vs contexte complet » reste non résolue — quasi nulle en local, favorable au contexte complet en estimation ponctuelle hébergée.

CFRC : ne pas redémarrer, compléter le résidu

Do Not Restart: Residual Completion for Stateful Agent Handoffs (arXiv, 2609.13800) s’attaque au coût des cascades de modèles. Router une requête vers un modèle moins cher réduit la facture, mais un transfert avec état doit préserver les choix acceptés, les effets réalisés et les obligations non terminées. Les auteurs formulent cela comme une complétion de résidu contrainte par engagements et introduisent CFRC, qui impose trois règles d’ordre : la cible avant la proposition, la proposition entière avant l’autorité, et la preuve vivante avant le succès.

Résultat : sur cinq environnements et deux paires de modèles d’un même fournisseur, CFRC atteint une précision macro comparable à celle d’agents complets tout en ne consommant que 22,0 % à 34,6 % de leur coût d’inférence. Les résultats inter-fournisseurs suggèrent un transfert plus large.

GAI : un cadre formel pour l’auto-amélioration récursive

Generalized Agent Iteration (arXiv, 2609.13406) pose une question de vocabulaire devenue urgente : quand on parle d’auto-amélioration récursive (RSI), parle-t-on d’un phénomène, d’un mécanisme ou d’une perspective ? Le papier propose GAI, un cadre formel qui décrit l’amélioration itérative de politique et la RSI comme deux cas d’un même paradigme d’apprentissage. L’agent y est défini comme une configuration de composants modifiables au sein d’un système, et l’apprentissage comme un cycle évaluation-agent / amélioration-agent.

Deux « molettes » distinguent les instances : le mécanisme améliorant fait-il partie de l’agent, et le standard de mesure est-il ancré à l’extérieur de lui ? La première molette sépare l’itération de politique généralisée (GPI) de la RSI ; la seconde détermine la polarité du système — ancré, dérive d’objectif, ou pleinement auto-référentiel. L’intérêt pratique est de rendre les défauts de la RSI énonçables une condition à la fois.

Fathom chez Superhuman : le contexte de réunion comme déclencheur d’agent

Côté marché, Superhuman rachète le preneur de notes Fathom (TechCrunch), adossé à Y Combinator. L’argument stratégique est explicite : les plateformes de productivité automatisent le travail quand l’utilisateur tape des prompts et crée des workflows ; il serait préférable que l’IA démarre le travail proactivement. Or les sujets et actions discutés en réunion sont précisément le déclencheur manquant.

Fathom, fondé en 2020, a levé plus de 30 M$ et était valorisé 94 M$ en 2024, avec plus de 400 000 utilisateurs actifs mensuels et plus d’un million de personnes ayant enregistré des réunions. Superhuman avait testé un preneur de notes en interne avant de conclure qu’il était plus rapide d’acheter un produit fini. Son PDG Shishir Mehrotra résume : « beaucoup de ces produits donnent l’impression que le travail est facile, mais c’est en réalité assez délicat de bien faire toutes les parties ». Avec un preneur de notes au centre, Superhuman veut rédiger des e-mails, mettre à jour des entrées de données, planifier des suivis et laisser des agents extraire des insights du contenu des réunions.

📊 Analyse

Trois couches de fiabilité, un même déplacement

Ce que ces travaux décrivent collectivement, c’est un déplacement du centre de gravité : la fiabilité agentique cesse d’être une affaire de qualité du modèle pour devenir une affaire de conception de système. On peut lire les contributions comme trois couches empilées.

Première couche, l’observabilité. Le diagnostic de panne (Continual Search, MegaRCA-Mix) traite le journal d’exécution comme un corpus à fouiller, pas comme un texte à résumer. Cela suppose des traces structurées, datées, et une méthode qui ne s’arrête pas à la première hypothèse plausible. Deuxième couche, l’état. La récupération comme primitive (2609.13672) et la complétion de résidu (CFRC) posent que la question n’est pas « où en était-on ? » mais « qu’a-t-on le droit de réutiliser, sous quelles preuves, et avec quelle autorité ? ». Troisième couche, l’identité et la sécurité. PAI-Bench mesure si un agent incarne son contrat d’identité ; le survey de sécurité cartographie les surfaces de menace qui apparaissent dès que ce contrat a une autorité d’exécution.

La cohérence de ces trois couches n’est pas un hasard : elles répondent toutes au même problème — la défaillance d’un agent n’est pas un événement ponctuel mais une trajectoire dont il faut reconstituer la logique.

Le trou d’évaluation que personne ne comblait

Les deux papiers les plus opérationnels mettent le doigt sur un défaut partagé des évaluations actuelles. Pour la récupération, les métriques usuelles — octets restaurés, tâche finalement réussie — sont insuffisantes par construction : les auteurs démontrent que la restauration précise et le succès peuvent cacher des points de départ interdits. Pour le budget mémoire, l’évaluation à budget unique expose des « points de fonctionnement que l’évaluation à budget unique masque », selon la formule du papier BudgetBench.

Autrement dit, l’industrie mesurait la fin du film sans vérifier comment on y était arrivé. Ce que ces travaux proposent, c’est une évaluation du processus : taux de violation de budget comme résultat de premier ordre, preuves indépendantes qui exposent les violations après coup, oracles de notation hors du processus cible, audit littéral indépendant du juge.

L’auto-amélioration : de la prophétie au problème d’ingénierie

Le cadre GAI mérite qu’on s’y attarde, car il désarme partiellement la rhétorique. En ramenant la RSI à un cas particulier de l’itération de politique, avec deux dimensions identifiables, il transforme une prophétie en espace de conception. La question « les modèles vont-ils s’auto-améliorer sans limite ? » devient « ce système particulier a-t-il un mécanisme d’amélioration interne, et son standard de mesure est-il ancré à l’extérieur de lui ? ».

C’est un progrès épistémique réel : les défauts deviennent énonçables un par un. Un système pleinement auto-référentiel — où ni le mécanisme d’amélioration ni le critère de mesure ne sont externes — présente des défauts structurels identifiables. Un système ancré n’a pas les mêmes. La polarité, et non le récit, devient la variable de conception.

Le harness, angle mort de la reproductibilité

HarnessBandit soulève un point dérangeant pour la comparabilité des résultats. Si le même modèle « peut se comporter de façon inégale » selon les prompts système, schémas d’outils, boucles de contrôle et formats de trajectoire, alors une partie de la variance attribuée au modèle appartient en réalité au harnais. Le fait que l’ordonnanceur doive équilibrer learnability et transferability indique que ces deux dimensions divergent — un harness très apprenable ne transfère pas nécessairement.

C’est un rappel de méthode pour quiconque publie des scores d’agents : sans description du harness, un chiffre de performance est incomplet. Et c’est une invitation à traiter le harness comme un artefact versionné et testé, au même titre qu’un modèle.

L’industrie rattrape la recherche, à sa manière

Deux signaux de marché prolongent ces travaux. Premièrement, l’acquisition de Fathom par Superhuman montre que la capture du contexte — ce qui se dit, ce qui est décidé, qui s’est engagé à quoi — devient la matière première des agents proactifs. C’est exactement le problème de l’état et de la mémoire que la recherche formalise : un rendez-vous est un point de reprise avec obligations non terminées.

Deuxièmement, le code de conduite IA de Microsoft inscrit dans la gouvernance interne ce que la recherche décrit en architecture. Le document prévoit une « contrainte absolue » interdisant les cyberattaques, les armes nucléaires et les deepfakes, et une disposition plus large contre la perte de contrôle humain : les modèles MAI « n’utiliseront pas de mécanismes adaptatifs, trompeurs, auto-renforçants ou de collusion pour échapper ou défaire la supervision humaine ». Satya Nadella salue les « évaluateurs embarqués ». C’est le pendant organisationnel du « contrôle indépendant » que réclame la littérature sur la récupération.

Ce que ça change concrètement

Pour une équipe qui met des agents en production, ces travaux suggèrent quatre chantiers immédiats :

Instrumenter la trace : sans journal structuré et daté, aucune attribution de cause racine n’est possible — et le diagnostic s’arrêtera à l’hypothèse plausible.
Écrire un contrat de reprise : définir ce qui est réutilisable, sous quelles preuves, et avec quelle autorité. Refuser la continuation automatique est une option légitime.
Mesurer le processus, pas seulement le résultat : taux de violation de budget, points de départ non admissibles, preuves indépendantes.
Versionner le harness : prompts système, schémas d’outils, boucles de contrôle et formats de trajectoire font partie du système évalué.

🎯 À retenir

L’attribution de panne est un problème de recherche, pas de jugement instantané : les juges LLM en un seul passage s’arrêtent à une hypothèse plausible et laissent les preuves critiques inexplorées dans les longues traces. Continual Search et MegaRCA-Mix (50 échecs annotés) attaquent ce point.
La récupération devient une primitive système : un état sauvegardé n’est pas un point de reprise admissible. La restauration précise et le succès final peuvent masquer des points de départ interdits — il faut une évaluation dédiée, avec preuves et autorité.
L’identité d’un agent déployé dépasse le rappel : PAI-Bench sépare rappel, composition, incarnation, résistance, persistance et lignage. Écart mesuré : 48/48 sur des identifiants explicites, 1/48 sur les autoportraits implicites.
Le budget de tokens est une variable indépendante : BudgetBench balaie 2K à 32K et fait du taux de violation de budget un résultat de premier ordre — révélant des courbes de qualité non monotones.
La sécurité agentique a désormais une architecture de référence : 206 études synthétisées, quintuplet d’état, taxonomie à six dimensions, défense zero-trust (Dual-LLM, capacités, eBPF, sandbox).
Le harness est une variable d’entraînement et de reproductibilité : HarnessBandit arbitre learnability et transferability ; sans description du harness, un score d’agent est incomplet.
L’auto-amélioration récursive devient un espace de conception : GAI ramène la RSI à un cas de l’itération de politique, avec deux molettes (mécanisme interne ? standard externe ?) et trois polarités — ancré, dérive d’objectif, auto-référentiel.
Le marché valide l’agenda : Superhuman rachète Fathom (400 000 utilisateurs actifs mensuels) pour déclencher le travail agentique depuis le contexte des réunions, tandis que Microsoft inscrit dans son code de conduite l’interdiction de « défaire la supervision humaine ».