L'IA entre dans l'ère de la preuve : vérification formelle, registres d'incidents et audit humain

💡 En résumé

Pendant deux ans, la question posée à l’IA a été : « en est-elle capable ? ». La semaine du 11 septembre 2026 marque un basculement vers une autre question, plus inconfortable : « peut-on le prouver, l’attribuer et le gouverner ? ».

Les signaux sont convergents. Vingt-cinq médaillés Fields signent une lettre ouverte contre la course à la preuve mathématique menée par les laboratoires. Un chercheur d’Anthropic démissionne en accusant publiquement son employeur de « jouer nos vies » dans la course à la superintelligence auto-améliorante — et le responsable de l’alignement de l’entreprise cosigne le message au lieu de le désavouer. Le patron de Y Combinator réclame un « régime américain de distillation ». Et, en arrière-plan, la recherche produit l’outillage de cette nouvelle exigence : registres d’incidents d’agents, curation de mémoire vérifiable, pipelines de preuve formelle, méta-évaluation des benchmarks.

C’est le passage de l’IA démontrée à l’IA prouvable. Un passage qui, comme le montre la controverse mathématique, ne se joue pas seulement dans les laboratoires : il se joue dans la chaîne humaine de transmission du savoir.

🔥 Tendances

Vingt-cinq médaillés Fields contre la course à la preuve

Vingt-cinq mathématiciens parmi les plus éminents de la planète — tous lauréats de la médaille Fields, considérée comme le prix le plus prestigieux de la discipline — ont signé une lettre ouverte accusant les laboratoires d’IA de menacer leur travail intellectuel en rivalisant à coups de démonstrations de problèmes célèbres.

Les faits de la semaine sont éloquents. Le professeur Tristan Buckmaster (NYU) a accusé OpenAI de l’avoir pressé de ne pas créditer un collaborateur travaillant pour Anthropic qui avait résolu un problème mathématique important, tout en se demandant si l’entreprise n’avait pas utilisé leur travail mené avec Codex pour produire sa propre preuve retentissante, le temps d’un « marathon d’inférence » d’un week-end. Jeudi, OpenAI a retiré son parrainage d’un événement mathématique à CalTech après les critiques de chercheurs de l’université.

Mais le cœur du problème n’est pas l’incident de communication. Il est structurel :

« Souvent, ces solutions sont annoncées dans la précipitation, sans laisser le temps d’une rédaction correcte, de l’isolement de nouvelles méthodes et idées, ni de la citation des travaux antérieurs pertinents. »

La preuve d’OpenAI reste non vérifiée. Et les signataires posent la question qui fâche : « Comme dans toutes les professions créatives, cela soulève de graves questions d’attribution et de plagiat. » Sans les mathématiciens volontaires qui assurent le développement et l’intégration des idées dans le canon mathématique, préviennent-ils, « les idées conçues par l’IA ne deviendraient jamais pleinement vivantes et la chaîne humaine de transmission entre mathématiciens serait perdue ».

Le contexte aggrave le diagnostic. Aujourd’hui, si un laboratoire de frontière aperçoit un chemin utile vers une découverte, il peut dépenser des dizaines de millions de dollars en inférence pour coiffer les chercheurs originaux au poteau. Le résultat prévisible est une incitation à la fermeture : les mathématiciens deviennent paranoïaques, se demandant si leur propre usage de Codex n’alimente pas les modèles d’OpenAI. Cette lettre fait suite à la Déclaration de Leyde, publiée en juin par un groupe de travail de mathématiciens.

Le message dépasse largement la discipline : « Les problèmes que la communauté mathématique affronte aujourd’hui sont similaires à ceux que d’autres professions scientifiques et créatives rencontrent, et indiquent des problèmes que toute l’humanité pourrait affronter. »

Distillation : crime géopolitique ou régime à normaliser ?

Sur la question de savoir qui a le droit d’apprendre de qui, la fracture est désormais publique. Anthropic a publié cette semaine son deuxième rapport accusant des laboratoires chinois de mener des « attaques de distillation illicites » — dissimulation d’identité, fraude, identifiants volés. Son PDG Dario Amodei avait déjà appelé publiquement les régulateurs américains à sévir.

Garry Tan, PDG de Y Combinator, répond par un refus net : « Je ne ferais rien. » Il va plus loin : « On pourrait soutenir qu’il devrait y avoir un régime américain de distillation. » Traduction : il veut que les petits laboratoires américains à poids ouverts puissent appliquer les mêmes techniques d’entraînement sur les laboratoires de frontière américains, afin que les États-Unis disposent d’une offre open-weight robuste qui ne soit pas chinoise. Il ne s’agit pas d’utiliser des identifiants volés, précise-t-il, mais d’entrer « par la porte d’entrée ».

Son argument est double. D’abord, imposer aux clients ce qu’ils peuvent faire des informations que les modèles leur communiquent relève d’un abus de position. Ensuite — et c’est la remarque qui pique — les laboratoires propriétaires n’ont pas demandé la permission lorsqu’ils ont aspiré la connaissance humaine disponible pour entraîner leurs modèles, y compris du matériel sous droits d’auteur.

« Le scénario cauchemardesque, le scénario doomer de l’IA, c’est qu’il n’y ait qu’une seule entreprise », résume-t-il. Une entreprise avec le meilleur accès au capital, les meilleurs chercheurs, qui s’échappe et devient monolithique. C’est une définition du risque radicalement différente de celle d’Anthropic — la concentration plutôt que la capacité.

L’alerte venue de l’intérieur

Le même jour, un chercheur d’Anthropic a démissionné, dénonçant dans un message publié sur X que l’entreprise « court droit vers une superintelligence auto-améliorante et joue nos vies ». Fait notable : le responsable de l’alignement de l’entreprise a cosigné le message plutôt que de le désavouer. L’industrie a déjà flirté avec ce type d’avertissement, mais le moment est singulier : Anthropic préparerait une introduction en bourse. Un avertissement de sécurité interne, cosigné par la fonction garde-fou, à la veille d’une IPO — voilà un risque de gouvernance que les investisseurs devront apprendre à lire.

🤖 Nouveaux outils : l’instrumentation de la fiabilité

La réponse technique à cette crise de confiance se met en place. Le flux arXiv de ce samedi — 50 articles en cs.AI, un cas rare un week-end — est presque entièrement consacré à l’outillage de la preuve et de l’audit.

AIR : le registre des incidents d’agents

Le papier « The Agent Incident Registry » propose un catalogue relié à ses sources, où chaque événement lié à un agent est étiqueté selon sa rôle causal, sa classe de divulgation, son mécanisme et son résultat. Le constat central : les incidents ayant causé un dommage réel se concentrent dans les cas observés « en conditions réelles » et dans les échecs de sûreté, tandis que les divulgations responsables et les démonstrations de recherche restent, elles, majoritairement à l’état de démonstration. Autrement dit, la composition d’un tel registre caractérise la façon dont on collecte les incidents, pas le risque de déploiement — nuance méthodologique essentielle contre les lectures alarmistes.

L’audit « analogue au déploiement » est instructif : les cas du benchmark InjecAgent n’occupent que trois des douze surfaces du registre, et sont tous déclenchés par un attaquant. AIR contient par ailleurs des échecs de sûreté sans adversaire — une catégorie que la plupart des évaluations de sécurité agentique passent sous silence. Les auteurs précisent leur périmètre : AIR sert à la récupération de cas fondés sur des sources et à l’audit de la portée des évaluations, pas à l’estimation d’un taux d’échec ni de l’efficacité d’un contrôle.

Le « Agent Compendium » : enfin définir ce qu’est un agent

Difficile de comparer ce qu’on ne définit pas. « Defining AI Agents » attaque l’ambiguïté du terme en organisant le domaine autour de cinq dimensions d’agenticité : interaction avec l’environnement, apprentissage et adaptation, autonomie, comportement dirigé vers un but, et cohérence temporelle. Pour chaque dimension, les auteurs synthétisent les métriques, benchmarks et cadres d’évaluation existants, et pointent les zones où l’évaluation reste limitée ou incohérente. Ils publient un Agent Compendium, ressource publique organisant ces méthodes — un geste de normalisation indispensable à la reproductibilité.

Magenta et la recette Nemotron : quand le vérificateur devient le produit

Deux papiers transforment la vérification formelle en avantage compétitif. Magenta est un pipeline agentique sans entraînement qui, à partir d’un énoncé en langage naturel, produit une réponse, l’exprime en Lean 4 et construit une preuve vérifiée par machine. Sa réussite tient à deux juges : un juge d’énoncé qui vérifie que la formalisation préserve bien le problème d’origine, et un juge d’attribution d’erreur qui route chaque échec, soit vers une re-dérivation mathématique, soit vers une réparation locale en Lean. Résultat : 100 % de réussite sur les benchmarks d’olympiades évalués (AIME 2025, AIME 2026, HMMT février 2026) ; couplé au raisonneur open-weight K2-Horizon-7B, il résout les six problèmes d’IMO 2026. Les auteurs insistent sur le point décisif : l’adjudication d’énoncé est indispensable pour éviter les faux certificats, et la correction guidée par retour surpasse l’échantillonnage indépendant sur les problèmes difficiles.

En miroir, « An Open Recipe for IMO Gold » entraîne des spécialistes de Nemotron 3 Ultra (SFT + RL) pour un pipeline entièrement en langage naturel, sans prouveur formel, sans outils externes, sans accès Internet : génération, vérification et raffinement itératifs des preuves candidates, puis une étape de sélection à fort budget de calcul. Score : 30 points sur 42 à l’IMO 2026, soit le seuil de la médaille d’or. Les auteurs libèrent les checkpoints, les données d’entraînement, le code, les solutions soumises et un nouveau benchmark de 200 problèmes olympiques inédits.

Ces deux travaux dialoguent directement avec la controverse des mathématiciens : la vérification machine existe, elle fonctionne, et elle est open. Le problème de la semaine n’était donc pas un problème de preuve, mais de processus, d’attribution et de publication.

Mémoire d’agents : gouverner ce que l’agent retient

La mémoire persistante entre en production, avec ses pathologies. « Grounding Agent Memory » identifie le risque du curateur post-tâche restreint aux trajectoires terminées : il peut préserver des erreurs, surévaloriser des preuves partielles ou retenir du savoir obsolète. La solution proposée — la curation par sondage d’environnement — donne au curateur des outils de lecture seule, en moindre privilège, pour vérifier, délimiter et rafraîchir les mémoires candidates. Sans réentraînement, sans changer l’agent, le retriever, la représentation de mémoire ni l’autorité d’écriture.

Sur un harnais de type GitHub Copilot : le taux de réussite passe de 39 % à 73 %, la récompense pondérée de 8,60 à 22,60, tandis que le nombre de requêtes chute de 8,8 à 4,7 par question et le coût de la tâche de 3,38 à 1,68 dollar. Sur six mondes APEX, 18 comparaisons sur 18 sont positives, avec 16 à 75 % d’appels d’outils en moins. La curation devient un processus informé par l’environnement et auditable — un mot qui revient décidément partout.

En complément, AgentZip attaque la pression mémoire des « sandboxes » d’agents à fort fan-out : jusqu’à 8,7× de réduction de la mémoire détenue par les sandboxes (contre 2,1× pour la configuration Linux standard), le tout avec un ralentissement ramené de 3,1× à 1,40× grâce au préchargement à la restauration et à un ordonnancement conscient des phases d’exécution de l’agent.

Benchmark Radar : la méta-évaluation devient une base vivante

Si les scores gouvernent les décisions, l’audit des scores devient une infrastructure critique. Benchmark Radar est une base vivante et un moteur de recherche de benchmarks IA, alimenté par 37 sources (13 connecteurs directs et 24 flux de recherche et d’ingénierie de première main). Le catalogue contient 1 283 enregistrements issus de 4 catalogues de benchmarks et 12 916 observations numériques sur 790 enregistrements. Le système audite son propre catalogue et examine la saturation des benchmarks, les tendances d’adoption et les limites des comparaisons de scores — avec tableau de bord, frontière de Pareto score/usage mesuré, CLI hors ligne et analyses reproductibles.

Trois contributions discrètes mais structurantes

• Veilmind-4B démonte le compromis vie privée/utilité en trois mécanismes — utilité dépendante du contexte, adaptation stratégique (supprimer ou remplacer selon la dépendance à l’intégrité factuelle), et interactions combinatoires entre attributs — puis distille un modèle léger de 4 B pour piloter un pipeline extraction-assainissement-restauration, rapprochant le compromis de la frontière de Pareto.
• AI-ER propose un cadre de due diligence à deux dimensions — exposition (pression au changement créée par l’IA sur un modèle d’affaires) et résilience (capacité à absorber cette pression). Sa particularité : il évalue explicitement la qualité des preuves et le degré de confiance, au lieu de masquer l’incertitude dans un score unique.
• L’ordonnancement à conscience de la queue des workflows agentiques remplace la libération « avide » de chaque tour par une politique fondée sur un objectif moyenne-CVaR, réduisant le P95 du temps de complétion jusqu’à 3,50× sous contention, sur des traces réelles de tâches de génie logiciel.

📊 Analyse

Vérifier ne suffit pas : le maillon humain

La leçon la plus importante de la semaine vient d’un papier d’apparence modeste : « LLMs as Post-hoc Auditors ». Des chercheurs demandent à trois LLM d’analyser et classer quatre expressions symboliques issues de régression génétique, sur l’interprétabilité et la plausibilité médicale, puis soumettent les résultats à un panel de trois cliniciens.

Verdict : les sorties de classement comparatif sont mieux notées que les interprétations terme par terme. Mais les modèles produisent aussi des explications physiologiquement et mathématiquement douteuses. Conclusion des auteurs : les LLM conviennent à un audit comparatif sous supervision experte, pas à une validation autonome.

Ce résultat fait système avec les deux autres. Magenta n’atteint 100 % que parce qu’un juge d’énoncé empêche les faux certificats — la vérification formelle d’un énoncé mal formalisé est un piège. Et la lettre des Fields rappelle que sans la chaîne humaine de transmission, « les idées conçues par l’IA ne deviendraient jamais pleinement vivantes ». Trois travaux indépendants convergent : la machine peut vérifier une preuve, elle ne peut pas encore garantir que la preuve visait la bonne question. C’est là que réside, aujourd’hui, la valeur du jugement expert — et c’est précisément ce que la course à la découverte éclair menace de détruire.

L’économie de la preuve

La même semaine, l’argent a confirmé la double dynamique.

Moonshot AI — le laboratoire derrière le modèle ouvert K3 — viserait 2 milliards de dollars de revenus annualisés d’ici la fin de l’année, le double de son rythme d’août. Le flux OpenRouter affiche jusqu’à 300 milliards de tokens par jour générés par les modèles K3. Pour relativiser : OpenAI est crédité d’environ 40 Md$ de revenus et Anthropic de 65 Md$. Les poids étant librement disponibles, les marges de Moonshot sont structurellement plus faibles — mais la démonstration est faite qu’un modèle ouvert peut générer un business significatif.

Le contexte est pourtant lourd : Anthropic accuse Moonshot d’avoir routé près de 300 000 requêtes vers Claude Opus pour servir Opus à la place de ses propres modèles, et d’avoir collecté plus de 23 millions de réponses pour l’entraînement. C’est exactement le terrain sur lequel Garry Tan demande aux régulateurs de ne pas intervenir.

Côté infrastructures et données, deux levées de fonds dessinent les goulots d’étranglement de demain. Mecka AI, qui collecte des données de mouvement humain pour entraîner des robots humanoïdes, approcherait une valorisation de 500 millions de dollars menée par Sequoia — trois mois seulement après un tour de 60 M$ mené par Framework Ventures. Fondée en 2024 par quatre entrepreneurs sans expérience en robotique, l’entreprise paie des personnes pour se filmer en train d’accomplir des tâches quotidiennes, avec capteurs corporels et smartphones, en visant 100 M$ de revenus annualisés fin 2026. Le message est limpide : le facteur limitant de la robotique générale n’est plus l’algorithme, c’est la donnée du monde physique.

Et Nscale, opérateur britannique de centres de données IA, place Fidji Simo à son conseil — l’ancienne n°2 d’OpenAI, ex-PDG d’Instacart (qu’elle a menée en bourse en 2023) et ex-patronne de l’application Facebook — aux côtés de Sheryl Sandberg, Susan Decker et Nick Clegg, à l’approche d’une IPO cet automne et d’une levée pouvant atteindre 3,5 Md$. La gouvernance se professionnalise à mesure que le capital se concentre. Reste à savoir si ces conseils d’administration sauront lire les avertissements internes que l’actualité de la semaine vient de produire.

L’invariance qui dérange

Un dernier résultat mérite l’attention, car il contredit une intuition répandue. « The Oligarch Barely Steers Model Collapse » construit des écosystèmes contrôlés de 13 modèles ouverts de 1 à 4 milliards de paramètres, regroupés en écosystèmes de 3 à 13 acteurs, avec une sonde poussant la part de marché du premier à 90 %, sur cinq générations de réentraînement sur un pool partagé.

Résultat contre-intuitif : ni l’accélération de l’effondrement, ni l’entraînement des modèles vers la sortie du « dominant » ne se matérialisent. Les écosystèmes s’effondrent à peu près au même endroit, quelle que soit la concentration. Ce qui détermine la vitesse n’est pas la part de marché, mais qui alimente le pool et à quel point ces fournisseurs sont entraînés par le reste : à parts fixes, changer les membres d’un écosystème de trois acteurs modifie la dérive de 2,8× ; un indice de susceptibilité pondéré par les parts explique ces écarts avec un R² de 0,68 sur dix-neuf bras. Et remplacer la moitié du pool par du texte humain réduit la dérive de moitié sans en changer la trajectoire.

Morale opérationnelle : la qualité et la diversité des fournisseurs de données comptent davantage que la structure de marché. Un enseignement qui vaut bien au-delà des modèles ouverts.

🎯 À retenir

• Le centre de gravité se déplace de la capacité vers la preuve. Les 25 médaillés Fields, l’exigence d’attribution, la preuve OpenAI restée non vérifiée : la légitimité d’un résultat passe désormais par sa vérifiabilité et son intégration dans un canon, pas par son annonce.
• La vérification formelle est industrielle et ouverte. Magenta (Lean 4, 100 % sur AIME/HMMT, les 6 problèmes d’IMO 2026) et la recette Nemotron (médaille d’or IMO 2026 en langage naturel, tout ouvert) rendent la preuve machine accessible. Le verrou n’est plus la capacité de vérifier, mais la spécification de ce qu’il faut vérifier.
• L’audit ne remplace pas le jugement. Les LLM conviennent à l’audit comparatif sous supervision experte, pas à la validation autonome — conclusion convergente avec l’exigence d’un juge d’énoncé et avec l’avertissement sur la chaîne humaine de transmission.
• L’infrastructure d’imputabilité arrive. Registre d’incidents (AIR), définition normalisée de l’agenticité (Agent Compendium), curation de mémoire auditable, méta-évaluation des benchmarks (Benchmark Radar), due diligence avec qualité de preuve explicite (AI-ER). Autant de briques qui transformeront les exigences de conformité en produit.
• Le vrai clivage n’est pas sûreté contre vitesse, mais concentration contre ouverture. Garry Tan désigne la concentration en une seule entreprise comme le scénario catastrophe ; Anthropic désigne la distillation non autorisée. Les régulateurs devront trancher entre deux définitions incompatibles du risque.
• Pour les entreprises : exigez désormais de vos fournisseurs d’agents non pas des scores, mais des registres de cas, des périmètres d’évaluation et de la traçabilité de mémoire. C’est la contrepartie de la mise en production.

Le fil rouge de cette semaine tient en une phrase : l’IA a appris à produire ; elle doit maintenant apprendre à rendre des comptes. Et la partie la plus difficile de cet exercice ne sera pas technique.