Garde-fous et angles morts : la régulation de l'IA cherche ses instruments de mesure

💡 En résumé

L’IA est entrée ce week-end dans une séquence politique explicite. Le dimanche 13 septembre 2026, Barack Obama a déclaré que les démocrates devaient faire de l’intelligence artificielle l’une de leurs « agendas centraux » et disposer d’« un plan très clair » pour répondre aux inquiétudes sur l’impact économique et la sécurité de la technologie. Le même jour, l’émission Equity de TechCrunch consacrait son épisode aux « avertissements de malheur » qui se multiplient dans l’industrie, après la démission du chercheur Jacob Coxon d’Anthropic — parti en accusant les grandes entreprises d’IA de « jouer avec nos vies » — et la publication d’un cadre de « pacing the frontier » par Dario Amodei.

Le contraste avec le pouvoir en place est net. Interrogé en marge d’un événement de golf en Irlande, Donald Trump a vanté les États-Unis comme « le pays le plus sophistiqué du monde », ajoutant vouloir « que ça reste comme ça, parce que celui qui gagne l’IA gagne », avant de concéder qu’« on peut mettre des garde-fous » tout en jugeant qu’« il y a beaucoup de forces négatives qui font du bruit et qui ne devraient pas ».

Mais la livraison arXiv du jour apporte un contrepoint dérangeant à ce débat politique : les instruments mêmes avec lesquels on prétend mesurer la sécurité de l’IA sont truffés d’angles morts.

Les grilles d’évaluation médicale couramment utilisées manquent des hallucinations cliniquement pertinentes, laissant souvent les scores inchangés.
La certification de désapprentissage dans les modèles de diffusion texte-image révèle des fuites résiduelles 16,2 % supérieures aux taux de succès d’attaque rapportés : on surestimait l’efficacité du retrait.
Un alignement natif fort ne garantit aucune robustesse aux jailbreaks adversariaux, et l’efficacité des défenses est fortement dépendante du modèle, de l’attaque et du composant.
Les juges LLM notés sur 36 paires juge-examiné accordent des jugements systématiquement plus indulgents aux modèles plus capables.
L’apprentissage subliminal — la transmission de traits comportementaux par un modèle enseignant à travers des données sémantiquement sans rapport — se reproduit, mais n’est pas universel.

Autrement dit : on demande des garde-fous politiques à une industrie qui ne sait pas encore mesurer ce qu’elle prétend garantir.

🔥 Tendances

Le débat sur le « malheur » devient un enjeu de positionnement

L’épisode d’Equity mérite d’être lu attentivement, parce qu’il met en évidence un doute que les journalistes formulent plus franchement que les industriels. La question posée par Kirsten Korosec est la suivante : est-il possible que chaque nouveau billet de blog sur un incident où un agent d’IA s’échappe involontairement, ou sur le risque encouru par l’humanité, soit en réalité une manière détournée de montrer à quel point le modèle de son entreprise est avancé ?

Sa formulation : « Si ces modèles d’IA n’étaient pas avancés, n’étaient pas capables, ne franchissaient pas les barrières, nous n’aurions pas à nous inquiéter de ces choses, n’est-ce pas ? C’est une façon très étrange de se vanter des capacités des modèles que vous avez créés. »

Le journaliste Anthony Ha nuance : il ne croit pas à un plan marketing pleinement conscient, mais reconnaît que la narration du danger s’aligne avec les intérêts commerciaux — « Wow, nous avons construit le logiciel le plus mortel jamais fabriqué ». Il pointe aussi le ressort psychologique : la tentation de croire que ce qu’on fabrique est la chose la plus importante et la plus dangereuse du monde.

Sean O’Kane ajoute l’élément qui différencie la séquence actuelle des précédentes : « le sentiment que ces entreprises ne maîtrisent pas ces systèmes par certains côtés ». Et il pose la question qui devrait figurer dans tout dossier d’introduction en bourse : « Y a-t-il en ce moment des juristes juniors qui doivent réécrire toute cette section du formulaire S-1 pour dire qu’il est officiellement de la position d’Anthropic qu’il y a plus de 10 % de chances de développer quelque chose qui éradiquerait toute l’humanité et que ce serait matériellement mauvais pour nos affaires ? »

Obama : un cadre, une conversation publique, un rôle de caisse de résonance

Les propos d’Obama, rapportés par le New York Times, ont été tenus lors d’un événement de collecte de fonds démocrate où il était interrogé par le chef de la minorité à la Chambre, Hakeem Jeffries. Le message est structuré :

L’IA doit être un agenda central du Parti démocrate — pas un sujet technique relégué.
Une fois la majorité retrouvée à la Chambre, il faudra « mettre sur pied un cadre pour une conversation très publique ».
Le diagnostic : « C’est quelque chose qui avance très vite entre des mains privées, et si nous ne prenons pas le dessus, je pense que ça peut être dangereux. Si nous prenons le dessus, je pense sincèrement que c’est bénéfique. »
L’exemple de bénéfice cité : l’accélération du développement de médicaments, « de manière à nous aider à guérir des maladies ».

Deux détails comptent. D’abord, Obama s’est proposé comme « caisse de résonance » auprès des dirigeants de l’IA et a parlé à Dario Amodei comme à Sam Altman — ce qui fait de lui un canal informel entre le Parti démocrate et les laboratoires. Ensuite, il y a un enchaînement remarquable : les déclarations d’Obama interviennent juste après les propos d’Amodei, salués positivement par Altman et Musk. Le champ politique et le champ industriel se répondent en quelques heures.

Trump : garde-fous et « forces négatives »

La position de la Maison-Blanche, telle que rapportée par Bloomberg, tient en deux mouvements. Le premier est géopolitique : les États-Unis sont « le pays le plus sophistiqué du monde » et il faut « que ça reste comme ça, parce que celui qui gagne l’IA gagne ». Le second est déflationniste sur la sécurité : « Et on peut mettre des garde-fous. On peut faire ci et ça. Mais je pense que vous avez beaucoup de forces négatives qui font du bruit et qui ne devraient pas en faire. »

Il faut y ajouter l’élément de contexte : plus tôt cette année, l’administration a publié un cadre législatif pour l’IA qui préempterait les lois des États et transférerait la charge de la sécurité des enfants aux parents. La question des garde-fous se joue donc aussi sur une ligne fédéral/États.

🤖 Nouveaux outils

SoK sur les jailbreaks à l’ère agentique — systématisation des connaissances qui recadre la sécurité des jailbreaks autour du pipeline d’exécution agentique complet : interaction utilisateur, planification et raisonnement, mémoire, usage d’outils, communication inter-agents. Le papier propose des taxonomies unifiées d’attaques et de défenses et un cadre d’évaluation sécurité-utilité-efficacité qui sépare la sûreté native sur prompt nuisible, la robustesse aux jailbreaks adversariaux et les résultats de sécurité au niveau agent.
TripPattern — méthode de filigrane textuel qui divise le vocabulaire en un groupe neutre et deux groupes de motifs ; le modèle alterne la sélection entre les deux groupes pour inscrire un motif détectable, tandis que les tokens neutres sont choisis indépendamment. La détection utilise des tests statistiques de motif produisant des valeurs p exploitables, en mesurant la fréquence d’alternance entre groupes sur tokens adjacents. Objectif : préserver la qualité de génération et la robustesse de détection, sur quatre jeux de données multilingues.
WMV calibré (calibrated weighted majority voting) — méthode d’ensemble de juges LLM pondérés par des estimations en ligne de leurs taux de faux positifs et faux négatifs. Un estimateur fondé sur le désaccord inter-juges dérive ces taux sans étiquettes de vérité terrain ni métadonnées de tâche.
CORE / PERSIST — mécanisme de révision de persona séparant l’évidence locale au tour de la révision persistante d’état, avec un benchmark post-ancre couvrant ambiguïté, conflit et influence sociale contrôlée.
Certified Safety Curation — pipeline filtrer puis cloner pour le RL hors ligne sûr : un filtre de sélection certifié par Learn-then-Test sous une borne sans distribution (α, δ) sur la fraction non sûre de la sélection, suivi d’un clonage de comportement.

📊 Analyse

Le problème n’est pas le manque de règles, c’est le manque de métrologie

C’est l’apport le plus important de la livraison du jour, et il est contre-intuitif. Le débat public — Obama, Amodei, Trump — porte sur le niveau de contrainte : faut-il ralentir, encadrer, préempter, coordonner ? Mais les papiers de recherche disent autre chose : les instruments disponibles pour vérifier qu’une contrainte est respectée sont défaillants ou incomplets.

Trois exemples, tous documentés aujourd’hui :

1. Les grilles d’évaluation médicale ratent les erreurs cliniquement pertinentes. When Rubrics Fail construit une taxonomie des types d’hallucinations médicales et un pipeline validé par des cliniciens qui injecte des erreurs contrôlées pour créer des paires de réponses appariées. Sur HealthBench, HealthBench Professional et LiveMedBench, ces hallucinations pertinentes passent sous le radar des grilles, laissant souvent les scores inchangés. Les grilles fonctionnent le mieux quand elles vérifient explicitement des faits, et moins bien face à des erreurs « supplémentaires ou inattendues qu’elles n’anticipent pas ». Une vérification préliminaire de factualité par récupération récupère une partie des erreurs invisibles — d’où la conclusion : les scores de grille seuls sont insuffisants pour établir une fiabilité clinique.

2. Les juges LLM sont indulgents avec les modèles forts. Can We Trust LLM Judges examine des tâches de notation absolue — plus proches des usages réels que les comparaisons par paires — sur quatre benchmarks et six modèles, soit 36 paires juge-examiné. Deux corrélations fortes apparaissent : la précision d’un modèle sur la tâche prédit fortement sa précision de jugement (r ≥ 0,90 sur la plupart des modèles) et prédit inversement son biais directionnel (r ≤ −0,83). Mais la précision seule ne suffit pas à garantir une évaluation équitable : les modèles examinés les plus capables reçoivent systématiquement des jugements plus indulgents de tous les juges (r ≥ 0,83).

La correction proposée — un vote majoritaire pondéré calibré — suit un oracle à connaissance parfaite des taux d’erreur à 0,5 point de pourcentage près dans une simulation à distribution glissante, sans aucune étiquette de vérité terrain. C’est une avancée réelle : on peut corriger un biais systématique sans annoter.

3. L’évaluation de l’effacement de concepts sous-estime la fuite. Certifying Concept Unlearning montre que les évaluations existantes s’appuient sur des taux de succès d’attaque obtenus par recherche automatisée de prompts adversariaux. Ces métriques ne fournissent qu’une évidence empirique sur un ensemble fini de requêtes et laissent la fuite résiduelle sur l’espace de prompts plus large largement non quantifiée. Conséquence : surestimation de l’efficacité du désapprentissage, sous-estimation des risques.

Le cadre de certification proposé combine certification statistique et analyse du pire cas le long de directions d’embedding pertinentes pour le concept, pour dériver des bornes supérieures explicites sur la probabilité de fuite à un niveau de confiance spécifié. Appliqué à trois catégories (contenu NSFW, styles artistiques, identités de célébrités) et six méthodes de désapprentissage de l’état de l’art : les bornes certifiées dépassent systématiquement les taux de succès d’attaque de 16,2 %.

L’alignement n’est pas la robustesse

Le SoK sur les jailbreaks à l’ère agentique pose la question la plus inconfortable pour les politiques de sécurité actuelles : lesquels des résultats établis sur le jailbreak restent valides à l’ère des modèles modernes et de l’IA agentique ?

Le contexte explique pourquoi la question se pose : les modèles récents présentent un alignement natif nettement plus fort que les générations précédentes, sur lesquelles la plupart des attaques et défenses ont été étudiées. On pourrait en déduire que le problème est en voie de résolution. Le SoK montre que non, et distingue trois écarts :

Un alignement natif fort n’implique pas la robustesse aux jailbreaks adversariaux. Ce sont deux propriétés différentes, et la seconde ne suit pas de la première.
L’efficacité des défenses est fortement dépendante du modèle, de l’attaque et du composant — et elle a un coût substantiel en refus excessifs, en utilité et en latence. Autrement dit, une défense peut sembler robuste en ne faisant plus rien d’utile.
Un faible taux de succès d’attaque sur la réponse finale peut masquer des défaillances sévères en amont — dans la planification, la mémoire ou la communication inter-agents.

C’est l’argument le plus solide en faveur d’une évaluation au niveau du pipeline plutôt que du tour de conversation. Un agent qui refuse la requête finale mais a déjà écrit dans sa mémoire persistante, appelé un outil externe ou transmis quelque chose à un autre agent a échoué — même si la réponse visible est propre.

Ce qui se transmet sans qu’on le voie

Reproducing and Evaluating the Generalizability of Subliminal Learning traite d’un canal que la régulation ne sait pas surveiller. L’apprentissage subliminal est une conséquence de la distillation où un modèle enseignant transmet des traits de préférence comportementale à travers des données sémantiquement sans rapport — par exemple des séquences de nombres.

Le papier original explorait deux types de traits (préférences animales et mésalignement), trois modalités (séquences numériques, code, chaîne de pensée) et plusieurs familles de modèles. Les auteurs reproduisent ces expériences et étendent à de nouvelles catégories de préférence (acteurs, politiciens), une nouvelle tâche (génération de coups aux échecs) et un modèle ouvert supplémentaire (Ministral8B), plus une ablation contrôlée sur la taille de l’espace de réponses.

Résultat nuancé : la reproduction soutient les affirmations originales, mais les extensions montrent qu’elles ne sont pas universelles. La force de transmission varie selon les traits et les tâches, et un modèle ne montre presque aucun effet.

Pour la gouvernance, la leçon est double. D’un côté, cela veut dire qu’un fournisseur peut, en principe, transmettre des biais par un canal invisible et non documenté. De l’autre, la variabilité observée signifie qu’on ne peut pas généraliser un résultat d’audit à l’ensemble des couples enseignant-élève : l’audit doit être répété, pas déduit.

Ce qui ne marche pas, et comment le savoir

Do Influence-Derived Data Perturbations Enable Machine Unlearning? est une contribution précieuse parce qu’elle est déflationniste. Les auteurs évaluent Deep Perturbation Learning (DPL) dans les trois rôles où des travaux antérieurs l’ont positionné : signal de suppression directe (l’affirmation la plus forte), régulariseur préservant l’utilité, et point de départ pour le désapprentissage adversarial.

Le point méthodologique est important : des preuves pour les rôles faibles ont été utilisées pour soutenir le rôle fort. Les auteurs testent chaque rôle séparément, sous un protocole apparié, avec des références de réentraînement à graine exacte.

Le résultat commence par un audit de l’implémentation publique, qui identifie deux problèmes de correction : les directions d’image sont calculées sur des tenseurs augmentés et normalisés mais appliquées aux images brutes, et la perturbation des étiquettes tombe sous la résolution float32, laissant les étiquettes inchangées. Après correction du pipeline de perturbation d’image, DPL échoue au critère de suppression directe sur CIFAR-10/ResNet-18 dans les trois graines appariées. Ses effets sur l’utilité sont incohérents en signe selon les graines, et une fois le temps de calcul des directions comptabilisé, il est moins bon que de simples références de départ à chaud.

Les auteurs publient un protocole d’évaluation apparié par rôle et une liste de contrôle d’audit pour les affirmations de suppression par perturbation. C’est exactement le type de contribution dont une régulation a besoin : non pas « voici une méthode », mais « voici comment détecter une méthode qui ne marche pas ».

Plus d’agents ne veut pas dire plus d’information

Information Specialization and Constrained Synthesis in Multi-Agent LLM Forecasting apporte une leçon d’une sobriété remarquable, tirée d’une étude prospective en direct sur les 56 derniers matchs de la Coupe du monde 2026.

Le dispositif : un modèle de fondation frontière maintenu constant, deux agents prévisionnistes aux rôles contrastés — un spécialiste quantitatif sur les statistiques de performance structurées, un spécialiste actualités sur les blessures, tactiques et conférences de presse — puis une revue par un critique séparé, et enfin une combinaison par un méta-agent. Le marché des paris sert de référence externe.

Résultats :

Mesure	Observation
Meilleure utilité Top-3 pondérée par probabilité	Spécialiste actualités
Correspondance au marché sur les scores exacts Top-3	Égalée par le spécialiste actualités
Accord des deux spécialistes sur ≥ 2 des 3 scores	50 matchs sur 56
Scores proposés par le méta-agent hors de l’ensemble des spécialistes	Jamais plus d’un

Conclusion des auteurs : une information rapidement changeante et non structurée peut fournir un signal précieux aux côtés des statistiques structurées — mais ajouter des étages de critique et de méta-agent ne crée pas nécessairement d’information complémentaire ni n’améliore le meilleur spécialiste.

C’est le pendant empirique de la méfiance à l’égard des architectures “défense en profondeur” empilées : l’empilement se justifie par un raisonnement structurel, pas par une mesure. Ici, la mesure dit que l’étage supplémentaire n’a rien apporté.

🎯 À retenir

Politique : Obama demande aux démocrates de faire de l’IA un agenda central avec « un plan très clair » et un cadre pour « une conversation très publique » ; il se propose en caisse de résonance auprès d’Amodei et Altman. Trump répond « celui qui gagne l’IA gagne » et « on peut mettre des garde-fous », en dénonçant des « forces négatives ».
Le soupçon de positionnement est formulé publiquement : la narration du danger n’est-elle qu’une façon détournée de vanter des modèles si avancés qu’ils en deviennent dangereux ? La question du traitement de ce risque dans le formulaire S-1 d’Anthropic reste ouverte.
Grilles médicales : les hallucinations cliniquement pertinentes sont manquées sur HealthBench, HealthBench Professional et LiveMedBench — les scores seuls ne suffisent pas à établir une fiabilité clinique.
Juges LLM : sur 36 paires juge-examiné, les modèles plus capables reçoivent des jugements plus indulgents de tous les juges (r ≥ 0,83) ; un vote majoritaire pondéré calibré sans étiquettes suit un oracle à 0,5 point près.
Désapprentissage de concepts : les bornes certifiées dépassent les taux de succès d’attaque rapportés de 16,2 % — l’efficacité du retrait était surestimée.
Alignement natif ≠ robustesse : les défenses dépendent du modèle, de l’attaque et du composant, coûtent en refus excessifs et en latence, et un faible taux de succès final peut masquer des défaillances en planification, mémoire ou communication inter-agents.
Apprentissage subliminal : la transmission de traits par des données sémantiquement sans rapport se reproduit, mais n’est pas universelle — un audit ne se déduit pas d’un autre.
DPL échoue au critère de suppression directe dans les trois graines après correction de deux bugs de l’implémentation publique ; les auteurs publient une liste de contrôle d’audit.
Multi-agents : sur 56 matchs de la Coupe du monde 2026, les spécialistes ont été d’accord sur 50 — le critique et le méta-agent n’ont pas créé d’information complémentaire.