Koa, inférence en Flash et mur d'interférence : la course à l'efficacité redessine la pile IA

💡 En résumé

La journée du 15 septembre 2026 offre un condensé de ce qui se joue réellement dans la pile IA, loin des débats sur la sécurité. D’un côté, un mouvement industriel : Salesforce et Nvidia présentent Koa, un modèle de raisonnement open-weight post-entraîné pour des tâches métier, explicitement positionné comme alternative aux modèles frontière propriétaires. De l’autre, un mouvement plus profond : une série de travaux qui s’attaquent tous au même goulot — le coût de l’inférence et la difficulté à faire tenir un raisonnement dans une machine réelle.

Trois fronts se dessinent. Le premier déplace le calcul des modèles vers la mémoire elle-même, quitte à abandonner la virgule flottante. Le deuxième attaque les limites structurelles des architectures linéaires, ces modèles à état fixe qui promettent un coût constant mais butent sur le rappel associatif. Le troisième s’attaque au contrôle du comportement — non plus par réentraînement, mais par intervention au moment de la génération.

🔥 Tendances : l’entreprise se dote de son propre raisonnement

Koa : le modèle métier qui contourne les laboratoires frontière

Le modèle Koa est l’une des annonces majeures de Salesforce à Dreamforce. C’est le premier modèle de raisonnement de l’entreprise, construit sur Nemotron, le modèle open-weight de Nvidia. Les deux sociétés ont travaillé ensemble pour le post-entraîner à exceller sur les tâches de vente, de marketing et de support client.

L’intérêt de Koa n’est pas tant sa performance que son positionnement, qui illustre une divergence croissante entre les besoins des entreprises et ce que proposent les laboratoires frontière. Ces derniers préfèrent voir les entreprises téléverser fichiers, code, prompts et retours directement dans leurs modèles, en dépensant des millions. Salesforce propose l’inverse : une alternative open-weight aux modèles fermés, entraînée pour des tâches de travail spécifiques, qui n’a ingéré aucune donnée client réelle et ne peut donc pas la divulguer à d’autres, qui consomme moins de tokens pour le même travail, et qui peut être routée automatiquement via une passerelle IA selon le besoin.

« Nous avons construit beaucoup de petits modèles de langage spécialisés par tâche, qui font partie du portefeuille d’Agentforce », a déclaré Jayesh Govindarajan, vice-président exécutif en charge de l’IA chez Salesforce. « Mais le raisonnement a toujours été quelque chose pour lequel nous dépendions des fournisseurs de modèles frontière. Jusqu’à maintenant. »

Avant Koa, les prompts d’un agent nécessitant un raisonnement long ou multi-étapes étaient routés vers un modèle frontière comme Claude ou ChatGPT via la passerelle IA d’Agentforce. La raison de ce basculement tardif est instructive : « l’une des raisons pour lesquelles nous n’avions pas fait cela avant — entraîner notre propre modèle d’entreprise — c’est que nous l’avons toujours voulu, mais le défi a toujours été l’absence d’un modèle de base pré-entraîné pour démarrer. Avant Nemotron, il n’y avait pas de modèle pré-entraîné américain souverain disponible, un, qui soit à la pointe, deux, et qui ait une provenance de données claire, trois. Nous n’avons aucune idée de ce sur quoi Qwen s’entraîne. »

Le post-entraînement n’a utilisé aucune donnée client de Salesforce. L’équipe a fabriqué des données synthétiques mimant les schémas clients, en simulant un environnement de service client avec un persona de professionnel du support, « y compris des clients mécontents qui appellent le centre de service, jusqu’à un professionnel de la vente qui essaie de conclure un accord ».

Le discours d’accompagnement porte sur l’économie des tokens. « Avec Nemotron, nous avons une architecture unique pour que l’inférence soit économe en tokens », explique Kari Ann Briski, vice-présidente de Nvidia en charge du logiciel d’IA générative pour l’entreprise. « C’est la trilogie de ce qu’il faut avoir : IA souveraine, temps jusqu’au premier token, raisonnement efficace — pour tout ce qui relève de la tokenomie. »

Salesforce n’abandonne pas pour autant Anthropic ou OpenAI : l’entreprise a annoncé un partenariat nommé Claudeforce, qui permet d’utiliser Claude comme interface IA tout en gardant les données dans le système d’enregistrement de Salesforce.

L’inférence quitte la mémoire vive

Le travail le plus radical de la journée concerne le matériel lui-même. LLM Inference in a Flash! part d’un constat matériel : la demande d’inférence LLM croît plus vite que la capacité mémoire et la bande passante de communication, notamment parce que les requêtes s’allongent — RAG, scaling de calcul à l’inférence, applications à long contexte. La solution prometteuse s’appelle Compute-in-Flash : rapprocher le calcul de la mémoire et exploiter la capacité massive du SSD.

Le problème est que ces dispositifs ne supportent pas les opérations en virgule flottante haute précision et ont une endurance d’écriture limitée. La réponse des auteurs tient en deux volets. D’abord une quantification entière de bout en bout pour éliminer les calculs flottants coûteux. Ensuite, pour l’endurance d’écriture, une stratégie de compression du cache KV par codage dictionnaire parcimonieux, où chaque vecteur KV est représenté comme une combinaison linéaire de vecteurs d’un dictionnaire statique. L’idée sous-jacente est importante : les contraintes matérielles ne sont plus traitées comme des obstacles à contourner mais comme des paramètres de conception qui réécrivent les algorithmes.

L’interférence, pas la capacité : ce qui bloque vraiment les récurrences

Deux travaux s’attaquent aux modèles à état fixe — attention linéaire et modèles d’espace d’état (SSM) — qui promettent un coût linéaire et une mémoire constante mais restent en retard sur l’attention pour le rappel associatif.

Anatomy of Associative Recall in Fixed-State Recurrences décompose le rappel multi-requête masqué à budget d’état fixe selon trois axes à un seul bouton : une courte convolution causale, la structure de transition (règle delta de rang 1 contre diagonale), et le déclin. Premier résultat contre-intuitif : la convolution domine, avec environ +0,5 de rappel dans les deux familles à entraînement apparié. Conséquence méthodologique cinglante : les comparaisons qui opposent des cellules sans convolution à un Mamba équipé d’une convolution mesurent la convolution manquante, pas la récurrence. Les revendications de supériorité par classe d’architecture ne survivent pas à l’appariement des états : une Mamba-2 appariée en état égale la cellule rang 1 non armée.

Deuxième résultat, le plus intéressant : les cellules qui résolvent le rappel à 32 paires se dégradent gracieusement avec la charge, mais tombent au hasard pour récupérer 4 paires dans une botte de foin de distracteurs — et cela reste plat quel que soit la longueur ou la transition. Ce n’est donc pas un problème de capacité mais d’interférence sous supervision éparse. La preuve : un curriculum de distance fait passer l’architecture inchangée de 0,021 à 1,000. L’entraînement est une loterie de verrouillage — une graine s’enferme ou non dans la mauvaise solution — et le curriculum est le levier. Le taux de verrouillage passe de 1/10 à 7/10 (p=0,02), la supervision dense n’apporte rien, et à L=512, là où la rampe uniforme s’effondre (0/6), conditionner la rampe sur la précision mesurée verrouille 6/6 (p=0,001).

On the Importance of Gating apporte une explication complémentaire, théorique et expérimentale : le mécanisme de portage (gating), omniprésent dans les réseaux récurrents modernes, pousse les SSM à apprendre d’abord une solution de « mémorisation en poids », ce qui retarde voire empêche la convergence vers une vraie solution d’apprentissage en contexte — et cela même quand l’architecture et sa capacité mémoire ne l’imposent pas. En revanche, le gating améliore souvent la généralisation à de longues séquences. Le dilemme est donc structurel : le composant qui rend le modèle généralisable est aussi celui qui le pousse à tricher par mémorisation.

What Does Layer-Importance Reveal About Transformers and State-Space Models? complète le tableau en décomposant l’importance des couches en deux notions distinctes : la nécessité (dépendance du modèle pré-entraîné à la contribution existante d’une couche, mesurée par l’augmentation de perte si on la contourne) et la plasticité (où le modèle absorbe de l’information nouvelle au fine-tuning, mesurée par l’amplitude des mises à jour). Résultat : dans tous les transformeurs résiduels évalués jusqu’à 14 milliards de paramètres, nécessité et plasticité sont anti-alignées sur la profondeur, alors que dans les SSM de style Mamba elles pointent vers des régions qui se recouvrent. Le signe de cet alignement prédit le comportement d’adaptation en aval : dans les transformeurs, concentrer les mises à jour dans les couches les plus plastiques augmente l’oubli catastrophique — effet qui disparaît dans les SSM évaluées. Autrement dit, les recettes de compression, de fine-tuning sélectif et d’interprétabilité bâties pour les transformeurs ne se transfèrent pas.

Attention Mean Fields propose un outil d’analyse complémentaire : l’attention moyenne d’un token vers un autre définit un noyau qui transporte les représentations de couche en couche et peut être itéré à travers le réseau. Conditionné sur un corpus entier, ce noyau prédit l’évolution moyenne de la géométrie des représentations ; conditionné sur un contexte unique, il prédit la géométrie attendue pour ce contexte. L’écart à cette prédiction isole le calcul spécifique au contexte. Fait notable : au début de l’entraînement, le modèle et son champ moyen de corpus sont indistinguables — remplacer chaque tête d’attention par son champ moyen laisse la perte sur du texte réel inchangée. La divergence apparaît autour de l’émergence de l’induction, et l’écart se creuse à mesure que les représentations se contextualisent.

🤖 Nouveaux outils et techniques

Contrôler le comportement sans réentraîner

Deux travaux proposent d’intervenir sur le modèle sans toucher à ses poids de façon lourde.

Test-Time Unlearning via Sparse Autoencoder (méthode ARIA) attaque le compromis oubli-utilité des méthodes d’effacement de connaissances. Les approches actuelles modifient les poids par montée de gradient : efficaces sur certains benchmarks, mais l’oubli plus fort dégrade l’utilité, et la connaissance effacée peut réapparaître après un fine-tuning ou une attaque par prompt. ARIA laisse les poids intacts et bloque l’accès à la connaissance indésirable uniquement quand la génération entre dans un état lié à l’oubli. Le mécanisme : un détecteur linéaire léger entraîné sur des latents d’autoencodeur parcimonieux, puis une intervention interprétable sur les états déclenchés, avec un surcoût d’inférence négligeable. Sur TOFU, R-TOFU et WMDP, ARIA améliore le compromis par rapport aux baselines — réduction significative de la précision sur l’ensemble à oublier de WMDP-cyber tout en gardant MMLU à moins de 1 % du modèle pré-oubli. Les auteurs introduisent trois attaques adverses post-oubli ciblant la récupération dans l’espace des poids et dans l’espace de décodage : l’oubli change de moins de 1 % sous attaque.

Decoy Direction Optimization aborde le revers de la médaille : la facilité avec laquelle les garde-fous des modèles open-weight se contournent. L’ablation de caractéristique de refus (RFA) identifie et projette hors du flux résiduel une direction linéaire de refus, avec un taux de succès élevé tout en préservant les capacités. Se défendre demande habituellement un fine-tuning de sûreté coûteux pour chaque nouveau checkpoint. DDO propose une édition de poids post-hoc rapide, sans fine-tuning du modèle de base. L’idée mécaniste est élégante : les attaques d’ablation reposent sur des estimateurs contrastifs pour trouver la direction de refus. Plutôt que de cacher le vrai circuit de refus, DDO injecte activement un signal leurre de forte magnitude et non linéaire dans les neurones MLP. Quand l’attaquant cherche la direction, le leurre corrompt son estimateur et le fait ablater une caractéristique orthogonale inoffensive pendant que le mécanisme de sûreté reste intact. Les auteurs prouvent une borne spectrale formalisant l’effet et évaluent DDO sur six familles de modèles, avec moins de 10 % de taux de succès sous RFA standard. Sur Llama-3-8B-Instruct, DDO reste comparable aux défenses entraînées sous attaques adaptatives multi-phases (65 % contre 58 % dans le pire cas) et fait chuter le taux de succès de l’attaque au niveau des poids Heretic de 88,7 % à 18 % — le tout à un coût d’optimisation 30 à 450 fois inférieur par configuration.

Distiller mieux avec moins

Efficient Reasoning Distillation montre qu’on peut obtenir un raisonnement utile avec très peu de données. En fine-tunant un modèle de 2 milliards de paramètres sur environ 900 exemples sélectionnés par incertitude, chacun augmenté de rationales de chaîne de pensée synthétiques générées par un enseignant de 4 milliards, les auteurs obtiennent un modèle qui surpasse des modèles vidéo-langage jusqu’à 4 fois plus gros et généralise sur CinePile, ActivityNet-QA et MLVU. Coût : moins de deux heures sur un seul GPU A100. La découverte la plus contre-intuitive : placer les rationales de chaîne de pensée après la réponse, contrairement aux conventions, améliore substantiellement le raisonnement dans les modèles compacts.

OPD-Aha traite un échec spécifique de la distillation multimodale on-policy. Quand un élève interprète mal une image tôt dans sa réponse, ce raisonnement erroné accumulé finit par entraîner l’enseignant loin de ses preuves visuelles : les deux convergent vers la même hallucination, et la supervision inter-modèles s’effondre précisément là où la correction serait nécessaire. Les auteurs découvrent que la préférence corrective visuelle de l’enseignant n’est pas perdue : en comparant ses prédictions avec l’image réelle et avec un nul visuel, la preuve privilégiée pousse toujours vers l’interprétation correcte. OPD-Aha reconstruit donc directement la cible de distillation à partir de cette préférence isolée, ce qui supprime agressivement les continuations contredisant l’image. Résultat : les élèves apprennent à interrompre naturellement leur propre raisonnement défaillant par des tokens de réflexion comme « wait » et « actually », et la génération postérieure s’appuie davantage sur les preuves visuelles.

Distilling Foundation Models for Agentic What-If Reasoning descend d’un cran dans l’échelle, du côté de l’agentique métier. Les modèles de fondation tabulaires offrent de bonnes performances prédictives sans entraînement via l’apprentissage en contexte, mais leur latence d’inférence les rend inutilisables comme backends de décision en chemin critique dans une boucle agentique interactive. En distillant un enseignant TabPFN vers un élève compact à propagation directe sur des benchmarks UCI Adult et OpenML : la tête de classification passe de 53,2 millions de paramètres à 8 546 (facteur 6 220), le pipeline de prêt déployé à deux têtes de 111,4 millions à 17 059 (facteur 6 532). L’élève conserve 95,4 à 100,5 % de précision et 96,8 à 100,0 % d’AUC. Un contrôle à étiquettes dures montre que les cibles douces de l’enseignant apportent 2,1 à 7,0 points d’AUC.

Mesurer la cohérence, pas la moyenne

Le résultat le plus directement actionnable pour les équipes qui déploient des agents vient d’IBM Research. Sur AppWorld, un agent ReAct utilisant GPT-4.1 réussissait 77,4 % des runs en moyenne sur cinq répétitions — mais ne réussissait les cinq runs que pour 53,0 % des tâches, soit un écart de cohérence de 24,4 points, qui monte à 30 points sur les tâches difficiles. Le Consistency Analyzer rééchantillonne la trace enregistrée d’un agent pour trouver les points de décision instables — les étapes où le modèle était à un échantillon de faire autre chose — en demandant k complétions par point de décision (k=5 par défaut) plutôt qu’en relançant la tâche de bout en bout. Il ne nécessite qu’une trace et aucune vérité terrain. Transformer ce diagnostic en règles coupe l’écart de 24,4 à 12,0 points, avec un Pass⁵ sur même tâche en hausse de 16,0 points et de 13,0 points sur tâche similaire — sans coût en précision moyenne.

La précision des modèles ne suffit pas : ce que les scientifiques en font

Google a publié de nouveaux résultats issus de son AI & Economy ATLAS, accompagnés d’une expérience interactive en accès libre. Deux chiffres retiennent l’attention. D’une part, les usages professionnels varient fortement selon les pays : les industries créatives indiennes utilisent l’IA à un taux supérieur au reste du monde, les métiers des arts, du design et des médias représentant 19 % de l’usage professionnel de l’IA, soit 1,6 fois la moyenne mondiale ; les États-Unis mènent sur l’adoption technique, les métiers de l’informatique et des mathématiques comptant pour 30 % de l’usage professionnel, le double du reste du monde.

D’autre part, une recherche menée avec Google DeepMind et MIT FutureTech documente l’usage scientifique : près de la moitié des scientifiques interrogés utilisent une forme d’IA chaque jour, LLM et modèles spécialisés se renforçant mutuellement, et les scientifiques déclarent économiser presque 7 heures par semaine. Mais le résultat le plus intéressant est un effet de second ordre : le goulot d’étranglement s’est déplacé plus loin dans la chaîne de production de la recherche, créant un arriéré d’hypothèses. Accélérer la génération d’hypothèses sans accélérer leur validation déplace le problème au lieu de le résoudre.

Enfin, POSPAN propose un cadre général de masquage par segments à positions contraintes pour le pré-entraînement, qui unifie toutes les méthodes existantes de masquage au niveau des segments en combinant distribution de longueur de segment et distribution de contrainte de position. Les auteurs montrent que la contrainte de position améliore largement le masquage par segments, leur meilleur réglage surpassant systématiquement les variantes fondées sur la seule longueur et le masquage de tokens classique, avec une analyse théorique du pourquoi.

📊 Analyse : quatre tensions structurelles

Première tension : efficacité contre souveraineté. L’argument de Salesforce contre Qwen — « nous n’avons aucune idée de ce sur quoi Qwen s’entraîne » — est l’argument le plus clair en faveur de l’open-weight contrôlé. Nemotron fournit une base pré-entraînée américaine, à la pointe et à provenance claire, sur laquelle post-entraîner. C’est une réponse à une demande réelle : les acheteurs d’entreprise ne refusent pas l’IA pour des raisons de capacité mais parce qu’ils ne peuvent pas garantir ce que le système fera. La souveraineté des poids devient une condition de conformité. En contrepartie, cela crée une dépendance nouvelle à un fournisseur de base pré-entraînée — et une fragmentation en zones : modèles européens, américains, chinois, chacun post-entraîné sur sa propre base.

Deuxième tension : le coût matériel impose la conception algorithmique. L’inférence sur mémoire Flash est une rupture de logique : ce n’est plus le matériel qui s’adapte à l’algorithme, c’est l’algorithme qui se réécrit pour un substrat aux propriétés radicalement différentes — pas de flottant haute précision, endurance d’écriture limitée. Cela ouvre une question de fond sur la standardisation : si les futurs accélérateurs déplacent le calcul dans la mémoire, la quantification entière et la compression du cache KV cessent d’être des optimisations et deviennent des contraintes de premier ordre. Les travaux de la journée sur le Z-loss vont dans le même sens : Z-loss Backward Geometry montre que deux valeurs de Z-loss presque identiques en passe avant peuvent coexister avec des gradients en espace logit distincts — et, après transport par l’architecture et l’optimiseur, avec des mises à jour de paramètres distinctes. Comprendre ce que fait réellement la pénalité, au-delà de son rôle de stabilisateur scalaire, conditionne les choix de précision mixte, de routage top-k et d’embeddings liés. Le Z-loss n’est pas qu’un filet de sécurité numérique : c’est un opérateur qui agit à travers l’architecture.

Troisième tension : les architectures linéaires ne remplacent pas l’attention, elles déplacent le problème. Le résultat sur le curriculum est le plus important de la journée pour la recherche sur les architectures, et il a une portée qui dépasse les SSM. L’échec n’est pas dû à la capacité mais à l’interférence sous supervision éparse, et il se corrige par un curriculum. Autrement dit, une grande partie de l’écart attribué aux limitations architecturales relève du régime d’entraînement et de la supervision. Couplé à la découverte sur le gating — qui pousse à la mémorisation en poids et retarde l’apprentissage en contexte tout en aidant la généralisation longue — et à la divergence nécessité/plasticité entre transformeurs et SSM, le message est clair : les intuitions transférées depuis la littérature sur les transformeurs induisent en erreur. Les recettes d’élagage, de fine-tuning sélectif et de distillation doivent être réétablies par famille d’architecture.

Quatrième tension : le contrôle du comportement se déplace hors des poids. ARIA bloque l’accès à une connaissance à la génération selon l’état interne ; DDO corrompt l’estimateur de l’attaquant par un leurre non linéaire ; l’ablation de refus exploite la linéarité de la direction de refus. Les trois techniques se lisent ensemble : les propriétés de sûreté d’un modèle sont devenues un objet qu’on manipule à l’inférence, plus un objet qu’on grave dans les poids. C’est une bonne nouvelle pour le coût — DDO revendique des ordres de grandeur d’économie — et une mauvaise pour la vérification externe. Si le comportement d’un modèle dépend d’un détecteur linéaire déclenché par un état latent, de quel test statique la conformité peut-elle dépendre ?

🎯 À retenir

Koa matérialise une scission du marché : le raisonnement n’est plus réservé aux laboratoires frontière. Un modèle open-weight post-entraîné par un éditeur métier sur une base souveraine suffit pour les tâches de travail ciblées, avec un argument simultané de coût, de conformité et de provenance des données.
Le rappel associatif des SSM échoue par interférence, pas par capacité : un curriculum de distance fait passer un modèle inchangé de 0,021 à 1,000. Le levier est le régime d’entraînement, pas la taille.
Le gating est un composant ambigu : il pousse à la mémorisation en poids, retarde l’apprentissage en contexte, mais améliore la généralisation longue. Le dilemme est structurel.
Nécessité et plasticité ne s’alignent pas de la même manière selon la famille d’architecture : les recettes de compression et de fine-tuning sélectif ne se transfèrent pas des transformeurs aux SSM.
La moyenne cache l’instabilité : 77,4 % de réussite moyenne contre 53,0 % de tâches réussies à chaque répétition, 24,4 points d’écart. Mesurer la cohérence est désormais indispensable avant tout déploiement critique.
Contrôler coûte moins cher que réentraîner : ARIA (blocage à l’inférence par détecteur SAE) et DDO (leurre anti-abliteration, 88,7 % à 18 % de taux de succès) obtiennent des effets robustes à un coût réduit de 1 à 2 ordres de grandeur.
La distillation reste la voie la plus rentable : 900 exemples et moins de deux heures sur un A100 pour un modèle vidéo-langage de 2 milliards qui bat des modèles 4 fois plus gros, avec une inversion contre-intuitive de la chaîne de pensée placée après la réponse.
Le goulot se déplace : les scientifiques gagnent 7 heures par semaine grâce à l’IA, mais l’arriéré de validation des hypothèses grossit. Accélérer une étape déplace la contrainte, il ne la supprime pas.