Inférence IA : sparse attention, mises à jour bit-identical et agents sobres en carbone

💡 En résumé

• BF1, une attention sparse dyadique déterministe, atteint 10,91× d’accélération du préfill à 32K tokens sur GPU Blackwell, et retrofitte des modèles pré-entraînés sans repartir de zéro.
• CellFill introduit l’apprentissage dans l’intervalle de déquantification : un LLM 4-bit peut absorber de nouvelles connaissances avec une garantie bit-identical — l’artefact publié reste vérifiable à l’identique, et la mise à jour est révocable.
• F2Asm est le premier assembleur SASS open-source supportant Rubin SM107, appris par algèbre linéaire sur 𝔽₂ : les encodages d’instructions sont reconstruits à l’identique sur 3 225 CUBINs.
• AgentDecarbonizer réduit jusqu’à −57,9 % les émissions carbone des workflows d’agents en exploitant la flexibilité des échéances pour déplacer l’exécution vers des périodes et des grilles moins carbonées.
• Côté design, Environmental Slow AI propose cinq principes pour réintroduire la sobriété dans les systèmes génératifs — la friction comme affordance, pas comme bug.

---

🔥 Tendances : la pile d’inférence attaque ses trois goulots

Le flux arXiv cs.LG du lundi 24 août 2026 dessine une stratégie industrielle claire : l’inférence ne se contente plus de grossir, elle s’optimise sur trois fronts simultanés — la complexité algorithmique du préfill, la mutabilité des modèles déployés, et le coût environnemental de l’exécution.

Le premier front est celui de la longueur. Les fenêtres de contexte ont explosé (centaines de milliers de tokens), mais l’attention dense causale reste quadratique : à 32K tokens, le préfill domine la latence et le budget. Les solutions existent en théorie (attention log-sparse, dilated), mais leur application aux modèles pré-entraînés se heurte à un mur : comment remplacer des couches denses sans casser la distribution apprise ? La réponse de la semaine s’appelle BF1.

Le deuxième front est celui de la mutabilité. Un constat brutal ouvre CellFill : « chaque façon d’enseigner quelque chose de nouveau à un modèle déployé — fine-tuning complet, fusion d’adaptateurs, édition de modèle — remplace le checkpoint publié, et avec lui toutes les évaluations et tous les caches qui référaient à ces bits exacts ». Dans un monde où les artefacts de modèles sont des actifs audités et mis en cache, remplacer le checkpoint est un coût caché considérable. CellFill propose de ne rien remplacer du tout.

Le troisième front est celui du carbone. Les agents IA transforment les LLM de requêtes ponctuelles en workflows longs et orientés objectif qui émettent de nombreux appels de modèle, invoquent des outils et interagissent avec des environnements. Chaque workflow est une facture carbone — et c’est précisément là qu’AgentDecarbonizer intervient.

🤖 Nouveaux outils : quatre avancées à surveiller

BF1 — la sparse attention qui se greffe sur les modèles existants

BF1 est un motif d’attention sparse dyadique déterministe et aligné par blocs qui combine trois ingrédients : un petit voisinage local exact, un premier bloc global, et des blocs historiques espacés logarithmiquement. Pour une largeur de bloc fixe, chaque couche convertie utilise O(n log n) interactions de tokens sélectionnées et une profondeur de communication de graphe O(log n).

Les chiffres sont nets, sur un NVIDIA RTX PRO 6000 Blackwell avec une implémentation BF16 optimisée :

• La traversée de l’attention dense se produit entre 2K et 4K tokens.
• 10,91× d’accélération du préfill par couche à 32K tokens.
• En retrofitant 8 des 28 couches d’attention de Qwen3-0.6B, le temps jusqu’au premier token (TTFT) baisse de 7,7 % à 8K, 11,3 % à 16K et 15,3 % à 32K, les couches denses restantes gardant le modèle asymptotiquement quadratique — un point important : le retrofit partiel suffit pour des gains mesurables.
• Sous protocole d’adaptation apparié (1 000 pas, 16,384 M tokens), BF1 se classe premier sur trois graines : perplexité moyenne 1,68639 contre 1,69154 pour un graphe non local statique-aléatoire apparié et 1,69258 pour la poursuite d’entraînement dense.

La contribution n’est pas un nouveau motif — lié aux attentions log-sparse et dilated antérieures — mais un retrofit de modèle pré-entraîné avec vérification de correction et une caractérisation système reliant la sparsité par couche à la latence du modèle entier. Pour les équipes qui veulent du long-contexte sans réentraîner, c’est le papier à lire.

CellFill — apprendre sans changer un bit

CellFill part d’une idée radicale : avec les codes entiers et les échelles d’une version 4-bit gelés, les nouvelles connaissances sont écrites uniquement dans le résidu par-poids qui vit strictement à l’intérieur de chaque cellule de décision de quantification. Conséquences mécaniques :

• La re-quantification retourne l’artefact publié bit pour bit — une garantie vérifiable par machine.
• Les mises à jour sont exactement révocables : il suffit de supprimer le résidu.
• La dérive est bornée par construction — l’invariance devient structurelle, pas appliquée de force.

Et l’invariance exacte est presque gratuite : sur trois graines appariées, le chemin dense contraint atteint 58,9 % de rappel factuel contre 59,3 % pour une référence non contrainte dont les poids s’échappent de l’artefact (différence appariée −0,5 point, IC 95 % [−5,0 ; +4,0]) — statistiquement indiscernable — tout en étant meilleur en perplexité cross-domain sur données retenues. Contre l’hypothèse nulle naturelle (servir la même mise à jour comme adaptateur non fusionné), la projection dans les cellules réduit l’oubli cross-domain dans chaque run convergent.

Le point le plus important est la transparence du bilan : « ce qu’aucune méthode n’échappe, c’est le coût de la connaissance elle-même ». Le « déjeuner gratuit » apparent de la perplexité in-domain est un artefact du partage de corpus entre rehearsal et métrique. Et la méthode transfère à un modèle hybride attention-linéaire de 27B (2,4×10¹⁰ poids contraints, vérifié bit-identical), où le rappel apparié coûte environ deux fois moins de perplexité cross-domain qu’à 1,7B.

F2Asm — l’assembleur SASS que NVIDIA n’a jamais fourni

NVIDIA fournit un désassembleur SASS mais aucun assembleur SASS public pour ses GPU data-center récents — ce qui verrouille la réécriture contrôlée de code machine. F2Asm apprend des encodeurs d’instructions SASS 128-bit exacts à partir de paires (désassemblage, mots d’instructions CUBIN d’origine), en les modélisant comme des applications affines vectorielles sur 𝔽₂ (corps à deux éléments).

Le système est le premier à apprendre des encodeurs SASS comme cela et le premier assembleur SASS open-source à supporter Rubin SM107. Il utilise l’élimination de Gauss sur 𝔽₂ pour construire incrémentalement une base compacte, détecter les incohérences et rejeter les entrées hors de l’espace appris. Les encodeurs sont entraînés pour Hopper SM90/SM90a, Blackwell SM100 et Rubin SM107 sur 3 225 CUBINs issus de bibliothèques de production épinglées NVIDIA et tierces, des paquets CUDA 13.3 et des archives CUDA 13.4 Developer Preview. En tests round-trip, F2Asm réassemble le SASS désassemblé de chaque CUBIN et toutes les sections de texte exécutable correspondent exactement aux originaux.

L’enjeu dépasse la bidouille : la réécriture de code machine contrôlée est la condition d’outils de sécurité, d’optimisation post-compilation et de vérification formelle sur les GPU modernes — un terrain que NVIDIA laisse en friche.

AgentDecarbonizer — l’agent qui attend que le courant soit plus vert

AgentDecarbonizer caractérise d’abord le problème avec WildClawBench sur des workloads OpenClaw : les émissions dépendent de la consommation de tokens, de la réutilisation du cache de contexte et de l’intensité carbone du réseau. L’opportunité identifiée est la flexibilité des échéances : les tâches d’agents peuvent attendre des périodes de moindre intensité carbone ou se déplacer vers des grilles plus vertes. Le défi est l’incertitude : durée d’exécution incertaine pour le déplacement temporel, et recalcul du cache de contexte pendant le déplacement spatial.

L’optimiseur, qui tourne aux côtés d’OpenClaw, estime conservativement la durée des tâches et sélectionne des plans d’exécution respectant l’échéance tout en comptabilisant le surcoût de recomputation du cache. Sur 60 tâches d’agents et quatre grilles : −57,9 % d’émissions par rapport à une baseline insensible au carbone, et −37,5 % par rapport à une baseline qui choisit la grille optimale en carbone au démarrage de la tâche. Le papier transforme un slogan (« IA responsable ») en mécanisme d’ordonnancement mesurable — et il est directement applicable aux workloads d’agents existants.

📊 Analyse : la sobriété comme propriété de conception, pas comme correctif

L’ensemble de la semaine raconte une même histoire : l’efficacité n’est plus une optimisation périphérique, c’est la propriété centrale de la pile. BF1 réduit le travail algorithmique (O(n log n) au lieu de O(n²)), CellFill réduit le travail de redéploiement (un résidu au lieu d’un checkpoint), AgentDecarbonizer réduit le travail énergétique (un ordonnancement au lieu d’une exécution immédiate).

Le papier Environmental Slow AI pousse cette logique à son terme philosophique. Position paper inscrit dans la tradition des humanités environnementales, il diagnostique les valeurs maximalistes des systèmes génératifs actuels et propose cinq principes de conception où la durabilité environnementale est la valeur centrale :

1. Restraint (retenue) — produire moins, délibérément.
2. Sufficiency (suffisance) — viser l’utile, pas l’exhaustif.
3. Selectivity over retention (sélectivité plutôt que rétention) — un écho direct à Weighted Memory Tree dans le domaine de la génération.
4. Material visibility (visibilité matérielle) — rendre le coût physique visible à l’utilisateur.
5. Friction as affordance (la friction comme affordance) — réintroduire des résistances qui restaurent la décision que les défauts sans friction ont silencieusement retirée.

Chaque principe opère à deux niveaux : une implémentation de conception, et une couche interprétative qui pousse utilisateurs et développeurs vers un engagement réflexif avec le système. C’est le contrepoint exact de la course à la latence zéro : si la friction est une affordance, alors le coût visible de l’inférence n’est pas un bug à masquer mais une interface à concevoir.

Le croisement avec les résultats techniques est frappant : AgentDecarbonizer transforme la sobriété en fonction d’ordonnancement, CellFill transforme la mutabilité en invariant vérifiable, BF1 transforme la longueur de contexte en problème gérable — chacun, à sa manière, réintroduit une décision explicite là où les défauts automatiques l’avaient effacée. C’est peut-être la tendance profonde de cette semaine : l’inférence IA entre dans son ère de conception responsable.

🎯 À retenir

1. Le long-contexte a une alternative au réentraînement. BF1 montre qu’un retrofit partiel de couches sparse (8/28) suffit pour −7,7 à −15,3 % de TTFT, avec 10,91× de préfill par couche à 32K.
2. La mutabilité des modèles déployés devient un invariant vérifiable. CellFill démontre qu’une mise à jour bit-identical, révocable et bornée est possible pour les LLM 4-bit — avec un transfert vérifié jusqu’à 27B.
3. Le verrou SASS saute. F2Asm assemble du SASS exact pour Hopper, Blackwell et Rubin — l’écosystème open-source gagne un outil de réécriture de code machine que NVIDIA n’offre pas.
4. Le carbone des agents se pilote par l’ordonnancement. −57,9 % d’émissions sans changer le modèle, juste en déplaçant l’exécution dans le temps et l’espace électrique : la flexibilité des échéances est le levier le moins cher disponible.
5. La sobriété se conçoit, elle ne se corrige pas. Les cinq principes de Slow AI (retenue, suffisance, sélectivité, visibilité matérielle, friction-affordance) dessinent le cahier des charges de la prochaine génération de systèmes génératifs.