Inférence LLM : élagage sans calibration, RAG réutilisable et puissance découplée

💡 En résumé

La journée du 10 septembre 2026 restera comme un bon cru d’ingénierie d’inférence. Loin des annonces de modèles, la recherche publie quatre contributions qui attaquent les coûts réels du déploiement — le poids des modèles, le contexte du RAG, la bande passante de l’edge et l’électricité des GPU — plus une refonte spectaculaire d’un outil culte, et une percée théorique sur la géométrie partagée des LLM.

Le fil conducteur : réduire sans réentraîner. Élaguer sans données de calibration, compresser le RAG sans modèle auxiliaire, transmettre une représentation compacte plutôt que des capteurs bruts, piloter la puissance par phase plutôt que par classe de GPU. À chaque fois, la même intuition : les gains durables ne viennent pas d’un entraînement plus massif, mais d’une meilleure exploitation de la structure déjà présente dans le modèle, la donnée ou le matériel.

🔥 Tendances

RAG : le contexte n’est plus une dépense jetable

Le RAG améliore les applications LLM en conditionnant la génération sur des documents récupérés, mais l’allongement du contexte augmente latence, mémoire du cache KV et coût en tokens. La compression post-récupération promet de réduire cette facture — sauf que les compresseurs existants opèrent indépendamment à chaque requête, s’appuient sur des modèles auxiliaires ou des réécritures, et ajoutent une surcharge online qui annule le bénéfice du prompt raccourci.

REVA (arXiv 2609.11209) retourne le problème du point de vue de la fouille de données : plutôt que de compresser à la volée, il agrège les interactions historiques requête-document-modèle en vues de preuves réutilisables. Le framework mine les traces d’attention du générateur cible et construit un magasin de scores indexé par document, indépendant du budget de contexte. Il projette l’attention au niveau des tokens sur des unités de mots lisibles, agrège l’importance à travers les accès répétés au même document, puis restitue des vues en texte brut respectant l’ordre du document et l’interface RAG standard. Résultat : +1,0 à +5,8 points de qualité de génération sur quatre benchmarks, pour une réduction d’un facteur 5,3 à 15,6 de la surcharge de compression et moins de 40 ms de latence ajoutée — un plancher que l’article souligne : les compresseurs modernes ont des gains instables face à une simple troncature.

Élaguer sans calibration : la géométrie spectrale suffit

L’élagage structuré des LLM promet une compression économe en matériel, mais les méthodes existantes exigent des données de calibration, le calcul de gradients ou de grands réseaux de politique auxiliaires. LILA (arXiv 2609.11163) s’affranchit des trois. Il évalue l’importance d’un neurone par la distance de Kolmogorov-Smirnov entre les distributions empiriques de valeurs singulières du réseau feed-forward complet et de ce même réseau amputé du neurone. Une règle spectrale en forme close, sans entraînement, sans données, sans réseau auxiliaire.

Les chiffres sont têtus. Sans aucun fine-tuning, LILA dépasse PruneNet (une politique RL de 45 M de paramètres) de 1,57 point de précision zero-shot sur LLaMA-2-7B à 25 % de sparsité, et surclasse SliceGPT calibré sur WikiText-2 jusqu’à 6,0 points sur tous les niveaux de sparsité, tout en préservant l’architecture d’origine. Après une époque de récupération LoRA, il égale SliceGPT lourdement calibré à 0,48 point près sur LLaMA-2-7B et Phi-2 — avec zéro donnée de calibration. Une analyse par Neural Tangent Kernel confirme une réduction de 22× de la distorsion fonctionnelle par rapport à un élagage aléatoire. Étendu à l’allocation dynamique de budgets de sparsité, LILA atteint l’état de l’art en préservation générative, et révèle au passage des goulots d’étranglement architecturaux à une seule couche à forte compression.

Edge : transmettre une représentation, pas des capteurs

Déployer des MLLM sur des plateformes contraintes se heurte aux besoins en calcul, mémoire et communication des modèles modernes. EMMI (arXiv 2609.11058) refuse les deux approches habituelles — transmettre les observations brutes ou découper le réseau à une couche intermédiaire. Sa proposition : communiquer une représentation latente compacte entre l’appareil edge et le serveur. L’edge réalise l’encodage par modalité, la fusion cross-modale et une compression apprise, puis n’envoie qu’une représentation latente fixe au serveur pour le raisonnement MLLM à haute capacité. Cette conception centrée représentation réduit la charge de communication, préserve la confidentialité locale des données et offre une interface de taille fixe entre appareils hétérogènes et serveurs. Bilan : 32× moins de charge utile de communication à précision aval comparable, et jusqu’à 3,4× de réduction de la latence de bout en bout en conditions de bande passante contrainte.

GPU : la puissance se pilote par phase, pas par classe

La puissance GPU est la contrainte qui lie la capacité de service LLM, et la production a migré vers la désagrégation prefill/decode (PD). En déployant le profil Max-Q de Nvidia sur un système B200 désagrégé, les auteurs (arXiv 2609.11133) constatent un gain modeste (+8,6 % de tokens/J), dépendant du modèle, et un coût de latence de +5,2 % en moyenne que l’évaluation en débit seul ne fait pas apparaître. Pire : le profil applique un réglage unique à des GPU de prefill et de decode qui opèrent dans des régimes matériels opposés.

Leur hypothèse : le réglage optimal est une propriété de la combinaison (modèle, quantification, moteur, matériel), pas de la classe de GPU ; chaque voie mérite son propre profil ; convertir le marge SLO en énergie exige une calibration conditionnée par la latence sous garde SLO au runtime. Leur contrôleur découplé par phase fait tourner la voie prefill sous une fenêtre d’horloge SM dont le plancher est une garantie de latence par construction, et la voie decode sous un plafond de puissance placé par calibration automatique juste au-dessus d’une falaise débit/latence mesurée. Sur un nœud 8× B200 servant Qwen3-Coder-480B (FP8) sous charge agentique, le mode équilibré délivre +20,4 % de tokens/J à +3,5 % de latence moyenne — soit une amélioration de Pareto sur les deux axes, contre +8,6 %/+5,2 % pour Max-Q. Sur Qwen3-235B-A22B (NVFP4), tous les modes respectent le SLO ITL-p99 que les profils vendeurs manquent. Un run soutenu de trois jours économise 32,3 % de l’électricité d’une paire de voies. Les deux modèles sont MoE — les auteurs limitent explicitement leur revendication à ce régime, un modèle dense récupérant environ 5× moins.

🤖 Nouveaux outils

GeoSteer (arXiv 2609.10658) reformule le activation steering en problème d’optimisation riemannienne. Là où les méthodes préservant la norme imposent des trajectoires prédéfinies et des mises à jour en un pas, GeoSteer progresse par une suite de petits pas géodésiques sur la variété des représentations, guidés par un objectif non linéaire appris qui distingue les activations désirées des indésirables. Le résultat est un pilotage plus lisse, plus stable et plus cohérent, à norme préservée. Sur TruthfulQA, RealToxicityPrompts et UltraFeedback, il dépasse systématiquement l’état de l’art.

EGGROLL, Unrolled (arXiv 2609.10980) dissèque une stratégie d’évolution (ES) rendue pratique pour les LLM par des perturbations de poids gaussiennes de rang faible. Le choix est computationnellement séduisant mais géométriquement sévère : chaque perturbation de rang un vit dans un sous-ensemble de volume nul de l’espace matriciel ambiant, malgré une covariance identitaire. Les auteurs caractérisent le champ de mise à jour moyen à rang fini et rayon non nul, montrent que le résolvant peut introduire une composante non conservative et inverser la stabilité locale d’un optimum — puis prouvent qu’EGGROLL reste exact sur tout objectif quadratique à tout rang et tout rayon. Leur estimateur LOO-ROLL (leave-one-out) remplace les deux évaluations antithétiques par direction par une seule : à coût d’évaluation égal, il divise par deux le MSE de l’estimateur dans les blocs Transformer. À temps mural égal sur dix réglages de post-entraînement jusqu’à 8B de paramètres, LOO-ROLL améliore sept résultats sans perte significative — et fait passer GSM8K de 38,1 % à 63,0 % à 0,6B, et de 65,9 % à 80,0 % à 8B.

Géométrie de l’information des LLM (arXiv 2609.11063) : les modèles apprennent des comportements similaires, mais quelle structure partagent-ils ? La géométrie de Fisher-Rao des probabilités de prochain token relie ces questions. À travers Transformer, state-space et modèles récurrents, les géométries de sortie s’accordent plus fortement que les géométries d’activation, et cette géométrie partagée supporte le transfert de catégories sémantiques. L’accord avec les choix de mots humains croît avec la précision prédictive, l’échelle et l’entraînement — et s’améliore encore après calibration. Mieux : la géométrie prescrit des interventions locales à perturbation minimale et soutient un contrôle réutilisable, les mises à jour apprises sur des prompts donneurs transférant à des prompts inédits tout en préservant mieux le comportement de référence qu’un contrôle euclidien. La même correction géométrique améliore le steering, l’édition, l’attribution, l’apprentissage de dictionnaires et le fine-tuning.

Enfin, côté créatif, Hugging Face publie Workflow1111 (blog du 10 septembre) : une reconstruction de l’essentiel de la fonctionnalité d’AUTOMATIC1111 sous forme d’un unique canevas de workflow — un graphe de onze pipelines multimédias construits sur soixante-treize nœuds. Au menu : text-to-image avec prompt négatif et CFG, hi-resolution fix via FLUX.1-Kontext, image-to-image, prompt matrix, interrogation VLM (Qwen2.5-VL) pour retrouver un prompt depuis une image, masques d’inpainting générés depuis DETR, annotateurs type ControlNet, suppression d’arrière-plan, stockage des métadonnées PNG et image-to-video. Les quatre types d’opérateurs (fn, model, space, dataset) suffisent. Différence notable avec ComfyUI : pas de nœud personnalisé — l’LLM et le modèle de diffusion sont de simples opérateurs de modèle sur le même canevas, ce qui autorise par exemple un Qwen3-4B à écrire le prompt puis à le brancher directement sur le nœud de diffusion.

📊 Analyse

Ces travaux convergent vers une idée simple : la structure est le vrai gisement d’efficacité.

LILA exploite la structure spectrale des matrices de poids : là où les concurrents paient de la calibration ou des gradients, la distribution des valeurs singulières porte déjà l’information d’importance. Un résultat à 22× de distorsion en moins que l’aléatoire dit que la redondance est géométriquement organisée, pas diffuse.
REVA exploite la structure temporelle : les mêmes documents sont relus, donc l’attention mérite d’être mise en cache et réutilisée au lieu d’être recalculée par requête. La compression cesse d’être un coût online pour devenir un artefact de fouille.
EMMI exploite la structure de la tâche : la modalité brute est redondante ; une représentation latente fusionnée suffit, et le déplacement du calcul vers l’edge achète la confidentialité en même temps que la bande passante.
Le contrôleur de puissance exploite la structure du matériel : prefill et decode ne sont pas le même régime, donc un réglage uniforme gâche nécessairement l’un des deux. Découpler par phase transforme un gain modeste en Pareto.
La géométrie de Fisher-Rao exploite la structure partagée inter-architectures : si la géométrie est commune, les interventions correctives deviennent transférables et composables.

Le contrepoint méthodologique est salutaire : plusieurs de ces papiers démolissent des hypothèses reçues. REVA montre que les compresseurs modernes ont des gains instables face à une troncature triviale. Le papier de puissance montre qu’un profil vendeur peut dégrader la latence de bout en bout tout en affichant un gain énergétique. EGGROLL montre qu’un choix commode (rang un) a un coût géométrique réel. C’est le signe d’une discipline qui mûrit : on ne publie plus seulement des gains, on délimite la validité.

Reste la question opérationnelle. Pour un déployeur, la feuille de route du jour se lit ainsi : si vous servez du MoE long contexte, testez le pilotage de puissance découplé — le gain +20,4 % tokens/J à latence quasi neutre est du budget gratuit. Si votre RAG relit les mêmes sources, la compression par vues réutilisables attaque directement votre facture de tokens et votre latence p99. Si vous voulez compresser sans pipeline de calibration, LILA mérite un banc d’essai. Et si vous écrivez des agents longue haleine, rappelez-vous que T1 (voir l’article agentique du jour) montre que le RL sur tâches terminales réelles est désormais une voie praticable.

🎯 À retenir

REVA (RAG) : vues de preuves réutilisables, +1,0 à +5,8 pts de qualité, 5,3 à 15,6× moins de surcharge, < 40 ms de latence ajoutée — les compresseurs classiques font parfois pire qu’une troncature.
LILA (élagage) : importance par distance KS sur les valeurs singulières, zéro calibration, dépasse PruneNet (+1,57 pt) et SliceGPT (jusqu’à +6,0 pts), 22× moins de distorsion fonctionnelle que l’aléatoire.
EMMI (edge) : représentation latente fusionnée au lieu de capteurs bruts → 32× moins de communication, jusqu’à 3,4× moins de latence en bande passante contrainte.
Puissance découplée (serving) : profil par phase au lieu du Max-Q uniforme → +20,4 % tokens/J à +3,5 % de latence sur 8× B200, 32,3 % d’électricité économisée sur 3 jours ; revendication limitée aux MoE.
EGGROLL/LOO-ROLL : ES de rang faible exact sur les objectifs quadratiques, MSE halvé à coût égal, GSM8K 38,1 % → 63,0 % (0,6B) et 65,9 % → 80,0 % (8B).
Workflow1111 : AUTOMATIC1111 reconstruit en 11 pipelines / 73 nœuds sur un canevas Gradio, sans nœud personnalisé — l’LLM et le modèle de diffusion au même niveau.