Cache constant, quantisation, LoRA : où se joue vraiment le coût de l'inférence LLM

💡 En résumé

La livraison arXiv du 14 septembre 2026 contient, en cs.LG et dans la frange technique de cs.AI, une série de résultats qui répondent tous à la même question posée différemment : où peut-on encore couper dans le coût d’inférence sans perdre de qualité ?

Quatre pistes ressortent, chacune avec un chiffre qui compte :

Un cache de taille constante au lieu d’un cache qui grandit avec le contexte : à 256k tokens, 4,3× moins de latence, 11× moins de mémoire, 2,6× plus de débit en flux unique — et 14× de débit agrégé là où l’attention ne peut tout simplement pas tourner au-delà d’un seul flux.
Un rang de LoRA qui ne se traduit pas en capacité utile : le choix de l’optimiseur décide de la part du rang nominal réellement exploitée. ISO-LoRA corrige ce gaspillage de 0,1 à 7 milliards de paramètres.
Un raisonnement latent extrait sans entraînement : l’échantillonnage DF-Sample atteint 45,6 % sur GPQA, au-dessus de l’échantillonnage par puissance (38,9 %) et de GRPO (39,9 %).
Du post-entraînement 100 % hors ligne pour les modèles de code : les gains de RL peuvent être obtenus sans générer d’échantillons en ligne, ce qui supprime le poste de coût dominant.

Le fil conducteur : les économies les plus substantielles ne viennent plus du modèle lui-même, mais de la forme du cache, du choix de l’optimiseur, du format d’édition des poids et de la façon dont on échantillonne les trajectoires de raisonnement.

🔥 Tendances

Le cache O(1) : la vraie frontière du contexte long

Fixed State, Long Reach pose le problème le plus intéressant de la journée. Les modèles de langage à diffusion décodent les tokens en parallèle — avantage de débit — mais leur débruiteur bidirectionnel interdit le cache clé-valeur naïf qui fait la vitesse de l’inférence autorégressive. La diffusion par blocs restaure la mise en cache en décodant bloc par bloc, mais les caches déployés jusqu’ici sont liés à l’attention : O(L) en mémoire et, utilisés comme rattrapages sans entraînement, seulement une approximation du calcul du modèle.

Les auteurs montrent que les deux contraintes peuvent être levées : les mélangeurs de séquence qui résument les blocs finalisés en un état réutilisable supportent la mise en cache par blocs, et l’objectif d’entraînement bloc-causal correspondant rend le cache exact.

L’étude passe à l’échelle : pré-entraînement de trois débruiteurs de diffusion par blocs de 3B (attention, Mamba et hybride) sur 300 milliards de tokens, sous un objectif unique, puis décodage des trois à travers une interface cache unique.

Le résultat décisif est une question de forme : seul le cache à espace d’état est O(1) en longueur de séquence. Sa mémoire et sa latence par pas restent constantes quelle que soit la longueur du contexte, quand un cache d’attention reste O(L).

Longueur de contexte	Cache attention	Cache Mamba	Gain
256k tokens	82 Go, 29 ms/pas	mémoire et latence constantes	4,3× latence, 11× mémoire
Débit flux unique	référence	référence	2,6×
Débit agrégé (batch)	limité à un flux	—	14×
Récupération au-delà de la longueur d’entraînement	s’effondre à 2×	tient jusqu’à 8-16×	—

La dernière ligne est peut-être la plus importante : le même biais d’état linéaire qui rend le cache constant permet aux architectures Mamba et hybrides de continuer à récupérer jusqu’à 8 à 16 fois leur longueur d’entraînement, quand la récupération de l’attention s’effondre dès 2×.

Décodage linéaire à grands faisceaux

OneLA traite un cas d’usage que la littérature générale ignore : la recommandation générative, qui repose sur un décodage à grands faisceaux pour produire des centaines d’items candidats. C’est un défi de mise à l’échelle pour l’attention récurrente linéaire : les systèmes existants matérialisent un état récurrent complet pour chaque faisceau, ou rejouent l’historique partagé, avec des surcoûts de mémoire et de trafic substantiels.

L’astuce d’OneLA est d’exploiter la structure du workload : un prompt partagé et des suffixes divergents courts. Tous les états de faisceau sont représentés par un état unique dérivé du prompt partagé plus des enregistrements compacts, en ajout seul, de leurs transitions divergentes. Un index d’ascendance léger suit les enregistrements qui composent l’historique de chaque faisceau, ce qui permet de mettre à jour les faisceaux sans déplacer ni copier les enregistrements existants. Un noyau GPU fusionné réutilise l’état partagé entre les faisceaux.

Résultat annoncé : 1,54 à 2,46× de gain de bout en bout sur le décodage, avec une réduction substantielle de la mémoire d’état récurrent et des mouvements de données.

Rappeler un contexte de deux millions de tokens à mémoire constante

Residual Vector-based Reconstruction part d’un constat gênant : les modèles traitent de longs contextes, mais leur usage mémoire au niveau token croît proportionnellement à la longueur d’entrée. L’optimisation de modèle et la compression de prompt avec perte sont largement utilisées, mais ne résolvent pas le problème du rappel au-delà de la fenêtre de contexte pré-entraînée et contrainte par la taille.

La méthode proposée maintient une consommation mémoire GPU quasi constante quand la longueur de contexte croît, sans entraînement supplémentaire. L’idée : reconstruire les faits à partir des activations de paramètres dans les couches feed-forward du modèle, qui stockent des vecteurs résiduels représentant les faits du document source. En s’appuyant sur ces vecteurs, le modèle peut reconstruire de façon déterministe les faits pertinents pour la requête sans référencer le document original, préservant une fidélité élevée et réduisant la mémoire sans affiner les poids.

Les expériences montrent que la méthode permet de répondre à des questions à fait unique dans des contextes narratifs de deux millions de tokens, là où les méthodes antérieures échouent.

Quantisation : l’analyse couche par couche comme préalable

Quantization Analysis Tool est un papier d’ingénierie, et c’est rafraîchissant. Le constat de départ est que le déploiement efficace de modèles sur appareils contraints exige des méthodes qui réduisent taille et coût de calcul tout en maintenant la précision — et que le vrai travail n’est pas de choisir un format, mais de savoir quelles couches supportent la réduction de précision.

L’outil, bâti sur le framework ONNX pour l’interopérabilité, fournit une analyse de sensibilité couche par couche, la visualisation des distributions de poids et d’activations, et des indications pour guider le choix de précision. En identifiant les couches résilientes et les couches sensibles, il permet des arbitrages informés entre taille, latence et précision. L’évaluation sur plusieurs architectures démontre une amélioration de la précision quantifiée — c’est-à-dire, concrètement, moins de perte à budget de bits égal.

LoRA : le rang nominal ne dit pas la capacité utilisée

Rank-Efficient LoRA est le papier le plus contre-intuitif du lot. Le rang de LoRA est habituellement utilisé pour contrôler le budget de paramètres et la capacité de représentation d’un adaptateur. Les auteurs montrent que cette vision est incomplète : si le rang nominal détermine la capacité de représentation, c’est l’optimiseur qui décide quelle part de cette capacité est utilisée dans les mises à jour induites.

Étude de cas sur l’adaptation de GPT-2 avec LoRA : on observe un effet d’optimiseur fortement dépendant du rang. À rang nominal égal, AdamW produit souvent des mises à jour par pas à spectre singulier concentré et à rang effectif faible, tandis que Muon utilise un ensemble de directions plus riche et bénéficie plus systématiquement de l’augmentation du rang.

D’où ISO-LoRA, un optimiseur qui couple les mises à jour des facteurs LoRA par descente spectrale sur la perturbation tangente induite dans l’espace des poids. Il promeut des mises à jour qui répartissent l’énergie plus uniformément entre les directions singulières, améliorant l’utilisation du rang tout en restant compatible avec la paramétrisation LoRA. Les auteurs complètent avec des garanties théoriques : ISO-LoRA peut atteindre un rang effectif supérieur aux optimiseurs facteur par facteur, établi par une analyse à un pas sous un modèle de gradient à pics stylisé. Validation sur des modèles de 0,1 à 7 milliards de paramètres : rang effectif et performance en aval améliorés.

Élaguer et sortir tôt : enfin des bornes

Theoretical Guarantees for One-Shot Magnitude Pruning and Compute-Adaptive Early Exit apporte ce qui manquait : de la théorie. Le papier étudie la réduction de calcul sous une vue unifiée partiel contre complet, capturée par l’élagage de magnitude en une passe dans le régime statique et la sortie anticipée dans le régime adaptatif.

Dans un modèle asymptotique à neurone unique, les auteurs prouvent un théorème de concentration pour l’élagage en une passe avec des taux explicites. Ils introduisent ensuite le perceptron conditionnel pour la sortie anticipée et montrent que son erreur de généralisation excédentaire décroît comme une puissance de l’écart de calcul, avec un exposant qui tend vers l’infini quand l’alignement entre calcul partiel et calcul complet tend vers un.

L’analyse est étendue aux réseaux profonds : caractérisation de l’accumulation des distorsions induites par l’élagage avec la profondeur, et dérivation d’un compromis calcul-précision correspondant pour la sortie anticipée à squelette gelé sous un modèle de processus gaussien de réseau de neurones. Les simulations numériques corroborent les lois d’échelle prédites — ce qui donne enfin une base pour calibrer un budget de calcul adaptatif au lieu de le tâtonner.

Raisonner mieux sans réentraîner

Sampling via Decision-Flow pose la question centrale du raisonnement par modèle de langage : l’apprentissage par renforcement instille-t-il de véritables capacités nouvelles, ou ne fait-il que remodeler la façon dont un savoir existant s’exprime à l’inférence ? En s’appuyant sur l’hypothèse du distribution-sharpening — le RL réalloue la masse de probabilité vers des trajectoires à haut gain déjà latentes dans les modèles de base — les auteurs demandent : peut-on débloquer ces chemins latents sans le coûteux affinage RL ?

DF-Sample est un cadre d’inférence sans entraînement et sans données qui construit un arbre de raisonnement hiérarchique, note les nœuds terminaux pour leur qualité, puis rétropropage les utilités pour informer chaque décision de branchement intermédiaire. Contrairement aux stratégies d’échantillonnage classiques qui font des choix purement locaux pas à pas, DF-Sample effectue une évaluation globale explicite de la trajectoire avant de s’engager sur un chemin, récupérant des chaînes de raisonnement de haute qualité mais de faible probabilité que le décodage standard ignore.

Sur GPQA : 45,6 % de précision, contre 38,9 % pour l’échantillonnage par puissance et 39,9 % pour GRPO. Le message est qu’une méthode sans entraînement peut surpasser une méthode entraînée — sur des modèles et benchmarks variés.

Post-entraînement hors ligne : supprimer le poste de coût

Performance, Efficiency and Collapse s’attaque à un coût rarement discuté : le post-entraînement par RL des modèles de code exige des générations d’échantillons massives depuis des modèles Transformer et une communication GPU-CPU substantielle pour la vérification des séquences.

La question posée est directe : ce post-entraînement peut-il se faire entièrement hors ligne, à partir de jeux de données existants plutôt qu’en générant de nouveaux échantillons ? Réponse : oui. Avec seulement quelques heures d’entraînement, la performance de génération de code en zero-shot s’améliore substantiellement sans échantillonnage en ligne. Le RL hors ligne produit des gains de performance sur des modèles de 0,5 à 7 milliards de paramètres — l’ampleur du gain variant selon les familles de modèles.

Nuance importante, signalée par le titre : « effondrement ». Le post-entraînement hors ligne a ses avantages et ses défis, et tout ne se transfère pas uniformément.

🤖 Nouveaux outils

Occamy-1.0 — modèle de co-travail (co-work) 35B-A3B obtenu en entraînant davantage le checkpoint post-entraîné Qwen3.6-35B-A3B. Les auteurs construisent des données et environnements ancrés dans l’exécution, capturent des trajectoires longues rejouables sur plusieurs harness, et utilisent un post-entraînement par étapes pour développer puis consolider des capacités d’exécution complémentaires. Sur une large suite de benchmarks de co-travail, le modèle reste systématiquement parmi les plus forts à taille comparable et compétitif avec des systèmes frontière nettement plus grands ; sous leur protocole d’évaluation et de tarification, sa performance agrégée le place au genou bas-coût de la frontière coût-performance observée. Poids et sous-ensemble des données d’entraînement sont publiés.
Quantization Analysis Tool — outil ONNX d’analyse de sensibilité couche par couche, de visualisation des distributions et d’aide au choix de précision.
ISO-LoRA — optimiseur LoRA couplant les facteurs par descente spectrale dans l’espace tangent, compatible avec la paramétrisation standard.
DF-Sample — cadre d’échantillonnage de raisonnement par arbre décisionnel et rétropropagation d’utilités, sans entraînement ni données.
OneLA — cadre de décodage à attention linéaire pour grands faisceaux, à état partagé et index d’ascendance.
VEX² / GACA — ordonnanceur de budget d’essais et estimateur de crédit adaptatif (voir l’article agentique du jour).

📊 Analyse

Le déplacement du coût vers la forme

Ce qui frappe dans la livraison du jour, c’est que presque aucune économie ne vient d’un modèle plus petit. Elles viennent de la forme des structures :

La forme du cache : passer d’un cache d’attention O(L) à un cache d’état O(1) change la nature du problème. À 256k tokens, l’attention a déjà consommé 82 Go et 29 ms par pas ; le cache constant n’a pas bougé. Et parce qu’il est constant, il se combine avec le batch — d’où le facteur 14× sur le débit agrégé, là où l’attention ne peut pas dépasser un flux.
La forme du rang : le rang nominal d’un adaptateur LoRA est une promesse de capacité. Le papier montre que la promesse est tenue à des degrés très variables selon l’optimiseur. Autrement dit, une partie du budget de paramètres qu’on croit allouer est gaspillée par le choix d’AdamW — un constat qui, s’il se généralise, invalide la lecture habituelle des tableaux de rangs LoRA.
La forme de l’échantillonnage : DF-Sample obtient 45,6 % sur GPQA sans affinage, en évaluant globalement les trajectoires avant de s’engager. Si les capacités visées par le RL sont déjà latentes, alors une part du coût d’entraînement est du gaspillage de recherche dans un espace déjà exploré.

Ce que la théorie apporte

Les deux papiers théoriques de la journée — bornes d’élagage/sortie anticipée, et garanties de rang effectif pour ISO-LoRA — partagent une vertu : ils transforment des heuristiques en lois.

Le résultat sur la sortie anticipée est particulièrement utile : l’erreur de généralisation excédentaire décroît comme une puissance de l’écart de calcul, avec un exposant qui explose quand le calcul partiel s’aligne sur le complet. Traduit en pratique : il existe une relation quantifiable entre le budget de calcul qu’on accorde à un exemple et la qualité qu’on peut en attendre, et cette relation dépend de la qualité de l’approximation partielle. C’est exactement le type de résultat qui permet de calibrer un routage adaptatif du calcul par exemple plutôt que par politique uniforme.

La tension latence / mémoire / qualité n’est pas close

Il faut résister à la lecture triomphale. Ces résultats ne suppriment pas la tension fondamentale, ils en déplacent les termes :

Le cache O(1) impose un biais d’état linéaire. Il tient la récupération jusqu’à 8-16× la longueur d’entraînement — mais l’attention, elle, s’effondre à 2× avec une précision supérieure en deçà. Choisir, c’est renoncer.
La reconstruction par vecteurs résiduels donne une mémoire constante à deux millions de tokens, mais elle repose sur ce que les couches feed-forward ont stocké : l’information qui n’y est pas n’est pas récupérable.
Le post-entraînement hors ligne évite l’échantillonnage, mais son titre mentionne « effondrement » — la généralisation hors de la distribution du jeu de données reste la limite.

La bonne lecture est donc une lecture de régimes : pour chaque combinaison longueur de contexte, contrainte matérielle, exigence de précision et budget de vérification, il existe désormais un point de conception documenté. C’est beaucoup plus utile qu’un classement unique.

🎯 À retenir

Cache O(1) contre O(L) : à 256k tokens, le cache à espace d’état livre 4,3× moins de latence, 11× moins de mémoire, 2,6× plus de débit en flux unique et 14× en débit agrégé — et tient la récupération jusqu’à 8-16× la longueur d’entraînement quand l’attention s’effondre à 2×.
OneLA réduit le coût du décodage à grands faisceaux en recommandation générative de 1,54 à 2,46× grâce à un état partagé dérivé du prompt et un index d’ascendance en ajout seul.
Rappel à mémoire constante sur des contextes de deux millions de tokens via reconstruction à partir des vecteurs résiduels des couches feed-forward, sans entraînement supplémentaire.
ISO-LoRA : à rang nominal égal, AdamW concentre le spectre singulier et sous-utilise le rang effectif ; Muon exploite davantage de directions, et ISO-LoRA répartit l’énergie plus uniformément de 0,1 à 7 milliards de paramètres.
Bornes théoriques pour l’élagage de magnitude en une passe et la sortie anticipée : l’erreur excédentaire décroît comme une puissance de l’écart de calcul, avec un exposant qui diverge quand l’alignement partiel/complet tend vers un.
DF-Sample atteint 45,6 % sur GPQA sans entraînement, au-dessus de l’échantillonnage par puissance (38,9 %) et de GRPO (39,9 %) — les chemins de raisonnement utiles étaient déjà latents.
Post-entraînement 100 % hors ligne pour les modèles de code : gains substantiels en quelques heures sur 0,5 à 7 milliards de paramètres, sans échantillonnage en ligne — au prix d’une généralisation à surveiller.
Occamy-1.0 (35B-A3B) se place au genou bas-coût de la frontière coût-performance sur les benchmarks de co-travail, poids et données partiellement publiés.