Inférence LLM : ternarisation, MoE dynamique et softmax quantifié

💡 En résumé

• La ternarisation post-entraînement passe le cap du 8B : convertir Qwen3-8B à ~1,58 bit donne un ratio de perplexité de 1,361× sur trois corpus et 64,6 % d’exactitude zéro-shot contre 72,4 % pour le modèle d’origine — avec un packing sans perte et une exécution packée réelle.
• Le routage dynamique top-k des MoE se révèle trop naïf : réduire le nombre d’experts activés augmente systématiquement l’échelle RMS et la variance des sorties. Corriger ce décalage par un alignement couche par couche récupère la performance perdue.
• EFQ-Softmax supprime l’exponentielle du chemin d’attention : les scores décalés sont mappés directement en opérandes E2M1 à échelle de bloc, éliminant le désaccord entre un producteur de probabilités haute précision et un consommateur matriciel bas débit.
• Côté matériel contraint, PELM combine décodage spéculatif et DVFS pour l’inférence on-device, tandis que WRP élague la profondeur des LLM sans passe avant ni données de calibration, en lisant la redondance dans les poids du checkpoint.

🔥 Tendances : l’efficacité quitte le laboratoire

Pendant longtemps, l’efficacité d’inférence s’est racontée en promesses de laboratoire : « 4× plus rapide », « 2 bits sans perte ». Les travaux de cette nuit marquent un changement de nature, avec trois caractéristiques communes — des chiffres reproductibles, des mécanismes explicites, et une attention nouvelle portée à l’exécution réelle plutôt qu’au label théorique.

Le meilleur exemple est le papier de ternarisation (arxiv.org/abs/2609.09240). Son point de départ est une critique salutaire : l’étiquette « 1,58 bit » ne spécifie ni la représentation déployée ni son coût d’exécution. Les auteurs assument ne pas inventer d’algorithme — rotation KOTMS, ternarisation adaptative E2M-ATQ, compensation d’erreur à la GPTQ en configuration poids-seulement A16 — et revendiquent au contraire une caractérisation de montée en échelle : porte de reproduction externe, analyse de capacités appariée 4B/8B, perplexité cross-corpus, comptabilité en bits effectifs, packing sans perte tenant compte du réseau (lattice) et exécution packée directe. Les chiffres : ratio de perplexité global de 1,361× (WikiText-2 1,318×, C4 1,393×, PTB 1,371×) et 64,6 % d’exactitude moyenne sur huit tâches zéro-shot à n = 500, contre 72,4 % pour la référence. Le message est net : la perte existe, elle est quantifiée et déployable.

Deuxième bascule : le MoE dynamique cesse d’être une évidence. Le papier « Distribution-Consistent Inference » (arxiv.org/abs/2609.09241) montre que la plupart des MoE utilisent un top-k fixe, attribuant le même budget d’experts à chaque token même quand moins suffirait. Réduire ce k à l’inférence sans réentraînement séduit — mais les auteurs démontrent que la déviation du routage d’entraînement induit un décalage de distribution : réduire le nombre d’experts activés augmente de façon systématique l’échelle RMS et la variance des sorties du MoE, créant un désaccord de représentation qui dégrade en plus la perte de capacité. Leur correction, Layer-wise Distribution Alignment (LDA), est un correctif léger appliqué à l’inférence.

Troisième bascule : on quantifie désormais des opérations, pas seulement des poids. EFQ-Softmax (arxiv.org/abs/2609.09721) attaque un angle mort : l’attention bas-débit déplace les produits matriciels QKᵀ et PV vers des moteurs FP8/FP4, mais le chemin softmax continue d’évaluer des exponentielles de scores décalés en plus haute précision, forme un bloc de probabilités temporaire et le quantifie avant la multiplication PV bas débit. Ce chemin « exp-puis-quantize » crée un désaccord entre un producteur haute précision et un consommateur bas débit. EFQ-Softmax génère directement des codes de probabilité E2M1 non négatifs par une unique règle affine, avec une échelle composée d’exposant seul choisie sur le maximum local du bloc.

🤖 Nouveaux outils : les briques déployables

PELM — l’inférence mobile qui gère la chaleur (arxiv.org/abs/2609.09662). Déployer un LLM sur mobile promet vie privée, personnalisation et latence réduite, mais se heurte à deux murs : le calcul disponible et l’absence de mécanisme de dissipation (pas de ventilateur) qui provoque throttling et chute de puissance. PELM combine décodage spéculatif et DVFS (Dynamic Voltage Frequency Scaling) pour piloter puissance et chaleur — une approche qui traite la contrainte thermique comme une variable de première classe, et non comme un accident de terrain.

WRP — élaguer la profondeur sans passe avant (arxiv.org/abs/2609.09883). L’élagage de profondeur retire des blocs Transformer entiers pour réduire le coût d’inférence. Les méthodes à base d’activations collectent des états cachés par passes avant sur données de calibration ; les méthodes « forward-free » existantes notent chaque bloc isolément, sans mesurer la similarité entre blocs. Weight-Redundancy Pruning (WRP) estime la redondance inter-couches directement depuis les poids du checkpoint : il compare les poids de sortie d’attention et de down-projection du MLP entre couches, combine leurs similarités par paires avec une information d’échelle de projection relative, et la matrice de similarité toutes-paires guide le groupement de couches et la sélection des blocs. Aucune donnée de calibration, aucune passe avant — et une supériorité constante sur les méthodes forward-free existantes à travers plusieurs familles de modèles et tâches.

KV cache en RAG longue contexte : les deux à la fois (arxiv.org/abs/2609.09768). Dans un système RAG, de nombreux chunks récupérés sont concaténés dans le contexte, gonflant le préremplissage et le temps jusqu’au premier token (TTFT). Réutiliser des KV caches précalculés réduit le TTFT, mais préserve-t-on la qualité quand le contexte devient très long ? Les auteurs proposent une approche combinée : affiner le modèle en tenant compte de la concaténation des KV caches, et recalculer sélectivement un sous-ensemble de caches. Sur RULER, l’amélioration de justesse est démontrée pour des entrées jusqu’à 124k tokens. Le message d’ingénierie : réutilisation et recalcul ne sont pas concurrents, mais complémentaires.

Granite Time Series PatchTST-FM-r2 (blog HuggingFace). IBM Research publie un modèle de séries temporelles « SOTA » sous licence commerciale permissive — un signal de plus que la vague de fondation ne concerne plus seulement le texte, et que les licences « commercial-friendly » deviennent un critère de choix pour les équipes MLOps.

📊 Analyse : le label ment, la représentation compte

Le fil rouge de ce lot de travaux tient en une phrase : le chiffre affiché sur l’étiquette n’est pas le coût réel d’exécution. Le papier de ternarisation le dit explicitement — « 1,58 bit » ne dit rien du format déployé. EFQ-Softmax le confirme par l’absurde : on peut avoir des poids et des matmuls en bas débit et perdre la main-d’œuvre gagnée dans l’exponentielle du softmax et la matérialisation d’un bloc de probabilités intermédiaires. Le MoE dynamique ajoute la pièce manquante : un routage plus agressif n’est pas « gratuit », il modifie la distribution statistique des sorties, et un correctif aveugle au décalage de distribution paie la facture en qualité.

Ce déplacement a des conséquences concrètes pour les équipes d’infrastructure :

1. La mesure doit être end-to-end. Perplexité sur banc de test ≠ latence en production ≠ énergie consommée ≠ qualité sur la tâche aval. Les travaux qui gagnent cette nuit sont ceux qui publient les quatre, comme la ternarisation avec son gate externe, sa comptabilité en bits effectifs et son exécution packée.

2. Les gains se déplacent vers les chemins non matriciels. Après avoir optimisé les matmuls, les prochains points d’étranglement sont les opérations intermédiaires — softmax, normalisations, concaténations de caches, routage. C’est précisément là que se concentrent EFQ-Softmax, la correction de distribution MoE et la gestion fine des KV caches.

3. L’énergie devient une métrique de premier ordre. PELM traite la dissipation thermique comme la contrainte principale d’un déploiement mobile, pas comme un détail. À l’échelle du data center, cette logique remonte la pile : la question « combien de tokens par watt » remplace progressivement « combien de tokens par seconde » comme mesure de valeur.

Le revers est un coût d’ingénierie croissant. Chaque gain de compression exige désormais son propre correctif — alignement de distribution, recalcul sélectif, packing lattice-aware. La compression n’est plus un bouton qu’on presse : c’est une chaîne de traitement à caractériser, avec ses portes de reproduction et sa comptabilité. Les équipes qui gagnent sont celles qui instrumentent cette chaîne, pas celles qui empilent des recettes.

Enfin, un contrepoint salutaire : la généralisation des méthodes de compression dépend du domaine. Une ternarisation qui tient sur du texte général ne dit rien de sa tenue sur du code, du juridique ou des séries temporelles — d’où l’intérêt de modèles spécialisés à licence permissive comme Granite Time Series. La bonne question n’est pas « quel est le meilleur taux de compression ? » mais « quelle perte est acceptable pour cette tâche précise ? ».

🎯 À retenir

• Ternarisation 8B, c’est démontré : Qwen3-8B à ~1,58 bit, ratio de perplexité 1,361×, 64,6 % vs 72,4 % zéro-shot, avec packing sans perte et exécution packée — mais la perte est réelle et mesurée.
• Le MoE dynamique naïf dégrade la qualité : réduire le top-k gonfle l’échelle RMS et la variance des sorties. La correction LDA, légère et à l’inférence, rattrape le décalage.
• EFQ-Softmax montre que le prochain gisement d’efficacité est dans les chemins non matriciels : exp, blocs de probabilités, routage, concaténation de caches.
• WRP élague la profondeur sans calibration ni passe avant, en lisant la redondance dans les poids du checkpoint — idéal quand on n’a pas de données représentatives.
• La métrique qui monte est l’énergie. Tokens par watt et gestion thermique deviennent des critères de conception, pas des optimisations tardives.