L'hébergement des grands modèles de langage (LLM) à l'échelle industrielle requiert une gestion rigoureuse de la mémoire et de la latence de traitement. La génération séquentielle de jetons contraint le système à conserver les tenseurs intermédiaires Clé-Valeur (cache KV) à travers les couches d'attention. Pour les dialogues multi-tours, l'interrogation de documents volumineux et les systèmes multi-agents, recalculer l'intégralité des tenseurs KV pour des préambules et consignes système répétitifs impose un coût computationnel considérable.

Afin d'éliminer ces calculs redondants, les moteurs d'inférence modernes tels que SGLang, vLLM et TensorRT-LLM intègrent la mise en cache dynamique des préfixes (dynamic prefix caching). En organisant les tenseurs KV en arbres radix (arbres de préfixes compacts) ou en tables de hachage fragmentées, ces architectures réutilisent les états d'activation entre requêtes clientes successives. Toutefois, en environnement infonuagique partagé (multi-tenant) ou derrière des passerelles communes, cette optimisation ouvre un canal auxiliaire temporel déterministe. Un attaquant peut mesurer la latence d'émission et les régularités des paquets réseau pour déduire les invites système confidentielles, les documents internes et les requêtes formulées par d'autres usagers.

Fonctionnement de RadixAttention et du cache de préfixes partagé

Dans les architectures classiques, le cache KV est éphémère et libéré dès que la génération s'achève. À l'opposé, le prefix caching dynamique conserve les tenseurs KV dans la mémoire GPU (HBM) et la mémoire vive de l'hôte au fil de multiples cycles de requêtes HTTP.

SGLang formalise cette approche par l'intermédiaire de RadixAttention. Le serveur gère les blocs de cache KV sous forme de nœuds dans un arbre radix global où chaque arête représente une séquence de jetons. Lorsqu'une requête arrive, l'ordonnanceur segmente l'invite et parcourt l'arbre radix depuis la racine afin d'identifier le plus long préfixe correspondant :

  1. Correspondance et réutilisation : Lorsqu'un préfixe de longueur $L$ figure déjà dans l'arbre radix, le moteur fait l'économie de la phase intensive de pré-remplissage (prefill) pour ces $L$ jetons. Les blocs KV précalculés sont directement injectés dans les mécanismes d'attention.
  2. Réduction computationnelle : Le processeur graphique ne traite que les jetons résiduels du suffixe ($N - L$). Le délai d'émission du premier jeton (Time-To-First-Token ou TTFT) s'effondre de plusieurs centaines de millisecondes à seulement quelques millisecondes.
  3. Éviction de cache : Lorsque la mémoire vidéo approche de sa saturation, l'algorithme LRU (Least Recently Used) supprime les nœuds feuilles les moins sollicités, tout en préservant les préfixes communs situés près de la racine.

Si cette méthode procure un débit impressionnant, le partage d'un arbre radix global entre locataires hétérogènes engendre une dépendance d'état observable. L'état interne du cache devient le reflet fidèle de l'historique cumulé des requêtes de l'ensemble des utilisateurs.

Mécanismes des attaques par canal auxiliaire temporel

Le gain de temps résultant d'une correspondance de préfixe crée un contraste de latence substantiel. Un assaillant externe peut alors utiliser l'interface d'inférence comme un oracle pour découvrir des informations confidentielles selon deux stratégies : l'inférence d'appartenance et la reconstruction adaptative.

+-------------------------------------------------------------------------+
|                  Grappe d'Inférence Multi-Locataire Partagée            |
|                                                                         |
|    Requête de l'utilisateur légitime          Sonde émise par l'assaillant      |
|   "Patient: Jean Dupont, 45 ans..."       "Patient: Jean Dupont, 45 ans..."     |
|               |                                      |                  |
|               v                                      v                  |
|     +-------------------+                  +-------------------+        |
|     | Arbre Radix Commun|                  | Arbre Radix Commun|        |
|     | [Calcul Prefill]  |                  | [Préfixe Trouvé!] |        |
|     | Enregistré en HBM |                  | Prefill Ignoré    |        |
|     +-------------------+                  +-------------------+        |
|               |                                      |                  |
|               v                                      v                  |
|       TTFT usuel (~320ms)                    TTFT éclair (~14ms)        |
|                                                      |                  |
|                                                      +--> Fuite confirmée|
+-------------------------------------------------------------------------+

1. Inférence d'appartenance de données sensibles

Dans cette configuration, l'attaquant souhaite vérifier si une chaîne de texte précise (extrait de code propriétaire, diagnostic médical ou transaction financière) a été soumise récemment au serveur.

L'assaillant mesure les latences de référence en conditions froides ($T_{\text{cold}}$) et en conditions chaudes ($T_{\text{hot}}$). Pour une entrée de 8 000 jetons sur un serveur de calcul récent, la phase de pré-remplissage mobilise entre 180 et 350 millisecondes. Si l'entrée correspond à un préfixe déjà en mémoire, l'omission du prefill ramène le TTFT sous le seuil des 15 millisecondes. Ce différentiel flagrant suffit à confirmer que la séquence ciblée a été manipulée par un tiers au cours de la fenêtre de rétention.

2. Reconstruction adaptative de préfixes par élagage

Au-delà de la confirmation ponctuelle, l'assaillant est en mesure de reconstituer mot à mot une consigne système secrète ou un échange privé :

  • L'attaquant débute avec un jeton initial courant (formule de politesse ou balise de formatage).
  • Il génère des branches candidates en adjoignant divers termes du vocabulaire.
  • Chaque hypothèse fait l'objet d'une requête transmise à la passerelle d'inférence.
  • La variante affichant le TTFT le plus bas correspond à la branche activement présente dans l'arbre radix.
  • L'assaillant valide le jeton découvert et progresse de proche en proche dans la structure arborescente.

Même si les gestionnaires d'API introduisent des temporisations logicielles pour égaliser les réponses au niveau applicatif, les métriques du trafic réseau sous-jacent trahissent la réalité du calcul GPU.

Signatures de télémétrie réseau et écarts d'arrivée des paquets

Les artifices logiciels au niveau de l'application s'avèrent inopérants lorsque les communications transitent en clair ou sans chiffrement rigoureux :

  • Bouffée de données initiales : L'achèvement du prefill déclenche sans délai l'évaluation du premier jeton, entraînant une rafale précoce d'acquittements TCP et de paquets de charge utile.
  • Dynamique de fenêtre TCP : Pendant le calcul initial, la fenêtre de réception TCP reste inactive sans émission aval. Lors d'un succès de cache, les données affluent immédiatement, altérant la distribution des intervalles inter-paquets ($Δt$).
  • Diminution des transferts inter-nœuds : Dans les déploiements d'inférence distribuée, le cache évite les transferts RDMA ou RoCE massifs entre processeurs. Une sonde réseau intermédiaire peut corréler l'absence de ce trafic interne avec un accès en mémoire locale.

Un observateur posté sur un réseau local partagé, un point d'accès Wi-Fi public ou chez un opérateur de transit est en mesure d'exploiter ces signatures sans pénétrer le système d'exploitation hôte.

Stratégies de défense cryptographique avec WireGuard

Neutraliser les attaques temporelles ciblant le prefix caching requiert de combiner l'étanchéité logique au niveau du moteur d'inférence et un blindage cryptographique du transport réseau.

+-----------------------------------------------------------------------+
|                Topologie de Défense pour Grappe d'Inférence           |
|                                                                       |
|   [Poste Client Entreprise]                                           |
|              |                                                        |
|              v                                                        |
|   [Interface WireGuard wg0]  <-- Lissage du trafic (sch_fq)           |
|              |               <-- Chiffrement moderne ChaCha20         |
|              v                                                        |
|   [Infrastructure Réseau]    <-- Quantification et gigue artificielle |
|              |                                                        |
|              v                                                        |
|   [Passerelle d'Inférence]                                            |
|              |                                                        |
|              +--> Cloisonnement Radix par Clé Publique Client         |
|              +--> Routage noyau hermétique et listes blanches         |
|              +--> Isolation matérielle des pools de cache GPU         |
+-----------------------------------------------------------------------+

1. Cloisonnement des espaces de noms Radix par identité cryptographique

Le moteur d'ordonnancement ne doit en aucun cas autoriser le partage d'arbres de préfixes entre usagers n'appartenant pas au même périmètre de sécurité. Les données doivent être cloisonnées selon l'identité cryptographique vérifiée.

En acheminant les connexions clientes à travers des tunnels WireGuard étanches, la passerelle relie l'identité du locataire à la clé publique cryptographique du pair (wg0). L'ordonnanceur stocke et interroge l'arbre radix dans des espaces de noms totalement hermétiques :

$$\text{CacheKey} = \text{HMAC-SHA256}(\text{TenantPublicKey}, \text{TokenSequence})$$

Les requêtes de locataires distincts empruntent des sous-arbres strictement disjoints, empêchant tout recoupement malveillant tout en préservant l'accélération interne des requêtes répétitives.

2. Régulation du débit et injection de gigue artificielle

Pour empêcher les analyseurs réseau de déduire le TTFT à partir des paquets, les interfaces d'émission doivent dissocier le rythme d'envoi du statut computationnel du GPU.

Il convient de configurer l'ordonnancement de paquets Fair Queueing avec régulation (sch_fq) sur l'interface WireGuard, combiné à une gigue temporelle microscopique et à une taille de paquet standardisée :

# Activer le lissage de flux avec Fair Queueing sur l'interface WireGuard
sudo tc qdisc replace dev wg0 root fq pacing

# Standardiser le MTU pour effacer les disparités de taille de paquets
sudo ip link set dev wg0 mtu 1420

En garantissant une émission fluide à cadence régulière à l'intérieur du tunnel chiffré, le profil réseau apparaît parfaitement homogène, qu'il y ait eu calcul complet ou recours au cache.

3. Isolation intégrale des infrastructures d'IA avec VPNRice

Sécuriser un écosystème d'intelligence artificielle distribué impose de canaliser l'ensemble des requêtes d'inférence et d'administration au sein de liaisons chiffrées de bout en bout. Laisser des interfaces de programmation (API) accessibles en clair sur l'Internet public facilite grandement les attaques par écoute passive.

L'intégration de la solution VPNRice procure un encapsulement WireGuard au niveau du noyau sur chaque machine cliente et serveur de calcul GPU. Grâce aux règles d'acheminement AllowedIPs rigoureusement verrouillées, les accès non autorisés aux ports d'inférence sont bloqués à la racine. Aucun tiers sur le réseau intermédiaire ne peut scruter les paquets ni tenter d'extraire des préfixes mémorisés dans les modèles d'entreprise.

Guide de durcissement pour les grappes d'inférence LLM

Garantir la résilience des serveurs d'IA générative face aux fuites par canaux auxiliaires repose sur des principes éprouvés :

  • Cloisonner formellement le cache : Proscrire tout partage de préfixes entre entités indépendantes. Restreindre RadixAttention aux requêtes émanant d'un compte ou d'un groupe explicitement validé.
  • Authentifier par clé asymétrique : Associer les sessions d'inférence aux clés publiques WireGuard des interlocuteurs plutôt qu'à de simples en-têtes ou jetons applicatifs.
  • Standardiser les temps de réponse : Établir des seuils de latence minimaux ou intégrer une gigue artificielle sur les points d'entrée manipulant des informations sensibles.
  • Chiffrer l'ensemble du trafic : Protéger toutes les communications clientes et les échanges de cache inter-serveurs par des tunnels WireGuard employant ChaCha20-Poly1305.
  • Détecter les requêtes anormales : Configurer des garde-fous sur la passerelle pour identifier les envois successifs présentant de minimes variations incrémentales typiques d'une extraction d'arbre radix.