Развертывание больших языковых моделей (LLM) в корпоративной инфраструктуре требует строгого контроля использования памяти и задержек отклика. Последовательная генерация токенов вынуждает систему сохранять промежуточные тензоры ключ-значение (KV-кэш) на всех уровнях механизма внимания (attention). В многоэтапных диалогах, анализе объемных документов и взаимодействии автономных агентов повторное вычисление тензоров KV для повторяющихся системных инструкций создает чрезмерную нагрузку на вычислительные узлы.

Для устранения избыточных вычислений современные движки инференса, такие как SGLang, vLLM и TensorRT-LLM, внедряют механизм динамического кэширования префиксов (dynamic prefix caching). Сохраняя тензоры KV в форме префиксного дерева (radix tree) или сегментированных хэш-таблиц, эти системы повторно используют вычисленные состояния активации для последующих запросов клиентов. Однако в многопользовательских облачных средах (multi-tenant) кэширование префиксов создает детерминированный сторонний канал утечки по времени выполнения (timing side-channel). Злоумышленник может измерять миллисекундные колебания задержки ответа и паттерны сетевых пакетов, восстанавливая конфиденциальные системные промпты, закрытые документы и запросы других пользователей.

Архитектура RadixAttention и совместное кэширование префиксов

В традиционных архитектурах инференса буфер KV считается временным и очищается сразу после генерации ответа. В отличие от этого, динамический префиксный кэш удерживает тензоры KV в высокоскоростной памяти GPU (HBM) и оперативной памяти сервера на протяжении жизненного цикла множества запросов HTTP.

SGLang формализует эту оптимизацию с помощью алгоритма RadixAttention. Сервер управляет блоками KV-кэша как узлами глобального дерева radix, где ребра обозначают последовательности токенов. Когда поступает новый запрос, планировщик разбивает промпт на токены и сканирует дерево от корня в поисках наиболее длинного совпадения:

  1. Совпадение префикса и повторное использование: Если префикс длины $L$ обнаружен в дереве radix, движок пропускает ресурсоемкую фазу предварительного вычисления (prefill) для этих $L$ токенов. Готовые блоки KV сразу передаются в слои attention.
  2. Снижение вычислительных затрат: Графический процессор обрабатывает только оставшиеся суффиксные токены ($N - L$). Время до выдачи первого токена (Time-To-First-Token, или TTFT) сокращается с сотен миллисекунд до единичных миллисекунд.
  3. Правила вытеснения из кэша: При исчерпании лимита видеопамяти алгоритм LRU (Least Recently Used) удаляет наименее востребованные дочерние ветви, сохраняя общие корневые префиксы.

Такой подход многократно повышает пропускную способность сервиса. Однако использование единого глобального дерева radix разными клиентами формирует зависимость состояния, наблюдаемую извне. Внутреннее состояние кэша напрямую отражает совокупную историю запросов всех пользователей кластера.

Механизмы атак через сторонние каналы времени

Поскольку попадание в кэш кардинально ускоряет обработку, внешний наблюдатель может использовать интерфейс инференса как оракул для извлечения защищенной информации. Атака реализуется двумя основными методами: проверка принадлежности данных и адаптивная пошаговая реконструкция.

+-------------------------------------------------------------------------+
|                  Общий Многопользовательский Кластер LLM                |
|                                                                         |
|      Запрос легитимного клиента            Зондирующий запрос атакующего|
|   "Пациент: Иван Петров, 45 лет..."      "Пациент: Иван Петров, 45..."  |
|                |                                      |                 |
|                v                                      v                 |
|      +-------------------+                  +-------------------+       |
|      | Общее дерево radix|                  | Общее дерево radix|       |
|      | [Вычисление       |                  | [Совпадение       |       |
|      |  фазы Prefill]    |                  |  префикса!]       |       |
|      | Запись в пул KV   |                  | Пропуск Prefill   |       |
|      +-------------------+                  +-------------------+       |
|                |                                      |                 |
|                v                                      v                 |
|       Стандартный TTFT (~320ms)              Мгновенный TTFT (~14ms)    |
|                                                       |                 |
|                                                       +--> Фиксация     |
|                                                            утечки данных|
+-------------------------------------------------------------------------+

1. Проверка наличия конфиденциального текста в кэше

В данном сценарии злоумышленник стремится выяснить, содержит ли кэш сервера определенную строку текста (например, фрагмент закрытого кода, финансовые показатели или медицинскую запись).

Атакующий замеряет базовую задержку отклика при отсутствии совпадения в кэше ($T_{\text{cold}}$) и при наличии готового состояния ($T_{\text{hot}}$). Для текста объемом 8 000 токенов на современном сервере вычисление prefill требует от 180 до 350 миллисекунд. При попадании в префиксный кэш этот этап пропускается, а TTFT падает ниже 15 миллисекунд. Фиксируя такое резкое ускорение, атакующий однозначно подтверждает факт недавней отправки целевого текста другим клиентом.

2. Адаптивное восстановление префиксов методом ветвления

Помимо проверки гипотез, злоумышленник способен токен за токеном восстанавливать скрытые системные промпты или конфиденциальные диалоги:

  • Атака начинается с известного корневого токена (например, стандартного приветствия или разметки).
  • Формируются пробные ветви путем добавления к корню различных слов из словаря.
  • Каждый вариант отправляется к шлюзу как независимый зондирующий запрос.
  • Вариант с минимальным значением TTFT указывает на присутствие данной цепочки в дереве radix.
  • Атакующий фиксирует подтвержденный токен и переходит к следующему шагу, пока не восстановит весь текст.

Даже если провайдер внедряет программные паузы на прикладном уровне, сетевой транспорт выдает реальные различия в загрузке процессора.

Сетевая телеметрия и сигнатуры интервалов пакетов

Искусственные программные задержки не защищают инфраструктуру, если сетевой канал остается прозрачным для внешнего анализа:

  • Всплеск исходящих данных: Завершение фазы prefill немедленно запускает генерацию первого токена, вызывая ранний всплеск пакетов TCP и подтверждений ACK.
  • Динамика окна TCP: При длительном вычислении окно приема TCP остается открытым без передачи полезной нагрузки. При совпадении в кэше данные отправляются мгновенно, изменяя распределение интервалов между пакетами ($Δt$).
  • Снижение межузлового обмена: В распределенных системах совпадение префикса устраняет необходимость передачи тензоров между узлами по протоколу RDMA. Сторонний анализатор трафика способен выявить эту аномалию на промежуточных узлах связи.

Наблюдатель в локальной сети или общественном Wi-Fi способен отследить эти временные характеристики без проникновения в операционную систему сервера.

Стратегия криптографической защиты на базе WireGuard

Нейтрализация атак по времени требует сочетания изоляции на уровне движка инференса и криптографической защиты сетевого транспорта.

+-----------------------------------------------------------------------+
|                    Топология Защиты Кластера Инференса                |
|                                                                       |
|   [Клиентское Приложение]                                             |
|             |                                                         |
|             v                                                         |
|   [Сетевой интерфейс WireGuard wg0]  <-- Регулирование скорости (sch_fq)|
|             |                        <-- Шифрование ChaCha20          |
|             v                                                         |
|   [Транзитная Сеть / WAN]            <-- Фиксированный MTU и джиттер  |
|             |                                                         |
|             v                                                         |
|   [Шлюз Инференса AI]                                                 |
|             |                                                         |
|             +--> Разделение пространств Radix по открытым ключам      |
|             +--> Маршрутизация на уровне ядра без утечек              |
|             +--> Аппаратная изоляция пулов видеопамяти                |
+-----------------------------------------------------------------------+

1. Разделение пространств имен дерева Radix по открытым ключам

Планировщик задач не должен допускать совместного использования кэша клиентами из разных контуров безопасности. Дерево radix должно сегментироваться на основе криптографической идентификации.

При подключении клиентов через изолированные туннели WireGuard шлюз формирует идентификатор напрямую из открытого ключа пира (wg0). Планировщик сохраняет и запрашивает блоки памяти в строго изолированных пространствах:

$$\text{CacheKey} = \text{HMAC-SHA256}(\text{TenantPublicKey}, \text{TokenSequence})$$

Запросы одного клиента изолированы от данных других пользователей. Это полностью устраняет возможность зондирования через сторонние каналы, сохраняя ускорение повторных запросов внутри сессии.

2. Регулирование скорости потока и маскировка интервалов пакетов

Чтобы исключить анализ TTFT по характеристикам сетевых пакетов, интерфейсы передачи должны разделить график отправки данных и состояние графического процессора.

Администраторам следует включить алгоритм Fair Queueing с регулированием скорости (sch_fq) на интерфейсе WireGuard, применять микросекундный джиттер и квантование размеров пакетов:

# Включение управления очередями с контролем скорости на интерфейсе WireGuard
sudo tc qdisc replace dev wg0 root fq pacing

# Фиксация размера MTU для предотвращения утечки длины токенов
sudo ip link set dev wg0 mtu 1420

Равномерное распределение трафика и стандартизированные размеры блоков внутри зашифрованного туннеля делают сетевой поток однородным независимо от обращения к кэшу.

3. Комплексная изоляция инфраструктуры AI с помощью VPNRice

Надежная защита распределенных систем искусственного интеллекта требует перевода всех потоков инференса и синхронизации в защищенные туннели. Открытый доступ к портам API через Интернет создает критическую уязвимость для скрытого анализа.

Интеграция VPNRice обеспечивает инкапсуляцию WireGuard на уровне ядра для рабочих станций и серверов GPU. Благодаря строгим правилам AllowedIPs блокируются любые попытки несанкционированного сканирования. Наблюдатели в транзитных сетях не могут анализировать время отклика или проводить атаки зондирования префиксов на модели искусственного интеллекта.

Рекомендации по укреплению безопасности систем инференса LLM

Для защиты инфраструктуры генеративного искусственного интеллекта от микроархитектурных и сетевых угроз рекомендуется применять следующие меры:

  • Изолировать префиксный кэш: Запретить общее использование дерева radix между независимыми учетными записями. Ограничить RadixAttention рамками проверенного сеанса.
  • Использовать криптографические ключи: Привязывать сессии API к открытым ключам WireGuard вместо простых текстовых токенов.
  • Нормализовать время отклика: Установить минимальные пороги времени задержки для конечных точек, обрабатывающих чувствительные данные.
  • Шифровать весь сетевой трафик: Направлять все клиентские запросы и межсерверный обмен кэшем через туннели WireGuard с шифрованием ChaCha20-Poly1305.
  • Отслеживать аномальную активность: Настроить фильтрацию на шлюзе API для раннего обнаружения и блокировки серий зондирующих запросов с систематическим перебором токенов.