Бурное развитие многопользовательских платформ инференса больших языковых моделей (LLM) побудило разработчиков движков — таких как vLLM, TensorRT-LLM и SGLang — внедрять агрессивные методы оптимизации планирования. Чтобы обеспечить максимальную загрузку дорогостоящих графических ускорителей (например, кластеров NVIDIA H100 и B200), современные решения используют непрерывный батчинг (Continuous Batching) в сочетании с фрагментированной предварительной генерацией (Chunked Prefill).

Хотя данные механизмы существенно увеличивают пропускную способность оборудования и сглаживают скачки задержек при обработке длинных запросов, они создают скрытую архитектурную уязвимость: взаимную интерференцию вычислений между клиентами. В общей облачной среде злоумышленник может с микросекундной точностью анализировать колебания времени поступления токенов и восстанавливать длину приватных запросов и границы скрытых системных инструкций других пользователей. Устранение данного стороннего канала требует изоляции вычислительных ресурсов, сглаживания длительности итераций и сквозного шифрования сетевой фабрики с помощью VPNRice.

Механика Chunked Prefill и непрерывного батчинга в инференсе LLM

В традиционных статических системах пакетной обработки движок инференса объединял запросы в фиксированные группы. Новый запрос был вынужден ожидать завершения генерации всех текущих последовательностей, что приводило к простою вычислительных блоков GPU на этапе декодирования. Непрерывный батчинг устранил этот недостаток за счет работы на уровне отдельных итераций (Iteration-level): после каждого шага прямых вычислений завершенные запросы выгружаются, а новые немедленно включаются в обработку.

Однако между двумя фазами инференса трансформеров существует принципиальная разница в нагрузке:

  • Фаза предварительной генерации (Prefill): Вычислительно емкая операция (Compute-bound), в ходе которой вся входная последовательность анализируется параллельно для создания кэша Key-Value (KV).
  • Фаза декодирования (Decode): Операция, ограниченная пропускной способностью памяти (Memory-bandwidth-bound), где каждый новый токен создается последовательно с постоянным чтением из высокоскоростной памяти (HBM).
+-------------------------------------------------------------------------+
|                  Конвейер планирования Chunked Prefill                  |
|                                                                         |
|  Входные запросы пользователей:                                         |
|    Запрос А (Цель):         [================ 2048 Токенов ================] |
|    Запрос Б (Злоумышленник): [= 128 Токенов =]                          |
|                                                                         |
|  Планировщик фрагментов (Размер фрагмента Chunk = 512 Токенов):         |
|  +-------------------------------------------------------------------+  |
|  | Итерация 1: [Запрос А: Фрагмент 1 (512)] + [Запрос Б: Декодирование 1] |
|  | Итерация 2: [Запрос А: Фрагмент 2 (512)] + [Запрос Б: Декодирование 2] |
|  | Итерация 3: [Запрос А: Фрагмент 3 (512)] + [Запрос Б: Декодирование 3] |
|  | Итерация 4: [Запрос А: Фрагмент 4 (512)] + [Запрос Б: Декодирование 4] |
|  | Итерация 5: [Запрос А: Токен 1]          + [Запрос Б: Декодирование 5] |
|  +-------------------------------------------------------------------+  |
|                                                                         |
|  Наблюдения на стороне клиента-злоумышленника:                          |
|  Задержка между токенами (ITL) для Токенов 1-4: ~42мс (Пиковая нагрузка)|
|  Задержка между токенами (ITL) для Токенов 5+:  ~11мс (Обычный Decode)  |
+-------------------------------------------------------------------------+

Когда на сервер поступает объемный запрос, выполнение его предварительной генерации в один шаг замораживает все остальные параллельные генерации, вызывая резкое увеличение задержки выдачи первого токена (TTFT).

Механизм Chunked Prefill делит длинные запросы на равные фрагменты (например, по 512 токенов). В каждом цикле планировщик выделяет квоту и запускает фрагменты предварительной генерации параллельно с токенами декодирования, распределяя их по потоковым мультипроцессорам (SM) и тензорным ядрам GPU.

Эксплуатация аппаратных коллизий GPU и джиттера задержки между токенами

Поскольку вычислительные ядра, кэш второго уровня (L2) и каналы памяти HBM физически разделяются между всеми параллельными запросами, выполнение ресурсоемкого блока prefill замедляет генерацию токенов других клиентов в рамках той же итерации.

Злоумышленник со стандартным доступом к API может использовать эту аппаратную конкуренцию для скрытых измерений:

  1. Замер базовой задержки: Клиент отправляет короткие тестовые запросы для фиксации нормального интервала между токенами (ITL) в режиме декодирования (обычно 10–12 мс на кластере H100).
  2. Запуск потока зондирования: Клиент открывает постоянный поток генерации через протокол Server-Sent Events (SSE) и сохраняет микросекундные временные метки каждого полученного токена.
  3. Обнаружение аппаратной конкуренции: Когда соседний клиент передает секретный запрос, планировщик разбивает его на последовательные фрагменты. В течение каждой итерации с блоком prefill наблюдаемая задержка генерации токенов подскакивает с 11 мс до 40–45 мс.
  4. Определение объема данных: Поскольку размер фрагмента зафиксирован в параметрах сервера, число идущих подряд итераций с повышенной задержкой указывает на точное количество фрагментов в запросе соседа.
+-------------------------------------------------------------------------+
|                  Анализ сигнала колебаний межтокенной задержки          |
|                                                                         |
|  Наблюдаемая задержка ITL (Миллисекунды)                                |
|   50ms +                                                                |
|        |      +-------+-------+-------+-------+                         |
|   40ms |      | Итер 1| Итер 2| Итер 3| Итер 4|                         |
|        |      | (A_1) | (A_2) | (A_3) | (A_4) |                         |
|   20ms |      |       |       |       |       |                         |
|        |------+       |       |       |       +----------------------   |
|   10ms | База |       |       |       |       | Возврат к норме         |
|    0ms +-------------------------------------------------------------   |
|        Токен:  1       2       3       4       5       6       7       8 |
|                                                                         |
|  Выделенные параметры сигнала:                                          |
|    Количество замедленных итераций (K) = 4 цикла                        |
|    Размер системного фрагмента (C) = 512 токенов                        |
|    Оценка длины запроса соседа  = (K - 1) * C < Длина <= K * C          |
|                                 = от 1537 до 2048 Токенов               |
+-------------------------------------------------------------------------+

Фиксируя временные задержки, злоумышленник оценивает объем вычислений сторонних клиентов без необходимости повышения привилегий или вторжения в память хоста.

Реконструкция длины промптов и границ системного контекста соседей

Утечка сведений о длине запросов несет прямую угрозу конфиденциальности корпоративных решений:

  • Раскрытие скрытых системных инструкций: Сервисы нередко добавляют служебные правила безопасности и шаблоны перед текстом пользователя. Колебания числа токенов позволяют определить объем и факт обновления внутренних директив.
  • Оценка извлеченных документов в RAG: В архитектурах поиска по базам данных размер контекста напрямую связан с объемом найденных документов. Скачок числа токенов указывает на то, привел ли запрос к выдаче закрытых корпоративных записей (контрактов, финансовых данных).
  • Отслеживание хода диалога: Накопление токенов в рамках сессии раскрывает динамику беседы, позволяя внешнему наблюдателю фиксировать моменты совершения ответственных транзакций.

В сочетании со спекулятивным декодированием этот побочный канал позволяет проверить присутствие конкретных текстовых фрагментов в контексте целевого пользователя.

Уязвимости дезагрегированного инференса в межсерверных фабриках кластера

Для масштабирования крупнейших нейросетей центры обработки данных разделяют фазы prefill и decode между специализированными серверами — данная схема известна как дезагрегированный инференс (Disaggregated Inference).

В этой схеме:

  1. Узлы предварительной генерации: Высокопроизводительные серверы параллельно рассчитывают тензоры KV-кэша.
  2. Узлы декодирования: Серверы с быстрой памятью принимают готовый кэш и формируют выходной поток токенов.
  3. Межсерверная передача KV-кэша: Гигабайты данных ежесекундно пересылаются через фабрику коммутаторов по протоколам RoCEv2 или TCP.
+-------------------------------------------------------------------------+
|                  Утечка данных в сети дезагрегированного кластера       |
|                                                                         |
|  [ Узел предварительной генерации ]           [ Узел декодирования ]    |
|    +----------------------+                     +---------------------+ |
|    | Расчет KV-кэша       |                     | Последовательный Decode|
|    +----------------------+                     +---------------------+ |
|               |                                            ^            |
|               | Поток передачи данных KV-кэша              |            |
|               v (Гигабайты тензоров через коммутаторы ToR) |            |
|  =====================================================================  |
|  [ Коммутаторы стойки (ToR) и транзитная сеть дата-центра ]             |
|    - Нешифрованные пакеты KV-кэша проходят через коммутаторы            |
|    - Объем и длительность всплесков выдают размеры тензоров             |
|    - Соседний клиент перехватывает трафик для анализа профиля задач     |
+-------------------------------------------------------------------------+

Если внутренние каналы передачи лишены надежного шифрования, всплески очередей на коммутаторах ToR выдают точный объем передаваемых данных, позволяя проводить анализ сетевого профиля минуя ограничения прикладного уровня.

Аппаратная изоляция ресурсов и инкапсуляция ядра с помощью WireGuard

Нейтрализация угроз, связанных с планированием и сетевыми утечками, требует совмещения алгоритмической стандартизации вычислений и криптографической защиты транспортной сети.

+-------------------------------------------------------------------------+
|         Комплексная защита: аппаратная изоляция и ядро WireGuard        |
|                                                                         |
|  [ Многопользовательский кластер GPU ]                                  |
|    +-----------------------------------------------------------------+  |
|    | Аппаратное разделение MIG / Выравнивание длительности итераций  |  |
|    | - Фиксированные квоты блоков и стандартизация шагов вычислений  |  |
|    | - Физическая изоляция шин памяти и вычислительных ядер          |  |
|    +-----------------------------------------------------------------+  |
|                                |                                        |
|                                | Передача KV-кэша между узлами           |
|                                v                                        |
|    +-----------------------------------------------------------------+  |
|    | Сетевой интерфейс ядра WireGuard (wg0 / Защитная сеть VPNRice)  |  |
|    | - Протокол согласования Noise и стойкое шифрование ChaCha20     |  |
|    | - Фиксированный размер пакетов и подмешивание маскирующего шума |  |
|    +-----------------------------------------------------------------+  |
|                                |                                        |
|                                v Зашифрованные однородные UDP-датаграммы |
|  =====================================================================  |
|  [ Изолированная сетевая инфраструктура ]                               |
|    - Полное отсутствие временных аномалий на портах коммутаторов        |
|    - Стабильная скорость передачи исключает профилирование по объему    |
|    - Маршрутизация ядра пресекает несанкционированные соединения        |
+-------------------------------------------------------------------------+

Для надежного устранения уязвимостей в многопользовательских средах операторам инфраструктуры необходимо реализовать следующие меры:

  1. Выравнивание длительности итераций (Iteration-Time Equalization): Планировщик должен поддерживать одинаковое время каждого шага вычислений. Добавление микропауз или холостых инструкций в быстрые фазы декодирования устраняет разницу в скорости по сравнению с тяжелыми вычислениями.
  2. Аппаратное секционирование GPU (MIG): Применение технологий аппаратного разделения, таких как NVIDIA MIG, изолирует контроллеры памяти и вычислительные ядра для каждого арендатора, предотвращая взаимное влияние нагрузок.
  3. Криптографическая сетевая фабрика на базе VPNRice: Передача KV-кэша между узлами дезагрегированного кластера должна быть изолирована внутри туннелей WireGuard на уровне ядра операционной системы. Аутентифицированное шифрование ChaCha20-Poly1305 скрывает реальные объемы тензоров от внешнего наблюдения.
  4. Формирование постоянного сетевого потока (Traffic Shaping): Внедрение маскирующих пакетов и поддержание постоянного темпа передачи исключают всплески трафика, не позволяя внешним анализаторам делать выводы о длине запросов по объему данных.

Интеграция предсказуемого планирования и надежного сетевого туннелирования с помощью VPNRice устраняет временные побочные каналы, обеспечивая безопасность данных и алгоритмов в современных облачных сервисах искусственного интеллекта.