Бурное развитие многопользовательских платформ инференса больших языковых моделей (LLM) побудило разработчиков движков — таких как vLLM, TensorRT-LLM и SGLang — внедрять агрессивные методы оптимизации планирования. Чтобы обеспечить максимальную загрузку дорогостоящих графических ускорителей (например, кластеров NVIDIA H100 и B200), современные решения используют непрерывный батчинг (Continuous Batching) в сочетании с фрагментированной предварительной генерацией (Chunked Prefill).
Хотя данные механизмы существенно увеличивают пропускную способность оборудования и сглаживают скачки задержек при обработке длинных запросов, они создают скрытую архитектурную уязвимость: взаимную интерференцию вычислений между клиентами. В общей облачной среде злоумышленник может с микросекундной точностью анализировать колебания времени поступления токенов и восстанавливать длину приватных запросов и границы скрытых системных инструкций других пользователей. Устранение данного стороннего канала требует изоляции вычислительных ресурсов, сглаживания длительности итераций и сквозного шифрования сетевой фабрики с помощью VPNRice.
Механика Chunked Prefill и непрерывного батчинга в инференсе LLM
В традиционных статических системах пакетной обработки движок инференса объединял запросы в фиксированные группы. Новый запрос был вынужден ожидать завершения генерации всех текущих последовательностей, что приводило к простою вычислительных блоков GPU на этапе декодирования. Непрерывный батчинг устранил этот недостаток за счет работы на уровне отдельных итераций (Iteration-level): после каждого шага прямых вычислений завершенные запросы выгружаются, а новые немедленно включаются в обработку.
Однако между двумя фазами инференса трансформеров существует принципиальная разница в нагрузке:
- Фаза предварительной генерации (Prefill): Вычислительно емкая операция (Compute-bound), в ходе которой вся входная последовательность анализируется параллельно для создания кэша Key-Value (KV).
- Фаза декодирования (Decode): Операция, ограниченная пропускной способностью памяти (Memory-bandwidth-bound), где каждый новый токен создается последовательно с постоянным чтением из высокоскоростной памяти (HBM).
+-------------------------------------------------------------------------+
| Конвейер планирования Chunked Prefill |
| |
| Входные запросы пользователей: |
| Запрос А (Цель): [================ 2048 Токенов ================] |
| Запрос Б (Злоумышленник): [= 128 Токенов =] |
| |
| Планировщик фрагментов (Размер фрагмента Chunk = 512 Токенов): |
| +-------------------------------------------------------------------+ |
| | Итерация 1: [Запрос А: Фрагмент 1 (512)] + [Запрос Б: Декодирование 1] |
| | Итерация 2: [Запрос А: Фрагмент 2 (512)] + [Запрос Б: Декодирование 2] |
| | Итерация 3: [Запрос А: Фрагмент 3 (512)] + [Запрос Б: Декодирование 3] |
| | Итерация 4: [Запрос А: Фрагмент 4 (512)] + [Запрос Б: Декодирование 4] |
| | Итерация 5: [Запрос А: Токен 1] + [Запрос Б: Декодирование 5] |
| +-------------------------------------------------------------------+ |
| |
| Наблюдения на стороне клиента-злоумышленника: |
| Задержка между токенами (ITL) для Токенов 1-4: ~42мс (Пиковая нагрузка)|
| Задержка между токенами (ITL) для Токенов 5+: ~11мс (Обычный Decode) |
+-------------------------------------------------------------------------+
Когда на сервер поступает объемный запрос, выполнение его предварительной генерации в один шаг замораживает все остальные параллельные генерации, вызывая резкое увеличение задержки выдачи первого токена (TTFT).
Механизм Chunked Prefill делит длинные запросы на равные фрагменты (например, по 512 токенов). В каждом цикле планировщик выделяет квоту и запускает фрагменты предварительной генерации параллельно с токенами декодирования, распределяя их по потоковым мультипроцессорам (SM) и тензорным ядрам GPU.
Эксплуатация аппаратных коллизий GPU и джиттера задержки между токенами
Поскольку вычислительные ядра, кэш второго уровня (L2) и каналы памяти HBM физически разделяются между всеми параллельными запросами, выполнение ресурсоемкого блока prefill замедляет генерацию токенов других клиентов в рамках той же итерации.
Злоумышленник со стандартным доступом к API может использовать эту аппаратную конкуренцию для скрытых измерений:
- Замер базовой задержки: Клиент отправляет короткие тестовые запросы для фиксации нормального интервала между токенами (ITL) в режиме декодирования (обычно 10–12 мс на кластере H100).
- Запуск потока зондирования: Клиент открывает постоянный поток генерации через протокол Server-Sent Events (SSE) и сохраняет микросекундные временные метки каждого полученного токена.
- Обнаружение аппаратной конкуренции: Когда соседний клиент передает секретный запрос, планировщик разбивает его на последовательные фрагменты. В течение каждой итерации с блоком prefill наблюдаемая задержка генерации токенов подскакивает с 11 мс до 40–45 мс.
- Определение объема данных: Поскольку размер фрагмента зафиксирован в параметрах сервера, число идущих подряд итераций с повышенной задержкой указывает на точное количество фрагментов в запросе соседа.
+-------------------------------------------------------------------------+
| Анализ сигнала колебаний межтокенной задержки |
| |
| Наблюдаемая задержка ITL (Миллисекунды) |
| 50ms + |
| | +-------+-------+-------+-------+ |
| 40ms | | Итер 1| Итер 2| Итер 3| Итер 4| |
| | | (A_1) | (A_2) | (A_3) | (A_4) | |
| 20ms | | | | | | |
| |------+ | | | +---------------------- |
| 10ms | База | | | | | Возврат к норме |
| 0ms +------------------------------------------------------------- |
| Токен: 1 2 3 4 5 6 7 8 |
| |
| Выделенные параметры сигнала: |
| Количество замедленных итераций (K) = 4 цикла |
| Размер системного фрагмента (C) = 512 токенов |
| Оценка длины запроса соседа = (K - 1) * C < Длина <= K * C |
| = от 1537 до 2048 Токенов |
+-------------------------------------------------------------------------+
Фиксируя временные задержки, злоумышленник оценивает объем вычислений сторонних клиентов без необходимости повышения привилегий или вторжения в память хоста.
Реконструкция длины промптов и границ системного контекста соседей
Утечка сведений о длине запросов несет прямую угрозу конфиденциальности корпоративных решений:
- Раскрытие скрытых системных инструкций: Сервисы нередко добавляют служебные правила безопасности и шаблоны перед текстом пользователя. Колебания числа токенов позволяют определить объем и факт обновления внутренних директив.
- Оценка извлеченных документов в RAG: В архитектурах поиска по базам данных размер контекста напрямую связан с объемом найденных документов. Скачок числа токенов указывает на то, привел ли запрос к выдаче закрытых корпоративных записей (контрактов, финансовых данных).
- Отслеживание хода диалога: Накопление токенов в рамках сессии раскрывает динамику беседы, позволяя внешнему наблюдателю фиксировать моменты совершения ответственных транзакций.
В сочетании со спекулятивным декодированием этот побочный канал позволяет проверить присутствие конкретных текстовых фрагментов в контексте целевого пользователя.
Уязвимости дезагрегированного инференса в межсерверных фабриках кластера
Для масштабирования крупнейших нейросетей центры обработки данных разделяют фазы prefill и decode между специализированными серверами — данная схема известна как дезагрегированный инференс (Disaggregated Inference).
В этой схеме:
- Узлы предварительной генерации: Высокопроизводительные серверы параллельно рассчитывают тензоры KV-кэша.
- Узлы декодирования: Серверы с быстрой памятью принимают готовый кэш и формируют выходной поток токенов.
- Межсерверная передача KV-кэша: Гигабайты данных ежесекундно пересылаются через фабрику коммутаторов по протоколам RoCEv2 или TCP.
+-------------------------------------------------------------------------+
| Утечка данных в сети дезагрегированного кластера |
| |
| [ Узел предварительной генерации ] [ Узел декодирования ] |
| +----------------------+ +---------------------+ |
| | Расчет KV-кэша | | Последовательный Decode|
| +----------------------+ +---------------------+ |
| | ^ |
| | Поток передачи данных KV-кэша | |
| v (Гигабайты тензоров через коммутаторы ToR) | |
| ===================================================================== |
| [ Коммутаторы стойки (ToR) и транзитная сеть дата-центра ] |
| - Нешифрованные пакеты KV-кэша проходят через коммутаторы |
| - Объем и длительность всплесков выдают размеры тензоров |
| - Соседний клиент перехватывает трафик для анализа профиля задач |
+-------------------------------------------------------------------------+
Если внутренние каналы передачи лишены надежного шифрования, всплески очередей на коммутаторах ToR выдают точный объем передаваемых данных, позволяя проводить анализ сетевого профиля минуя ограничения прикладного уровня.
Аппаратная изоляция ресурсов и инкапсуляция ядра с помощью WireGuard
Нейтрализация угроз, связанных с планированием и сетевыми утечками, требует совмещения алгоритмической стандартизации вычислений и криптографической защиты транспортной сети.
+-------------------------------------------------------------------------+
| Комплексная защита: аппаратная изоляция и ядро WireGuard |
| |
| [ Многопользовательский кластер GPU ] |
| +-----------------------------------------------------------------+ |
| | Аппаратное разделение MIG / Выравнивание длительности итераций | |
| | - Фиксированные квоты блоков и стандартизация шагов вычислений | |
| | - Физическая изоляция шин памяти и вычислительных ядер | |
| +-----------------------------------------------------------------+ |
| | |
| | Передача KV-кэша между узлами |
| v |
| +-----------------------------------------------------------------+ |
| | Сетевой интерфейс ядра WireGuard (wg0 / Защитная сеть VPNRice) | |
| | - Протокол согласования Noise и стойкое шифрование ChaCha20 | |
| | - Фиксированный размер пакетов и подмешивание маскирующего шума | |
| +-----------------------------------------------------------------+ |
| | |
| v Зашифрованные однородные UDP-датаграммы |
| ===================================================================== |
| [ Изолированная сетевая инфраструктура ] |
| - Полное отсутствие временных аномалий на портах коммутаторов |
| - Стабильная скорость передачи исключает профилирование по объему |
| - Маршрутизация ядра пресекает несанкционированные соединения |
+-------------------------------------------------------------------------+
Для надежного устранения уязвимостей в многопользовательских средах операторам инфраструктуры необходимо реализовать следующие меры:
- Выравнивание длительности итераций (Iteration-Time Equalization): Планировщик должен поддерживать одинаковое время каждого шага вычислений. Добавление микропауз или холостых инструкций в быстрые фазы декодирования устраняет разницу в скорости по сравнению с тяжелыми вычислениями.
- Аппаратное секционирование GPU (MIG): Применение технологий аппаратного разделения, таких как NVIDIA MIG, изолирует контроллеры памяти и вычислительные ядра для каждого арендатора, предотвращая взаимное влияние нагрузок.
- Криптографическая сетевая фабрика на базе VPNRice: Передача KV-кэша между узлами дезагрегированного кластера должна быть изолирована внутри туннелей WireGuard на уровне ядра операционной системы. Аутентифицированное шифрование ChaCha20-Poly1305 скрывает реальные объемы тензоров от внешнего наблюдения.
- Формирование постоянного сетевого потока (Traffic Shaping): Внедрение маскирующих пакетов и поддержание постоянного темпа передачи исключают всплески трафика, не позволяя внешним анализаторам делать выводы о длине запросов по объему данных.
Интеграция предсказуемого планирования и надежного сетевого туннелирования с помощью VPNRice устраняет временные побочные каналы, обеспечивая безопасность данных и алгоритмов в современных облачных сервисах искусственного интеллекта.



