Швидке зростання багатокористувацьких інфраструктур інференсу великих мовних моделей (LLM) змусило розробників рушіїв — таких як vLLM, TensorRT-LLM та SGLang — впроваджувати агресивні методи оптимізації планування. Для досягнення максимального завантаження високовартісних графічних прискорювачів (зокрема кластерів NVIDIA H100 та B200) сучасні системи використовують неперервне пакетування (Continuous Batching) у поєднанні з фрагментованою попередньою генерацією (Chunked Prefill).

Попри те, що ці підходи суттєво підвищують пропускну здатність обладнання та усувають стрибки затримок під час обробки довгих запитів, вони створюють приховану вразливість: перехресну інтерференцію обчислень між клієнтами. У спільному хмарному середовищі зловмисник може з мікросекундною точністю аналізувати коливання часу надходження токенів і відновлювати довжину конфіденційних запитів та межі системних інструкцій інших користувачів. Блокування цього стороннього каналу вимагає ізоляції апаратних ресурсів, вирівнювання часу ітерацій та шифрування мережевої фабрики за допомогою VPNRice.

Механіка Chunked Prefill та неперервного пакетування в інференсі LLM

У традиційних статичних системах пакетування рушій об'єднував запити у фіксовані групи. Новий запит мав очікувати повного завершення генерації всіх поточних послідовностей, що спричиняло простій обчислювальних ядер GPU на етапі декодування. Неперервне пакетування вирішило цю проблему шляхом роботи на рівні окремих ітерацій (Iteration-level): після кожного кроку прямих обчислень завершені запити вивільняються, а нові негайно додаються в робочий пакет.

Однак між двома етапами обробки трансформерів існує фундаментальна диспропорція:

  • Фаза попередньої генерації (Prefill): Операція, обмежена обчислювальною потужністю (Compute-bound), де весь вхідний запит аналізується паралельно для формування кешу Key-Value (KV).
  • Фаза декодування (Decode): Операція, обмежена пропускною здатністю пам'яті (Memory-bandwidth-bound), де кожен новий токен генерується послідовно шляхом циклічного читання з високошвидкісної пам'яті (HBM).
+-------------------------------------------------------------------------+
|                  Конвеєр планування Chunked Prefill                     |
|                                                                         |
|  Вхідні запити користувачів:                                            |
|    Запит А (Ціль):     [================ 2048 Токенів ================] |
|    Запит Б (Зловмисник): [= 128 Токенів =]                              |
|                                                                         |
|  Планувальник фрагментів (Розмір фрагмента Chunk = 512 Токенів):        |
|  +-------------------------------------------------------------------+  |
|  | Ітерація 1: [Запит А: Фрагмент 1 (512)] + [Запит Б: Декодування 1] |  |
|  | Ітерація 2: [Запит А: Фрагмент 2 (512)] + [Запит Б: Декодування 2] |  |
|  | Ітерація 3: [Запит А: Фрагмент 3 (512)] + [Запит Б: Декодування 3] |  |
|  | Ітерація 4: [Запит А: Фрагмент 4 (512)] + [Запит Б: Декодування 4] |  |
|  | Ітерація 5: [Запит А: Токен 1]         + [Запит Б: Декодування 5] |  |
|  +-------------------------------------------------------------------+  |
|                                                                         |
|  Спостереження на боці клієнта-зловмисника:                             |
|  Міжтокенна затримка (ITL) для Токенів 1-4: ~42мс (Обчислювальний пік)  |
|  Міжтокенна затримка (ITL) для Токенів 5+:  ~11мс (Базове декодування)  |
+-------------------------------------------------------------------------+

Коли надходить великий запит, виконання його попередньої генерації за один крок призводить до зависання всіх активних потоків декодування, спричиняючи значні затримки видачі першого токена (TTFT).

Механізм Chunked Prefill розбиває довгі запити на стандартизовані фрагменти (наприклад, по 512 токенів). У кожному циклі планувальник виділяє квоту і запускає фрагменти попередньої генерації паралельно з токенами декодування, завдяки чому обидва процеси одночасно ділять ресурси потокових мультипроцесорів (SM) та тензорних ядер.

Експлуатація апаратних колізій GPU та джиттеру затримок між токенами

Оскільки апаратні обчислювальні блоки, кеш другого рівня (L2) та канали пам'яті HBM фізично спільні для всіх запитів у поточному пакеті, виконання важкого фрагмента prefill відчутно уповільнює декодування токенів сусідніх клієнтів.

Зловмисник, що діє як звичайний користувач хмарного API, може використати це апаратне суперництво:

  1. Замір базової затримки: Зловмисник відправляє мінімальні запити для вимірювання стандартного часу між токенами (ITL) у режимі чистого декодування (наприклад, 10–12 мс на кластері H100).
  2. Генерація безперервного потоку: Зловмисник відкриває потік генерації через Server-Sent Events (SSE) та фіксує мікросекундні часові мітки кожного отриманого пакета.
  3. Виявлення обчислювального навантаження: Коли інший клієнт надсилає конфіденційний запит, планувальник дробить його на кілька ітерацій. Протягом кожної ітерації з фрагментом prefill затримка генерації токенів зловмисника стрибає з 11 мс до 40–45 мс.
  4. Визначення кількості блоків: Оскільки розмір фрагмента в системі фіксований, кількість послідовних хвиль затримки точно відповідає числу фрагментів запиту цільового користувача.
+-------------------------------------------------------------------------+
|                  Аналіз сигналу коливання міжтокенних затримок          |
|                                                                         |
|  Зафіксована затримка ITL (Мілісекунди)                                 |
|   50ms +                                                                |
|        |      +-------+-------+-------+-------+                         |
|   40ms |      | Ітер 1| Ітер 2| Ітер 3| Ітер 4|                         |
|        |      | (A_1) | (A_2) | (A_3) | (A_4) |                         |
|   20ms |      |       |       |       |       |                         |
|        |------+       |       |       |       +----------------------   |
|   10ms | База |       |       |       |       | Повернення до норми     |
|    0ms +-------------------------------------------------------------   |
|        Токен:  1       2       3       4       5       6       7       8 |
|                                                                         |
|  Отримані дані:                                                         |
|    Кількість уповільнених ітерацій (K) = 4 цикли                        |
|    Розмір системного фрагмента (C) = 512 токенів                        |
|    Оцінка довжини запиту жертви = (K - 1) * C < Довжина <= K * C        |
|                                 = від 1537 до 2048 Токенів              |
+-------------------------------------------------------------------------+

Аналізуючи часові проміжки, зловмисник дистанційно визначає обсяг чужих обчислень без отримання системних привілеїв чи доступу до пам'яті сервера.

Реконструкція довжини запитів та меж системного контексту сусідніх клієнтів

Витік інформації про довжину запитів становить серйозну загрозу для корпоративної таємниці:

  • Деанонімізація системних інструкцій: Платформи зазвичай автоматично додають службові директиви та політики безпеки перед текстом клієнта. Моніторинг кількості токенів дозволяє зловмиснику відстежити структуру або зміни в системних шаблонах.
  • Оцінка документів у RAG-системах: У сценаріях генерації з пошуком контекст безпосередньо залежить від обсягу знайдених файлів. Стрибок кількості токенів показує, чи призвів запит до отримання конфіденційних баз даних (наприклад, угод або звітів).
  • Контроль діалогових сесій: Поступове збільшення розміру контексту в чатах розкриває хід бесіди, дозволяючи зафіксувати проведення важливих операцій.

У поєднанні з аналізом спекулятивного декодування такий сторонній канал дозволяє перевірити наявність конкретних фрагментів тексту в запитах жертви.

Вразливості дезагрегованого інференсу на міжвузлових фабриках кластера

Для роботи з надвеликими моделями сучасні центри обробки даних розділяють фази prefill та decode між окремими серверами — ця концепція називається дезагрегованим інференсом (Disaggregated Inference).

За цієї моделі:

  1. Вузли попередньої генерації: Сервери з високою обчислювальною потужністю розраховують матриці KV-кешу.
  2. Вузли декодування: Сервери з оптимізованою пам'яттю отримують готовий кеш та генерують токени.
  3. Мережева передача KV-кешу: Гігабайти тензорних даних щосекунди транслюються через фабрику комутаторів за протоколами RoCEv2 або TCP.
+-------------------------------------------------------------------------+
|                  Витік даних у мережі дезагрегованого кластера          |
|                                                                         |
|  [ Вузол попередньої генерації ]              [ Вузол декодування ]     |
|    +----------------------+                     +---------------------+ |
|    | Розрахунок KV-кешу   |                     | Потокова генерація  | |
|    +----------------------+                     +---------------------+ |
|               |                                            ^            |
|               | Мережева передача масивів KV-кешу          |            |
|               v (Гігабайти тензорів через комутатори ToR)  |            |
|  =====================================================================  |
|  [ Фабрика комутаторів стійки (ToR) та міжсерверна мережа ]             |
|    - Нешифровані пакети KV-кешу проходять через комутатори              |
|    - Обсяг та тривалість передачі розкривають точні розміри тензорів    |
|    - Сусідній вузол перехоплює трафік для аналізу параметрів запитів    |
+-------------------------------------------------------------------------+

Якщо мережева інфраструктура не захищена надійним шифруванням, тривалість пакетних сплесків та черги на портах комутаторів ToR видають точний обсяг переданих тензорів, даючи змогу аналізувати чужі запити на рівні мережевого трафіку.

Апаратна ізоляція ресурсів та інкапсуляція ядра за допомогою WireGuard

Усунення загроз, пов'язаних із плануванням та мережевими сторонніми каналами, вимагає поєднання алгоритмічного вирівнювання ітерацій та шифрування на рівні мережі.

+-------------------------------------------------------------------------+
|         Комплексний захист: апаратна ізоляція та ядро WireGuard         |
|                                                                         |
|  [ Багатокористувацький кластер прискорювачів ]                         |
|    +-----------------------------------------------------------------+  |
|    | Апаратний поділ MIG / Вирівнювання часу виконання ітерацій      |  |
|    | - Фіксовані квоти блоків та стандартизація тривалості циклів    |  |
|    | - Фізична ізоляція шин пам'яті та обчислювальних ядер           |  |
|    +-----------------------------------------------------------------+  |
|                                |                                        |
|                                | Передача KV-кешу між серверами         |
|                                v                                        |
|    +-----------------------------------------------------------------+  |
|    | Мережевий інтерфейс ядра WireGuard (wg0 / Мережа VPNRice)       |  |
|    | - Протокол узгодження Noise та надійне шифрування ChaCha20      |  |
|    | - Фіксований розмір пакетів та ін'єкція псевдотрафіку           |  |
|    +-----------------------------------------------------------------+  |
|                                |                                        |
|                                v Зашифровані однорідні датаграми UDP    |
|  =====================================================================  |
|  [ Захищена міжсерверна мережева фабрика ]                              |
|    - Повна відсутність часових коливань на портах комутаторів           |
|    - Стабільна швидкість унеможливлює аналіз за обсягом даних           |
|    - Правила маршрутизації ядра блокують стороннє перехоплення          |
+-------------------------------------------------------------------------+

Для надійного захисту AI-інфраструктури операторам слід впровадити такі заходи:

  1. Вирівнювання тривалості ітерацій (Iteration-Time Equalization): Планувальник має витримувати фіксований час кожного кроку, вставляючи мікропаузи чи холості операції у фази декодування, щоб згладити різницю між короткими та довгими обчисленнями.
  2. Апаратний поділ GPU (MIG): Розбиття графічних процесорів на незалежні апаратні сегменти за допомогою технології NVIDIA MIG забезпечує ізоляцію контролерів пам'яті та обчислювальних ядер між різними клієнтами.
  3. Криптографічний захист мережі за допомогою VPNRice: Трансляція KV-кешу між вузлами дезагрегованого кластера має відбуватися виключно через інтерфейси WireGuard на рівні ядра операційної системи. Шифрування алгоритмом ChaCha20-Poly1305 унеможливлює визначення розміру тензорів проміжними комутаторами.
  4. Формування постійного трафіку (Traffic Shaping): Додавання маскувальних пакетів та підтримання фіксованої швидкості усувають сплески в мережі, перешкоджаючи витоку відомостей про параметри запитів.

Поєднання контрольованого планування та захищеного тунелювання через VPNRice нейтралізує часові сторонні канали, гарантуючи безпеку конфіденційних даних та моделей у сучасних хмарних платформах штучного інтелекту.