Впровадження великих мовних моделей (LLM) у високонавантажених корпоративних середовищах спричинило кардинальну зміну підходів до проектування розподілених систем. Традиційні монолітні схеми обробки — коли один і той самий графічний прискорювач (GPU) одночасно виконує первинне завантаження вхідного контексту (фаза prefill) та послідовну покрокову генерацію токенів (фаза decode) — призводять до значного дисбалансу обчислювальних ресурсів. Фаза prefill повністю залежить від математичної продуктивності тензорних ядер (compute-bound), тоді як фаза decode обмежена пропускною здатністю та затримками відеопам'яті HBM (memory-bandwidth-bound).

Щоб досягти максимального завантаження GPU та скоротити час очікування першого токена (TTFT) разом із затримкою між послідовними токенами (ITL), сучасні рушії інференсу переходять на дезагреговану архітектуру (Disaggregated Serving). У таких системах, як Mooncake, DistServe або vLLM v1, вузли prefill та вузли decode розміщуються на окремих фізичних серверах, взаємодіючи між собою через локальну мережу центру обробки даних.

Проте такий фізичний поділ відкриває критичний вектор мережевих загроз: передачу незашифрованих буферів кешу ключів і значень (Key-Value Cache або KV Cache) через комутатори кластера у відкритому вигляді. Коли гігабайти тензорів уваги передаються відкритим текстом, зловмисники або скомпрометовані контейнери в тій самій мережі можуть перехопити трафік, повністю відновити початковий конфіденційний текст користувача та здійснити підміну контексту. Надійний захист потребує детермінованої криптографічної ізоляції на мережевому рівні Layer 3.

+--------------------------------------------------------------------------+
|       МОНОЛІТНА ТА ДЕЗАГРЕГОВАНА АРХІТЕКТУРИ ІНФЕРЕНСУ МОДЕЛЕЙ LLM      |
+--------------------------------------------------------------------------+
|  МОНОЛІТНА СХЕМА (Один спільний сервер GPU):                             |
|  Запит користувача ──> [ Вузол GPU: Фаза Prefill ──> Пам'ять HBM ]       |
|                                                          │               |
|                                                          ▼               |
|                        [ Фаза Decode генерує токени з пам'яті HBM ]      |
|  * Буфер KV Cache не виходить за межі фізичної відеопам'яті чи NVLink.   |
+--------------------------------------------------------------------------+
|  ДЕЗАГРЕГОВАНА СХЕМА (Окремі кластери в мережі дата-центру):             |
|  Запит користувача ──> [ Кластер Prefill ] (Високі обчислення)           |
|                               │                                          |
|                               ▼ Відкриті тензори KV Cache (TCP / RoCEv2) |
|  ══════════════════════════════════════════════════════════════════════  |
|      НЕЗАШИФРОВАНА МЕРЕЖА КЛАСТЕРА (Уразлива до перехоплення пакетів)    |
|  ══════════════════════════════════════════════════════════════════════  |
|                               │                                          |
|                               ▼                                          |
|                        [ Кластер Decode ] (Ліміт пропускної пам'яті)     |
|  * Гігабайти тензорів уваги передаються через комутатори у відкриту.     |
+--------------------------------------------------------------------------+

Механізм передачі буферів KV Cache у розподіленій інфраструктурі

Для оцінки масштабів проблеми необхідно дослідити роботу механізму уваги (attention mechanism) трансформерів під час розподіленої генерації. В авторегресійних моделях увага обчислюється шляхом проектування векторів запитів ($Q$), ключів ($K$) та значень ($V$):

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

На етапі prefill серверний вузол обробляє весь початковий контекст — часто десятки тисяч токенів, які містять комерційні таємниці, ключі доступу до API, системні інструкції або конфіденційні записи баз даних. Вузол обчислює матриці $K$ та $V$ для кожного шару трансформера та кожної голови уваги.

У дезагрегованому середовищі:

  1. Пейджинговий розподіл: Рушій інференсу виділяє логічні блоки пам'яті за допомогою методів сторінкової організації (наприклад, PagedAttention або префіксних дерев Radix).
  2. Серіалізація та пакування: Після обчислень вузол prefill пакує багатовимірні масиви чисел із рухомою комою (у форматах FP16, BF16 або квантованих FP8/INT4) у буфери відправки.
  3. Мережевий транзит: Дані спрямовуються до призначених вузлів decode через стандартні сокети TCP, потоки gRPC або інтерфейси віддаленого прямого доступу до пам'яті RoCEv2 (RDMA over Converged Ethernet).
  4. Завантаження пам'яті decode: Сервер-одержувач розміщує прийняті тензори безпосередньо у власній пам'яті HBM і розпочинає генерацію токенів без повторних обчислень початкового контексту.

Оскільки контекстне вікно сучасних моделей становить від 32k до 128k токенів, обсяг буфера KV Cache для однієї сесії легко досягає кількох гігабайтів. У хмарних інфраструктурах спільного користування ці значні потоки даних безперервно проходять через комутатори Top-of-Rack (ToR) без жодного шифрування.

+--------------------------------------------------------------------------+
|                     Структура мережевого пакета KV Cache                 |
+--------------------------------------------------------------------------+
|  [ Заголовок IP та транспортного рівня (Порт TCP 50051 / Пакет RoCE QP) ]|
|  [ Метадані сесії: Request ID, Tenant ID, загальна довжина послідовності]|
|  [ Номер шару моделі: Layer 0..N-1 | Розмірність голови уваги: d_k = 128]|
|  [ Дані тензора Key: Матриці чисел із рухомою комою (BF16 / FP16) ]      |
|  [ Дані тензора Value: Матриці чисел із рухомою комою (BF16 / FP16) ]    |
|  * Пряма математична залежність від початкових векторних ембедингів токенів|
+--------------------------------------------------------------------------+

Загроза пасивного перехоплення та інверсії початкових промптів

Поширеною є помилкова думка, що тензори $K$ і $V$ є лише абстрактним числовим шумом, з якого неможливо відновити звичайний текст. Проте новітні дослідження з кібербезпеки довели практичну можливість атак інверсії тензорів уваги.

1. Математична атака інверсії токенів

Тензори Key та Value є прямими лінійними проекціями прихованих станів моделі $X$:

$$K = X W_k, \quad V = X W_v$$

Для популярних відкритих моделей (таких як Llama, Mistral чи Qwen) вагові матриці проекцій ($W_k, W_v$) є загальнодоступними. Зловмисник, перехопивши пакети з тензорами $K$ і $V$, розв'язує задачу обчислення псевдооберненої матриці Мура-Пенроуза:

$$\hat{X} \approx K W_k^+ \quad \text{або} \quad \hat{X} \approx V W_v^+$$

Отримавши наближений вектор прихованого стану $\hat{X}$, атакуючий множить його на матрицю словника деембедингу ($W_u$) та визначає розподіл ймовірностей токенів за допомогою функції Softmax. У результаті зловмисник з високою точністю реконструює початковий текст промпта — включно з паролями, фінансовими даними та внутрішніми інструкціями — навіть не звертаючись до інтерфейсу самої моделі.

+--------------------------------------------------------------------------+
|             Конвеєр атаки інверсії тензорів уваги                        |
+--------------------------------------------------------------------------+
|  Перехоплений трафік мережі: Тензори Key/Value (Шари 0..3)               |
|         │                                                                |
|         ▼ (Застосування псевдообернення публічних ваг W_k+, W_v+)        |
|  Відновлений вектор прихованого стану (\hat{X})                          |
|         │                                                                |
|         ▼ (Множення на матрицю словника моделі W_u)                      |
|  Обчислення ймовірностей токенів: Softmax(\hat{X} * W_u)                 |
|         │                                                                |
|         ▼ (Вибір найбільш імовірних текстових токенів)                   |
|  Відновлений текст: "Ключ доступу адміністратора: sk-live-94819..."      |
|  ==> Повний витік конфіденційних даних під час мережевої передачі        |
+--------------------------------------------------------------------------+

2. Підміна префіксів у спільному кеші (Prefix Hijacking)

Для оптимізації швидкодії вузли інференсу використовують спільне кешування префіксів (prefix caching) для запитів, які містять ідентичні системні інструкції.

У середовищі без криптографічної перевірки автентичності:

  • Атакуючий у тій самій локальній мережі може надіслати підроблені пакети KV Cache на порт вузла decode, імітуючи хеш стандартного префікса.
  • Замінюючи легітимні тензори шкідливим станом, зловмисник спотворює поведінку безпеки моделі, провокує генерацію вигаданих відповідей або вбудовує приховані деструктивні сценарії для всіх користувачів кластера.

Детермінований захист: криптографічні анклави ядра WireGuard

Спроби впровадження шифрування на рівні програм (наприклад, загортання gRPC у TLS чи створення власних модулів шифрування всередині бібліотек ШІ) спричиняють значні накладні витрати CPU, затримки через множинне копіювання пам'яті та несумісність з апаратними мережевими прискорювачами.

Надійним і випробуваним рішенням є побудова детермінованої ізоляції на рівні Layer 3 безпосередньо всередині ядра Linux за допомогою протоколу WireGuard.

+--------------------------------------------------------------------------+
|          Захищена архітектура: анклав WireGuard рівня Layer 3            |
+--------------------------------------------------------------------------+
|                                                                          |
|   GPU-вузол Prefill                                                      |
|   - Формує тензори KV Cache для вхідного запиту                          |
|   - Передає трафік на захищену IP-адресу вузла Decode (10.200.0.2)       |
|                 │                                                        |
|                 ▼                                                        |
|   [Інтерфейс ядра WireGuard (wg0) / Драйвер ChaCha20-Poly1305]           |
|   - Суворе застосування Cryptokey Routing (IP джерела: 10.200.0.1)       |
|   - Шифрування на повній швидкості каналу без копіювання                 |
|                 │                                                        |
|                 ▼ (Зашифрований пакет UDP: Порт 51820)                   |
|   ====================================================================   |
|         ФІЗИЧНІ КОМУТАТОРИ / СПІЛЬНЕ МЕРЕЖЕВЕ СЕРЕДОВИЩЕ ЦОД             |
|         (Перехоплювач бачить виключно нерозшифровний потік ChaCha20)     |
|   ====================================================================   |
|                 │                                                        |
|                 ▼                                                        |
|   [Інтерфейс ядра WireGuard на вузлі Decode (wg0)]                       |
|   - Перевірка автентичності Poly1305 і розшифрування в пам'яті ядра      |
|   - Передача перевіреного потоку KV Cache рушію генерації                |
|                 │                                                        |
|                 ▼                                                        |
|   GPU-вузол Decode (Безпечне розміщення у відеопам'яті HBM)              |
|                                                                          |
+--------------------------------------------------------------------------+

1. Маршрутизація ключів Cryptokey Routing та прив'язка інтерфейсів

Архітектура Cryptokey Routing у WireGuard надає надійні гарантії безпеки для розподілених обчислювальних систем:

  • Постійна прив'язка вузлів: Кожен сервер створює власну асиметричну пару ключів Curve25519. Інтерфейс wg0 пов'язує дозволені IP-адреси з публічними ключами вузлів.
  • Запобігання підміні пакетів: Якщо неавторизований хост спробує передати сфальшовані тензори або підмінити IP-адресу джерела, ядро операційної системи негайно відкидає пакети через невідповідність криптографічного підпису.
  • Архітектура без копіювання (Zero-Copy): WireGuard функціонує безпосередньо у мережевому стеку ядра Linux, уникаючи втрат продуктивності на перемикання контексту, що дозволяє утилізувати фізичний канал на максимальній швидкості.

2. Фільтрація вихідного трафіку та захист периметра за допомогою nftables

Щоб гарантувати, що скомпрометований контейнер не зможе надіслати збережені дані на сторонні зовнішні адреси, адміністратори налаштовують чіткі правила фільтрації пакетів через nftables:

# Створення таблиці захисту для обчислювального кластера ШІ
# Обмеження всього трафіку інференсу виключно захищеним тунелем wg0
nft add table inet ai_enclave
nft add chain inet ai_enclave forward { type filter hook forward priority 0; policy drop; }

# Дозвіл на обмін пакетами KV Cache між авторизованими вузлами кластера
nft add rule inet ai_enclave forward iifname "wg0" oifname "wg0" ip saddr 10.200.0.0/24 ip daddr 10.200.0.0/24 accept

# Блокування спроб передачі даних безпосередньо в зовнішній інтернет
nft add rule inet ai_enclave forward iifname "wg0" oifname "wan" drop

# Закриття фізичних портів, крім встановленого порту зв'язку WireGuard
nft add chain inet ai_enclave input { type filter hook input priority 0; policy drop; }
nft add rule inet ai_enclave input iifname "eth0" udp dport 51820 accept
nft add rule inet ai_enclave input iifname "lo" accept

3. Захист сервісних каналів оркестрації

Крім потоків даних KV Cache, розподілені кластери використовують чутливі протоколи координації (інтерфейси Ray, вузли Kubernetes, сервери збору метрик Prometheus). Відкриття таких точок у незахищеній локальній мережі створює умови для дослідження внутрішньої топології або викрадення контрольних точок моделей.

Переведення всіх службових комунікацій в ізольовані криптографічні канали надійно відокремлює рівень керування від фізичного обладнання, виключаючи ймовірність горизонтального поширення загроз.

Порівняння архітектурних підходів до безпеки ШІ

Зіставлення технологій захисту для дезагрегованого інференсу мовних моделей демонструє виразну різницю між швидкодією та надійністю:

Критерій оцінки Передача у відкритому вигляді Прикладне шифрування TLS Мережа WireGuard Layer 3
Рівень конфіденційності Відсутній; дані повністю відкриті в мережі Забезпечується за умови валідності сертифікатів Надійний захист алгоритмом ChaCha20
Стійкість до атак інверсії Критично низька; високий ризик витоку Захищено шифруванням потоку Повний захист від перехоплення пакетів
Швидкість та затримки Максимальна швидкість без захисту Відчутне падіння швидкості через копіювання Швидкість на рівні фізичного каналу
Захист від підміни префіксів Беззахисний перед фальсифікованими пакетами Залежить від перевірки сертифікатів програмою Апаратне блокування в ядрі через Cryptokey Routing
Складність впровадження Не потребує налаштування Вимагає серйозних правок рушія інференсу Прозоре підключення без зміни коду моделі

Дезагрегація фаз інференсу забезпечує значну економічну перевагу для масштабування генеративного ШІ. Проте перенесення оперативної пам'яті моделей у фізичну мережу формує нові вимоги до архітектури безпеки. Застосування детермінованої ізоляції на рівні Layer 3 створює надійну основу для поєднання високої обчислювальної швидкості з повним захистом конфіденційної інформації.

Завантажте VPNRice.