Розгортання великих мовних моделей (LLM) у корпоративній інфраструктурі потребує суворого контролю використання пам'яті та затримок відгуку. Послідовна генерація токенів змушує систему зберігати проміжні тензори ключ-значення (KV-кеш) на всіх рівнях механізму уваги (attention). У багатокрокових діалогах, аналізі розлогих документів та роботі автономних агентів повторне обчислення тензорів KV для однакових системних інструкцій створює надмірне навантаження на обчислювальні вузли.
Для усунення зайвих обчислень сучасні рушії інференсу, такі як SGLang, vLLM та TensorRT-LLM, впроваджують механізм динамічного кешування префіксів (dynamic prefix caching). Зберігаючи тензори KV у формі префіксного дерева (radix tree) або сегментованих хеш-таблиць, ці системи повторно використовують попередньо обчислені стани активації для наступних запитів. Проте в спільних хмарних середовищах із багатьма клієнтами (multi-tenant) кешування префіксів відкриває детермінований сторонній канал витоку за часом виконання (timing side-channel). Зловмисник може аналізувати мілісекундні коливання затримки відповіді та часові патерни мережевих пакетів, щоб відтворити конфіденційні системні інструкції, комерційні документи та запити інших користувачів.
Архітектура RadixAttention та спільне кешування префіксів
У традиційних системах інференсу буфер KV є тимчасовим і очищається одразу після формування відповіді. На противагу цьому, динамічний префіксний кеш утримує тензори KV у відеопам'яті GPU (HBM) та оперативній пам'яті сервера протягом тривалого життєвого циклу багатьох HTTP-запитів.
SGLang формалізує цю оптимізацію за допомогою алгоритму RadixAttention. Сервер керує блоками KV-кешу як вузлами глобального дерева radix, де ребра позначають послідовності токенів. Коли надходить новий запит, планувальник розбиває промпт на токени та сканує дерево від кореня, шукаючи найдовший збіг:
- Збіг префікса та повторне використання: Якщо префікс довжиною $L$ знайдено в дереві radix, рушій пропускає ресурсномістку фазу попереднього обчислення (prefill) для цих $L$ токенів. Готові блоки KV одразу передаються до шарів attention.
- Зниження обчислювальних витрат: Графічний процесор обробляє лише токени суфікса ($N - L$). Час до появи першого токена (Time-To-First-Token, або TTFT) зменшується з сотень мілісекунд до одиничних мілісекунд.
- Правила витіснення з кешу: Коли відеопам'ять досягає ліміту, алгоритм LRU (Least Recently Used) видаляє найменш використовувані дочірні гілки, зберігаючи спільні кореневі префікси.
Така організація суттєво підвищує пропускну здатність платформи. Однак спільне використання глобального дерева radix різними клієнтами створює залежність стану, яку можна спостерігати ззовні. Стан кешу безпосередньо відображає сукупну історію запитів усіх користувачів кластера.
Механізм атак через сторонні канали витоку за часом
Оскільки успішне потрапляння в кеш радикально прискорює генерацію, сторонній спостерігач може використовувати інтерфейс API як оракул для вилучення конфіденційної інформації. Атака реалізується двома основними методами: перевірка наявності даних та адаптивне покрокове відновлення.
+-------------------------------------------------------------------------+
| Спільний Кластер Інференсу Мовних Моделей |
| |
| Легітимний запит клієнта Зондувальний запит атакуючого|
| "Пацієнт: Іван Петренко..." "Пацієнт: Іван Петренко..." |
| | | |
| v v |
| +-------------------+ +-------------------+ |
| | Спільне дерево | | Спільне дерево | |
| | [Обчислення | | [Збіг префікса!] | |
| | фази Prefill] | | Пропуск Prefill | |
| | Запис у пул KV | | | |
| +-------------------+ +-------------------+ |
| | | |
| v v |
| Звичайний TTFT (~320ms) Миттєвий TTFT (~14ms) |
| | |
| +--> Фіксація |
| витоку даних |
+-------------------------------------------------------------------------+
1. Перевірка наявності конфіденційного тексту в кеші
У цьому сценарії зловмисник прагне перевірити, чи містить кеш сервера певний рядок тексту (наприклад, фрагмент програмного коду, номер рахунку чи медичний висновок).
Зловмисник вимірює базову затримку відгуку за відсутності збігу в кеші ($T_{\text{cold}}$) та за умови збереженого стану ($T_{\text{hot}}$). Для тексту обсягом 8 000 токенів на сучасному сервері фаза prefill займає від 180 до 350 мілісекунд. У разі потрапляння в префіксний кеш цей етап пропускається, а значення TTFT падає нижче 15 мілісекунд. Фіксуючи таке раптове прискорення, атакуючий однозначно підтверджує присутність цільового тексту в системі.
2. Адаптивне відновлення префіксів шляхом розгалуження
Окрім простої перевірки гіпотез, зловмисник може токен за токеном відновити приховані системні промпти або чужі розмови:
- Атака розпочинається з відомого кореневого токена (наприклад, стандартного вітання чи розмітки).
- Формуються тестові гілки шляхом додавання до кореня різних слів зі словника.
- Кожен варіант надсилається до шлюзу як окремий зондувальний запит.
- Варіант із найменшим значенням TTFT вказує на наявність відповідної послідовності в дереві radix.
- Атакуючий фіксує підтверджений токен і переходить до наступного кроку, доки не відновить увесь текст.
Навіть якщо оператори інфраструктури додають програмні паузи на рівні застосунку, поведінка мережевого транспорту викриває різницю в реальному часі роботи процесора.
Мережева телеметрія та сигнатури інтервалів між пакетами
Програмні затримки не захищають систему, якщо мережеві канали залишаються прозорими для зовнішнього моніторингу:
- Сплеск початкових даних: Завершення фази prefill миттєво запускає генерацію першого токена, провокуючи вихідний сплеск пакетів TCP та підтверджень ACK.
- Динаміка вікна TCP: Під час тривалого обчислення вікно отримання TCP лишається відкритим без передачі корисного навантаження. Натомість потрапляння в кеш викликає негайне відправлення даних, що деформує інтервали між пакетами ($Δt$).
- Зниження міжвузлового обміну: У розподілених системах попадання в кеш нівелює необхідність передачі тензорів між вузлами через RDMA. Сторонній аналізатор трафіку може виявити таку аномалію на транзитних ділянках.
Спостерігач у спільній локальній мережі або публічному Wi-Fi може зафіксувати ці часові характеристики без безпосереднього зламу сервера.
Стратегія криптографічного захисту на базі WireGuard
Для надійного блокування атак за часом необхідно поєднувати ізоляцію всередині рушія моделі з криптографічним захистом каналу передачі даних.
+-----------------------------------------------------------------------+
| Топологія Захисту Кластера Інференсу |
| |
| [Клієнтський Пристрій] |
| | |
| v |
| [Інтерфейс WireGuard wg0] <-- Згладжування швидкості (sch_fq) |
| | <-- Надійне шифрування ChaCha20 |
| v |
| [Транзитна Мережа / WAN] <-- Фіксований MTU та штучний джитер |
| | |
| v |
| [Шлюз Інференсу AI] |
| | |
| +--> Розмежування просторів Radix за публічними ключами |
| +--> Маршрутизація на рівні ядра без витоків |
| +--> Апаратна ізоляція пулів відеопам'яті |
+-----------------------------------------------------------------------+
1. Розмежування просторів імен дерева Radix за публічними ключами
Планувальник завдань не повинен допускати спільного використання кешу різними клієнтами. Дерево radix має сегментуватися на основі автентифікованих криптографічних ідентифікаторів.
Під час підключення клієнтів через ізольовані тунелі WireGuard шлюз формує ідентифікатор безпосередньо з відкритого ключа піра (wg0). Планувальник зберігає та шукає блоки пам'яті у строго відокремлених просторах:
$$\text{CacheKey} = \text{HMAC-SHA256}(\text{TenantPublicKey}, \text{TokenSequence})$$
Запити одного користувача ніколи не перетинаються з гілками кешу інших клієнтів. Це повністю нейтралізує ризики сторонніх каналів, зберігаючи високу швидкість обробки для внутрішніх сесій.
2. Регулювання швидкості потоку та маскування часових коливань
Щоб виключити можливість аналізу затримки TTFT за мережевими пакетами, мережеві інтерфейси мають розірвати зв'язок між графіком передачі пакетів та станом графічного процесора.
Адміністраторам слід активувати дисципліну Fair Queueing із контролем швидкості (sch_fq) на інтерфейсі WireGuard, застосовувати мікросекундний джитер і квантування розміру пакетів:
# Увімкнення керування чергами з контролем швидкості на WireGuard
sudo tc qdisc replace dev wg0 root fq pacing
# Фіксація розміру MTU для запобігання витоку довжини послідовностей
sudo ip link set dev wg0 mtu 1420
Постійна швидкість передачі та стандартизований розмір блоків усередині шифрованого тунелю роблять трафік повністю однорідним незалежно від результату звернення до кешу.
3. Комплексна ізоляція штучного інтелекту за допомогою VPNRice
Надійний захист обчислювальної інфраструктури вимагає направлення всіх запитів інференсу та внутрішньої синхронізації через захищені канали. Відкритий доступ до портів API в мережі створює вразливість для спрямованого шпигунства.
Впровадження VPNRice забезпечує тунелювання WireGuard на рівні ядра операційної системи для робочих станцій і серверів GPU. Завдяки чітким правилам AllowedIPs блокуються будь-які спроби несанкціонованого сканування. Сторонні спостерігачі в транзитних мережах позбавлені можливості аналізувати мережевий трафік чи проводити сканування префіксів моделей штучного інтелекту.
Рекомендації щодо захисту виробничих систем інференсу
Для надійного захисту корпоративних моделей від атак через мікроархітектурні та мережеві канали рекомендується дотримуватися таких правил:
- Ізолювати префіксний кеш: Вимкнути спільний доступ до дерева radix для неперевірених облікових записів. Обмежити RadixAttention межами одного довіреного сеансу.
- Застосовувати асиметричні ключі: Прив'язувати сесії API до публічних ключів WireGuard замість простих текстових токенів.
- Нормалізувати часові затримки: Впровадити мінімальні пороги часу відповіді для критично важливих точок доступу.
- Шифрувати весь обсяг трафіку: Захищати всі запити клієнтів та міжсерверний обмін кешем через тунелі WireGuard із шифром ChaCha20-Poly1305.
- Контролювати аномальну активність: Налаштувати моніторинг шлюзу для блокування серій однотипних зондувальних запитів із поступовою зміною токенів.



