Стрімке впровадження архітектур із розрідженим об'єднанням експертів (Sparse Mixture-of-Experts, MoE) стало визначальним технологічним зрушенням в інфраструктурі сучасного штучного інтелекту. Передові мовні моделі, зокрема DeepSeek-V3 та Mixtral 8x22B, а також розподілені середовища обслуговування vLLM і SGLang забезпечують обчислювальний масштаб у сотні мільярдів параметрів за збереження фіксованих витрат обчислень на кожен токен. Замість передавання всіх вхідних даних крізь монолітні повнозв'язні блоки прямого поширення (FFN), архітектура MoE динамічно спрямовує кожен токен до обмеженої групи спеціалізованих підмереж («експертів»).
Проте розміщення десятків або сотень незалежних експертів на різних фізичних серверах створює нову поверхню вразливості на фізичному мережевому рівні. Коли обчислювальний кластер масштабується на безліч вузлів, маршрутизація токенів перестає бути виключно внутрішньою операцією на кристалі прискорювача й перетворюється на потік міжсерверного мережевого трафіку.
Пасивний спостерігач, що перехоплює пакети на комутаторах локальної мережі, у хмарній інфраструктурі або на магістральних каналах транзиту, здатен експлуатувати побічний канал мережевої маршрутизації MoE. Аналізуючи обсяги та часові інтервали колективних взаємодій All-to-All, аналітик може класифікувати вхідні запити, встановлювати тематику завдань і відновлювати конфіденційні корпоративні дані без прямого доступу до пам'яті GPU чи дешифрування ваг моделі.
+-------------------------------------------------------------------------+
| РОЗПОДІЛЕНИЙ ОБЧИСЛЮВАЛЬНИЙ КЛАСТЕР MoE |
| |
| [ Запит користувача ] ---> [ Маршрутизатор Gating ] |
| | |
| Розподіл токенів Top-k (All-to-All) |
| +-------------------------+-------------------------+ |
| | | | |
| v v v |
| +-------------+ +-------------+ +-------------+ |
| | GPU Вузол 1 | | GPU Вузол 2 | | GPU Вузол 3 | |
| | Експерт 0..7| | Експерт 8..15| | Експерт 16..| |
| +-------------+ +-------------+ +-------------+ |
| | | | |
| +-------------------------+-------------------------+ |
| | |
| [ Нешифрована внутрішня мережа кластера ] |
| !!! МЕРЕЖЕВИЙ ПЕРЕХОПЛЮВАЧ ФІКСУЄ !!! |
| Обсяги токенів та профілі активації експертів |
+-------------------------------------------------------------------------+
Математичні засади MoE: механізм маршрутизації та паралелізм експертів
Щоб з'ясувати фізичну природу витоку через побічний канал, слід проаналізувати математичний апарат, який керує розподілом токенів у сучасних шарах MoE.
У класичній архітектурі Transformer приховані стани проходять крізь щільні шари прямого поширення. У розрідженому шарі MoE із $N$ незалежними експертами ${E_1, E_2, \dots, E_N}$ вихідне значення для представлення токена $x$ обчислюється як зважена сума результатів найбільш відповідних підмереж:
$$y = \sum_{i=1}^{N} G(x)_i E_i(x)$$
Де $G(x)$ позначає функцію маршрутизації (gating function). У разі вибору $k$ експертів із найвищими оцінками (зазвичай $k=2$ або $k=8$):
$$H(x) = x \cdot W_g + \epsilon$$
$$G(x) = \text{Softmax}(\text{TopK}(H(x), k))$$
Тут $W_g$ є матрицею ваг маршрутизатора, а оператор $\text{TopK}$ присвоює значення $-\infty$ усім експертам поза межами обраної підмножини.
Оскільки параметри моделі обсягом 671 мільярд елементів неможливо розмістити в локальній пам'яті високої пропускної здатності (HBM) одного графічного процесора, системи використовують паралелізм експертів (Expert Parallelism, EP). Експерти розподіляються між окремими прискорювачами та фізичними серверами. Наприклад, Вузол GPU 1 керує Експертами з 1 до 8, тоді як Вузол GPU 2 відповідає за Експертів із 9 до 16.
Колективні операції All-to-All як точка перехоплення
Під час обробки пакета токенів у розподіленому шарі MoE на $P$ вузлах потрібні два етапи колективного обміну даними через бібліотеку NCCL або MPI:
- Фаза розсилання (
all_to_all_single): Кожен прискорювач реорганізує локальні токени згідно з рішеннями маршрутизатора й передає відповідні фрагменти цільовим вузлам-експертам через мережу кластера. - Фаза об'єднання (
all_to_all_single): Після завершення обчислень вузли-експерти повертають обчислені вектори прихованих станів назад на початкові прискорювачі для залишкового додавання та передавання в наступний шар уваги.
Головна вразливість полягає в тому, що кількість переданих токенів між Вузлом $i$ та Вузлом $j$ не є сталою величиною. Вона цілковито залежить від семантичного змісту вхідного тексту на кожному конкретному кроці генерації.
Механізм побічного каналу: профілювання активації експертів
Уразливість зумовлена природною спеціалізацією експертів. Під час попереднього навчання без учителя окремі експерти самостійно зосереджуються на конкретних семантичних і синтаксичних концепціях:
- Кластер експертів A: Генерація коду програмного забезпечення, аналіз синтаксичних дерев та ідентифікатори розробки.
- Кластер експертів B: Медична термінологія, фармакологія та клінічні діагностичні описи.
- Кластер експертів C: Фінансова звітність, баланси підприємств та банківські розрахунки.
- Кластер експертів D: Специфічні природні мови та складні морфологічні конструкції.
Коли користувач надсилає конфіденційний запит (наприклад, закритий вихідний код програми або медичну картку), маршрутизатор спрямовує переважну більшість токенів саме до відповідних спеціалізованих експертів.
Витік через розміри мережевих пакетів
У нешифрованих мережах Ethernet або RoCE трафік міжвузлового обміну безпосередньо відображає розподіл токенів між серверами:
Мережевий потік: GPU Вузол 0 -> GPU Вузол 4 (Експерти з фінансів)
[Час t0] Розмір пакета: 16 384 байти (Інтенсивне передавання спеціалізованих токенів)
[Час t1] Розмір пакета: 18 432 байти (Безперервне опрацювання фінансових термінів)
Мережевий потік: GPU Вузол 0 -> GPU Вузол 2 (Експерти загального синтаксису)
[Час t0] Розмір пакета: 2 048 байтів (Мінімальний фоновий обмін)
Зовнішній спостерігач, не маючи змоги прочитати корисне навантаження, фіксує:
- Матрицю міжвузлового обміну: Точний обсяг байтів, переданих між кожною парою серверів $(i, j)$ на кожному шарі мережі.
- Часові сигнатури: Тривалість та періодичність обчислювальних операцій на кожному вузлі експертів.
Навчаючи компактні класифікатори на таких матрицях трафіку, дослідники демонструють точність визначення тематики запитів понад 94%. У тривалих діалогах динаміка обсягів токенів видає структуру речень та зміну тем бесіди.
Загроза атак типу «Відмова в обслуговуванні» через навантаження експертів
Окрім пасивного спостереження, архітектурні особливості MoE уможливлюють активний деструктивний вплив: Expert Skewing DoS.
У робочих кластерах для кожного експерта виділяється фіксований буфер токенів (який контролюється коефіцієнтом Capacity Factor). Зловмисник може сформувати запит, що змушує маршрутизатор спрямувати 100% токенів до одного конкретного експерта:
- Скидання токенів та деградація виводу: Токени, які перевищують місткість буфера, відкидаються або спрямовуються за запасним маршрутом, руйнуючи послідовність міркувань моделі.
- Стрімке зростання затримки (Tail Latency): Графічний процесор із перевантаженим експертом стає вузьким місцем усієї системи. Оскільки фаза об'єднання (
all_to_all) вимагає бар'єрної синхронізації всього кластера, усі прискорювачі зупиняються в очікуванні перевантаженого вузла, збільшуючи час відповіді у 20–40 разів.
| Тип атаки | Цільовий механізм | Спосіб фіксації | Наслідки для інфраструктури |
|---|---|---|---|
| Об'ємне профілювання | Розміри пакетів All-to-All | Пасивний перехоплювач на комутаторах | Встановлення тематики запитів і чутливих даних |
| Аналіз часових коливань | Затримки фази об'єднання | Моніторинг мережевих портів прискорювачів | Відновлення структури речень і темпу генерації |
| Expert Skewing DoS | Перевантаження вибору Top-k | Надсилання спеціальних вхідних запитів | Зупинка синхронізації кластера, колапс швидкодії |
| Міжцентровий перехоплення | Розподіл конвеєра між майданчиками | Прослуховування магістральних ліній зв'язку | Збір незахищених проміжних станів без падингу |
Криптографічний захист мережевого рівня: ячеиста мережа WireGuard та падинг
Надійний захист розподіленого інференсу MoE вимагає усунення ознак розмірів пакетів за збереження мінімальних задержок. Пакування токенів на рівні програми не розв'язує проблеми, оскільки мережева серіалізація продовжує видавати габарити буферів.
Оптимальна оборонна архітектура поєднує алгоритмічне балансування навантаження із криптографічним інкапсулюванням рівня L3 на базі WireGuard.
+-------------------------------------------------------------------------+
| ЗАХИЩЕНИЙ КЛАСТЕР MoE З ВИКОРИСТАННЯМ WIREGUARD |
| |
| GPU Вузол А (Рушій vLLM) GPU Вузол Б (Робочий експерт) |
| +-----------------------+ +-----------------------+ |
| | All-to-All Dispatch | | All-to-All Receive | |
| +-----------------------+ +-----------------------+ |
| | ^ |
| v | |
| [ Квантування розміру ] [ Зняття падингу ] |
| (Стандарт RFC 8861) (Вилучення фіктивних токенів) |
| | | |
| v | |
| +-----------------------+ WireGuard Mesh +-----------------------+ |
| | Інтерфейс ядра wg0 | === ChaCha20 ==>| Інтерфейс ядра wg0 | |
| | (Шифрування L3) | Сталий потік | (Апаратна дешифрація) | |
| +-----------------------+ +-----------------------+ |
+-------------------------------------------------------------------------+
1. Квантування розмірів кадрів (падинг за стандартом RFC 8861)
Щоб унеможливити об'ємне профілювання, усі міжвузлові буфери перед надсиланням вирівнюються до стандартизованих квантованих значень:
$$\text{PaddedSize} = \left\lceil \frac{\text{ActualSize}}{Q} \right\rceil \times Q$$
Де $Q$ є квантом вирівнювання (наприклад, 8 192 байти або розмір MTU). Для ліній зв'язку між центрами обробки даних ін'єкція фіктивних кадрів зі сталою швидкістю повністю розриває зв'язок між фізичним трафіком і процесом обчислення токенів.
2. Ячеиста мережа WireGuard у просторі ядра
Використання VPN у просторі користувача створює неприпустимі затримки перемикання контексту. Впровадження WireGuard безпосередньо в ядро Linux дає змогу:
- Захистити міжсерверні з'єднання за допомогою шифрування ChaCha20-Poly1305.
- Налагодити пряму однорангову взаємодію (peer-to-peer mesh) без проміжних вузьких шлюзів.
- Використовувати апаратне прискорення без копіювання пам'яті, зберігаючи гігабітну швидкість та маскуючи зв'язок від постачальників інфраструктури.
З'єднання географічно розподілених вузлів через захищену мережу VPNRice виключає аналіз трафіку на рівні інтернет-провайдерів, гарантуючи конфіденційність синхронізації в гібридних кластерах.
Практичний регламент зміцнення мережевої безпеки кластерів ШІ
Інженерам інфраструктури та фахівцям із кібербезпеки систем штучного інтелекту рекомендується виконати п'ять послідовних кроків:
- Ізоляція трафіку EP на окремих інтерфейсах: Прив'яжіть міжвузлові сокети NCCL (
NCCL_SOCKET_IFNAME=wg0) виключно до захищених мережевих інтерфейсів WireGuard. - Встановлення лімітів місткості з допоміжними штрафами: Налаштуйте середовище vLLM чи SGLang із допоміжною функцією втрат (auxiliary loss) для рівномірного розподілу навантаження між експертами.
- Вирівнювання розмірів пакетів за стандартами MTU: Застосовуйте механізми керування трафіком Linux (
tc-tbf) для згладжування стрибків у розмірах кадрів. - Криптографічна мікросегментація: Обмежте порти колективного зв'язку All-to-All виключно довіреними відкритими ключами учасників кластера.
- Контроль тривалості бар'єрної синхронізації: Безперервно аналізуйте затримки під час синхронізації для своєчасного виявлення спроб штучного перевантаження експертів.
Інкапсуляція колективних взаємодій MoE у зашифровані тунелі мережевого рівня з вирівнюванням розмірів пакетів надійно захищає корпоративні запити від перехоплення та гарантує безперебійну роботу обчислювальної інфраструктури.



