Конфіденційний ШІ: Захист промптів та ваг LLM через анклави та VPN

Стрімке впровадження великих мовних моделей (LLM) у сферах охорони здоров'я, фінансів, оборони та корпоративної розробки програмного забезпечення створило серйозну архітектурну дилему. Організаціям потрібні потужні хмарні кластери зі спеціалізованими прискорювачами для виконання інференсу моделей із десятками мільярдів параметрів. Проте передавання закритих вихідних кодів або конфіденційної медичної інформації до сторонньої хмарної інфраструктури порушує базові принципи нульової довіри (Zero-Trust).

Традиційне транспортне шифрування захищає трафік лише під час передавання між клієнтом і зовнішнім периметром хмари. Щойно пакети досягають межі інфраструктури, термінація сесії TLS розкриває відкриті дані в оперативній пам'яті сервера, системних буферах ОС та просторі виконання гіпервізора.

Для надійного подолання цієї загрози сучасні платформи поєднують два незалежні криптографічні механізми: апаратні довірені середовища виконання (Confidential Computing TEE) та віртуальні приватні мережі 3-го рівня, що замикаються безпосередньо всередині анклаву. Завдяки завершенню зашифрованих тунелів усередині ізольованих мікро-віртуальних машин чутливі промпти користувачів, проміжні тензори активацій і ваги моделей залишаються повністю недосяжними для гіпервізора хоста та сусідніх клієнтів.

Дилема приватності ШІ: Чому стандартний TLS безсилий на межі хмари

Протокол TLS 1.3 забезпечує базове шифрування даних під час їх транспортування через мережу. У типових хмарних системах корпоративний клієнт надсилає запити HTTPS до кінцевої точки інференсу через зворотний проксі або API-шлюз.

Хоча TLS блокує перехоплення на публічних магістралях, його захисна дія закінчується в точці розшифрування. У багатокористувацьких спільних кластерах вхідні з'єднання розшифровуються на пограничному балансувальнику або в ядрі операційної системи фізичного сервера. У цей момент виникають критичні вектори компрометації:

1. Дампи пам'яті хоста (RAM Dumps): Процеси з правами root або скомпрометований гіпервізор (KVM, Xen, Hyper-V) можуть зробити знімок оперативної пам'яті, прочитавши відкриті промпти безпосередньо з черг сокетів.
2. Вилучення кешу Key-Value (KV Cache): Під час авторегресійної генерації модель зберігає тензори ключів і значень в оперативній пам'яті для прискорення наступних токенів. За цими незашифрованими даними зловмисник здатний відновити повну історію сесії користувача.
3. Викрадення ваг моделей: Ваги базових моделей, що зберігаються у фізичній пам'яті або передаються шиною PCIe без шифрування, можуть бути скопійовані інсайдерами дата-центру.

Покладатися на адміністративні регламенти неприпустимо за концепцією Zero-Trust. Безпека має забезпечуватися криптографією на рівні кремнію.

Анатомія конфіденційної ВМ: AMD SEV-SNP, Intel TDX та анклави NVIDIA

Конфіденційні обчислення (Confidential Computing) захищають дані безпосередньо під час їх обробки за допомогою захищених віртуальних машин (CVM). Провідні кремнієві архітектури охоплюють:

• AMD SEV-SNP: Ізолює гостьові віртуальні машини від гіпервізора за допомогою апаратного шифрування оперативної пам'яті. Сторінкам пам'яті присвоюються унікальні ідентифікатори VMID, а блоки AES у контролері пам'яті унеможливлюють несанкціоноване читання, ін'єкції та підміну сторінок.
• Intel TDX: Виділяє гостьове середовище в домени довіри (Trust Domains). Апаратно засвідчений модуль процесора контролює політики доступу між монітором віртуальних машин (VMM) і пам'яттю гостя.
• Конфіденційні обчислення NVIDIA Hopper (H100/H200): Поширюють апаратну ізоляцію безпосередньо на графічні прискорювачі. Вбудовані брандмауери захищають пам'ять високої пропускної здатності (HBM3), а дані на шині PCIe між CPU та GPU шифруються апаратним алгоритмом AES-GCM-256 із динамічними ключами сесій.

Поверхня атак: Зняття дампів пам'яті гіпервізором та витік кешу KV

Запуск інференсу всередині CVM нейтралізує загрозу прямого читання мікросхем DRAM, але автоматично не захищає вхідну мережу. Гіпервізор зберігає контроль над емуляцією віртуальних пристроїв, таблицями сторінок пам'яті та апаратними перериваннями.

Без надійного наскрізного тунелю гіпервізор керує віртуальними мережевими інтерфейсами (virtio-net), що постачають трафік клієнта в CVM. Якщо розшифрування відбувається за межами анклаву, дані стають відкритими до моменту потрапляння в захищену зону.

Крім того, динамічний доступ до кешу KV під час обробки тривалих контекстів створює ризики атак через сторонні канали. Якщо звернення до пам'яті зумовлюють вимірювані коливання затримок на шині, спостерігач на сусідньому фізичному ядрі може відновити довжину контексту та розподіл токенів, незважаючи на шифрування пам'яті.

Механізми апаратного шифрування пам'яті та архітектура атестації

Сучасні контролери пам'яті містять апаратні блоки AES, які працюють у режимі XTS (AES-XTS-256). Кожна операція запису з кешу процесора до мікросхем DRAM прозоро шифрується на льоту; кожна операція читання супроводжується дешифруванням і контролем цілісності.

Таблиця зворотного відображення RMP (Reverse Map Table) в архітектурі AMD SEV-SNP запобігає атакам повторного відтворення, за яких зловмисник намагається перезаписати сторінку застарілим шифротекстом. У разі виявлення розбіжності процесор генерує апаратне переривання та негайно зупиняє ядро.

Підключення клієнтів до анклавів: Мережевий виклик на недовіреному хості

Ключова архітектурна проблема безпечного інференсу ШІ полягає у формуванні прямого зашифрованого з'єднання від клієнта до процесу всередині анклаву без довіри до операційної системи хоста.

У стандартній віртуалізації:

1. Мережеві пакети потрапляють у ядро Linux фізичного сервера.
2. Програмні комутатори спрямовують пакети на віртуальний tap-пристрій.
3. Гіпервізор передає пакети у віртуальну машину через спільні кільцеві буфери virtio-net.

Якщо розшифрування відбувається на хості, конфіденційність втрачається. Єдиним стійким інженерним підходом є побудова накладеної криптографічної мережі, де тунель розшифровується виключно всередині ядра анклаву.

+-----------------------------------------------------------------------+
| Клієнт підприємства =====(Зашифрований тунель RiceGuard / WireGuard)=>|
|   v                                                                   |
| Мережева карта хоста --> Пряме пересилання virtio-net (UDP шифротекст)|
|   v                                                                   |
| [ Межа апаратної ізоляції TEE: AMD SEV-SNP / Intel TDX ]              |
|   v                                                                   |
| Внутрішній інтерфейс TUN (`wg0`) --> Локальний сокет --> Модуль vLLM  |
+-----------------------------------------------------------------------+

Архітектура Zero-Trust: Мережеві тунелі VPN на рівні ядра для потоків ШІ

Для досягнення суворої ізоляції інженери розгортають криптографічний тунель безпосередньо в ядрі операційної системи CVM. Протокол WireGuard, створений на математично вивіреному базисі Noise Protocol Framework, слугує оптимальним фундаментом.

Працюючи безпосередньо в мережевому стеку ядра Linux через віртуальний інтерфейс (tun / wg0), весь вхідний трафік проходить крізь пам'ять гіпервізора як непрозорі датаграми UDP з випадковими портами. Хост не має доступу до їхнього вмісту.

Термінація криптографічних тунелів безпосередньо в мікро-ВМ анклаву

Використання компактних гіпервізорів мікро-ВМ (як-от Cloud Hypervisor або QEMU-SNP) із підтримкою CVM дає змогу скоротити розмір гостьової ОС до мінімуму.

Усередині мікро-ВМ:

• Ядро Linux збирається з параметром CONFIG_WIREGUARD (активно) без зайвих драйверів.
• Інтерфейс WireGuard безпосередньо прив'язаний до віртуалізованого пристрою virtio-net.
• Криптографічні ключі зберігаються виключно в зашифрованій пам'яті анклаву.
• Модуль інференсу (наприклад, vLLM або TensorRT-LLM) приймає з'єднання тільки на локальній петлі або внутрішній IP-адресі WireGuard (10.100.0.2), відкидаючи неавторизовані запити.

Віддалена апаратна атестація: Перевірка автентичності середовища анклаву

Шифрування тунелю захищає дані від перехоплення в дорозі, але не доводить автентичність програмного забезпечення на віддаленому кінці. Недовірений оператор міг би запустити звичайну віртуальну машину з тими самими адресою IP і публічним ключем.

Для усунення загрози підміни застосовується механізм віддаленої апаратної атестації (Remote Attestation):

1. Обчислення параметрів: Під час завантаження процесор безпеки вимірює хеші віртуальної прошивки (OVMF), ядра, initramfs і конфігураційних параметрів у регістрах PCR.
2. Звіт про атестацію: Гостьова машина CVM запитує звіт, підписаний заводським кореневим ключем виробника процесора, що інтегрований у кристал.
3. Прив'язка Nonce: Клієнт надсилає одноразовий випадковий рядок (nonce) для захисту від атак повторного відтворення.
4. Зв'язування ключа WireGuard: Публічний ключ інтерфейсу WireGuard записується в спеціальне поле даних користувача (USER_DATA) у звіті атестації.

Коли клієнт перевіряє ланцюжок сертифікатів виробника чипа, він підтверджує, що віддалений вузол працює у справжньому апаратному анклаві, а ключ WireGuard належить саме цьому перевіреному середовищу.

+-----------------------------------------------------------------------+
| Клієнт ---> 1. Запит на з'єднання + випадковий Nonce ---> Анклав      |
| Клієнт <--- 2. Апаратний звіт атестації <--- [Підпис коренем чипа]   |
| [Перевірка підпису кремнію, контроль Nonce та публічного ключа WG]    |
| Клієнт ===> 3. Встановлення тунелю RiceGuard ===> [Інтерфейс CVM]     |
| Клієнт ===> 4. Безпечне передавання запитів ШІ ===> [Движок LLM]      |
+-----------------------------------------------------------------------+

Технологія тунелювання RiceGuard: Ешелонований захист обчислень ШІ

VPNRice втілює ці принципи у власному високопродуктивному протоколі RiceGuard. Створений для роботи з великими обсягами трафіку за мінімальної затримки, RiceGuard оптимізований для інтеграції з апаратними анклавами:

• Прискорене оброблення в ядрі: RiceGuard оперує посиленим віртуальним інтерфейсом 3-го рівня, що обробляє пакети на повній швидкості каналу без затримок перемикання контексту.
• Взаємна автентифікація Zero-Trust: Точки тунелю перевіряють асиметричні ключі, миттєво блокуючи некоректні або неавторизовані пакети на зовнішньому периметрі.
• Маскування сторонніх каналів: Для захисту від аналізу пакетних сплесків під час потокового виведення токенів RiceGuard підтримує детерміноване вирівнювання розміру пакетів і регулювання темпу відправлення.

Пряме підключення RiceGuard між локальною інфраструктурою підприємства та хмарним анклавом усуває зовнішні поверхні атак.

Вимірювання затримки інференсу: Витрати на шифрування RAM та інкапсуляцію

Тестування на кластері з 8 прискорювачів NVIDIA H100 SXM5 із процесорами AMD EPYC 9654 свідчить, що апаратне шифрування пам'яті чинить мінімальний вплив на швидкість матричних розрахунків LLM:

Оскільки генерація токенів обмежується пропускною здатністю пам'яті HBM3 графічних чипів та блоками множення матриць, шифрування AES в оперативній пам'яті знижує продуктивність менш ніж на 3%. Розпакування пакетів у ядрі анклаву додає лише частки мілісекунди, що повністю відповідає вимогам інтерактивних систем реального часу.

Архітектурне порівняння: Звичайний шлюз хмари проти анклавів із VPN

Фундаментальні відмінності в керуванні межами довіри наочно продемонстровано в таблиці:

+----------------------------------------------------------------------------------------+
| ХАРАКТЕРИСТИКА            | СТАНДАРТНИЙ ДОСТУП ДО ХМАРИ | МЕРЕЖА АНКЛАВУ ІЗ ТУНЕЛЕМ VPN|
+---------------------------+-----------------------------+------------------------------+
| Точка розшифрування даних | Зворотний проксі на хості   | Усередині ядра гостьової CVM |
| Апаратний захист пам'яті  | Вимкнено (Пам'ять відкрита) | Увімкнено (AES-XTS-256)      |
| Ізоляція прискорювача GPU | Спільні драйвери хоста      | Апаратний TEE NVIDIA H100    |
| Підтвердження справжності | Звичайний комерційний TLS   | Апаратний підпис кремнію     |
| Модель довіри до оператора| Повна довіра до хоста       | Нульова довіра (Zero-Trust)  |
+----------------------------------------------------------------------------------------+

Інженерні рекомендації щодо розгортання захищеного інференсу ШІ

Під час проектування корпоративної інфраструктури конфіденційних обчислень інженерам рекомендується дотримуватися таких правил:

1. Активація функцій CVM у гіпервізорі: Увімкніть підтримку AMD SEV-SNP (sev-snp=on) або Intel TDX, виділивши зашифровані сторінки виключно для сесій інференсу.
2. Відмова від зворотних проксі на хості: Спрямовуйте вхідний UDP-трафік безпосередньо до інтерфейсів мікро-ВМ без проміжного розшифрування на фізичному сервері.
3. Генерація ключів усередині анклаву: Створюйте приватні ключі WireGuard безпосередньо в оперативній пам'яті анклаву після завантаження, виключаючи їх запис на диски хоста.
4. Обов'язкова перевірка атестації з Nonce: Інтегруйте верифікацію апаратного звіту в клієнтське ПЗ для негайного розриву з'єднання при відхиленні значень PCR від еталонних.
5. Мінімізація системного образу: Формуйте гостьовий образ на базі компактних дистрибутивів без служб SSH та непотрібних утиліт.
6. Налаштування фільтрації RiceGuard: Обмежте правила міжмережевого екрана всередині анклаву, дозволяючи обмін виключно через перевірений криптографічний тунель.

Поєднання апаратної ізоляції пам'яті та захищених тунелів безпосередньо в анклав відкриває доступ до хмарних потужностей ШІ зі збереженням суверенітету та приватності корпоративних даних.