Широка доступність відкритих базових моделей (Open-Weights LLMs), таких як Llama 3, Mistral, DeepSeek та Qwen, спричинила стрімкий розвиток локального розгортання штучного інтелекту. Дослідницькі центри, команди розробників і компанії дедалі частіше обирають локальну інфраструктуру (on-premise), прагнучи гарантувати повну конфіденційність корпоративних даних, зменшити мережеві затримки та уникнути передавання чутливої інформації хмарним провайдерам. Популярні рушії інференсу, зокрема Ollama, vLLM і LocalAI, дають змогу надавати доступ до квантованих моделей через інтерфейси HTTP REST за мінімальних налаштувань.

Проте швидке масштабування таких систем зумовило небезпечну проблему мережевого захисту. Щоб уможливити віддалену роботу спеціалістів або налагодити взаємодію між серверами, адміністратори часто налаштовують прослуховування на всіх мережевих інтерфейсах (0.0.0.0). Оскільки ці рушії початково проєктувалися для ізольованого використання на робочих станціях, вони не мають вбудованої рольової моделі доступу (RBAC), не вимагають обов'язкових ключів API та позбавлені контролю частоти запитів. Відкриття таких портів у загальнодоступну мережу або загальні сегменти корпоративної LAN перетворює дорогі обчислювальні ресурси на незахищені цілі для атак.

+-------------------------------------------------------------------------------+
|         ЗАГРОЗИ ВІДКРИТИХ API LLM ТА МЕРЕЖЕВА ІЗОЛЯЦІЯ VPN LAYER 3            |
|                                                                               |
|  [Зовнішній нападник / Сканери Shodan, Censys]                                |
|         |                                                                     |
|         +--- 1. Сканування портів (TCP 11434 / 8000)                          |
|         |    Виявлення неавторизованого API Ollama / vLLM на адресі 0.0.0.0   |
|         |                                                                     |
|         +--- 2. Викрадення ваг моделей: `GET /api/tags` & `POST /api/pull`    |
|         |    Пряме завантаження файлів GGUF/Safetensors та внутрішніх баз RAG |
|         |                                                                     |
|         +--- 3. Захоплення ресурсів GPU та DoS: `POST /v1/chat/completions`   |
|         |    Генерація запитів із контекстом 8k токенів, переповнення VRAM    |
|         |                                                                     |
|         +--- 4. Дистанційне виконання коду (RCE - CVE-2024-37032 Probllama)   |
|              Завантаження шкідливих шарів та перезапис системних файлів       |
|                                                                               |
|  ====================== АРХІТЕКТУРА ЗАХИСТУ VPN LAYER 3 ====================  |
|                                                                               |
|  [Хост інференсу GPU (Ollama / vLLM)]                                         |
|         |                                                                     |
|         +---> Прив'язка суворо до: `127.0.0.1` або `10.8.0.5` (tun0 / wg0)    |
|         |     Фізичний адаптер (eth0): Порти 11434 та 8000 ЗАКРИТІ назовні    |
|         |                                                                     |
|  [Вузол інженера] =====(Тунель WireGuard / RiceGuard)======> [Хост інференсу] |
|  - Криптографічне рукостискання за відкритими ключами (Ed25519) до обміну TCP |
|  - Відсутність відкритих портів у публічному адресному просторі інтернету     |
|  - Сегментація підмереж: Повна ізоляція GPU-кластерів від підозрілого трафіку |
+-------------------------------------------------------------------------------+

Вектори компрометації неавторизованих точок інференсу

На відміну від комерційних хмарних сервісів із суворою автентифікацією токенів, локальні сервери інференсу виходять із припущення про цілковиту надійність внутрішнього оточення. У разі порушення цього бар'єра система зазнає низки небезпечних ризиків:

1. Викрадення ваг оптимізованих моделей і комерційної таємниці

Організації вкладають значні кошти в донавчання (fine-tuning) відкритих моделей на внутрішній документації, корпоративному коді та конфіденційних контрактах. Коли рушій Ollama очікує з'єднань на незахищеному сокеті:

  • Зловмисник відправляє простий запит GET /api/tags, щоб побачити повний перелік локальних моделей.
  • Звертаючись безпосередньо до адрес блоків даних /api/blobs/sha256:..., нападник завантажує бінарні файли ваг GGUF або Safetensors на повній швидкості каналу.
  • Підприємство втрачає власну інтелектуальну власність без жодних сповіщень у журналах традиційних систем виявлення вторгнень (HIDS).

2. Несанкціоноване захоплення ресурсів GPU та відмова в обслуговуванні (DoS)

Спеціалізовані графічні процесори NVIDIA H100, A100 та RTX 4090 вимагають високих витрат на експлуатацію. Зловмисники можуть використовувати відкриті точки доступу для виконання власних обчислень безкоштовно: вони генерують масивні запити з граничною довжиною контексту (max_tokens: 4096), що завантажує обчислювальні ядра на 100 % та викликає переповнення відеопам'яті VRAM. Це спричиняє перегрів апаратного забезпечення, примусове зниження тактової частоти та зупинку планових завдань.

3. Дистанційне виконання довільного коду через перехід за межі каталогів

Вразливість CVE-2024-37032 (отримала назву «Probllama») підтвердила, що незахищений інтерфейс API здатен спричинити повне захоплення операційної системи. Сформувавши запит POST /api/pull із посиланням на підконтрольний реєстр моделей, нападник вказував символи переходу за межі каталогу (../../).

Під час розпакування шарів маніфесту Ollama записувала бінарні файли в системні папки поза каталогом збереження моделей. Це давало змогу розміщувати сторонні ключі SSH, вносити команди до розкладу cron або підміняти динамічні бібліотеки, здобуваючи найвищі привілеї адміністратора (root).

+-------------------------------------------------------------------------+
|                  ПОРІВНЯННЯ ВІДКРИТОЇ ТА ЗАХИЩЕНОЇ СЕТЕВОЇ ТОПОЛОГІЇ    |
|                                                                         |
|   Вразлива конфігурація:                     Захищена топологія VPN:    |
|   +-----------------------+                  +-----------------------+  |
|   | Публічна мережа       |                  | Публічна мережа       |  |
|   +-----------------------+                  +-----------------------+  |
|               |                                          |              |
|     TCP 11434 | (Відкритий порт)             UDP 51820   | (Шифрування) |
|               v                                          v              |
|   +-----------------------+                  +-----------------------+  |
|   | Сервер: 0.0.0.0:11434 |                  | Інтерфейс WireGuard   |  |
|   | Без авторизації       |                  | Скидання неавторизов. |  |
|   +-----------------------+                  +-----------------------+  |
|               |                                          |              |
|       Загрози:                               10.8.0.5:11434 (Внутрішній)|
|       - Завантаження ваг                                 v              |
|       - Виснаження GPU DoS                   +-----------------------+  |
|       - Впровадження шарів                   | Демон LLM: 10.8.0.5   |  |
|       - Уразливість CVE-2024-37032           | Повна невидимість     |  |
|                                              +-----------------------+  |
+-------------------------------------------------------------------------+

Недостатність зворотних проксі прикладного рівня

Спроба захистити інтерфейс інференсу за допомогою вебсервера (Nginx або Caddy) із базовою автентифікацією (HTTP Basic Auth) не забезпечує всебічного захисту:

  • Підробка запитів на боці сервера (SSRF): Внутрішні агенти або скрипти з правом вебперегляду, скомпрометовані через ін'єкцію промптів, можуть надсилати запити на http://127.0.0.1:11434 безпосередньо зсередини мережі без проходження зовнішньої перевірки автентичності.
  • Помилки подвійної прив'язки портів: Під час налаштування служб фахівці нерідко забувають змінити внутрішнє прослуховування Ollama, через що сервіс залишається активним на 0.0.0.0:11434, тоді як Nginx слухає порт 443. Немодифікований порт продовжує залишатися доступним на фізичній мережевій карті.

Архітектура VPN Layer 3: Надійна ізоляція обчислень ШІ

Найбільш дієвий інженерний підхід полягає в ізоляції обчислювального вузла на мережевому рівні (Layer 3) ще до початку встановлення транспортного з'єднання TCP. Шляхом підключення сервера до криптографічного тунелю (такого як WireGuard або протокольний стек RiceGuard) ядро системи перевіряє справжність кожного окремого IP-пакета.

+-------------------------------------------------------------------------+
|                  ФІЛЬТРАЦІЯ ТА КРИПТОГРАФІЧНА ІЗОЛЯЦІЯ LAYER 3          |
|                                                                         |
|  [Вхідні мережеві пакети]                                               |
|               |                                                         |
|               v                                                         |
|  [Ядро Linux / Фільтрація Netfilter]                                    |
|  +--------------------------------------------------------------------+ |
|  | Правило 1: Скидання вхідних TCP на eth0 для портів 11434 та 8000   | |
|  | Правило 2: Дозвіл вхідного UDP на порт 51820 (Тунель VPN)          | |
|  +--------------------------------------------------------------------+ |
|               |                                                         |
|               v                                                         |
|  [Криптографічна верифікація пакетів]                                  |
|  - Перевірка автентичності Noise protocol та сесійних ключів 1-RTT     |
|  - Звірка відкритого ключа Ed25519 із таблицею AllowedIPs              |
|  - Скидання неавторизованих пакетів БЕЗ ВІДПОВІДІ (Silent Drop)        |
|               |                                                         |
|               v (Розшифрований пакет Layer 3)                           |
|  [Віртуальний інтерфейс: wg0 / tun0 (10.8.0.5)]                         |
|               |                                                         |
|               v                                                         |
|  [Демон Ollama / vLLM]                                                  |
|  - Прослуховування тільки 10.8.0.5:11434 або 127.0.0.1:11434           |
|  - Безпечна обробка запитів авторизованих інженерів                    |
+-------------------------------------------------------------------------+

Така модель забезпечує три вагомі переваги:

1. Невидимість портів для сканування (Silent Operation)

Звичайні сервіси TCP надсилають пакети RST або SYN-ACK у відповідь на спроби сканування. Інтерфейс VPN третього рівня, побудований на протоколі Noise, безслідно ігнорує будь-які пакети без валідного підпису. Зовнішні автоматизовані сканери не отримують жодної відповіді, тому хост виглядає цілком вимкненим.

2. Автентифікація вузлів за асиметричними ключами

Контроль доступу базується на криптографічних парах ключів замість статичних паролів. Кожен ноутбук фахівця чи вузол автоматизації має унікальний закритий ключ. Доступ можна анулювати миттєво в маршрутній таблиці ядра без потреби перезапускати рушій моделі.

3. Ізоляція від локальної мережі (LAN)

Завдяки прив'язці процесу суворо до віртуальної адреси тунелю (10.8.0.5:11434) сервіс стає недосяжним для інших комп'ютерів у спільній офісній або домашній мережі Wi-Fi. Навіть якщо інший пристрій у тій самій мережі буде скомпрометовано, нападники не зможуть розгорнути атаку в бік сервера ШІ.

Практичні поради з безпечного розгортання LLM

Для максимального захисту інфраструктури локальних мовних моделей радимо виконати три базові кроки:

1. Обмеження адрес прослуховування

Ніколи не застосовуйте адресу 0.0.0.0. Для служби Ollama під керуванням systemd створіть файл перевизначення /etc/systemd/system/ollama.service.d/override.conf:

# Налаштування адрес прив'язки в /etc/default/ollama або systemd
OLLAMA_HOST="127.0.0.1:11434"
OLLAMA_ORIGINS="http://127.0.0.1:*,https://internal.app"

Для взаємодії у внутрішній мережі вкажіть конкретну IP-адресу інтерфейсу VPN:

# Прив'язка виключно до внутрішньої IP-адреси інтерфейсу VPN
OLLAMA_HOST="10.8.0.5:11434"

2. Налаштування міжмережевого екрана Netfilter

Сформуйте правила iptables для закриття прямого доступу до портів застосунку через фізичну мережеву карту (eth0), залишивши відкритим тільки віртуальний тунель (wg0 або tun0):

# Блокування зовнішніх портів інференсу на фізичному адаптері
sudo iptables -A INPUT -i eth0 -p tcp --dport 11434 -j DROP
sudo iptables -A INPUT -i eth0 -p tcp --dport 8000 -j DROP

# Дозвіл трафіку виключно через інтерфейс шифрованого тунелю
sudo iptables -A INPUT -i wg0 -p tcp --dport 11434 -j ACCEPT
sudo iptables -A INPUT -i wg0 -p tcp --dport 8000 -j ACCEPT

3. Захист директорій та використання безпечного підключення

Надайте доступ до теки з вагами моделей виключно обліковому запису служби. Для об'єднання віддалених команд із сервером використовуйте перевірені рішення на кшталт Завантажити VPNRice, щоб надійно зашифрувати канали передачі даних.

Поєднання локальних обмежень сокетів із мережевою ізоляцією на рівні Layer 3 надійно захищає інфраструктуру штучного інтелекту від викрадення моделей і несанкціонованого використання апаратних ресурсів.