استقرار سازمانی مدل‌های بزرگ زبانی (LLM) در مقیاس‌های عملیاتی سنگین، محرک تحولی بنیادین در طراحی سیستم‌های توزیع‌شده بوده است. معماری‌های سنتی و یکپارچه پردازش — که در آن‌ها یک نود پردازش گرافیکی (GPU) به طور هم‌زمان پردازش ورودی‌های متنی طولانی (مرحله Prefill) و تولید مرحله‌ای توکن‌های خروجی (مرحله Decode) را انجام می‌دهد — دچار عدم تعادل شدید در مصرف منابع سخت‌افزاری هستند. مرحله Prefill شدیداً وابسته به توان محاسبات ریاضی (Compute-bound) هسته‌های تانسور است، در حالی که مرحله Decode در تنگنای تأخیر و پهنای باند حافظه ویدیویی با پهنای باند بالا (HBM) قرار دارد.

به منظور استفاده حداکثری از ظرفیت سخت‌افزاری پردازنده‌های گرافیکی و به حداقل رساندن تأخیر تولید نخستین توکن (TTFT) و فاصله زمانی بین توکن‌ها (ITL)، موتورهای استنتاج پیشرفته به سمت معماری‌های تفکیک‌شده (Disaggregated Serving) روی آورده‌اند. در سیستم‌هایی مانند Mooncake، DistServe و نسخه ۱ از vLLM، نودهای مربوط به Prefill و نودهای مربوط به Decode روی سرورهای فیزیکی جداگانه قرار گرفته و از طریق شبکه محلی مراکز داده با یکدیگر تبادل داده می‌کنند.

با این وجود، این جداسازی زیرساختی سبب ایجاد یک رخنه امنیتی بحرانی شده است: انتقال داده‌های کش کلید-مقدار (Key-Value Cache یا KV Cache) به صورت رمزگذاری‌نشده و متن خام در بستر شبکه داخلی کلاستر. هنگامی که گیگابایت‌ها ماتریس توجه محاسباتی به شکل متن آشکار در سوییچ‌های شبکه جابه‌جا می‌شوند، مهاجمان یا کانتینرهای نفوذیافته هم‌جوار می‌توانند بسته‌های شبکه را شنود کرده، متن پرامپت‌های حساس کاربران را بازسازی نمایند و به سرقت داده‌های هویتی دست بزنند. ایجاد ایزولاسیون رمزنگاری‌شده قطعی در لایه ۳ (Layer 3) راه‌حل اساسی مقابله با این تهدید است.

+--------------------------------------------------------------------------+
|       مقایسه معماری یکپارچه و تفکیک‌شده پردازش مدل‌های زبانی             |
+--------------------------------------------------------------------------+
|  معماری یکپارچه (یک سرور GPU مستقل):                                     |
|  پرامپت کاربر ──> [ نود GPU: مرحله Prefill ──> حافظه HBM محلی ]          |
|                                                    │                     |
|                                                    ▼                     |
|                    [ مرحله Decode و تولید توکن‌ها از حافظه HBM محلی ]    |
|  * کش KV درون حافظه فیزیکی کارت گرافیک و خطوط NVLink محصور می‌ماند.      |
+--------------------------------------------------------------------------+
|  معماری تفکیک‌شده (کلاسترهای مجزا در بستر شبکه فیزیکی):                  |
|  پرامپت کاربر ──> [ کلاستر نودهای Prefill ] (تمرکز بر پردازش محاسباتی)   |
|                          │                                               |
|                          ▼ جریان داده خام KV Cache از طریق TCP و RoCEv2  |
|  ══════════════════════════════════════════════════════════════════════  |
|      بستر شبکه داخلی رمزگذاری‌نشده کلاستر (آسیب‌پذیر در برابر شنود داده)  |
|  ══════════════════════════════════════════════════════════════════════  |
|                          │                                               |
|                          ▼                                               |
|                   [ کلاستر نودهای Decode ] (تمرکز بر پهنای باند حافظه)   |
|  * گیگابایت‌ها تانسور محاسباتی شناور در کابل‌ها و سوییچ‌ها جابه‌جا می‌شود.  |
+--------------------------------------------------------------------------+

سازوکار فنی انتقال داده‌های حافظه KV Cache در شبکه

برای درک عمق آسیب‌پذیری، باید نحوه کارکرد سازوکار توجه (Attention Mechanism) در مدل‌های ترنسفورمر را در شرایط توزیع شبکه بررسی کرد. در مدل‌های فقط دی‌کودر، توجه خودکار از طریق سه بردار پرس‌وجو ($Q$)، کلید ($K$) و مقدار ($V$) به دست می‌آید:

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

در طول مرحله Prefill، نود پردازشی کل متن ورودی — شامل اسناد حساس تجاری، کلیدهای دسترسی API، راهنماهای سیستمی و سوابق پایگاه‌های داده — را پردازش می‌کند. این نود ماتریس‌های $K$ و $V$ را برای تمامی لایه‌ها و هدهای توجه ترنسفورمر محاسبه می‌نماید.

در معماری تفکیک‌شده:

۱. تخصیص صفحه‌ای حافظه: موتور استنتاج با استفاده از سازوکارهای صفحه‌بندی (مانند PagedAttention یا ساختارهای درختی Radix) بلوک‌های حافظه کش را آماده می‌کند. ۲. سریال‌سازی و بسته‌بندی: پس از اتمام محاسبات، تانسورهای چندبعدی اعشاری با دقت‌های FP16، BF16 یا مقادیر کوانتایز شده FP8 درون بافرهای انتقال شبکه قرار می‌گیرند. ۳. جابه‌جایی در شبکه: داده‌های بسته‌بندی‌شده از طریق سوکت‌های TCP، جریان‌های gRPC یا پروتکل‌های دسترسی مستقیم حافظه از راه دور (RoCEv2) به نودهای Decode ارسال می‌شوند. ۴. بارگذاری در حافظه Decode: سرور دریافت‌کننده تانسورها را مستقیماً درون حافظه HBM خود تزریق کرده و بدون محاسبه مجدد پرامپت، فرآیند تولید ترتیبی پاسخ را آغاز می‌کند.

از آنجا که پنجره زمینه در پردازش‌های مدرن بین ۳۲ هزار تا ۱۲۸ هزار توکن است، حجم داده‌های کش KV برای یک نشست به چندین گیگابایت می‌رسد. در محیط‌های ابری چندمستاجره (Multi-Tenant)، این ترافیک حجیم دائماً و بدون کوچک‌ترین لایه رمزنگاری از سوییچ‌های فیزیکی شبکه عبور داده می‌شود.

+--------------------------------------------------------------------------+
|                  ساختار بسته شبکه حامل داده‌های KV Cache                 |
+--------------------------------------------------------------------------+
|  [ سربرگ لایه شبکه IP و انتقال (پورت 50051 پروتکل TCP یا بسته RoCE) ]    |
|  [ متادیتای نشست: شناسه درخواست، شناسه مستاجر، طول توالی ورودی ]         |
|  [ شاخص لایه مدل: Layer 0..N-1 | بعد هد توجه: d_k = 128 ]                |
|  [ داده‌های تانسور Key: ماتریس‌های محاسباتی اعداد شناور (BF16 / FP16) ]  |
|  [ داده‌های تانسور Value: ماتریس‌های محاسباتی اعداد شناور (BF16 / FP16) ]|
|  * دارای همبستگی مستقیم ریاضی با فضای برداری توکن‌های متن اصلی           |
+--------------------------------------------------------------------------+

خطرات شنود غیرفعال و حملات معکوس‌سازی پرامپت

برخی بر این تصور نادرست پایبند هستند که داده‌های ماتریسی $K$ و $V$ صرفاً اعدادی نامفهوم هستند و امکان بازتولید متن اصلی از روی آن‌ها وجود ندارد. با این حال، پژوهش‌های امنیتی نوین ثابت کرده‌اند که بازسازی متنی از طریق معکوس‌سازی تانسورها کاملاً قابل اجرا است.

۱. حمله معکوس‌سازی ریاضی توکن‌ها

ماتریس‌های Key و Value در واقع حاصل‌ضرب مستقیم نگاشت خطی بردارهای برانگیختگی مخفی $X$ هستند:

$$K = X W_k, \quad V = X W_v$$

در مدل‌های بنیادین متن‌باز (مانند Llama، Mistral یا Qwen)، وزن‌های این ماتریس‌ها ($W_k, W_v$) به صورت عمومی منتشر شده‌اند. نفوذگری که داده‌های تانسور $K$ و $V$ را در شبکه به دست آورد، می‌تواند با حل معکوس کاذب مور-پنروز (Moore-Penrose Pseudoinverse):

$$\hat{X} \approx K W_k^+ \quad \text{یا} \quad \hat{X} \approx V W_v^+$$

بردار حالت مخفی $\hat{X}$ را استخراج کند. پس از آن، با ضرب این بردار در ماتریس تبدیل لغت‌نامه معکوس مدل ($W_u$) و اعمال تابع Softmax، توکن‌های متن ورودی اصلی با دقتی شگفت‌انگیز بازسازی می‌شوند. در نتیجه، داده‌های فوق‌محرمانه شامل توکن‌های احراز هویت، اطلاعات حقوقی و داده‌های مالی بدون اینکه مهاجم با مدل تعاملی داشته باشد، به طور کامل افشا می‌گردند.

+--------------------------------------------------------------------------+
|             فرآیند بازسازی متن در حمله معکوس‌سازی تانسورها               |
+--------------------------------------------------------------------------+
|  بسته‌های شبکه شنودشده: تانسورهای Key و Value (لایه‌های ۰ تا ۳)          |
|         │                                                                |
|         ▼ (محاسبه معکوس کاذب وزن‌های عمومی مدل W_k+ و W_v+)              |
|  بردار حالت مخفی تخمین‌زده‌شده (\hat{X})                                  |
|         │                                                                |
|         ▼ (ضرب ماتریسی در نگاشت لغت‌نامه مدل W_u)                        |
|  محاسبه توزیع آماری توکن‌ها: Softmax(\hat{X} * W_u)                      |
|         │                                                                |
|         ▼ (استخراج محتمل‌ترین واژگان ورودی)                              |
|  متن بازسازی‌شده: "توکن دسترسی مدیریتی: sk-live-94819..."                |
|  ==> افشای کامل محرمانگی اطلاعات در بستر انتقال داده‌ها                  |
+--------------------------------------------------------------------------+

۲. حمله مسموم‌سازی و ربایش پیشوند کش (Prefix Hijacking)

موتورهای استنتاج پیشرفته برای کاهش محاسبات، حافظه کش پیشوندها (Prefix Caching) را میان کاربرانی که از پرامپت‌های سیستمی مشترک استفاده می‌کنند به اشتراک می‌گذارند.

در شبکه‌ای بدون احراز اصالت:

  • مهاجم مستقر در شبکه داخلی می‌تواند بسته‌های دست‌کاری‌شده KV Cache را به پورت نود Decode ارسال کرده و هش پیشوند مشترک را جعل نماید.
  • با جایگزین کردن تانسورهای سالم با مقادیر مخرب، نفوذگر قادر است پروتکل‌های ایمنی مدل را دور زده، دستورات توهم‌زا تزریق کند و در خروجی پاسخ‌های کلیه کاربران درب‌های پشتی پایداری قرار دهد.

دفاع قطعی: ایجاد انکلاوهای رمزنگاری لایه ۳ با پروتکل WireGuard

استفاده از پروتکل‌های رمزنگاری در سطح برنامه‌های کاربردی (مانند لایه TLS بر روی gRPC یا ابزارهای نرم‌افزاری رمزگذاری داخلی فریم‌ورک‌ها) بار محاسباتی سنگینی به CPU تحمیل کرده، کپی‌های مکرر حافظه ایجاد می‌کند و قابلیت‌های شتاب‌دهنده سخت‌افزاری کارت‌های شبکه را غیرفعال می‌سازد.

راهکار استاندارد و قطعی، اعمال ایزولاسیون رمزنگاری در لایه ۳ (Layer 3) شبکه مستقیماً درون هسته لینوکس و با استفاده از ساختار توری (Mesh) مبتنی بر WireGuard است.

+--------------------------------------------------------------------------+
|         معماری امنیتی: انکلاو رمزنگاری لایه ۳ مبتنی بر WireGuard          |
+--------------------------------------------------------------------------+
|                                                                          |
|   نود پردازش گرافیکی Prefill                                             |
|   - تولید داده‌های ماتریسی KV Cache بر اساس پرامپت                       |
|   - ارسال مستقیم ترافیک به آدرس IP امن نود Decode (10.200.0.2)           |
|                 │                                                        |
|                 ▼                                                        |
|   [کارت شبکه مجازی WireGuard در هسته (wg0) / موتور ChaCha20-Poly1305]    |
|   - اعمال سیاست سخت‌گیرانه Cryptokey Routing (آدرس مبدا: 10.200.0.1)      |
|   - رمزنگاری خطی با حداکثر سرعت در لایه هسته سیستم‌عامل                  |
|                 │                                                        |
|                 ▼ (بسته‌های رمزگذاری‌شده UDP: پورت 51820)                |
|   ====================================================================   |
|        سوییچ‌های فیزیکی شبکه داخلی / بستر ابری مشترک مرکز داده           |
|        (استراق‌سمع‌کننده فقط داده‌های نامفهوم ChaCha20 را دریافت می‌کند)  |
|   ====================================================================   |
|                 │                                                        |
|                 ▼                                                        |
|   [کارت شبکه مجازی WireGuard در نود Decode (wg0)]                        |
|   - احراز اصالت داده‌ها با کد Poly1305 و رمزگشایی سریع در حافظه هسته     |
|   - تحویل مستقیم ترافیک معتبر و امن به نرم‌افزار استنتاج                  |
|                 │                                                        |
|                 ▼                                                        |
|   نود پردازش گرافیکی Decode (بارگذاری امن داده‌ها در حافظه HBM)          |
|                                                                          |
+--------------------------------------------------------------------------+

۱. مسیریابی با کلید رمزنگاری (Cryptokey Routing) و پیوند به درگاه‌ها

الگوی Cryptokey Routing در پروتکل WireGuard تضمین‌های امنیتی غیرقابل‌نقضی را برای کلاسترهای هوش مصنوعی فراهم می‌آورد:

  • تطبیق هویتی پایدار: هر نود در کلاستر یک جفت‌کلید بر پایه Curve25519 تولید می‌کند. رابط مجازی wg0 آدرس‌های مجاز IP را مستقیماً به کلیدهای عمومی هر نود الصاق می‌نماید.
  • جلوگیری از جعل بسته‌ها: اگر یک میزبان غیرمجاز تلاش کند تانسورهای ساختگی به شبکه تزریق نماید، هسته سیستم‌عامل فوراً بسته را به دلیل عدم تطابق امضای دیجیتال دور می‌ریزد.
  • معماری بدون کپی (Zero-Copy): پروتکل WireGuard درون پشته شبکه هسته لینوکس پردازش می‌شود و هیچ‌گونه هزینه انتقال بستر میان فضای کاربر و فضای هسته ندارد؛ در نتیجه پهنای باند شبکه در سطحی نزدیک به خطوط فیزیکی باقی می‌ماند.

۲. مسدودسازی ترافیک خروجی و تفکیک دسترسی با nftables

برای اطمینان از اینکه هیچ سرور پردازشی قادر به انتقال ناخواسته داده‌های کش به شبکه‌های عمومی بیرونی نباشد، مدیران شبکه دیواره‌های آتش قدرتمندی با استفاده از nftables برپا می‌کنند:

# ایجاد جدول اختصاصی ایزولاسیون برای کلاستر محاسباتی هوش مصنوعی
# محدودسازی کل ارتباطات بین سرورها منحصراً به رابط رمزگذاری‌شده wg0
nft add table inet ai_enclave
nft add chain inet ai_enclave forward { type filter hook forward priority 0; policy drop; }

# مجاز دانستن انتقال بسته‌های تانسور KV Cache میان نودهای احراز هویت شده
nft add rule inet ai_enclave forward iifname "wg0" oifname "wg0" ip saddr 10.200.0.0/24 ip daddr 10.200.0.0/24 accept

# مسدودسازی کامل هرگونه تلاش برای اتصال مستقیم به اینترنت عمومی
nft add rule inet ai_enclave forward iifname "wg0" oifname "wan" drop

# بستن تمامی درگاه‌های فیزیکی کارت شبکه به جز پورت تبادل کلید WireGuard
nft add chain inet ai_enclave input { type filter hook input priority 0; policy drop; }
nft add rule inet ai_enclave input iifname "eth0" udp dport 51820 accept
nft add rule inet ai_enclave input iifname "lo" accept

۳. محافظت از کانال‌های مدیریت و پایش عملکرد

علاوه بر داده‌های مربوط به حافظه تانسورها، کلاسترهای بزرگ پردازش هوش مصنوعی دارای سرویس‌های حساسی مانند Ray Core، پورت‌های Kubernetes و پیشخوان‌های دریافت آماری Prometheus هستند. قرار گرفتن این درگاه‌ها روی شبکه اشتراکی، امکان نفوذ جانبی را به وجود می‌آورد.

با انتقال تمامی پروتکل‌های کنترلی و مانیتورینگ به شبکه‌های خصوصی مجزا، زیرساخت مدیریتی از بستر شبکه فیزیکی کاملاً جدا شده و خطر حرکت جانبی مهاجمان از بین می‌رود.

مقایسه راهکارهای امنیتی در زیرساخت‌های توزیع‌شده هوش مصنوعی

بررسی روش‌های مقابله با شنود داده‌ها در سیستم‌های تفکیک‌شده هوش مصنوعی نشان‌دهنده تفاوت‌های جدی در عملکرد و سادگی پیکربندی است:

بعد ارزیابی انتقال شبکه متن باز و بدون محافظت رمزنگاری لایه نرم‌افزاری TLS شبکه توری لایه ۳ پروتکل WireGuard
سطح محرمانگی داده‌ها فاقد امنیت؛ داده‌ها آشکارا در شبکه قرار دارند تأمین امنیت در صورت صحت گواهی‌ها حفاظت رمزنگاری سخت با الگوریتم ChaCha20
مقاومت در برابر حمله معکوس بسیار آسیب‌پذیر و پرخطر محافظت کامل در صورت عدم نشت کلید ایمنی صددرصدی در سطح بسته شبکه
پهنای باند و تأخیر ارتباطی سرعت خطی کامل اما ناامن افت محسوس سرعت به دلیل پردازش در فضای کاربر دستیابی به سرعت خطی شبکه در فضای هسته
دفاع در برابر جعل پیشوند ناتوان در برابر تزریق بسته‌های فریبنده متکی بر ارزیابی زنجیره گواهی نرم‌افزار مهار قاطع در لایه هسته با Cryptokey Routing
هزینه مهندسی و پیاده‌سازی بدون نیاز به پیکربندی نیازمند تغییرات اساسی در کد منبع موتور هوش مصنوعی پیاده‌سازی شفاف؛ بدون تغییر کدهای مدل

تفکیک فازهای پردازشی مدل‌های زبانی مزایای اقتصادی و عملیاتی چشم‌گیری برای زیرساخت‌های محاسباتی به ارمغان می‌آورد. با این حال، انتقال حافظه ترنسفورمرها به کابل‌های شبکه، ابعاد تازه‌ای از تهدیدات امنیتی را نمایان ساخته است. اجرای تدابیر جداسازی رمزنگاری لایه ۳ پایه‌ای‌ترین گام در صیانت از داده‌های تجاری و تضمین استمرار ایمن خدمات هوش مصنوعی به شمار می‌رود.

دریافت VPNRice.