Việc triển khai các mô hình ngôn ngữ lớn (LLM) trong môi trường doanh nghiệp quy mô lớn đang tạo ra một bước chuyển dịch căn bản về thiết kế hệ thống phân tán. Kiến trúc suy luận nguyên khối truyền thống — nơi một máy chủ GPU duy nhất phải đảm nhiệm cả khâu nạp dữ liệu đầu vào (prefill) lẫn khâu sinh chuỗi ký tự (decode) — bộc lộ sự thiếu hiệu quả rõ rệt về tài nguyên phần cứng. Giai đoạn prefill phụ thuộc hoàn toàn vào năng lực tính toán dấu phẩy động (compute-bound) của các nhân Tensor Core, trong khi giai đoạn decode lại bị nghẽn bởi băng thông bộ nhớ (memory-bandwidth-bound) và độ trễ truy xuất HBM.

Để tối ưu hóa hiệu suất phần cứng GPU và giảm thiểu thời gian phản hồi ký tự đầu tiên (TTFT) cùng độ trễ giữa các token (ITL), các hệ thống phục vụ suy luận tiên tiến đã chuyển sang kiến trúc phân tách tài nguyên (Disaggregated Serving). Trong các hệ thống như DistServe, Mooncake hay vLLM v1, các nút xử lý prefill và các nút decode được bố trí trên các cụm máy chủ vật lý riêng biệt, trao đổi dữ liệu với nhau qua mạng cục bộ nội bộ tốc độ cao.

Tuy nhiên, sự chia tách này mở ra một bề mặt tấn công an ninh mạng nghiêm trọng nhưng ít được chú ý: lưu lượng truyền tải các khối đệm Khóa - Giá trị (Key-Value Cache hay KV Cache) hoàn toàn không được mã hóa giữa các máy chủ trong cụm. Khi hàng gigabyte ma trận chú ý (attention matrices) trôi nổi tự do ở dạng bản rõ (plaintext) trên hạ tầng mạng nội bộ, kẻ tấn công hoặc các vùng chứa độc hại cùng mạng có thể nghe lén, khôi phục lại toàn bộ prompt nhạy cảm của người dùng và chiếm quyền điều khiển phiên xử lý. Giải pháp bảo vệ triệt để đòi hỏi cơ chế cô lập mật mã học tất định ở Lớp 3 (Layer 3).

+--------------------------------------------------------------------------+
|       So sánh Kiến trúc Suy luận LLM Nguyên khối và Cụm Phân tách        |
+--------------------------------------------------------------------------+
|  KIẾN TRÚC NGUYÊN KHỐI (Chung máy chủ GPU):                              |
|  Câu lệnh người dùng ──> [ Nút GPU: Pha Prefill ──> Bộ nhớ HBM cục bộ ]  |
|                                                          │               |
|                                                          ▼               |
|                          [ Pha Decode tạo token từ bộ nhớ HBM cục bộ ]   |
|  * Toàn bộ KV Cache nằm trọn trong HBM vật lý hoặc đường bus NVLink.     |
+--------------------------------------------------------------------------+
|  KIẾN TRÚC PHÂN TÁCH (Các cụm máy chủ tách biệt qua mạng vật lý):        |
|  Câu lệnh người dùng ──> [ Cụm nút Prefill ] (Tập trung năng lực tính)   |
|                                 │                                        |
|                                 ▼ Dữ liệu thô KV Cache (TCP / RoCEv2)    |
|  ══════════════════════════════════════════════════════════════════════  |
|      HẠ TẦNG MẠNG CỤM NỘI BỘ KHÔNG MÃ HÓA (Dễ bị nghe lén & bắt gói)     |
|  ══════════════════════════════════════════════════════════════════════  |
|                                 │                                        |
|                                 ▼                                        |
|                          [ Cụm nút Decode ] (Tối ưu băng thông bộ nhớ)   |
|  * Hàng gigabyte dữ liệu prompt dạng số thực trôi nổi trên switch mạng.  |
+--------------------------------------------------------------------------+

Cơ chế truyền tải bộ đệm KV Cache trong mạng cụm phân tách

Để đánh giá đúng mức độ nghiêm trọng của lỗ hổng, cần phân tích cơ chế tính toán sự chú ý (attention mechanism) của mô hình Transformer trong quá trình suy luận. Cơ chế tự chú ý xác định trọng số liên kết giữa các token thông qua ba phép chiếu đại số: Truy vấn ($Q$), Khóa ($K$) và Giá trị ($V$):

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

Trong pha prefill, cụm máy chủ xử lý toàn bộ ngữ cảnh đầu vào — thường bao gồm hàng chục ngàn token chứa dữ liệu kinh doanh, tài liệu nội bộ, thông tin danh tính, mã nguồn phần mềm hoặc khóa API. Máy chủ prefill tính toán các ma trận $K$ và $V$ tương ứng cho từng tầng transformer và từng đầu chú ý (attention head).

Trong kiến trúc phân tách:

  1. Phân bổ trang nhớ: Động cơ suy luận cấp phát các khối nhớ KV logic thông qua kỹ thuật phân trang (như PagedAttention hoặc cây Radix).
  2. Tuần tự hóa và đóng gói: Hoàn tất tính toán prefill, nút gửi đóng gói các mảng tensor đa chiều dưới định dạng FP16, BF16 hoặc các định dạng lượng tử hóa FP8/INT4 vào bộ đệm mạng.
  3. Truyền dẫn liên nút: Dữ liệu KV Cache được truyền tải tới các nút decode thông qua kết nối socket TCP, luồng gRPC hoặc giao thức truy cập bộ nhớ từ xa RoCEv2 (RDMA over Converged Ethernet).
  4. Nạp bộ nhớ giải mã: Nút decode nhận gói tin, nạp trực tiếp các tensor vào bộ nhớ HBM cục bộ và bắt đầu sinh token tự hồi quy từng bước mà không cần tính toán lại dữ liệu ban đầu.

Do ngữ cảnh prompt của các ứng dụng hiện đại thường đạt từ 32.000 đến 128.000 token, dung lượng KV Cache cho một phiên làm việc có thể lên tới vài gigabyte. Trong môi trường đám mây đa người thuê (multi-tenant), các luồng dữ liệu khổng lồ này liên tục di chuyển qua các switch vật lý Top-of-Rack (ToR) mà hoàn toàn không có bất kỳ lớp bảo vệ mật mã nào.

+--------------------------------------------------------------------------+
|                     Cấu trúc Gói tin KV Cache Phân tách                  |
+--------------------------------------------------------------------------+
|  [ Tiêu đề mạng IP / Giao vận (Cổng TCP 50051 / Tiêu đề RoCE QP) ]       |
|  [ Siêu dữ liệu phiên: Mã yêu cầu (Request ID), Mã Tenant, Độ dài chuỗi] |
|  [ Chỉ số tầng (Layer Index: 0..N-1) | Chiều đầu chú ý (d_k = 128) ]     |
|  [ Dữ liệu Tensor Key: Ma trận số thực dấu phẩy động (BF16 / FP16) ]     |
|  [ Dữ liệu Tensor Value: Ma trận số thực dấu phẩy động (BF16 / FP16) ]   |
|  * Tương quan toán học cực cao với không gian nhúng từ ngữ ban đầu       |
+--------------------------------------------------------------------------+

Hiểm họa nghe lén thụ động và tấn công đảo ngược Prompt

Nhiều kỹ sư nhầm tưởng rằng các tensor $K$ và $V$ chỉ là những con số vô nghĩa không thể giải mã lại thành văn bản gốc. Tuy nhiên, các nghiên cứu an toàn AI gần đây đã chứng minh điều ngược lại thông qua tấn công đảo ngược tensor chú ý.

1. Tấn công đảo ngược ma trận để trích xuất văn bản gốc

Các tensor Key và Value thực chất là phép chiếu tuyến tính từ trạng thái ẩn của câu lệnh gốc $X$:

$$K = X W_k, \quad V = X W_v$$

Với các mô hình nền tảng mã nguồn mở phổ biến (như Llama, Mistral hay Qwen), các ma trận trọng số chiếu ($W_k, W_v$) là dữ liệu công khai. Kẻ tấn công thu thập được các gói tin chứa tensor $K$ và $V$ có thể thiết lập bài toán tối ưu hóa ma trận nghịch đảo giả (Moore-Penrose pseudoinverse):

$$\hat{X} \approx K W_k^+ \quad \text{hoặc} \quad \hat{X} \approx V W_v^+$$

Sau khi thu được vector trạng thái ẩn ước tính $\hat{X}$, kẻ tấn công chỉ cần nhân nghịch đảo với ma trận giải nhúng từ vựng (unembedding matrix $W_u$) để tìm lại phân phối xác suất của từng token. Kết quả là toàn bộ câu lệnh tự nhiên ban đầu — bao gồm bí mật thương mại, mật khẩu, hồ sơ y tế hay dữ liệu cá nhân — bị tái tạo chuẩn xác mà không cần truy cập trực tiếp vào giao diện của mô hình.

+--------------------------------------------------------------------------+
|             Quy trình Tấn công Đảo ngược Tensor Chú ý (Inversion)        |
+--------------------------------------------------------------------------+
|  Gói tin mạng bị nghe lén: Tensor Khóa/Giá trị (Tầng 0 đến 3)            |
|         │                                                                |
|         ▼ (Áp dụng nghịch đảo ma trận trọng số công khai W_k+, W_v+)     |
|  Vector trạng thái ẩn được tái tạo (\hat{X})                             |
|         │                                                                |
|         ▼ (Nhân với ma trận từ điển giải nhúng W_u)                      |
|  Tính toán phân phối xác suất từ vựng: Softmax(\hat{X} * W_u)            |
|         │                                                                |
|         ▼ (Trích xuất token có xác suất cao nhất)                        |
|  Văn bản phục hồi: "Mã token quản trị nội bộ: sk-live-94819..."          |
|  ==> Dữ liệu bí mật bị lộ hoàn toàn ngay trên đường truyền mạng           |
+--------------------------------------------------------------------------+

2. Tấn công chiếm quyền tiền tố bộ nhớ đệm (Prefix Hijacking)

Các hệ thống tối ưu hóa cao thường chia sẻ bộ nhớ đệm tiền tố (prefix caching) cho nhiều người dùng có chung câu lệnh chỉ thị hệ thống (system prompt).

Trong hạ tầng mạng không có xác thực nguồn gốc:

  • Kẻ tấn công trên cùng phân đoạn mạng có thể chèn các gói tin KV Cache giả mạo vào luồng nhận của nút decode, giả mạo mã băm nhận diện của tiền tố dùng chung.
  • Bằng cách thay thế tiền tố hợp lệ bằng các tensor độc hại, kẻ tấn công làm sai lệch hành vi an toàn của mô hình, cài cắm các chỉ thị ảo giác hoặc tạo cửa sau bền vững cho các phản hồi kế tiếp của mọi người dùng trong hệ thống.

Giải pháp phòng thủ: Thiết lập mạng mật mã WireGuard ở Lớp 3

Việc mã hóa ở tầng ứng dụng (như bọc TLS bên ngoài kết nối gRPC hoặc tự phát triển cơ chế bắt tay mã hóa bên trong động cơ AI) gây suy giảm nghiêm trọng hiệu năng xử lý, tiêu tốn năng lực CPU và không tương thích tốt với các card mạng hỗ trợ tăng tốc phần cứng.

Giải pháp tối ưu và triệt để nhất là thiết lập mạng lưới cô lập mật mã học ở Lớp 3 (Layer 3) trực tiếp bên trong nhân hệ điều hành Linux thông qua kiến trúc WireGuard kiên cố.

+--------------------------------------------------------------------------+
|          Kiến trúc Bảo vệ: Vùng an toàn Mạng WireGuard Lớp 3             |
+--------------------------------------------------------------------------+
|                                                                          |
|   Nút GPU Prefill                                                        |
|   - Tạo khối dữ liệu KV Cache từ câu lệnh đầu vào                        |
|   - Gửi dữ liệu tới địa chỉ IP của nút Decode (10.200.0.2)               |
|                 │                                                        |
|                 ▼                                                        |
|   [Giao diện WireGuard trong nhân (wg0) / Động cơ ChaCha20-Poly1305]     |
|   - Cưỡng chế định tuyến khóa mật mã Cryptokey Routing (Nguồn: 10.200.0.1|
|   - Mã hóa gói tin ở tốc độ đường truyền trực tiếp trong kernel          |
|                 │                                                        |
|                 ▼ (Gói tin UDP mã hóa: Cổng 51820)                       |
|   ====================================================================   |
|         HẠ TẦNG SWITCH VẬT LÝ / MẠNG XƯƠNG SỐNG ĐÁM MÂY CHUNG            |
|         (Kẻ nghe lén chỉ thấy dòng dữ liệu ChaCha20 ngẫu nhiên)          |
|   ====================================================================   |
|                 │                                                        |
|                 ▼                                                        |
|   [Giao diện WireGuard trên nút Decode (wg0)]                            |
|   - Xác thực mã toàn vẹn Poly1305 và giải mã trong bộ nhớ nhân           |
|   - Bàn giao luồng KV Cache nguyên bản an toàn cho động cơ suy luận      |
|                 │                                                        |
|                 ▼                                                        |
|   Nút GPU Decode (Nạp dữ liệu vào bộ nhớ HBM an toàn)                    |
|                                                                          |
+--------------------------------------------------------------------------+

1. Định tuyến khóa mật mã (Cryptokey Routing) và liên kết giao diện

Mô hình Cryptokey Routing của WireGuard mang lại các bảo đảm an ninh quan trọng cho các cụm AI phân tán:

  • Gắn kết danh tính bất biến: Mỗi nút máy chủ prefill và decode sở hữu một cặp khóa bất đối xứng Curve25519. Giao diện mạng wg0 ánh xạ trực tiếp dải IP được phép với khóa công khai tương ứng.
  • Ngăn chặn giả mạo gói tin: Nếu bất kỳ nút lạ nào tìm cách bơm các tensor KV giả mạo hoặc giả mạo địa chỉ IP nguồn, nhân hệ điều hành sẽ lập tức loại bỏ gói tin vì không khớp với chữ ký mật mã đã thiết lập.
  • Hiệu năng không sao chép (Zero-Copy): WireGuard hoạt động trực tiếp trong ngăn xếp mạng của Linux kernel, loại bỏ hoàn toàn chi phí chuyển đổi ngữ cảnh giữa không gian người dùng và nhân. Khi kết hợp với các card mạng hỗ trợ tăng tốc UDP, lưu lượng truyền tải đạt mức tối đa của đường truyền vật lý.

2. Thiết lập chính sách lọc gói và phân vùng cụm máy chủ

Để ngăn chặn triệt để tình trạng máy chủ AI bị điều khiển để trích xuất dữ liệu ra ngoài Internet, quản trị viên áp dụng chính sách tường lửa nghiêm ngặt bằng công cụ nftables:

# Thiết lập bảng bảo vệ riêng cho cụm suy luận AI
# Cách ly toàn bộ lưu lượng tính toán chỉ đi qua giao diện WireGuard (wg0)
nft add table inet ai_enclave
nft add chain inet ai_enclave forward { type filter hook forward priority 0; policy drop; }

# Cho phép trao đổi dữ liệu KV Cache giữa các nút máy chủ đã xác thực
nft add rule inet ai_enclave forward iifname "wg0" oifname "wg0" ip saddr 10.200.0.0/24 ip daddr 10.200.0.0/24 accept

# Chặn hoàn toàn mọi nỗ lực kết nối ra ngoài Internet từ cụm máy chủ AI
nft add rule inet ai_enclave forward iifname "wg0" oifname "wan" drop

# Khóa chặt các cổng vật lý, chỉ cho phép luồng bắt tay WireGuard hợp lệ
nft add chain inet ai_enclave input { type filter hook input priority 0; policy drop; }
nft add rule inet ai_enclave input iifname "eth0" udp dport 51820 accept
nft add rule inet ai_enclave input iifname "lo" accept

3. Bảo vệ các kênh điều khiển và giám sát cụm

Ngoài các luồng truyền tải KV Cache, các cụm máy chủ AI phân tán còn duy trì các kênh liên lạc điều khiển (như Ray Core, API Kubernetes hoặc các cổng thu thập số liệu Prometheus). Việc để lộ các dịch vụ này trên mạng nội bộ mở sẽ tạo cơ hội cho kẻ tấn công thăm dò cấu trúc cụm, tải các bản lưu trạng thái (checkpoints) hoặc thay đổi bảng định tuyến.

Bằng cách đưa toàn bộ lưu lượng quản trị và kiểm tra tình trạng dịch vụ vào các đường truyền mạng riêng biệt, các kênh quản trị được tách biệt hoàn toàn khỏi hạ tầng vật lý bên dưới, triệt tiêu mọi khả năng tấn công leo thang ngang.

Bảng so sánh phương án: Mã hóa ứng dụng so với Cô lập Lớp 3

Đánh giá các phương án bảo vệ cho hệ thống AI phân tách cho thấy sự khác biệt rõ nét về hiệu năng, độ phức tạp và khả năng phòng thủ:

Tiêu chí đánh giá Truyền tải bản rõ không mã hóa Mã hóa TLS tại tầng ứng dụng Mạng mật mã WireGuard Lớp 3
Tính bảo mật dữ liệu Không có; dữ liệu lộ hoàn toàn trên mạng Được bảo vệ bởi lớp bọc TLS Bảo vệ mật mã học bằng ChaCha20
Chống tấn công đảo ngược Cực kỳ nguy hiểm; dễ bị giải mã prompt Bảo vệ tốt nếu chứng chỉ an toàn Bảo vệ toàn diện; không thể trích xuất tensor
Băng thông và độ trễ Tốc độ tối đa nhưng không an toàn Độ trễ cao do sao chép bộ nhớ nhiều lần Đạt gần tốc độ đường truyền vật lý
Chống giả mạo tiền tố Hoàn toàn bất lực trước gói tin giả Phụ thuộc vào việc kiểm tra chứng chỉ Cưỡng chế tại tầng nhân bởi Cryptokey Routing
Độ phức tạp triển khai Không cần cấu hình Phải sửa đổi mã nguồn phần mềm suy luận Trong suốt; không cần can thiệp mã nguồn AI

Kiến trúc phân tách cụm suy luận LLM mang lại hiệu quả kinh tế vượt trội trong việc tối ưu hóa tài nguyên phần cứng GPU. Tuy nhiên, việc đưa đường ống bộ nhớ của mô hình Transformer qua mạng vật lý đòi hỏi một tư duy phòng thủ kiên cố. Áp dụng cơ chế cô lập mật mã học tất định ở Lớp 3 là nền tảng cốt lõi giúp các doanh nghiệp vừa khai thác tối đa sức mạnh của AI tạo sinh, vừa bảo vệ toàn vẹn dữ liệu nhạy cảm.

Tải VPNRice.