Sự bùng nổ của các hạ tầng phục vụ mô hình ngôn ngữ lớn (LLM) đa người dùng đã thúc đẩy các công cụ thực thi suy luận—như vLLM, TensorRT-LLM hay SGLang—áp dụng các cơ chế tối ưu hóa lập lịch rất mạnh mẽ. Để khai thác tối đa công suất tính toán đắt đỏ của các cụm GPU hiện đại (như NVIDIA H100 và B200), các hệ thống phục vụ triển khai kỹ thuật Gom cụm liên tục (Continuous Batching) kết hợp với Chia nhỏ giai đoạn nạp trước (Chunked Prefill).

Mặc dù các kỹ thuật này gia tăng đáng kể hiệu suất xử lý và triệt tiêu tình trạng nghẽn độ trễ khi nạp các chuỗi prompt dài, chúng lại vô tình tạo ra một lỗ hổng kiến trúc nghiêm trọng: xung đột thực thi chéo giữa các bên thuê tài nguyên (cross-tenant interference). Trong môi trường đám mây dùng chung nơi nhiều doanh nghiệp cùng gửi truy vấn vào một phiên bản máy chủ LLM, kẻ tấn công có thể đo lường độ dao động thời gian ở mức micro-giây để tái dựng chính xác độ dài prompt riêng tư và các ranh giới chỉ dẫn hệ thống bí mật. Để loại trừ kênh phụ nguy hiểm này, các kỹ sư cần phối hợp cơ chế đệm thời gian cố định và mã hóa mạng lưới với VPNRice.

Cơ chế hoạt động của Chunked Prefill và Continuous Batching trong AI

Trong các hệ thống gom cụm truyền thống, công cụ suy luận gom các yêu cầu tĩnh lại với nhau. Một truy vấn mới phải đợi cho đến khi toàn bộ các chuỗi đang chạy hoàn thành sinh từ, khiến GPU bị lãng phí năng lượng nghiêm trọng ở pha giải mã. Cơ chế Continuous Batching giải quyết vấn đề này bằng cách vận hành ở cấp độ từng lượt lặp (iteration-level): sau mỗi bước tính toán xuôi (forward pass), các chuỗi hoàn thành sẽ được đẩy ra ngoài và các truy vấn mới lập tức được bổ sung vào lô xử lý.

Tuy nhiên, có một sự bất đối xứng sâu sắc giữa hai giai đoạn suy luận của mô hình transformer:

  • Giai đoạn Prefill (Đánh giá Prompt ban đầu): Xử lý phụ thuộc nặng vào năng lực tính toán thuần túy (compute-bound), nơi toàn bộ chuỗi đầu vào được tính toán song song để khởi tạo bộ đệm Key-Value (KV cache).
  • Giai đoạn Decode (Sinh từng Token tiếp theo): Xử lý phụ thuộc nặng vào băng thông bộ nhớ (memory-bandwidth-bound), nơi từng token được sinh tuần tự, đòi hỏi đọc liên tục từ bộ nhớ băng thông cao (HBM).
+-------------------------------------------------------------------------+
|                  Quy trình lập lịch Chunked Prefill                     |
|                                                                         |
|  Chuỗi Prompt của người dùng gửi đến:                                   |
|    Yêu cầu A (Mục tiêu): [================ 2048 Tokens ================] |
|    Yêu cầu B (Kẻ tấn công): [= 128 Tokens =]                            |
|                                                                         |
|  Bộ lập lịch chia nhỏ (Kích thước Chunk = 512 Tokens):                  |
|  +-------------------------------------------------------------------+  |
|  | Lượt lặp 1: [Req A: Chunk 1 (512)] + [Req B: Decode Token 1]      |  |
|  | Lượt lặp 2: [Req A: Chunk 2 (512)] + [Req B: Decode Token 2]      |  |
|  | Lượt lặp 3: [Req A: Chunk 3 (512)] + [Req B: Decode Token 3]      |  |
|  | Lượt lặp 4: [Req A: Chunk 4 (512)] + [Req B: Decode Token 4]      |  |
|  | Lượt lặp 5: [Req A: Decode Token 1] + [Req B: Decode Token 5]     |  |
|  +-------------------------------------------------------------------+  |
|                                                                         |
|  Quan sát độ trễ tại phía máy khách của kẻ tấn công:                    |
|  Độ trễ giữa các Token (ITL) cho Token 1-4: ~42ms (Xung đột tính toán)  |
|  Độ trễ giữa các Token (ITL) từ Token 5+:   ~11ms (Decode thuần túy)    |
+-------------------------------------------------------------------------+

Khi một prompt lớn xuất hiện, nếu hệ thống tính toán toàn bộ prefill trong một lượt duy nhất, việc sinh từ của tất cả các phiên khác sẽ bị đình trệ, gây ra sự trồi sụt nghiêm trọng về thời gian phản hồi token đầu tiên (TTFT) và độ trễ giữa các token (ITL).

Kỹ thuật Chunked Prefill khắc phục tình trạng này bằng cách chia prompt dài thành các khối đồng nhất (ví dụ 512 token). Trong mỗi chu kỳ lập lịch, hệ thống phân bổ một hạn mức token tối đa (ví dụ 2048 token) và xếp các khối prefill chạy song song với các token decode thông thường. Kết quả là cả hai tác vụ cùng chia sẻ tài nguyên vi xử lý SM (Streaming Multiprocessors) và tensor core trên GPU.

Khai thác xung đột tính toán GPU và độ trễ trồi sụt giữa các Token

Do các đơn vị xử lý GPU, hệ thống bộ đệm L2 và các kênh bộ nhớ HBM bị chia sẻ vật lý giữa các yêu cầu trong cùng một lô, việc thực thi một khối prefill nặng nề sẽ làm chậm đáng kể quá trình giải mã của các token đồng thời trong cùng một bước forward pass.

Một kẻ tấn công đóng vai trò người dùng bình thường trên hệ thống đám mây có thể khai thác sự cạnh tranh tài nguyên này bằng các lượt đo lường độ trễ từ phía máy khách:

  1. Đo đạc độ trễ cơ sở: Kẻ tấn công gửi các truy vấn mẫu ngắn để đo độ trễ sinh từ cơ bản (ITL chuẩn) khi GPU chỉ thực hiện thuần decode (thường rơi vào khoảng 10-12 ms mỗi token trên cụm H100).
  2. Bơm luồng thăm dò liên tục: Kẻ tấn công duy trì một luồng sinh token liên tục qua giao thức Server-Sent Events (SSE) và ghi nhận mốc thời gian phản hồi với độ chính xác micro-giây.
  3. Phát hiện xung đột tài nguyên: Khi một bên thuê khác gửi vào một prompt bí mật, bộ lập lịch sẽ phân tách prompt đó thành nhiều khối prefill chạy qua nhiều lượt lặp liên tiếp. Trong suốt các lượt lặp này, độ trễ ITL mà kẻ tấn công quan sát được sẽ tăng vọt từ mức chuẩn (11 ms) lên ngưỡng cao bất thường (40-45 ms).
  4. Lượng tử hóa độ dài: Do kích thước khối chunk được cấu hình cố định trong máy chủ suy luận, số lượng chu kỳ trễ cao liên tiếp phản ánh chính xác số lượng khối chunk cần thiết để xử lý prompt của nạn nhân.
+-------------------------------------------------------------------------+
|                  Phân tích tín hiệu dao động độ trễ Token               |
|                                                                         |
|  Độ trễ ITL ghi nhận bởi kẻ tấn công (Mili-giây)                        |
|   50ms +                                                                |
|        |      +-------+-------+-------+-------+                         |
|   40ms |      | Lần 1 | Lần 2 | Lần 3 | Lần 4 |                         |
|        |      | (A_1) | (A_2) | (A_3) | (A_4) |                         |
|   20ms |      |       |       |       |       |                         |
|        |------+       |       |       |       +----------------------   |
|   10ms | Chuẩn|       |       |       |       | Trở về độ trễ cơ sở     |
|    0ms +-------------------------------------------------------------   |
|        Token: 1       2       3       4       5       6       7       8 |
|                                                                         |
|  Tín hiệu giải mã:                                                      |
|    Số lượt lặp có độ trễ cao (K) = 4 chu kỳ                             |
|    Kích thước khối Chunk cấu hình (C) = 512 tokens                      |
|    Ước tính độ dài Prompt mục tiêu  = (K - 1) * C < Độ dài <= K * C     |
|                                     = Từ 1537 đến 2048 Tokens           |
+-------------------------------------------------------------------------+

Bằng cách theo dõi biến thiên thời gian, kẻ tấn công đo lường được quy mô khối lượng công việc của người dùng khác mà không cần quyền quản trị hay can thiệp vào bộ nhớ máy chủ.

Tái tạo độ dài Prompt và ranh giới ngữ cảnh hệ thống của người dùng khác

Hệ quả của việc rò rỉ độ dài prompt không chỉ dừng lại ở các con số thống kê hiệu năng thuần túy. Trong các ứng dụng AI thương mại, độ dài prompt mang ý nghĩa ngữ nghĩa rất lớn:

  • Lộ diện chỉ dẫn hệ thống ẩn (System Prompt): Các ứng dụng doanh nghiệp thường bí mật gắn thêm các hướng dẫn điều hướng, quy chuẩn kiểm duyệt hoặc các mẫu lý luận độc quyền trước câu hỏi của người dùng. Nếu kẻ tấn công theo dõi lượng token qua các vai trò người dùng, sự thay đổi đột ngột về số khối chunk sẽ tiết lộ cấu trúc của các chỉ dẫn nội bộ.
  • Suy đoán tài liệu mật trong RAG: Trong quy trình tăng cường truy xuất (Retrieval-Augmented Generation), kích thước ngữ cảnh tỷ lệ thuận với số lượng và độ dài tài liệu mật được trích xuất. Sự gia tăng token phản ánh chính xác người dùng đang truy vấn trúng hồ sơ nội bộ bí mật hay nhận kết quả rỗng.
  • Theo dõi tiến trình đàm thoại: Trong các phiên trò chuyện liên tục, tổng độ dài tích lũy phơi bày diễn biến cuộc trao đổi, hỗ trợ kẻ theo dõi nhận biết thời điểm phát sinh các giao dịch nhạy cảm.

Khi kết hợp với kỹ thuật giải mã phỏng đoán (Speculative Decoding) hoặc định thời lưu bộ đệm prompt, kênh phụ lập lịch này giúp tin tặc kiểm tra xem một đoạn văn bản mục tiêu có nằm trong prompt của nạn nhân hay không.

Lỗ hổng suy luận phân tán trên hạ tầng mạng kết nối giữa các Node

Để vận hành các mô hình tham số khổng lồ (như Llama-3 405B hay Mixtral 8x22B), hạ tầng AI ngày nay tách rời giai đoạn prefill và decode ra các node GPU riêng biệt—đây là mô hình Suy luận Phân tán (Disaggregated Inference).

Trong mô hình này:

  1. Node Prefill: Cụm GPU chuyên dụng tính toán ma trận KV cache với năng lực xử lý song song cực cao.
  2. Node Decode: Các node tối ưu bộ nhớ nhận bộ đệm KV cache và sinh token tuần tự.
  3. Truyền tải KV Cache qua mạng: Dữ liệu tensor KV cache khổng lồ (thường đạt nhiều gigabyte mỗi giây) được truyền qua mạng cụm máy chủ thông qua giao thức RoCEv2 hoặc TCP.
+-------------------------------------------------------------------------+
|              Rò rỉ dữ liệu trên hạ tầng mạng cụm máy chủ phân tán       |
|                                                                         |
|  [ Node xử lý Prefill ]                       [ Node xử lý Decode ]     |
|    +----------------------+                     +---------------------+ |
|    | Tính toán KV Cache   |                     | Giải mã sinh Token  | |
|    +----------------------+                     +---------------------+ |
|               |                                            ^            |
|               | Luồng truyền KV Cache qua RoCEv2 / TCP     |            |
|               v (Hàng Gigabyte Tensor chạy qua mạng cáp)   |            |
|  =====================================================================  |
|  [ Thiết bị chuyển mạch ToR / Hạ tầng mạng nội bộ ]                     |
|    - Gói tin KV Cache không mã hóa di chuyển qua switch ToR             |
|    - Kích thước gói và độ dài đợt phát xung làm lộ kích thước Tensor   |
|    - Kẻ tấn công bắt gói tin mạng để lập hồ sơ tác vụ của người dùng    |
+-------------------------------------------------------------------------+

Nếu các liên kết mạng nội bộ cụm máy chủ thiếu cơ chế mã hóa, độ dài các xung truyền gói tin và thời gian truyền tải qua switch ToR sẽ bộc lộ chính xác kích thước của các tensor KV được chuyển giao. Kẻ tấn công cùng thuê tài nguyên trong trung tâm dữ liệu có thể theo dõi lưu lượng mạng giữa các pod để phân tích kênh phụ, né tránh các lớp kiểm soát bảo mật ứng dụng.

Cô lập phần cứng và đóng gói hạt nhân WireGuard để phòng thủ toàn diện

Để triệt tiêu các kênh phụ lập lịch và rò rỉ mạng trong môi trường LLM đa người dùng, kiến trúc bảo mật cần kết hợp chuẩn hóa giải thuật lập lịch với đóng gói mã hóa ở tầng mạng.

+-------------------------------------------------------------------------+
|         Kiến trúc kết hợp cô lập phần cứng và hạt nhân WireGuard        |
|                                                                         |
|  [ Cụm GPU chia sẻ đa người dùng ]                                      |
|    +-----------------------------------------------------------------+  |
|    | Cơ chế chia lát phần cứng MIG / Đệm thời gian lượt lặp cố định  |  |
|    | - Hạn mức Chunk cố định và làm phẳng thời gian tính toán        |  |
|    | - Phân vùng Bus bộ nhớ và phân bổ SM chuyên dụng                |  |
|    +-----------------------------------------------------------------+  |
|                                |                                        |
|                                | Truyền tải KV Cache giữa các Node      |
|                                v                                        |
|    +-----------------------------------------------------------------+  |
|    | Giao diện WireGuard hạt nhân Linux (wg0 / Mạng lưới VPNRice)    |  |
|    | - Bắt tay giao thức Noise và mã hóa bảo mật ChaCha20-Poly1305   |  |
|    | - Giữ MTU cố định và bơm gói tin giả tạo nhịp truyền phẳng      |  |
|    +-----------------------------------------------------------------+  |
|                                |                                        |
|                                v Gói tin UDP mã hóa đồng nhất            |
|  =====================================================================  |
|  [ Hạ tầng mạng cụm máy chủ được bảo vệ ]                              |
|    - Triệt tiêu biến thiên thời gian trên các thiết bị chuyển mạch     |
|    - Nhịp truyền ổn định ngăn chặn kỹ thuật nhận dạng qua băng thông   |
|    - Quy tắc định tuyến hạt nhân ngăn chặn phát tán dữ liệu trái phép  |
+-------------------------------------------------------------------------+

Để xây dựng hệ thống phòng thủ vững chắc trước các cuộc tấn công kênh phụ chunked prefill, các đơn vị vận hành hạ tầng AI cần triển khai đồng bộ các giải pháp:

  1. Chuẩn hóa thời gian lượt lặp (Iteration-Time Equalization): Bộ lập lịch cần duy trì thời gian thực thi đồng nhất giữa các lượt. Thay vì để các lượt decode hoàn tất trong 11 ms trong khi lượt prefill kéo dài 42 ms, công cụ suy luận chủ động chèn thêm tính toán giả hoặc độ trễ kiểm soát để làm phẳng biểu đồ thời gian.
  2. Phân vùng phần cứng vật lý (MIG): Trên các bộ tăng tốc GPU chuyên dụng, việc phân chia GPU thành các phân vùng độc lập thông qua NVIDIA MIG đảm bảo bộ điều khiển bộ nhớ và các nhân tính toán SM được cô lập hoàn toàn giữa các bên thuê, loại trừ hiện tượng tranh chấp tài nguyên phần cứng.
  3. Mạng lưới đường hầm mã hóa với VPNRice: Dữ liệu KV cache truyền giữa các node trong cụm suy luận phân tán bắt buộc phải được đóng gói qua giao diện WireGuard ở tầng hạt nhân. Việc mã hóa toàn bộ luồng RDMA và TCP bằng thuật toán ChaCha20-Poly1305 ngăn chặn hoàn toàn việc theo dõi kích thước tensor từ các thiết bị mạng trung gian.
  4. Điều hòa nhịp độ gói tin (Packet Pacing): Bổ sung các gói tin giả lập và cố định tốc độ truyền dẫn trên đường truyền VPN giúp xóa bỏ các đỉnh xung đột dữ liệu, khiến các công cụ giám sát mạng không thể suy diễn độ dài prompt hay quá trình mở rộng ngữ cảnh.

Bằng việc kết hợp chính sách lập lịch tất định với giải pháp mã hóa mạng lưới qua VPNRice, các nhà cung cấp dịch vụ AI có thể xóa bỏ hoàn toàn các kênh phụ thời gian, bảo vệ an toàn tài sản trí tuệ và quyền riêng tư của người dùng trong kỷ nguyên trí tuệ nhân tạo.