Vận hành các mô hình ngôn ngữ lớn ở quy mô doanh nghiệp đòi hỏi cơ chế tối ưu hóa bộ nhớ và độ trễ nghiêm ngặt. Khi sinh văn bản theo từng mã token, mô hình phải liên tục lưu trữ các tensor Key-Value (KV) qua các tầng chú ý (attention layers). Trong các ứng dụng hội thoại đa lượt, phân tích tài liệu và hệ thống đa tác tử (multi-agent), việc tính toán lại từ đầu các tensor KV cho các câu lệnh hệ thống và đoạn ngữ cảnh lặp lại gây hao tổn tài nguyên tính toán rất lớn.

Để giải quyết bài toán này, các nền tảng phục vụ suy luận hiện đại như SGLang, vLLM và TensorRT-LLM áp dụng kỹ thuật lưu đệm tiền tố động (dynamic prefix caching). Bằng cách cấu trúc các tensor KV vào cây cơ số (radix tree) hoặc bảng băm phân đoạn, các hệ thống này tái sử dụng trạng thái kích hoạt giữa các phiên gửi yêu cầu. Tuy nhiên, khi triển khai trong môi trường điện toán đám mây đa người dùng (multi-tenant) hoặc cổng kết nối dùng chung, prefix caching vô tình mở ra một kênh rò rỉ phụ qua độ trễ thời gian (timing side-channel). Kẻ tấn công có thể đo lường độ trễ phản hồi và quy luật gói tin để suy đoán câu lệnh bảo mật, tài liệu nội bộ và truy vấn của người dùng khác.

Cơ chế RadixAttention và bộ nhớ đệm tiền tố dùng chung

Trong các kiến trúc suy luận truyền thống, bộ đệm KV chỉ tồn tại tạm thời cho từng truy vấn riêng lẻ và bị xóa ngay khi hoàn thành câu trả lời. Ngược lại, cơ chế prefix caching động duy trì các tensor KV trong bộ nhớ băng thông cao của GPU (HBM) và bộ nhớ RAM máy chủ xuyên suốt vòng đời nhiều yêu cầu HTTP khác nhau.

SGLang hiện thực hóa giải pháp này thông qua RadixAttention. Máy chủ quản lý các khối đệm KV dưới dạng các nút trong một cây radix toàn cục, trong đó các cạnh biểu diễn các chuỗi token. Khi một truy vấn suy luận gửi tới, bộ điều phối tiến hành phân tích token và duyệt cây radix từ nút gốc để tìm tiền tố dài nhất trùng khớp:

  1. Khớp tiền tố và tái sử dụng KV: Nếu tìm thấy tiền tố có độ dài $L$ trong cây radix, hệ thống bỏ qua toàn bộ giai đoạn tính toán khởi tạo (prefill) cho $L$ token này. Các khối KV đã tính trước được ánh xạ trực tiếp vào các tầng attention.
  2. Cắt giảm thời gian tính toán: GPU chỉ cần tính toán cho các token hậu tố còn lại ($N - L$). Thời gian phản hồi mã token đầu tiên (Time-To-First-Token - TTFT) giảm mạnh từ vài trăm mili-giây xuống chỉ còn mức một chữ số mili-giây.
  3. Chính sách giải phóng bộ đệm: Khi bộ nhớ GPU chạm ngưỡng giới hạn, thuật toán LRU (Least Recently Used) sẽ loại bỏ các nhánh lá ít được dùng nhất, đồng thời giữ lại các tiền tố dùng chung ở phần gốc.

Cơ chế này mang lại thông lượng ấn tượng cho các dịch vụ quy mô lớn. Tuy nhiên, việc chia sẻ cây radix toàn cục giữa các khách hàng khác nhau tạo ra sự phụ thuộc trạng thái có thể quan sát được. Trạng thái bên trong bộ đệm phản ánh chính xác lịch sử truy vấn của toàn bộ người dùng trong hệ thống.

Phương thức tấn công Timing Side-Channel qua bộ đệm tiền tố

Bởi vì việc trúng bộ đệm tiền tố tạo ra khoảng chênh lệch thời gian xử lý rõ rệt, kẻ tấn công từ bên ngoài có thể biến cổng suy luận thành một công cụ kiểm thử nhằm dò quét thông tin nhạy cảm. Kỹ thuật này được triển khai theo hai hướng chính: Dò tìm thành viên (Membership Inference) và Tái tạo tiền tố thích ứng (Adaptive Prefix Reconstruction).

+-------------------------------------------------------------------------+
|                  Cụm Máy Chủ Suy Luận Đa Người Dùng                     |
|                                                                         |
|   Truy vấn của nạn nhân              Truy vấn thăm dò của tin tặc       |
|  "Bệnh nhân: Nguyễn Văn A..."       "Bệnh nhân: Nguyễn Văn A..."        |
|             |                                |                          |
|             v                                v                          |
|   +-------------------+            +-------------------+                |
|   |  Cây Radix Chung  |            |  Cây Radix Chung  |                |
|   | [Tính toán Prefill|            | [Khớp tiền tố!]   |                |
|   | Lưu vào đệm KV    |            | Bỏ qua Prefill    |                |
|   +-------------------+            +-------------------+                |
|             |                                |                          |
|             v                                v                          |
|     TTFT chuẩn (~320ms)             TTFT cực nhanh (~14ms)              |
|                                              |                          |
|                                              +--> Phát hiện rò rỉ dữ liệu|
+-------------------------------------------------------------------------+

1. Dò tìm dữ liệu nhạy cảm tồn tại trong bộ đệm

Trong kịch bản này, kẻ tấn công muốn kiểm tra xem một chuỗi thông tin cụ thể có từng được người dùng khác gửi lên hệ thống hay không (ví dụ hồ sơ bệnh án, đoạn mã nguồn nội bộ hoặc số liệu tài chính).

Kẻ tấn công gửi các truy vấn kiểm soát để đo lường độ trễ chuẩn khi không trúng đệm ($T_{\text{cold}}$) và khi trúng đệm ($T_{\text{hot}}$). Với đoạn văn bản 8.000 token trên cụm máy chủ trang bị GPU hiện đại, giai đoạn prefill mất khoảng 180 đến 350 mili-giây. Khi trúng tiền tố có sẵn trong đệm, prefill được bỏ qua hoàn toàn, đưa TTFT xuống dưới 15 mili-giây. Bằng cách ghi nhận sự sụt giảm thời gian này, tin tặc xác định chính xác văn bản mục tiêu vừa xuất hiện trong hệ thống.

2. Tái tạo tiền tố theo cấu trúc nhánh và tỉa cây

Không chỉ dừng lại ở việc kiểm tra chuỗi có sẵn, kẻ tấn công có thể khôi phục từng từ trong câu lệnh hệ thống ẩn hoặc đoạn hội thoại riêng tư:

  • Kẻ tấn công bắt đầu với một token gốc phổ biến.
  • Tin tặc tạo các nhánh ứng viên bằng cách ghép thêm từng từ trong từ điển vào sau token gốc.
  • Mỗi ứng viên được gửi đi như một truy vấn thăm dò riêng biệt đến cổng suy luận.
  • Ứng viên nào có TTFT ngắn nhất chứng tỏ chuỗi đó đã trúng đệm trong cây radix.
  • Kẻ tấn công chọn token đó và tiếp tục mở rộng nhánh tiếp theo, dần dần dựng lại toàn bộ nội dung văn bản gốc.

Ngay cả khi nhà cung cấp chèn thêm độ trễ ngẫu nhiên ở tầng ứng dụng, các đặc tính ở tầng mạng truyền dẫn vẫn có thể để lộ khoảng thời gian tính toán thực tế.

Dấu vết luồng mạng và quy luật xuất hiện của các gói tin

Các kỹ thuật làm chậm nhân tạo ở tầng phần mềm không thể che giấu hoàn toàn nếu đường truyền mạng không được mã hóa kỹ lưỡng:

  • Bùng nổ dữ liệu đầu ra: Ngay khi prefill hoàn thành, mô hình chuyển ngay sang pha decode và phát sinh các gói tin phản hồi đầu tiên, kéo theo chuỗi ACK và dữ liệu dồn dập.
  • Biến thiên cửa sổ TCP: Giai đoạn prefill kéo dài giữ cửa sổ nhận TCP mở mà không có dữ liệu trả về. Khi trúng đệm tiền tố, dữ liệu được gửi ngay tức thì, tạo ra sự khác biệt rõ rệt về khoảng cách thời gian giữa các gói tin ($Δt$).
  • Đồng bộ bộ đệm giữa các máy chủ: Trong các cụm suy luận phân tán, việc trúng đệm tiền tố làm giảm hẳn lưu lượng truyền thông RDMA nội bộ. Kẻ giám sát đường truyền có thể phát hiện sự chênh lệch này trên mạng trung gian.

Bất kỳ thực thể nào nằm trên đường truyền mạng công cộng hoặc Wi-Fi mở đều có thể quan sát quy luật gói tin để nhận biết trạng thái tính toán của máy chủ AI.

Chiến lược phòng thủ mật mã bằng đường truyền WireGuard

Để ngăn chặn triệt để nguy cơ tấn công kênh phụ qua bộ đệm tiền tố, kiến trúc hệ thống cần kết hợp cô lập ở tầng phần mềm suy luận và bảo vệ mã hóa ở tầng mạng.

+-----------------------------------------------------------------------+
|                 Mô Hình Phòng Thủ Mạng Cho Cụm AI                     |
|                                                                       |
|  [Ứng Dụng Khách Hàng]                                                |
|         |                                                             |
|         v                                                             |
|  [Giao Diện WireGuard wg0] <-- Điều hòa lưu lượng (sch_fq)            |
|         |                  <-- Bắt tay mật mã ChaCha20-Poly1305       |
|         v                                                             |
|  [Hạ Tầng Mạng Trung Gian] <-- Đệm jitter và chuẩn hóa kích thước     |
|         |                                                             |
|         v                                                             |
|  [Cổng Suy Luận AI]                                                   |
|         |                                                             |
|         +--> Phân tách không gian Radix theo Khóa Công Khai           |
|         +--> Thực thi bảng định tuyến nhân Linux an toàn              |
|         +--> Cô lập bộ đệm KV theo ranh giới bảo mật khách hàng       |
+-----------------------------------------------------------------------+

1. Phân tách không gian tên cây Radix theo danh tính khóa công khai

Bộ điều phối suy luận không được phép chia sẻ bộ đệm chung giữa các khách hàng không cùng độ tin cậy. Hệ thống cần phân chia cây radix dựa trên danh tính mã hóa thực tế.

Bằng cách thiết lập kết nối khách hàng qua đường hầm WireGuard chuyên dụng, cổng suy luận trích xuất định danh khách hàng trực tiếp từ khóa công khai mật mã của thiết bị (wg0 peer key). Bộ điều phối sẽ lưu trữ và duyệt cây radix trong các không gian tên riêng biệt:

$$\text{CacheKey} = \text{HMAC-SHA256}(\text{TenantPublicKey}, \text{TokenSequence})$$

Nhờ đó, truy vấn của một khách hàng không bao giờ chạm tới các nhánh đệm của khách hàng khác, triệt tiêu hoàn toàn khả năng dò quét kênh phụ trong khi vẫn giữ nguyên hiệu năng tăng tốc nội bộ.

2. Điều hòa lưu lượng và chuẩn hóa luồng truyền gói tin

Để ngăn chặn các thiết bị phân tích lưu lượng mạng đo lường độ trễ TTFT, giao diện mạng cần tách rời thời gian phát gói tin khỏi trạng thái tính toán của GPU.

Quản trị viên có thể cấu hình cơ chế Fair Queueing kết hợp pacing (sch_fq) trên giao diện WireGuard, kết hợp độ trễ biến thiên mức micro-giây và chuẩn hóa kích thước gói tin:

# Kích hoạt Fair Queueing có kiểm soát tốc độ trên giao diện WireGuard
sudo tc qdisc replace dev wg0 root fq pacing

# Cố định kích thước MTU để tránh rò rỉ độ dài chuỗi token
sudo ip link set dev wg0 mtu 1420

Việc truyền tải dữ liệu với tốc độ ổn định và gói tin được làm đầy đồng nhất giúp triệt tiêu hoàn toàn các dấu hiệu bất thường trên đường truyền.

3. Cô lập toàn diện hạ tầng AI với VPNRice

Việc bảo vệ hệ thống trí tuệ nhân tạo phân tán đòi hỏi định tuyến toàn bộ lưu lượng kết nối qua các kênh truyền được mã hóa kiên cố. Để các cổng API suy luận mở trực tiếp ra Internet là một lỗ hổng nghiêm trọng tạo điều kiện cho các cuộc tấn công thăm dò.

Sử dụng giải pháp VPNRice mang lại khả năng đóng gói WireGuard ở cấp độ nhân hệ điều hành cho mọi thiết bị khách và máy chủ GPU. Nhờ cơ chế định tuyến AllowedIPs khép kín, hệ thống ngăn chặn mọi truy cập trái phép vào các cổng suy luận. Các đối tượng nghe lén trên mạng trung gian không thể phân tích thời gian phản hồi hoặc thực hiện các cuộc tấn công timing nhắm vào mô hình AI doanh nghiệp.

Hướng dẫn củng cố an toàn cho hệ thống suy luận LLM

Bảo vệ hệ thống AI thế hệ mới trước các cuộc tấn công vi kiến trúc và kênh phụ mạng đòi hỏi các biện pháp bảo mật đồng bộ:

  • Cách ly bộ đệm tiền tố: Không sử dụng chung cây tiền tố giữa các tài khoản khác nhau. Chỉ kích hoạt RadixAttention trong phạm vi phiên làm việc của từng người dùng hoặc tổ chức được xác thực.
  • Xác thực dựa trên mật mã: Gắn định danh phiên làm việc của API với khóa công khai WireGuard thay vì chỉ dựa vào mã token API hay tiêu đề HTTP thông thường.
  • Chuẩn hóa thời gian phản hồi: Áp dụng cơ chế trễ ngẫu nhiên hoặc đặt ngưỡng phản hồi tối thiểu đối với các điểm cuối xử lý dữ liệu đặc biệt nhạy cảm.
  • Mã hóa toàn diện lưu lượng: Đóng gói toàn bộ các luồng truy vấn suy luận và đồng bộ bộ nhớ đệm KV giữa các cụm máy chủ trong đường hầm WireGuard với thuật toán ChaCha20-Poly1305.
  • Kiểm soát hành vi bất thường: Thiết lập hệ thống giới hạn tần suất truy vấn trên cổng API để phát hiện sớm các chuỗi truy vấn biến đổi liên tục có đặc điểm của tấn công dò quét tiền tố.