在企业级规模下部署大语言模型(LLM)推理服务,对显存利用率和响应延迟有着严苛的要求。在自回归生成过程中,模型必须在跨越各注意力层时维护中间键值张量(Key-Value Cache,简称 KV 缓存)。在多轮对话交互、私有文档问答和复杂智能体(Agent)工作流中,为重复出现的系统提示词和上下文前言重新计算 KV 张量,会造成极其高昂的算力损耗与显存开销。
为了消除冗余计算,现代推理服务系统(如 SGLang、vLLM 和 TensorRT-LLM)引入了动态前缀缓存(Dynamic Prefix Caching)技术。系统将计算完成的 KV 张量组织为基数树(Radix Tree)或分块哈希索引,在后续客户端请求中直接复用历史激活状态。然而,当该技术部署于多租户云环境或共享推理网关时,前缀缓存会带来确定性的微架构时间侧信道泄露。攻击者能够通过测量首字生成延迟与网络数据包到达模式,推断出其他租户提交的机密提示词、专有数据或敏感交互记录。
RadixAttention 架构与共享前缀缓存机制
在传统推理框架中,KV 缓存通常被视为单次请求的临时缓冲区,在文本生成完毕后立即释放。而动态前缀缓存则将 KV 张量长期驻留在 GPU 高带宽内存(HBM)和主机内存中,实现跨 HTTP 请求生命周期的状态复用。
SGLang 通过 RadixAttention 正式确立了这一优化范式。服务端将 KV 缓存块作为全局基数树中的节点进行管理,树的边缘代表 token 序列。当推理请求到达时,调度器对提示词进行分词,并从根节点遍历基数树,寻找最长匹配前缀:
- 前缀匹配与状态复用: 若在基数树中找到长度为 $L$ 的前缀,引擎直接跳过这 $L$ 个 token 的计算密集型 Prefill(预填充)阶段,将预计算的 KV 块直接映射至注意力层。
- 显著降低算力开销: GPU 仅需计算剩余的后缀 token($N - L$)。首字生成时间(Time-To-First-Token,简称 TTFT)从数百毫秒骤降至个位数毫秒。
- 缓存淘汰策略: 当显存达到阈值上限时,引擎采用最近最少使用(LRU)算法剔除未被引用的叶子节点,同时保留被高频共享的根前缀。
这种设计大幅提升了并发吞吐量。然而,在异构租户之间共享同一个全局基数树,会在系统内部建立起可被外部探测的状态依赖。缓存内部的拓扑结构与节点活跃度,忠实反映了所有租户的累积查询历史。
前缀缓存微架构时间侧信道攻击机理
前缀缓存命中会带来显著的执行延迟差异,外部攻击者可以将推理接口作为判定预言机(Oracle),系统性嗅探机密文本。该攻击主要分为两种模式:成员资格探测推断与自适应分支重构。
+-------------------------------------------------------------------------+
| 多租户共享大模型推理集群 |
| |
| 受害者正常业务请求 攻击者构造的探测请求 |
| "患者档案: 张三, 45岁..." "患者档案: 张三, 45岁..." |
| | | |
| v v |
| +-------------------+ +-------------------+ |
| | 全局基数树 | | 全局基数树 | |
| | [执行预填充计算] | | [检测到前缀命中] | |
| | 写入显存 KV 池 | | 跳过预填充阶段 | |
| +-------------------+ +-------------------+ |
| | | |
| v v |
| 常规 TTFT (~320ms) 极速 TTFT (~14ms) |
| | |
| +--> 判定敏感内容存在|
+-------------------------------------------------------------------------+
1. 敏感数据成员资格探测
在成员资格推断场景中,攻击者旨在确认某条特定文本是否存在于服务端的活动缓存中,例如专有代码段、商业合同条款或医疗诊断记录。
攻击者首先通过基准测试获取未命中状态下的完整预填充延迟($T_{\text{cold}}$)与缓存命中状态下的延迟($T_{\text{hot}}$)。在现代 GPU 集群上处理 8,000 token 的输入,未命中的 Prefill 计算通常需要 180 至 350 毫秒;而一旦命中前缀缓存,Prefill 被完全免除,TTFT 直接缩短至 15 毫秒以下。攻击者观察到这一断崖式延迟下降,即可确证目标文本已被其他租户在近期提交。
2. 自适应分支与修剪前缀重构
除了二元测试,攻击者还可以逐个 token 重构未知的系统提示词或私有会话内容:
- 攻击者从已知的通用根 token(例如标准问候语或常用系统前言格式)开始。
- 生成候选分支,向根序列后追加高频词汇或字典 token。
- 将每个候选序列作为独立探测请求发送至推理网关。
- 返回 TTFT 最小的候选序列即代表在基数树中命中了有效缓存分支。
- 攻击者采纳该确认的 token,并继续沿着树结构向下延展,逐步还原出完整的受保护文本。
即使服务提供商在应用层引入粗粒度的随机休眠以掩盖完成时间,传输底层的网络指标依然会暴露出计算周期的本质差异。
网络遥测特征与数据包到达时间差
缺乏端到端加密保护的网络传输路径,无法掩盖前缀缓存导致的物理时间差:
- 突发响应特征: 当模型完成 Prefill 阶段后,立即进入自回归解码并输出首个 token,触发初始的 TCP ACK 和下行载荷突发。
- TCP 接收窗口动态演变: 预填充计算期间,客户端与服务端之间保持接收窗口空置且无数据下发。而前缀命中则在连接建立后瞬间产生数据下发,导致数据包到达间隔分布($Δt$)发生显著偏移。
- 跨节点分布式复制抑制: 在分离式推理架构中,Prefill 与 Decode 部署在不同节点上。前缀命中会直接抑制节点间通过 RDMA 或 RoCE 进行的底层张量传输。中间网络探针能够依据内部传输流量推断缓存状态。
处于局域网环境、开放公共 Wi-Fi 或骨干网络路由节点上的监听者,无需攻破主机或 GPU 容器,即可仅凭网络时序特征实施精准分析。
基于 WireGuard 覆盖网络的密码学防御策略
防御前缀缓存时间侧信道攻击,必须将推理框架内部的状态隔离与底层网络加密传输协同结合,切断攻击者对延迟变化的微秒级测量。
+-----------------------------------------------------------------------+
| 深度强化的 AI 推理集群防御拓扑 |
| |
| [企业客户端] |
| | |
| v |
| [WireGuard wg0 接口] <-- 恒定速率平滑调度 (sch_fq) |
| | <-- ChaCha20-Poly1305 密码学隧道 |
| v |
| [公网 / 传输基础设施] <-- 固定载荷分块与微秒级抖动混淆 |
| | |
| v |
| [AI 推理网关] |
| | |
| +--> 基于公钥身份隔离基数树命名空间 |
| +--> 内核路由强制隔离与白名单转发 |
| +--> 硬件资源与显存缓存池强边界划分 |
+-----------------------------------------------------------------------+
1. 基于客户端公钥划分基数树命名空间
推理调度器必须杜绝跨越信任边界的全局前缀复用。系统应当依据经过密码学验证的客户端身份严格隔离基数树。
当客户端通过专用的 WireGuard 隧道接入时,推理网关直接从对端公钥(wg0 Peer Public Key)派生出加密租户标识。调度器在独立的命名空间中检索与存储 KV 块:
$$\text{CacheKey} = \text{HMAC-SHA256}(\text{TenantPublicKey}, \text{TokenSequence})$$
不同租户的探测请求会被隔离在互不相交的基数树子空间中,从根本上消除了跨租户探测的可能性,同时完整保留租户内部多轮对话的加速收益。
2. 恒定速率数据包整形与流量混淆
为防止外围网络嗅探者通过数据包到达时间差分析 TTFT,网络接口必须将网络传输节奏与 GPU 计算状态完全解耦。
运维团队应在 WireGuard 出口端点上启用带流量平滑的公平队列调度算法(sch_fq),并结合微秒级随机抖动与固定大小的载荷量化:
# 在 WireGuard 接口上启用带流控整形的公平排队
sudo tc qdisc replace dev wg0 root fq pacing
# 钳制 MTU 大小以消除由于不同 token 长度造成的分片特征
sudo ip link set dev wg0 mtu 1420
通过在加密隧道内维持恒定速率的数据流分发,无论底层模型是发生了缓存命中还是进行了全量预填充,外部监视者观测到的网络时序均呈现均匀平滑状态。
3. 基于 VPNRice 构建内核级安全隔离通道
保护分布式人工智能系统,关键在于将所有推理 API、管理端点和集群内部节点间同步流量完全收敛于高强度加密隧道之内。明文暴露推理接口将极大便利针对大模型的侧信道攻击。
通过部署 VPNRice,企业可以在客户端设备、API 网关和 GPU 计算集群之间建立起内核级 WireGuard 隧道。严格的 AllowedIPs 白名单机制消除了对公共端口的非法探测。中间网络窃听者既无法捕获原始 TCP 握手时序,也无法借助流量模式对大模型实施前缀缓存探测。
生产级 LLM 推理集群加固安全实践
防范现代生成式 AI 基础设施的微架构与网络侧信道风险,需要贯彻以下综合防御策略:
- 严格实施租户缓存隔离: 禁止在未建立强信任关系的账户之间共享全局基数树。将 RadixAttention 严格限定在已验证的单租户或单组织范围内部。
- 基于密码学公钥鉴权: 使用 WireGuard 对端公钥绑定 API 会话与缓存权限,废除容易被伪造或劫持的静态 HTTP 标头认证。
- 延迟正规化与填充机制: 针对处理高度机密数据的专用推理端点,配置适度的人工随机抖动或固定响应阈值,消除 Prefill 计算时间差。
- 全链路加密传输: 将全部客户端交互流量与集群内部 KV 缓存同步流封装于 ChaCha20-Poly1305 加密隧道中,消除明文暴露面。
- 部署异常探测熔断规则: 在 API 网关层监控异常高频的分词微调请求序列,精准识别并拦截字典穷举式的树状重构攻击行为。



