多租户大语言模型(LLM)推理基础设施的迅速普及,促使vLLM、TensorRT-LLM和SGLang等主流推理引擎实施了激进的调度优化策略。为了充分利用昂贵的GPU算力硬件(如NVIDIA H100与B200集群),现代推理系统普遍采用连续批处理(Continuous Batching)结合分块预填充(Chunked Prefill)的混合调度方案。
尽管这些技术显著提升了GPU资源利用率,并消除了传统长Prompt引发的推理卡顿,但它们也引入了跨租户硬件资源争用的侧信道隐患。在共享的云端大模型服务中,攻击者通过高精度测量客户端接收Token的时间抖动,即可反推出共存租户的私密输入长度与系统指令边界。防御此类新型侧信道攻击,需要算法级的执行时间填充与基于 VPNRice 的内核网络加密网格相协同。
大模型推理中分块预填充与连续批处理的核心机制
在早期静态批处理机制中,推理引擎必须等待当前批次中所有请求全部生成完毕,才能接纳新的输入,导致GPU在逐字生成时算力利用率极低。连续批处理技术改变了这一现状,将调度粒度细化至每一次正向传播迭代(Iteration-level):每轮前向计算结束后,生成完毕的请求即刻移出,新请求即时加入。
然而,大模型推理的两个关键阶段在硬件开销上存在本质差异:
- 预填充阶段(Prefill):属于计算密集型(Compute-bound)操作,并行处理用户输入的全部Prompt以生成Key-Value(KV)缓存。
- 解码阶段(Decode):属于显存带宽密集型(Memory-bandwidth-bound)操作,以自回归方式逐个生成Token,极度依赖高带宽显存(HBM)吞吐。
+-------------------------------------------------------------------------+
| 分块预填充(Chunked Prefill)流水线 |
| |
| 用户输入Prompt队列: |
| 请求 A(目标用户): [================ 2048 Tokens ================] |
| 请求 B(攻击者): [= 128 Tokens =] |
| |
| 分块调度器(分块大小 Chunk = 512 Tokens): |
| +-------------------------------------------------------------------+ |
| | 迭代 1:[请求 A: 分块 1 (512)] + [请求 B: 生成 Token 1] | |
| | 迭代 2:[请求 A: 分块 2 (512)] + [请求 B: 生成 Token 2] | |
| | 迭代 3:[请求 A: 分块 3 (512)] + [请求 B: 生成 Token 3] | |
| | 迭代 4:[请求 A: 分块 4 (512)] + [请求 B: 生成 Token 4] | |
| | 迭代 5:[请求 A: 生成 Token 1] + [请求 B: 生成 Token 5] | |
| +-------------------------------------------------------------------+ |
| |
| 攻击者客户端实测Token到达间隔(ITL): |
| Token 1-4 间隔:约 42ms(受预填充算力争用影响,耗时显著拉长) |
| Token 5 起间隔:约 11ms(恢复为纯解码基准耗时) |
+-------------------------------------------------------------------------+
当超长Prompt到达时,若一次性完成预填充,正在进行解码的所有并发流都会被迫暂停,造成首字延迟(TTFT)与字间延迟(ITL)急剧上升。
分块预填充技术通过将超长Prompt拆分为固定大小的片段(例如512个Token),并在每个调度周期中将预填充片段与正在解码的请求混合编排,确保两者在GPU的流多处理器(SM)和张量核心上并发执行,平滑了推理延迟。
利用GPU硬件资源争用与Token生成抖动进行侧信道探测
由于GPU计算核心、二级缓存(L2 Cache)以及HBM内存通道在硬件层面完全共享,混合批次中执行庞大的预填充分块会剧烈消耗计算资源,进而延缓同一批次中其他租户Token的解码进程。
租用相同AI推理服务的攻击者可以通过精确的客户端探测手段捕捉这种性能扰动:
- 建立延迟基准线:攻击者首先发送极短的探测请求,测量纯解码状态下的基准Token间隔时间(例如H100八卡集群上约为10至12毫秒)。
- 注入探测流:攻击者建立持续的流式输出请求(如Server-Sent Events,SSE),以微秒级精度记录各Token的返回时间戳。
- 识别资源争用窗口:当目标租户提交较长的机密Prompt时,调度器将其拆分为多个分块。在包含预填充计算的迭代轮次中,攻击者观察到的字间延迟会瞬间从基准值(11毫秒)暴增至高延迟区间(40至45毫秒)。
- 离散化反推长度:因为推理框架的分块配额是静态配置的,连续出现高延迟迭代的次数直接对应了目标Prompt所消耗的分块总数。
+-------------------------------------------------------------------------+
| 字间延迟(ITL)抖动信号时域分析 |
| |
| 攻击者监测到的Token间隔时间(毫秒) |
| 50ms + |
| | +-------+-------+-------+-------+ |
| 40ms | | 迭代1 | 迭代2 | 迭代3 | 迭代4 | |
| | | (A_1) | (A_2) | (A_3) | (A_4) | |
| 20ms | | | | | | |
| |------+ | | | +---------------------- |
| 10ms |基准线| | | | | 恢复纯解码基准耗时 |
| 0ms +------------------------------------------------------------- |
| Token: 1 2 3 4 5 6 7 8 |
| |
| 信号特征提取结果: |
| 高延迟迭代持续轮次(K) = 4 次 |
| 系统设定的分块大小(C) = 512 Tokens |
| 目标用户Prompt长度估算 = (K - 1) * C < 长度 <= K * C |
| = 1537 至 2048 Tokens |
+-------------------------------------------------------------------------+
无需任何主机提权或内存注入行为,攻击者便能仅凭客户端时间序列数据,透视共存工作负载的计算规模。
逆向重构共存租户的Prompt长度与系统上下文边界
在企业级大模型应用中,Prompt长度的泄漏直接威胁核心数据资产的安全性:
- 反编译隐式系统预设(System Prompt):许多应用会在用户输入前拼接冗长的专有业务指令、安全护栏规范或多样本链式推理模版。攻击者对比不同交互角色下的Token总量波动,即可确定内部预设指令的存在或版本迭代。
- 推断RAG私有知识库检索范围:在知识库检索(RAG)系统中,拼接上下文的体积直接取决于召回的私有文献篇幅。延迟脉冲的出现直观暴露了用户是否命中了保密合同、病历文件或内部敏感文档。
- 多轮会话状态监听:在上下文持续累加的多轮对话中,Token增长曲线反映了会话发展节奏,帮助攻击者捕捉关键业务触发点。
结合投机采样(Speculative Decoding)或前缀缓存命中分析,该侧信道甚至能用来验证特定敏感词段是否存在于受害者的上下文中。
分布式分离推理架构在集群互联网络中的信息泄露风险
随着开源大模型体积扩展至数百亿乃至数千亿参数,前沿算力集群开始将预填充与解码节点进行硬件解耦,演变为分离推理架构(Disaggregated Inference)。
在该架构下:
- 预填充节点群:高性能并行算力节点集中处理Prompt并生成KV张量。
- 解码节点群:高内存带宽节点接管生成的KV张量并执行流式生成。
- 跨节点KV高速传输:节点间通过RoCEv2或高速TCP网络以每秒数十吉字节的速率同步KV缓存。
+-------------------------------------------------------------------------+
| 分离推理网络互联中的流量特征侧信道 |
| |
| [ 预填充节点(Prefill Node) ] [ 解码节点(Decode Node)]|
| +----------------------+ +---------------------+ |
| | 高速并行生成KV张量 | | 接收缓存执行自回归 | |
| +----------------------+ +---------------------+ |
| | ^ |
| | RoCEv2 / TCP 跨网络KV张量传输数据流 | |
| v (每秒吉字节级别的张量跨网段传输) | |
| ===================================================================== |
| [ 机头交换机(ToR Switch)与数据中心互联网络 ] |
| - 未加密的KV数据包在交换机端口间产生突发流量 |
| - 数据包突发时长与吞吐峰值精准映射张量维度与Token总数 |
| - 同数据中心攻击者通过旁路流量监测反向识别用户行为 |
+-------------------------------------------------------------------------+
如果集群机房间的内部网络缺乏加密隔离,交换机端口的微突发排队与传输持续时间,将直接暴露传输KV张量的真实维度。即便上层API接口防守严密,底层网络旁路窃听也能将租户的推理特征尽数揭露。
硬件级资源隔离与WireGuard内核加密隧道的防御方案
抵御多租户大模型推理中的调度与网络侧信道威胁,需要从算力调度时间平滑与底层传输网络加密两个维度同步施策。
+-------------------------------------------------------------------------+
| 算力隔离与 WireGuard 内核级隧道整体防护架构 |
| |
| [ 多租户 GPU 共享算力节点 ] |
| +-----------------------------------------------------------------+ |
| | 多实例 GPU(MIG)物理切片 / 迭代耗时对齐补偿引擎 | |
| | - 统一分块步长与固定前向前向传播计算耗时 | |
| | - 显存总线与计算核心物理隔离 | |
| +-----------------------------------------------------------------+ |
| | |
| | 跨节点 KV 传输流量 |
| v |
| +-----------------------------------------------------------------+ |
| | Linux 内核 WireGuard 虚拟网卡(wg0 / VPNRice Mesh 网格) | |
| | - 基于 Noise 协议握手与 ChaCha20-Poly1305 认证加密 | |
| | - 固定 MTU 数据包填充与恒定速率伪包混淆注入 | |
| +-----------------------------------------------------------------+ |
| | |
| v 均匀密文 UDP 数据报文 |
| ===================================================================== |
| [ 物理网络交换基础设施 ] |
| - 交换机端口流量速率恒定,完全消除突发特征 |
| - 杜绝依据网络带宽波动进行流量指纹推断的可能性 |
| - 彻底切断未经认证的原始套接字嗅探通道 |
+-------------------------------------------------------------------------+
构建兼具性能与隐私的多租户AI服务平台,必须贯彻以下防御策略:
- 迭代耗时平滑对齐(Iteration-Time Equalization):调度系统应强制推行等时长计算周期。通过插入经过校准的空转计算(Dummy Computation)或纳秒级微暂停,消除纯解码与分块混合计算之间的延迟差异。
- 算力硬件切片隔离(MIG):通过NVIDIA多实例GPU(MIG)等技术,将显卡在物理层面划分为独立的硬件实例,使显存控制器与流处理器完全物理隔离,根除跨工作负载争用。
- 基于 VPNRice 的内核网络加密网格:分布式集群间的KV缓存同步必须通过内核级WireGuard虚拟隧道传输。ChaCha20-Poly1305算法对RDMA和TCP流量的深度加密,确保第三方无法观测张量传输体积。
- 恒定速率数据流混淆(Traffic Shaping):在网络隧道层集成数据包填充机制,配合平滑队列调度,掩盖流量突发形态,阻断一切依赖数据量统计的旁路推断。
通过规范的执行时间平滑与 VPNRice 的内核通信隔离方案,云端算力平台得以彻底封闭时间侧信道,捍卫多租户环境中的核心机密与模型资产安全。



