AI 性能平台收官复盘从推理服务到可观测体系的工程化落地全路径一、推理服务黑箱化的代价没有可观测体系的 AI 平台是蒙眼狂奔大模型推理服务上线后最常见的困境不是模型本身的问题而是不知道问题在哪里。GPU 利用率 60% 是好还是坏TTFT 波动 3x 是正常还是异常请求排队 200ms 是调度器问题还是 Batch 策略问题没有可观测体系这些问题的答案只能靠猜测。核心痛点在于AI 推理服务的性能问题具有多维耦合性——GPU 计算、内存管理、网络传输、请求调度四个维度相互影响缺少任何一个维度的观测数据都无法准确诊断瓶颈。本次复盘将梳理一套完整的 AI 性能可观测体系架构从指标定义到采集实现到告警策略覆盖推理服务的全生命周期。二、可观测体系架构四维指标模型与采集管道设计AI 推理服务的可观测体系需要覆盖四个维度每个维度有核心指标与采集方式四维指标之间的关系是因果链调度维度TTFT/TPOT是用户感知的最终结果其异常需要回溯到计算/内存/网络维度找到根因。例如 TTFT 波动 3x可能是 KV Cache 换页导致内存维度也可能是 Batch 拼装策略不稳定导致网络维度需要交叉验证。三、关键指标采集实现从推理引擎埋点到 eBPF 管道3.1 推理服务核心指标埋点# 推理服务指标埋点基于 Prometheus Client # 目的采集 TTFT、TPOT、吞吐量、排队时长等核心指标 from prometheus_client import Histogram, Counter, Gauge, start_http_server import time # TTFT首 Token 延迟衡量用户等待首字输出的时间 # 为什么用 Histogram 而非 Gauge # Histogram 提供分位数统计P50/P90/P99比单一均值更有诊断价值 ttft_histogram Histogram( inference_ttft_seconds, Time To First Token latency, buckets[0.05, 0.1, 0.2, 0.5, 1.0, 2.0, 5.0] # 覆盖从 50ms 到 5s 的范围 ) # TPOT每 Token 输出延迟衡量流式输出的流畅度 tpot_histogram Histogram( inference_tpot_seconds, Time Per Output Token latency, buckets[0.01, 0.02, 0.05, 0.1, 0.2, 0.5] ) # 请求排队时长衡量调度器的效率 queue_time_histogram Histogram( inference_queue_time_seconds, Request queue waiting time, buckets[0.01, 0.05, 0.1, 0.5, 1.0, 2.0, 5.0] ) # GPU 资源指标 gpu_utilization Gauge( gpu_utilization_percent, GPU compute utilization ) kv_cache_usage Gauge( kv_cache_usage_percent, KV Cache memory usage percentage ) # 请求计数区分成功和拒绝 request_total Counter( inference_requests_total, Total inference requests, [status] # status: success / rejected / timeout ) class InferenceMetrics: 推理服务指标采集器与推理流程集成 def record_request(self, queue_time, ttft, tpot_count, total_tokens, status): # 记录各阶段耗时 ttft_histogram.observe(ttft) queue_time_histogram.observe(queue_time) # TPOT 总输出时间 / Token 数量 total_output_time time.time() - (time.time() - ttft - queue_time) if total_tokens 0 and tpot_count 0: tpot total_output_time / total_tokens tpot_histogram.observe(tpot) request_total.labels(statusstatus).inc()3.2 eBPF 网络延迟采集管道# eBPF 采集推理服务的网络延迟分解 # 目的将请求排队延迟分解为网关转发 调度排队 Batch拼装 bpftrace -e // TCP 连接建立耗时网关层 kprobe:tcp_v4_connect { connect_start[args-sk] nsecs; } kretprobe:tcp_v4_connect /retval 0/ { connect_latency[pid] nsecs - connect_start[args-sk]; printf(TCP连接建立: %d ns\n, nsecs - connect_start[args-sk]); } // TCP 数据接收耗时推理服务接收请求 kprobe:tcp_recvmsg { recv_start[args-sk] nsecs; } kretprobe:tcp_recvmsg { recv_latency[pid] nsecs - recv_start[args-sk]; } 四、可观测体系的 Trade-offs采集精度与系统开销的平衡采集方式精度侵入性开销适用场景推理引擎内置埋点高精确到 μs低 1% CPUTTFT/TPOT/吞吐量Prometheus DCGM中1-5s 采集间隔低旁路采集GPU 利用率/显存趋势CUDA Profiler极高核函数级高推理延迟增加 10-20%短时间定向诊断eBPF高内核级 μs 精度极低内核内执行网络延迟/调度延迟strace/ptrace高高性能下降 30%仅低峰时段诊断关键 Trade-offCUDA Profiler 提供最精确的 GPU 计算瓶颈定位但它的侵入性使得采集期间推理服务性能退化 10-20%不适合在生产环境常驻。正确的做法是在低峰时段定向开启 Profiler 采集 5-10 分钟采集完成后立即关闭。指标膨胀风险四维指标模型理论上可以定义上百个子指标但每个指标都需要存储、计算、告警配置。过度膨胀的指标体系会带来 VictoriaMetrics 存储压力、Grafana 仪表盘可读性下降、告警疲劳过多低价值告警掩盖高价值告警。建议初始阶段仅定义 8-12 个核心指标后续按需扩展。禁用场景eBPF 在内核版本 4.9 的环境下部分功能受限如 bpftrace 的 uprobe 功能CUDA Profiler 在推理 SLA 100ms 的实时场景中禁止开启DCGM 在非 NVIDIA GPU 环境下不适用。五、总结AI 推理服务的可观测体系是性能工程的基石没有数据支撑的优化是盲目的四维指标模型覆盖全链路计算、内存、网络、调度四个维度必须同时具备观测能力缺一不可。调度维度的异常需要回溯到其他三个维度才能找到根因。采集精度与侵入性必须平衡常驻采集用低侵入方案内置埋点 DCGM eBPF定向诊断用高精度高侵入方案CUDA Profiler两者组合使用而非互斥。指标体系要精简而非膨胀8-12 个核心指标足以覆盖 95% 的诊断需求。过度膨胀的指标体系反而降低可观测性——信号被噪声淹没。落地建议第一步部署 Prometheus DCGM 推理引擎内置指标端点覆盖计算维度和调度维度的基线观测第二步配置 Grafana 仪表盘将 TTFT/TPOT/GPU 利用率/KV Cache 占用率作为四个核心面板第三步搭建 eBPF 采集管道覆盖网络延迟维度第四步配置基于 P99 分位数的告警策略而非均值告警第五步建立低峰时段 CUDA Profiler 定向采集流程。五步完成即可构建一套完整的 AI 推理性能可观测体系。