文章目录图表达什么一般使用场景一句话总结ECDF是EmpiricalCumulativeDistributionFunction 的缩写中文通常翻译为经验累积分布函数在大模型性能测试中只看平均 TTFT 往往不够。ECDF经验累积分布图更适合回答有多少比例的请求能在某个时间内拿到第一个 Token图表达什么横轴是TTFTTime To First Token纵轴是累计请求比例。本例模拟 1000 个 LLM 请求实际得到P50 1.26s50% 的请求在 1.26 秒内返回首 TokenP90 3.86s90% 的请求在 3.86 秒内返回P95 5.28sP99 8.54s。ECDF 越靠近左上角通常意味着整体 TTFT 越低、尾延迟越好。图中 P50 只有 1.26 秒但 P99 已经达到 8.54 秒说明大部分请求体验不错但少量慢请求形成了明显的尾延迟。这也是为什么大模型性能分析不能只看平均值。核心代码# 1. 把 TTFT 从小到大排序xnp.sort(ttft)# 2. 为每个 TTFT 计算累计比例ynp.arange(1,len(x)1)/len(x)# 3. 画 ECDF 曲线ax.step(x,y,wherepost,linewidth2)一般使用场景ECDF 很适合分析TTFTTPOT请求总延迟输出 Token 速率KV Cache 传输耗时Prefill 时间排队等待时间。尤其适合比较不同模型、不同并发或不同推理框架的P50 / P90 / P95 / P99。一句话总结ECDF 能同时展示大模型请求的整体延迟分布和尾延迟指标
ECDF：怎么看大模型 TTFT 的 P50、P90 和 P99？
文章目录图表达什么一般使用场景一句话总结ECDF是EmpiricalCumulativeDistributionFunction 的缩写中文通常翻译为经验累积分布函数在大模型性能测试中只看平均 TTFT 往往不够。ECDF经验累积分布图更适合回答有多少比例的请求能在某个时间内拿到第一个 Token图表达什么横轴是TTFTTime To First Token纵轴是累计请求比例。本例模拟 1000 个 LLM 请求实际得到P50 1.26s50% 的请求在 1.26 秒内返回首 TokenP90 3.86s90% 的请求在 3.86 秒内返回P95 5.28sP99 8.54s。ECDF 越靠近左上角通常意味着整体 TTFT 越低、尾延迟越好。图中 P50 只有 1.26 秒但 P99 已经达到 8.54 秒说明大部分请求体验不错但少量慢请求形成了明显的尾延迟。这也是为什么大模型性能分析不能只看平均值。核心代码# 1. 把 TTFT 从小到大排序xnp.sort(ttft)# 2. 为每个 TTFT 计算累计比例ynp.arange(1,len(x)1)/len(x)# 3. 画 ECDF 曲线ax.step(x,y,wherepost,linewidth2)一般使用场景ECDF 很适合分析TTFTTPOT请求总延迟输出 Token 速率KV Cache 传输耗时Prefill 时间排队等待时间。尤其适合比较不同模型、不同并发或不同推理框架的P50 / P90 / P95 / P99。一句话总结ECDF 能同时展示大模型请求的整体延迟分布和尾延迟指标