搞LLM应用最头疼的事不是模型效果不够好而是怎么让服务在生产环境里真正稳定跑起来。你开发的时候用Python脚本直连OpenAI或者其他模型API挺爽参数随手一调请求一发结果就回来了。但一旦要上生产面对多模型切换、密钥管理、限流熔断、审计日志这些东西直接裸连就是给自己埋雷。所以现在稍微有点规模的项目都会在自己和模型之间加一层API Gateway专门做LLM场景的流量收口和策略管控。这篇内容我按实际代码修正过的生产落地经验来聊聊把LLM API Gateway从方案设计到部署折腾一遍重点讲清楚为什么需要、需要哪些能力、以及实操过程中的关键细节和坑给准备自建网关的团队一个参考。无论你是后端工程师、AI应用开发者还是刚好在评估网关选型的架构师这篇应该能省下你不少调研时间。1. 为什么自建LLM服务需要一个独立的API网关我先说结论在LLM应用场景里网关不是可选项而是从demo走向生产必经的一道基础设施。它解决的问题不是“多一个转发层”这么简单而是把模型接入、密钥安全、流量治理、成本管控这些平时容易被忽视的问题集中到一个统一的收口点去管理。1.1 直接对接LLM会对生产环境造成的几个麻烦早期我们的应用很简单服务端直接调用大模型HTTP接口模型供应商、API Key、请求参数全都散落在各个服务里。开发阶段看不出什么问题但一旦到了生产问题接踵而至密钥没法统一管。每个服务都持有同一个供应商的API Key一旦某个服务日志里不小心把Key打出来模型请求参数里常带Key或者是团队成员离职密钥需要轮换你得挨个服务去改改完还要重新发布。这个体验谁经历谁知道。流量没法统一控。没有网关层限流只能靠各服务自己去写逻辑。A服务写了一套令牌桶B服务写了一套信号量C服务直接不设限。等到某个活动推广把请求量打上来模型服务商那边先扛不住直接给你返回429限流接着就是连锁超时。成本没法统一算。LLM的计费是按token来的不同服务、不同业务线、不同项目各自消耗了多少token没有统一出口你根本说不清楚。月底账单摊到具体团队头上的时候财务只能拿总额除以人头乱得一塌糊涂。1.2 LLM场景与普通微服务网关的差异有朋友会问我们用现成的微服务网关不行吗Nginx、Spring Cloud Gateway、Kong这些不都挺成熟的这里要分清楚通用网关解决的是服务发现、负载均衡、路由转发这些基础问题但LLM场景有它自己的特殊性通用网关通常不会替你处理流式响应转发。大模型接口基本都是SSE流式输出网关如果按传统HTTP响应缓冲处理用户打字机效果就没了响应时间也会被读成全部生成完的耗时。多模型供应商切换。业务上要根据模型能力、成本、区域、可用性动态选择调用哪家模型这种策略路由通用网关不会给你做。Token级计量限流。传统限流按QPS来算但LLM的负载跟prompt长短、max_tokens大小强相关两个请求的消耗可能差几百倍只看QPS会严重失真。语义层安全过滤。通用WAF能挡SQL注入、XSS但对Prompt注入这类LLM特有的攻击手段基本无能为力。所以我的观点很明确LLM API Gateway不是一个全新的品类但它是通用网关之上针对大模型交互场景做深度增强的独立组件值得单独建设。1.3 用生活类比讲清楚“为什么要加一层”你可以把网关理解成一个公司的行政前台。没有前台的时候任何访客都能直接走到CEO办公室要资源你根本拦不住也管不住。有了前台所有外部请求先统一登记、验证身份、分配访问区域再决定让不让进、进到哪一层。LLM API Gateway做的事就是这个对外统一暴露入口对内统一管理流量、密钥、配额和审计让整个系统对外的连接只有一条可控的路径。2. 方案选型自研增强还是基于开源网关二次开发定下“需要网关”这个结论之后下一个问题是怎么建市面上现成的开源项目不少比如LiteLLM、One API、Higress-AI这些各家的侧重点不太一样。我们最终采用的是“在开源网关基础上做增强开发”的路线而不是完全自研也不是纯采购商业方案这里把我的思考过程展开说一说。2.1 完全自研为什么不可取如果只是做一个HTTP转发加上Key管理代码量不大几百行就能跑通。但一旦把指标采集、日志落盘、SSE代理、限流策略、配置热更新这些加进去工作量就不是一个简单玩具能打住的了。特别是高并发场景下的连接管理、内存控制、优雅退出每一样都要扎实的基础功底。我见过不止一个团队在这里栽跟头Go写了两千行的网关自己压测能跑到几千QPS一上生产面对真实的流量分布和长连接场景就出现内存泄漏排查一周定位不了。开源网关能流行起来是因为它们已经经过大量生产环境的锤炼这些坑早就被踩平了。LLM场景的增强部分大伙儿都还在探索但基础转发、运维监控这些没必要重复造轮子。2.2 二次开发该如何选择基座选择基座我建议看三个维度第一是看项目活跃度。一个仓库最近一年都没怎么更新的话别选了除非你对自己的维护能力特别有信心。第二是看开源协议友好度。商用是否受限、修改后能否闭源、社区版和商业版的边界在哪这些都要看清楚否则后面法务找上门就难受了。第三是看技术栈匹配度。网关团队最熟的语言是什么就用这个语言生态里的项目后续维护成本最低。我们是Go团队自然会优先看Go写的网关项目因为遇到问题可以快速改源码而不用跨语言。2.3 在已有通用网关上增强还是另立LLM专用网关这个决策我们纠结了很久。团队里已经有Kong在跑微服务流量最初的想法是能不能在Kong上加几个插件完事。做完评估后放弃了原因有三点第一是插件市场的LLM能力还不成熟复杂的策略路由和token计量要自己写相当于在Lua/OpenResty里做一套业务系统开发和排查成本都很高。第二是Kong本身要承担所有微服务的流量LLM请求的突发性和长连接特性可能会影响其他业务的稳定性。故障隔离原则告诉我们风险边界越清晰越好。第三是LLM网关的策略粒度跟普通API网关完全不同普通网关一个服务一套限流规则就够用了LLM网关可能要对不同模型、不同场景、不同租户做多维度的配额管理这种复杂性需要独立演进。所以最终结论就是独立部署一个LLM API Gateway它与通用网关联动但不合体两者各司其职。3. 生产环境落地的核心细节七个关键增强点方案确定了接下来就是从0到1把网关做出来。这里把我认为最重要的七个增强点逐一拆开细讲每个点都是生产环境必备的能力少一个后面都会出问题。3.1 认证与密钥托管不让Key出现在业务代码里核心原则很简单模型供应商的API Key永远只存在于网关配置里业务服务只需要拿着内部身份凭证来调用网关就行。我们是这样设计的网关对外暴露一个统一入口业务方请求时带上网关签发的内部Token。网关根据这个Token完成以下几个动作校验Token合法性确认调用方身份。根据身份加载对应的模型路由白名单确认有没有权限调用目标模型。在真正转发到上游模型供应商时从本地加密存储或密钥管理服务里拉取对应的API Key动态注入到请求头里。这样一来业务代码里完全没有模型供应商的Key即使某个服务被脱库了攻击者拿到的也只是内部Token而且内部Token的权限边界可控可以设置过期时间、绑定来源IP、限制可用模型范围。密钥轮换的时候更是方便改网关侧配置就行业务服务重启都不用更不用改代码重新发布。3.2 限流与配额管理Token级计量取代纯QPS限流生产环境限流如果只看QPS等于在LLM场景里闭着眼睛开车。原因是不同请求的消耗差异太大一个简单的问答可能就几百个token一个长文档总结可能几万token纯按QPS设定限流阈值要么浪费资源要么根本守不住成本。我们实现的是一套基于token的双层限流机制第一层基于请求计数每个租户、每个模型接口维度设置每秒/每分钟的最大请求数防止恶意刷接口或者大流量冲击。第二层基于token消耗预算在网关里维护一个实时的token计数器用滑动窗口统计每个租户在当前时间窗口内消耗的总token数达到阈值就直接返回429。这里有个技术细节因为上游返回的是流式响应token数量不是一次性拿到的我们用了异步累加的方式每收到一个SSE数据块就更新一次计数同时通过本地内存加上Redis分布式锁保证多实例部署时计数的一致性。实际运行下来效果很好某个租户的业务逻辑写了个死循环疯狂调模型预算在5分钟内消耗完后自动被拦成本没有继续飙。3.3 流式响应的逐字转发SSE代理处理大模型接口基本都支持流式返回用户在页面上看到的打字机效果就是通过SSE实现的。网关在这里必须做的是透传流式响应绝不能缓冲到全部生成完再一次性返回否则用户体验和响应指标都会崩。实现上要注意几点网关需要支持chunked transfer encoding逐块把上游的数据转发给下游客户端。连接断开要能正确识别客户端中途关闭了页面网关要能主动取消上游请求不然模型还在傻乎乎地生成token照跑。超时设置要有区分连接空闲超时和总耗时上限要分开配因为LLM生成长内容的场景下总的耗时可能到几分钟但真正空闲的时间不应该超过几十秒。我见过有团队在网关层把SSE错误处理写成了普通HTTP错误的格式客户端解析直接崩。这个问题要特别小心SSE的错误信息要以事件流里的error事件形式发送而不是一个完整的HTTP错误响应。3.4 超时、重试与熔断模型服务不稳定时网关要挺身而出模型供应商也有不靠谱的时候尤其是流量高峰期或者模型版本迭代期间超时和5xx错误是家常便饭。网关层必须有一套成熟的容错机制超时方面我们把连接超时、读超时、写超时分开设置并且针对流式场景增加了首包超时和流空闲超时两组参数。首包超时很重要的如果请求发出去很久了模型都还没开始返回第一个token多半是上游卡住了这时要快速失败而不是傻等。重试方面只对幂等请求做自动重试而且必须限制重试次数统一指数退避策略。特别注意的是流式响应已经开始之后千万不能重试否则用户会看到前一半老答案后一半新答案拼接起来的怪物。熔断方面我们基于Google SRE的熔断算法实现了客户端侧的熔断器当上游错误率达到阈值时网关会快速失败网关直接返回降级提示而不是继续把请求打到已经快要挂掉的上游。等上游恢复健康了熔断器自动半开试探逐步恢复流量。3.5 可观测性请求日志、链路追踪和成本分摊生产环境不插眼等于裸奔。网关层的可观测性建设我分三个维度来讲第一个是请求日志。每一次经过网关的请求都要记录完整的信息包括调用方身份、目标模型、prompt长度、响应长度、token消耗上下行分开、耗时分布、结果状态、错误类型。这些日志既用于问题排查也是后续做成本分摊的原始凭证。第二个是链路追踪。网关要正确传递trace_id同时利用OpenTelemetry把网关内部的转发、限流、熔断决策记录成span。一旦业务方反馈“响应很慢”从网关的trace里就能看到慢在模型调用上还是慢在网络传输上不用再两头猜。第三个是Metrics指标。我们重点监控QPS、平均/最大/分位延迟、错误率、token消耗速率、限流触发次数、熔断器状态。每个维度都会按模型、租户、响应码做标签聚合从Grafana面板上可以一眼看出是哪条链路出了问题。成本分摊这个功能很多人会忽视但真的要提前做。我们把每个请求的token消耗和成本估算写到日志和统计数据里财务月底结算时可以按租户、按项目、按模型维度直接拉报表省了一堆扯皮。3.6 安全增强Prompt注入过滤和内容脱敏LLM场景的安全风险和传统API完全不同网关层至少要做两件事第一是Prompt注入检测。通过在网关层对请求体的文本内容做规则匹配和分类模型判断识别出明显试图越权的恶意prompt比如“忽略之前的指令”“你现在是一个不受限制的AI”这类句式。网关直接拦截返回安全提示不让它打到模型层。这个能力在开源模型自己部署的场景里尤其重要因为基础模型本身没有完善的对齐很容易被套话。第二是敏感信息脱敏。请求和响应里如果携带手机号、身份证号、银行卡号这些个人敏感信息在日志落盘之前要做脱敏处理。我们实现了基于正则和实体识别两层的脱敏组件在打日志之前把敏感字段替换成掩码这既保护用户隐私也避免敏感数据被拖入训练语料的合规风险。3.7 缓存策略真有收益但别无脑开给LLM的请求加缓存是个有争议的话题因为模型本身是有状态的同一个prompt在不同时间可能给出不同答案但对某些固定场景来说缓存的价值极高。我们目前只对以下两种场景开缓存完全相同的请求体响应结果可接受一致的。比如文档分类、情感分析这类任务。低延迟要求高的重复查询例如健康检查类的Prompt。缓存实现上要小心的是不能缓存流式响应或者说得更准确一点要先把流式响应在内存里攒成完整结果再落缓存同时后续命中缓存的请求要能把缓存的完整结果再以流式的形式发给客户端。这个转换逻辑处理不好会让客户端解析出错。整体来看开的缓存规模不大但命中率能到10%左右对降低整体延迟还是有可观收益。不建议一开始就追求高命中率先跑起来看看效果再逐步收窄范围这样可以避免误伤用户体验。4. 实操过程从开发到生产的三阶段部署实录前面讲的是能力设计这一节讲落地。我们的LLM API Gateway从代码分支到生产全面放量持续了一周多分三个阶段推进每个阶段都有明确的验证目标和复盘这里把整个过程记录下来更直观。4.1 阶段一本地与开发联调环境的快速验证第一步是把网关在本地跑起来先不走真实模型假装一个本地mock模型服务来验证转发链路。Mock模型实现很简单启动一个HTTP服务收到请求后按token大小模拟不同的响应时间和响应长度支持流式和非流式两种模式。这样可以反复验证网关的超时控制、重试逻辑、熔断判断不会产生真实费用。本地验证的核心清单是正常请求能正确路由到mock模型并返回。限流配置生效超限时正确返回429和重试提示。SSE流式模式下客户端能收到完整的流式数据。伪造一个mock模型超时网关能正确触发重试和熔断。这个阶段跑通了后面就不慌了。4.2 阶段二预发环境的配置校准与流量验证预发环境开始接入真实模型API并用压测工具模拟不同类型流量。这个阶段最重要的是把参数校准这件事做好避免带着拍脑袋的参数上生产。我们对着全场景清单进行逐项测试重点覆盖了这些场景和相关参数配置场景配置项初始值验证结果普通问答超时时间秒60正常通过长文档处理最大响应等待时间秒300正常通过流式响应首包超时秒10偶发超时调整为15模型接口高并发单实例限流阈值50 QPS压测到80 QPS时错误率上升供应商故障熔断阈值错误率50%模拟故障验证熔断生效其中最折腾的是流式响应下的超时参数。因为流式连接是长连接但如果模型在思考阶段卡了几十秒没有返回任何token客户端这边看起来就像挂了。调试之后我们把首包超时设成15秒流空闲超时设成30秒这两个参数在生产环境再根据指标微调。4.3 阶段三生产环境的核心参数校准上了生产之后流量是真实的之前的参数可能就不够看了。我们在生产环境重点做了三件校准第一是调整限流参数。从5%流量的放量开始逐步增加到10%、20%、50%每档观察一段时间看token消耗和错误率曲线确认边缘租户没有被误伤。第二是增加优雅降级策略。当我们的网关并发连接数超过CPU核数目标水位时优先保证核心业务的请求把非核心业务请求自动排队或者直接返回降级提示。第三是完善监控告警。把网关自身的健康指标比如内存、goroutine数、FD数和业务指标一起接入告警体系。LLM网关的内存使用跟普通HTTP服务不一样因为SSE连接要维持较长时间每条连接都有各自的缓冲区和状态机内存增长明显一定要单独设告警线。4.4 压测与性能调优的现场记录压测是一次又一次的拉锯战我这里拿一组真实数据来复盘。我们的网关单实例是4核8G的容器在预发环境做压测时发现QPS到100、SSE并发连接到200的时候CPU已经跑到80%了对于这么简单的转发逻辑来说消耗偏高。排查发现主要瓶颈在JSON序列化上。网关每转发一个请求就会把请求体完整解析一次JSON就算只是透传也应该跳过解析于是我们针对不需要变更请求体的路由改成纯字节流透传只有在需要做缓存、脱敏、注入检测时才触发解析。这一优化直接让CPU降了30%。另一个性能大坑是日志。一开始每个请求都会打印prompt完整内容生产日志量瞬间爆炸磁盘IO被日志拖垮。后来把prompt改成截断采样打印同时加上采样开关生产环境默认20%采样率排查问题再临时提到100%。5. 常见问题与排查技巧实录踩坑录是这个项目最值钱的部分很多问题不是看文档能发现的这里挑几个有代表性的展开。5.1 问题速查表现象可能原因排查方法客户端收到乱码/半截响应SSE代理缓冲设置错误检查网关是否启用了chunked传输确认无缓冲模式模型消耗token暴涨重试逻辑把失败请求重新打出去检查网关重试策略特别是流式场景禁重试请求偶尔超时平均延迟正常某个模型实例冷启动慢看分位延迟优先查P99和P999的统计数据限流没有生效多实例部署时本地计数未同步检查Redis分布式锁和滑动窗口协议上游模型返回401密钥轮换后网关缓存未刷新确认密钥热加载逻辑必要时加缓存失效时间内存持续增长SSE连接未正确关闭或缓冲区溢出检查goroutine和连接数定位未释放的连接5.2 两个隐蔽的坑第一个坑是SSE连接泄漏。我们的网关长连接如果客户端异常断开而网关没有在心跳超时后主动关闭上游连接上游模型会一直生成token到超时为止token费用照付。这个是真金白银买来的教训现在我们把每条SSE连接的心跳检查做成独立监控长期无数据流动超过阈值就强杀。第二个坑是重试导致的非幂等数据问题。网关对普通HTTP请求默认做了失败重试但这个行为对LLM场景是危险的。比如一个生成代码的请求模型第一遍生成了正确答案但在传输中网络断了网关自动重发模型第二遍可能生成完全不同的内容用户看到的就是两次回答拼接的混乱结果。我们的解决方案是所有流式请求默认不重试只有在上游明确返回HTTP 408/502/503这类明确的可重试错误时并且请求还没有开始输出任何内容才允许重试。5.3 一个真实排查案例有一次客户反馈说网关偶尔会返回504超时但是换个时间再请求又完全正常。排查过程是这样的第一步对比同期监控发现出现504的时间段与某个模型供应商接口平均延迟升高的时间完全吻合初步判断是上游变慢导致。第二步看分位延迟发现在业务高峰时段P99从正常的2.8秒飙升到了45秒明显超出网关设置的超时阈值。第三步检查模型路由策略发现当主模型变慢时网关并没有把流量切到备用模型原因是备用模型配置的权重太低健康检查逻辑也只检查了TCP通不通没有检查HTTP响应时间。最终修复方案是通过对“平均延迟超过5秒即标记不健康”的监测规则在供应商接口变慢时自动把流量切到备用的低延迟模型。上线后504的告警立马降为零。6. 给不同团队的落地程度建议如果你也想自建LLM API Gateway根据团队所处阶段不同我给出的建议是不一样。小团队、产品还在验证期不急着自研先找一个现成的开源项目部署比如LiteLLM利用它现有的多模型接入和key管理能力把业务跑起来最重要。这时候做好日志和基础监控能看token消耗和错误率就够了。中型团队、已经有多条业务线在接入大模型这时候值得在开源网关基础上做增强重点做限流、配额、多租户隔离和成本分摊这几个功能对中型团队的价值最大能直接省下跟各业务方扯皮的时间。大团队或者模型本身就是核心资产那就要当成基础设施来建设不仅要做到上面说的全部能力还要考虑跨区域容灾、多活部署、上下游统一配置中心联动、更细粒度的安全合规审计这时候自研的深度会决定这套系统的天花板。我们这个项目的推进节奏是整体采用敏捷的方式去跑的先快速补齐核心能力再根据生产真实反馈不断迭代增强。这也是标题里“AI敏捷版”想表达的意思LLM领域的工具链还在快速演进不需要一上来就追求大而全先把最痛的问题解决掉跑通闭环再逐步加厚。
LLM API Gateway生产落地：自建方案与关键增强点全解析
搞LLM应用最头疼的事不是模型效果不够好而是怎么让服务在生产环境里真正稳定跑起来。你开发的时候用Python脚本直连OpenAI或者其他模型API挺爽参数随手一调请求一发结果就回来了。但一旦要上生产面对多模型切换、密钥管理、限流熔断、审计日志这些东西直接裸连就是给自己埋雷。所以现在稍微有点规模的项目都会在自己和模型之间加一层API Gateway专门做LLM场景的流量收口和策略管控。这篇内容我按实际代码修正过的生产落地经验来聊聊把LLM API Gateway从方案设计到部署折腾一遍重点讲清楚为什么需要、需要哪些能力、以及实操过程中的关键细节和坑给准备自建网关的团队一个参考。无论你是后端工程师、AI应用开发者还是刚好在评估网关选型的架构师这篇应该能省下你不少调研时间。1. 为什么自建LLM服务需要一个独立的API网关我先说结论在LLM应用场景里网关不是可选项而是从demo走向生产必经的一道基础设施。它解决的问题不是“多一个转发层”这么简单而是把模型接入、密钥安全、流量治理、成本管控这些平时容易被忽视的问题集中到一个统一的收口点去管理。1.1 直接对接LLM会对生产环境造成的几个麻烦早期我们的应用很简单服务端直接调用大模型HTTP接口模型供应商、API Key、请求参数全都散落在各个服务里。开发阶段看不出什么问题但一旦到了生产问题接踵而至密钥没法统一管。每个服务都持有同一个供应商的API Key一旦某个服务日志里不小心把Key打出来模型请求参数里常带Key或者是团队成员离职密钥需要轮换你得挨个服务去改改完还要重新发布。这个体验谁经历谁知道。流量没法统一控。没有网关层限流只能靠各服务自己去写逻辑。A服务写了一套令牌桶B服务写了一套信号量C服务直接不设限。等到某个活动推广把请求量打上来模型服务商那边先扛不住直接给你返回429限流接着就是连锁超时。成本没法统一算。LLM的计费是按token来的不同服务、不同业务线、不同项目各自消耗了多少token没有统一出口你根本说不清楚。月底账单摊到具体团队头上的时候财务只能拿总额除以人头乱得一塌糊涂。1.2 LLM场景与普通微服务网关的差异有朋友会问我们用现成的微服务网关不行吗Nginx、Spring Cloud Gateway、Kong这些不都挺成熟的这里要分清楚通用网关解决的是服务发现、负载均衡、路由转发这些基础问题但LLM场景有它自己的特殊性通用网关通常不会替你处理流式响应转发。大模型接口基本都是SSE流式输出网关如果按传统HTTP响应缓冲处理用户打字机效果就没了响应时间也会被读成全部生成完的耗时。多模型供应商切换。业务上要根据模型能力、成本、区域、可用性动态选择调用哪家模型这种策略路由通用网关不会给你做。Token级计量限流。传统限流按QPS来算但LLM的负载跟prompt长短、max_tokens大小强相关两个请求的消耗可能差几百倍只看QPS会严重失真。语义层安全过滤。通用WAF能挡SQL注入、XSS但对Prompt注入这类LLM特有的攻击手段基本无能为力。所以我的观点很明确LLM API Gateway不是一个全新的品类但它是通用网关之上针对大模型交互场景做深度增强的独立组件值得单独建设。1.3 用生活类比讲清楚“为什么要加一层”你可以把网关理解成一个公司的行政前台。没有前台的时候任何访客都能直接走到CEO办公室要资源你根本拦不住也管不住。有了前台所有外部请求先统一登记、验证身份、分配访问区域再决定让不让进、进到哪一层。LLM API Gateway做的事就是这个对外统一暴露入口对内统一管理流量、密钥、配额和审计让整个系统对外的连接只有一条可控的路径。2. 方案选型自研增强还是基于开源网关二次开发定下“需要网关”这个结论之后下一个问题是怎么建市面上现成的开源项目不少比如LiteLLM、One API、Higress-AI这些各家的侧重点不太一样。我们最终采用的是“在开源网关基础上做增强开发”的路线而不是完全自研也不是纯采购商业方案这里把我的思考过程展开说一说。2.1 完全自研为什么不可取如果只是做一个HTTP转发加上Key管理代码量不大几百行就能跑通。但一旦把指标采集、日志落盘、SSE代理、限流策略、配置热更新这些加进去工作量就不是一个简单玩具能打住的了。特别是高并发场景下的连接管理、内存控制、优雅退出每一样都要扎实的基础功底。我见过不止一个团队在这里栽跟头Go写了两千行的网关自己压测能跑到几千QPS一上生产面对真实的流量分布和长连接场景就出现内存泄漏排查一周定位不了。开源网关能流行起来是因为它们已经经过大量生产环境的锤炼这些坑早就被踩平了。LLM场景的增强部分大伙儿都还在探索但基础转发、运维监控这些没必要重复造轮子。2.2 二次开发该如何选择基座选择基座我建议看三个维度第一是看项目活跃度。一个仓库最近一年都没怎么更新的话别选了除非你对自己的维护能力特别有信心。第二是看开源协议友好度。商用是否受限、修改后能否闭源、社区版和商业版的边界在哪这些都要看清楚否则后面法务找上门就难受了。第三是看技术栈匹配度。网关团队最熟的语言是什么就用这个语言生态里的项目后续维护成本最低。我们是Go团队自然会优先看Go写的网关项目因为遇到问题可以快速改源码而不用跨语言。2.3 在已有通用网关上增强还是另立LLM专用网关这个决策我们纠结了很久。团队里已经有Kong在跑微服务流量最初的想法是能不能在Kong上加几个插件完事。做完评估后放弃了原因有三点第一是插件市场的LLM能力还不成熟复杂的策略路由和token计量要自己写相当于在Lua/OpenResty里做一套业务系统开发和排查成本都很高。第二是Kong本身要承担所有微服务的流量LLM请求的突发性和长连接特性可能会影响其他业务的稳定性。故障隔离原则告诉我们风险边界越清晰越好。第三是LLM网关的策略粒度跟普通API网关完全不同普通网关一个服务一套限流规则就够用了LLM网关可能要对不同模型、不同场景、不同租户做多维度的配额管理这种复杂性需要独立演进。所以最终结论就是独立部署一个LLM API Gateway它与通用网关联动但不合体两者各司其职。3. 生产环境落地的核心细节七个关键增强点方案确定了接下来就是从0到1把网关做出来。这里把我认为最重要的七个增强点逐一拆开细讲每个点都是生产环境必备的能力少一个后面都会出问题。3.1 认证与密钥托管不让Key出现在业务代码里核心原则很简单模型供应商的API Key永远只存在于网关配置里业务服务只需要拿着内部身份凭证来调用网关就行。我们是这样设计的网关对外暴露一个统一入口业务方请求时带上网关签发的内部Token。网关根据这个Token完成以下几个动作校验Token合法性确认调用方身份。根据身份加载对应的模型路由白名单确认有没有权限调用目标模型。在真正转发到上游模型供应商时从本地加密存储或密钥管理服务里拉取对应的API Key动态注入到请求头里。这样一来业务代码里完全没有模型供应商的Key即使某个服务被脱库了攻击者拿到的也只是内部Token而且内部Token的权限边界可控可以设置过期时间、绑定来源IP、限制可用模型范围。密钥轮换的时候更是方便改网关侧配置就行业务服务重启都不用更不用改代码重新发布。3.2 限流与配额管理Token级计量取代纯QPS限流生产环境限流如果只看QPS等于在LLM场景里闭着眼睛开车。原因是不同请求的消耗差异太大一个简单的问答可能就几百个token一个长文档总结可能几万token纯按QPS设定限流阈值要么浪费资源要么根本守不住成本。我们实现的是一套基于token的双层限流机制第一层基于请求计数每个租户、每个模型接口维度设置每秒/每分钟的最大请求数防止恶意刷接口或者大流量冲击。第二层基于token消耗预算在网关里维护一个实时的token计数器用滑动窗口统计每个租户在当前时间窗口内消耗的总token数达到阈值就直接返回429。这里有个技术细节因为上游返回的是流式响应token数量不是一次性拿到的我们用了异步累加的方式每收到一个SSE数据块就更新一次计数同时通过本地内存加上Redis分布式锁保证多实例部署时计数的一致性。实际运行下来效果很好某个租户的业务逻辑写了个死循环疯狂调模型预算在5分钟内消耗完后自动被拦成本没有继续飙。3.3 流式响应的逐字转发SSE代理处理大模型接口基本都支持流式返回用户在页面上看到的打字机效果就是通过SSE实现的。网关在这里必须做的是透传流式响应绝不能缓冲到全部生成完再一次性返回否则用户体验和响应指标都会崩。实现上要注意几点网关需要支持chunked transfer encoding逐块把上游的数据转发给下游客户端。连接断开要能正确识别客户端中途关闭了页面网关要能主动取消上游请求不然模型还在傻乎乎地生成token照跑。超时设置要有区分连接空闲超时和总耗时上限要分开配因为LLM生成长内容的场景下总的耗时可能到几分钟但真正空闲的时间不应该超过几十秒。我见过有团队在网关层把SSE错误处理写成了普通HTTP错误的格式客户端解析直接崩。这个问题要特别小心SSE的错误信息要以事件流里的error事件形式发送而不是一个完整的HTTP错误响应。3.4 超时、重试与熔断模型服务不稳定时网关要挺身而出模型供应商也有不靠谱的时候尤其是流量高峰期或者模型版本迭代期间超时和5xx错误是家常便饭。网关层必须有一套成熟的容错机制超时方面我们把连接超时、读超时、写超时分开设置并且针对流式场景增加了首包超时和流空闲超时两组参数。首包超时很重要的如果请求发出去很久了模型都还没开始返回第一个token多半是上游卡住了这时要快速失败而不是傻等。重试方面只对幂等请求做自动重试而且必须限制重试次数统一指数退避策略。特别注意的是流式响应已经开始之后千万不能重试否则用户会看到前一半老答案后一半新答案拼接起来的怪物。熔断方面我们基于Google SRE的熔断算法实现了客户端侧的熔断器当上游错误率达到阈值时网关会快速失败网关直接返回降级提示而不是继续把请求打到已经快要挂掉的上游。等上游恢复健康了熔断器自动半开试探逐步恢复流量。3.5 可观测性请求日志、链路追踪和成本分摊生产环境不插眼等于裸奔。网关层的可观测性建设我分三个维度来讲第一个是请求日志。每一次经过网关的请求都要记录完整的信息包括调用方身份、目标模型、prompt长度、响应长度、token消耗上下行分开、耗时分布、结果状态、错误类型。这些日志既用于问题排查也是后续做成本分摊的原始凭证。第二个是链路追踪。网关要正确传递trace_id同时利用OpenTelemetry把网关内部的转发、限流、熔断决策记录成span。一旦业务方反馈“响应很慢”从网关的trace里就能看到慢在模型调用上还是慢在网络传输上不用再两头猜。第三个是Metrics指标。我们重点监控QPS、平均/最大/分位延迟、错误率、token消耗速率、限流触发次数、熔断器状态。每个维度都会按模型、租户、响应码做标签聚合从Grafana面板上可以一眼看出是哪条链路出了问题。成本分摊这个功能很多人会忽视但真的要提前做。我们把每个请求的token消耗和成本估算写到日志和统计数据里财务月底结算时可以按租户、按项目、按模型维度直接拉报表省了一堆扯皮。3.6 安全增强Prompt注入过滤和内容脱敏LLM场景的安全风险和传统API完全不同网关层至少要做两件事第一是Prompt注入检测。通过在网关层对请求体的文本内容做规则匹配和分类模型判断识别出明显试图越权的恶意prompt比如“忽略之前的指令”“你现在是一个不受限制的AI”这类句式。网关直接拦截返回安全提示不让它打到模型层。这个能力在开源模型自己部署的场景里尤其重要因为基础模型本身没有完善的对齐很容易被套话。第二是敏感信息脱敏。请求和响应里如果携带手机号、身份证号、银行卡号这些个人敏感信息在日志落盘之前要做脱敏处理。我们实现了基于正则和实体识别两层的脱敏组件在打日志之前把敏感字段替换成掩码这既保护用户隐私也避免敏感数据被拖入训练语料的合规风险。3.7 缓存策略真有收益但别无脑开给LLM的请求加缓存是个有争议的话题因为模型本身是有状态的同一个prompt在不同时间可能给出不同答案但对某些固定场景来说缓存的价值极高。我们目前只对以下两种场景开缓存完全相同的请求体响应结果可接受一致的。比如文档分类、情感分析这类任务。低延迟要求高的重复查询例如健康检查类的Prompt。缓存实现上要小心的是不能缓存流式响应或者说得更准确一点要先把流式响应在内存里攒成完整结果再落缓存同时后续命中缓存的请求要能把缓存的完整结果再以流式的形式发给客户端。这个转换逻辑处理不好会让客户端解析出错。整体来看开的缓存规模不大但命中率能到10%左右对降低整体延迟还是有可观收益。不建议一开始就追求高命中率先跑起来看看效果再逐步收窄范围这样可以避免误伤用户体验。4. 实操过程从开发到生产的三阶段部署实录前面讲的是能力设计这一节讲落地。我们的LLM API Gateway从代码分支到生产全面放量持续了一周多分三个阶段推进每个阶段都有明确的验证目标和复盘这里把整个过程记录下来更直观。4.1 阶段一本地与开发联调环境的快速验证第一步是把网关在本地跑起来先不走真实模型假装一个本地mock模型服务来验证转发链路。Mock模型实现很简单启动一个HTTP服务收到请求后按token大小模拟不同的响应时间和响应长度支持流式和非流式两种模式。这样可以反复验证网关的超时控制、重试逻辑、熔断判断不会产生真实费用。本地验证的核心清单是正常请求能正确路由到mock模型并返回。限流配置生效超限时正确返回429和重试提示。SSE流式模式下客户端能收到完整的流式数据。伪造一个mock模型超时网关能正确触发重试和熔断。这个阶段跑通了后面就不慌了。4.2 阶段二预发环境的配置校准与流量验证预发环境开始接入真实模型API并用压测工具模拟不同类型流量。这个阶段最重要的是把参数校准这件事做好避免带着拍脑袋的参数上生产。我们对着全场景清单进行逐项测试重点覆盖了这些场景和相关参数配置场景配置项初始值验证结果普通问答超时时间秒60正常通过长文档处理最大响应等待时间秒300正常通过流式响应首包超时秒10偶发超时调整为15模型接口高并发单实例限流阈值50 QPS压测到80 QPS时错误率上升供应商故障熔断阈值错误率50%模拟故障验证熔断生效其中最折腾的是流式响应下的超时参数。因为流式连接是长连接但如果模型在思考阶段卡了几十秒没有返回任何token客户端这边看起来就像挂了。调试之后我们把首包超时设成15秒流空闲超时设成30秒这两个参数在生产环境再根据指标微调。4.3 阶段三生产环境的核心参数校准上了生产之后流量是真实的之前的参数可能就不够看了。我们在生产环境重点做了三件校准第一是调整限流参数。从5%流量的放量开始逐步增加到10%、20%、50%每档观察一段时间看token消耗和错误率曲线确认边缘租户没有被误伤。第二是增加优雅降级策略。当我们的网关并发连接数超过CPU核数目标水位时优先保证核心业务的请求把非核心业务请求自动排队或者直接返回降级提示。第三是完善监控告警。把网关自身的健康指标比如内存、goroutine数、FD数和业务指标一起接入告警体系。LLM网关的内存使用跟普通HTTP服务不一样因为SSE连接要维持较长时间每条连接都有各自的缓冲区和状态机内存增长明显一定要单独设告警线。4.4 压测与性能调优的现场记录压测是一次又一次的拉锯战我这里拿一组真实数据来复盘。我们的网关单实例是4核8G的容器在预发环境做压测时发现QPS到100、SSE并发连接到200的时候CPU已经跑到80%了对于这么简单的转发逻辑来说消耗偏高。排查发现主要瓶颈在JSON序列化上。网关每转发一个请求就会把请求体完整解析一次JSON就算只是透传也应该跳过解析于是我们针对不需要变更请求体的路由改成纯字节流透传只有在需要做缓存、脱敏、注入检测时才触发解析。这一优化直接让CPU降了30%。另一个性能大坑是日志。一开始每个请求都会打印prompt完整内容生产日志量瞬间爆炸磁盘IO被日志拖垮。后来把prompt改成截断采样打印同时加上采样开关生产环境默认20%采样率排查问题再临时提到100%。5. 常见问题与排查技巧实录踩坑录是这个项目最值钱的部分很多问题不是看文档能发现的这里挑几个有代表性的展开。5.1 问题速查表现象可能原因排查方法客户端收到乱码/半截响应SSE代理缓冲设置错误检查网关是否启用了chunked传输确认无缓冲模式模型消耗token暴涨重试逻辑把失败请求重新打出去检查网关重试策略特别是流式场景禁重试请求偶尔超时平均延迟正常某个模型实例冷启动慢看分位延迟优先查P99和P999的统计数据限流没有生效多实例部署时本地计数未同步检查Redis分布式锁和滑动窗口协议上游模型返回401密钥轮换后网关缓存未刷新确认密钥热加载逻辑必要时加缓存失效时间内存持续增长SSE连接未正确关闭或缓冲区溢出检查goroutine和连接数定位未释放的连接5.2 两个隐蔽的坑第一个坑是SSE连接泄漏。我们的网关长连接如果客户端异常断开而网关没有在心跳超时后主动关闭上游连接上游模型会一直生成token到超时为止token费用照付。这个是真金白银买来的教训现在我们把每条SSE连接的心跳检查做成独立监控长期无数据流动超过阈值就强杀。第二个坑是重试导致的非幂等数据问题。网关对普通HTTP请求默认做了失败重试但这个行为对LLM场景是危险的。比如一个生成代码的请求模型第一遍生成了正确答案但在传输中网络断了网关自动重发模型第二遍可能生成完全不同的内容用户看到的就是两次回答拼接的混乱结果。我们的解决方案是所有流式请求默认不重试只有在上游明确返回HTTP 408/502/503这类明确的可重试错误时并且请求还没有开始输出任何内容才允许重试。5.3 一个真实排查案例有一次客户反馈说网关偶尔会返回504超时但是换个时间再请求又完全正常。排查过程是这样的第一步对比同期监控发现出现504的时间段与某个模型供应商接口平均延迟升高的时间完全吻合初步判断是上游变慢导致。第二步看分位延迟发现在业务高峰时段P99从正常的2.8秒飙升到了45秒明显超出网关设置的超时阈值。第三步检查模型路由策略发现当主模型变慢时网关并没有把流量切到备用模型原因是备用模型配置的权重太低健康检查逻辑也只检查了TCP通不通没有检查HTTP响应时间。最终修复方案是通过对“平均延迟超过5秒即标记不健康”的监测规则在供应商接口变慢时自动把流量切到备用的低延迟模型。上线后504的告警立马降为零。6. 给不同团队的落地程度建议如果你也想自建LLM API Gateway根据团队所处阶段不同我给出的建议是不一样。小团队、产品还在验证期不急着自研先找一个现成的开源项目部署比如LiteLLM利用它现有的多模型接入和key管理能力把业务跑起来最重要。这时候做好日志和基础监控能看token消耗和错误率就够了。中型团队、已经有多条业务线在接入大模型这时候值得在开源网关基础上做增强重点做限流、配额、多租户隔离和成本分摊这几个功能对中型团队的价值最大能直接省下跟各业务方扯皮的时间。大团队或者模型本身就是核心资产那就要当成基础设施来建设不仅要做到上面说的全部能力还要考虑跨区域容灾、多活部署、上下游统一配置中心联动、更细粒度的安全合规审计这时候自研的深度会决定这套系统的天花板。我们这个项目的推进节奏是整体采用敏捷的方式去跑的先快速补齐核心能力再根据生产真实反馈不断迭代增强。这也是标题里“AI敏捷版”想表达的意思LLM领域的工具链还在快速演进不需要一上来就追求大而全先把最痛的问题解决掉跑通闭环再逐步加厚。