打赏

相关文章

python 默认线程池并发调用 llm 被卡系统 cpu 上限

在做 LLM-as-a-Judge 的并发调用时,我一开始以为自己已经把并发开起来了:调度层允许同一轮内多个比较并发、同一比较内多个模型也并发,请求端看起来也是 asyncio。但实际跑下来很奇怪,单模型明明配置了 16 并发,A…

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部