打赏

相关文章

大模型推理OOM?KVCache优化实战解析

在部署 LLM 推理服务时,你是否遇到过这样的困境:明明使用的是 A100 80GB 显卡,运行 70B 模型时 batch size 却只敢设置为 2,上下文长度一增加就频繁出现 OOM(Out of Memory)错误?更让人头疼的是…

扩展分享:SpringBoot中快速部署运行Activiti工作流

上一篇文章我讲了如何在SpringBoot中集成Activiti7.0工作流,那么这里我讲一下如何创建一个简单的工作流,然后部署运行。其实SpringBoot项目中使用工作非常的简单,大家不要被网上各种关于Activiti工作流的帖子吓退,…

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部