打赏

相关文章

vllm设置参数 llm调用显存使用1gb

- 模型加载仅占用 0.32 GiB 内存 - 可用 KV 缓存内存: 0.57 GiB - 总显存使用:约 0.89 GiB (符合 1GB 以内的要求) (TraeAI-6) ~/my_python_server/wsl [1] $ cd /root/my_python_server/wsl ; /root/my_python_server/vllm-env…

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部