ARTICLE DETAIL

资讯详情

深耕编程入门与网站建设的一线实战洞察。

快速上手Juice:10分钟搭建GPU远程共享环境,零改造远程调用显卡

快速上手Juice:10分钟搭建GPU远程共享环境,零改造远程调用显卡 快速上手Juice10分钟搭建GPU远程共享环境零改造远程调用显卡【免费下载链接】Juice-LabsJuice Community Version Public Release项目地址: https://gitcode.com/gh_mirrors/ju/Juice-LabsJuice 是一款开源的GPU 远程共享GPU-over-IP客户端/服务端方案在物理 GPU 机器上运行 Juice 服务端后网络上任意一台机器都能像使用本地显卡一样调用它。本文带你用 4 步、10 分钟搭建一个 GPU 远程共享环境且无需对任何应用做任何改造。Juice 是什么一句话看懂GPU over IP——通过标准 TCP/IP 网络把远程 GPU 用起来。️ GPU 所在机器运行Juice 服务端将物理显卡暴露为网络服务 任意客户端机器运行Juice 客户端本地显卡调用被透明转发到远程 GPU 客户端应用完全感知不到 GPU 是远程的代码零修改 物理机、虚拟机、容器都能跑同时支持 Linux 与 Windows它解决的是真实痛点吃 GPU 的应用只能和显卡待在同一台物理机上业界 GPU 利用率普遍估计低于 15%。Juice 把应用在哪跑和GPU 在哪彻底解耦让 GPU 可以池化、共享、按需接入。开始前的环境准备3 个前置条件项目要求服务端机器带物理 GPUNVIDIA、已安装 Docker 的机器客户端机器任意 Linux/Windows 机器含虚拟机、容器网络两台机器可 TCP/IP 互通默认端口43210 如果想查看源码或自行构建镜像可克隆仓库git clone https://gitcode.com/gh_mirrors/ju/Juice-Labs10 分钟搭建4 步走通 GPU 远程共享第 1 步在 GPU 机器启动 Juice 服务端拉取并启动官方服务端镜像详见docker/server/目录说明镜像标签格式为发布版本-操作系统docker pull juicelabs/server:release-ubuntu-22关键参数是--gpus all它把物理 GPU 透传进容器docker run --gpus all -it juicelabs/server:release-ubuntu-22服务端默认监听43210端口如需自定义传-e PORT端口 -p 端口:端口即可。日志位于容器内/home/juice/agent/log。第 2 步在客户端机器启动 Juice 客户端客户端同样以容器交付详见docker/client/入口是juicify命令——任何应用的透明启动器docker run --network host --rm -it juicelabs/client 应用镜像 启动命令它通过LD_PRELOAD将 Juice 客户端库注入目标进程实现见cmd/juicify/app/juicify_linux.go应用的显卡调用便被原样转发到远程服务端应用本身毫无感知。第 3 步验证远程显卡可见在客户端执行nvidia-smi能看到服务端的 GPU 型号、显存和占用即表示链路已通docker run --network host --rm -it juicelabs/client nvidia-smi第 4 步直接运行应用零改造调用远程 GPU按你平时的方式启动 AI 推理、渲染、编码等任意应用容器即可docker run --network host --rm -it juicelabs/client 你的应用镜像 启动命令应用完全不知道显卡在几十公里外——这就是零改造远程调用显卡的核心价值 ✅进阶玩法K8s 部署与 GPU 监控️Kubernetes 部署仓库内置 server 与 controller 两套 Helm Chartcharts/server/、charts/controller/示例中通过nvidia.com/gpu: 1声明 GPU 资源参考charts/server/examples/basic.yaml集群化管理Juice Agent 部署在 GPU 机器上连接 controller 上报 GPU 状态cmd/agent/controller 支持 PostgreSQL、SQLite 与内存多种存储cmd/controller/storage/指标监控内置 Prometheus 指标采集cmd/agent/prometheus/controller 前端也提供 metrics 接口cmd/controller/prometheus/方便自建 GPU 利用率大盘常见问题速查⚠️客户端看不到远程 GPU先检查服务端是否带了--gpus all启动⏱️连接超时确认防火墙放通 43210或自定义端口两机网络可达客户端依赖Linux 客户端需要libstdc.so.6和libvulkan.so.1juicify 启动时会自动校验Windows 支持项目同时覆盖 Windows 场景跨平台实现见cmd/agent/app/windows/小结用 Juice 搭建 GPU 远程共享环境10 分钟即可完成GPU 机器起服务端共享显卡客户端机器起客户端应用照常启动——零改造、跨机器、支持容器与 K8s。无论是搭建 GPU 资源池、跨机 AI 推理还是远程渲染加速这个开源项目都值得你试一下 【免费下载链接】Juice-LabsJuice Community Version Public Release项目地址: https://gitcode.com/gh_mirrors/ju/Juice-Labs创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表