ARTICLE DETAIL

资讯详情

深耕编程入门与网站建设的一线实战洞察。

ModelScope 跨平台部署:3 条路径,跑通同一个模型(Windows / Linux / macOS)

ModelScope 跨平台部署:3 条路径,跑通同一个模型(Windows / Linux / macOS) ModelScope 跨平台部署3 条路径跑通同一个模型Windows / Linux / macOS【免费下载链接】modelscopeModelScope: bring the notion of Model-as-a-Service to life.项目地址: https://gitcode.com/GitHub_Trending/mo/modelscope新成员入职第一天组长丢给他一个任务把同一个文本分类模型分别在 Windows 笔记本、Linux 服务器和 MacBook 上各跑一遍。好消息是 ModelScope 跨平台部署并不需要三套不同的代码——pipeline 调用写一次三个平台都能用真正要做对的只是每个平台那几行安装命令和硬件加速的选择。这篇文章给出一份可直接照抄的部署清单3 个部署前自检项、一条打通三平台的主流程、5 分钟健康检查、高频踩坑清单以及最快容器启动方式。部署前的 3 个自检项开装之前先把这 3 件事确认掉后面 90% 的报错都不会找上门系统 芯片Windows 10/11x86_64、Linuxx86_64 / ARM64、macOS 10.15 都在支持范围内。特别注意 MacIntel 芯片直接装即可M 系列芯片当前需要 Rosetta 2 转译 x86 环境。Python 版本当前版本要求3.10 及以上见 pyproject.toml。建议统一用 conda 或 venv 建独立环境避免污染系统 Python。加速方式NVIDIA GPU 机器要记下驱动对应的 CUDA 版本装 PyTorch 时按它选Mac M 芯片走 MPS 后端纯 CPU 机器完全可用只是别指望它训练大模型。一条主流程打通三平台下面是主干流程只在第 2、3 步有平台分支。第 1 步确认 Pythonpython --version # 需要 3.10第 2 步建隔离环境conda create -n modelscope python3.10 -y conda activate modelscope平台分支M 芯片 Mac 先执行softwareupdate --install-rosetta --agree-to-license安装 Rosetta 2再装 x86 版 Miniforge 来创建该环境Windows 用户若遇到 C 编译报错预装 Visual C Build Tools或直接用 WSL2 走 Linux 流程。第 3 步装 PyTorchpip install torch torchvision torchaudio # 按硬件选 CUDA / CPU / MPS 构建平台分支NVIDIA GPU 用户去 PyTorch 官网按 CUDA 版本选 wheel纯 CPU 加--index-url指向 cpu 源Mac M 芯片用原生 ARM 构建即可启用 MPS。第 4 步装 ModelScope 本体 领域扩展# 按需要的领域选 extrascv / nlp / multi-modal / audio / science pip install modelscope[nlp] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html只访问模型和数据集、不做推理的话pip install modelscope就够NLP、CV、语音等 extras 涉及独立托管的依赖务必带-f参数。各 extras 的构成可查 pyproject.toml详细说明见 README_zh.md。5 分钟健康检查激活环境后跑这条命令10 秒内确认版本和设备都正常python -c import modelscope, torch; print(modelscope.__version__); print(torch.__version__, torch.cuda.is_available(), torch.backends.mps.is_available())输出里出现版本号即安装成功。不同平台的能力差异用这张表对号入座能力LinuxWindowsmacOS IntelmacOS M 芯片文本 / 图像推理✅✅✅✅Rosetta微调单机✅✅✅⚠️ 内存受限语音模型✅❌❌❌多卡 / 分布式✅❌❌❌踩坑清单5 个高频问题的一行修复torch 编译报错Windows误装了 GPU 版而本机没配 CUDA。修复改装 CPU 版pip install torch --index-url https://download.pytorch.org/whl/cpu。音频模型报libsndfile缺失macOS系统库没装。修复brew install libsndfile。推理 OOMLinux GPU大模型默认 fp32 加载。修复加载时加torch_dtypetorch.float16显存直接省一半。pip 卡死在某个依赖Windows / macOS漏了-f参数私有依赖没走对仓库。修复命令末尾补上-f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html。⚡M 芯片 MacBook 明显偏慢conda 环境跑的是 x86 翻译版本。修复用原生 ARM 版 Miniforge 重建环境语音模型除外。最快容器启动方式不想本机折腾依赖ModelScope Docker 部署只要两条命令。GPU 生产机docker run -it --gpus all \ registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.8.0-py38-torch2.0.1-tf2.13.0-1.9.5 \ /bin/bash纯 CPU 机器去掉--gpus all换 CPU 版 tag 即可。镜像内已装好全部框架与依赖容器里跑上面那条健康检查命令验证一致。构建细节可看 docker/ 目录与 docs/develop.md。按场景选路径3 句话结论生产环境直接 Linux GPU 官方容器功能最全、镜像可复现。个人开发机Windows / macOS 本机装即可M 芯片 Mac 记得走 MPS。边缘与轻量场景CPU 容器随时可拉起的无 GPU 部署单元。关于后续演进Linux 侧的功能覆盖始终最完整Windows 侧建议优先走 WSL2 以降低适配成本M 芯片 Mac 目前是 Rosetta 过渡方案、MPS 路径仍在补齐中官方容器镜像会随版本持续更新语音类模型的新依赖也会按 extras 方式发布。可以预期的是M 芯片原生 ARM 环境和跨平台统一性能基线会是 ModelScope 跨平台部署接下来的主要演进方向。【免费下载链接】modelscopeModelScope: bring the notion of Model-as-a-Service to life.项目地址: https://gitcode.com/GitHub_Trending/mo/modelscope创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表