Bonsai-demo模型下载详解HuggingFace公开仓库免Token下载全攻略【免费下载链接】Bonsai-demoBonsai Demo项目地址: https://gitcode.com/GitHub_Trending/bo/Bonsai-demoBonsai-demo 是一个可以在本地运行 Bonsai 超低比特1-bit / 三值 Ternary大语言模型的开源演示项目。它的模型全部托管在HuggingFace 公开仓库中免 Token 匿名下载一条./setup.sh命令即可完成装依赖 下载模型 下载推理二进制的全部工作。本文带你完整搞懂Bonsai 模型下载机制、如何免 Token 拉取、如何用环境变量自由切换 4 种规格 × 2 个模型家族的 8 种组合。 Bonsai 模型下载概览Bonsai-demo 是什么Bonsai 系列模型最大的特点是极致压缩——用 1 比特甚至 2 比特的权重承载 27B 级别的模型能力因此模型文件小到一部现代 iPhone 都能装下 27B 模型。它覆盖两大模型家族家族说明默认Ternary-Bonsai三值每权重约 1.7 bit打包为 2-bit质量更高✅ 默认家族Bonsai1-bit每权重约 1.125 bit体积最小每个家族都提供27B / 8B / 4B / 1.7B四种规格其中 27B 是视觉语言模型支持图片、截图和 PDF 输入。 免 Token 下载HuggingFace 公开仓库机制很多模型下载教程都会卡在先去 HuggingFace 注册、申请 Token这一步。Bonsai-demo完全不需要所有模型仓库如prism-ml/Ternary-Bonsai-27B-gguf、prism-ml/Bonsai-8B-gguf等全部公开支持匿名直接下载下载入口脚本 scripts/download_models.sh 虽然保留了BONSAI_TOKEN变量用于兼容但官方明确说明已无需 Token设置与否都无所谓若在交互终端运行脚本可能会弹出输入 HuggingFace Token的可选提示——直接按回车跳过即可不影响任何下载。原理一句话脚本内部用 Python 的huggingface_hub.snapshot_download拉取仓库公开仓库匿名可用Token 只是备胎。⚡ 一键下载模型setup.sh 使用步骤在 macOS / Linux 上整个 Bonsai 模型下载只需三步git clone https://gitcode.com/GitHub_Trending/bo/Bonsai-demo cd Bonsai-demo ./setup.shsetup.sh 会自动完成 8 件事详见 README.md 的 What setup.sh Does 章节检查并安装系统依赖Xcode CLT / build-essential安装 uv 并创建 Python 虚拟环境安装huggingface-cli等依赖依赖清单见 pyproject.toml从 HuggingFace 公开仓库下载模型免 Token下载 llama.cpp 预编译二进制或自行源码编译macOS 上额外从源码构建 MLX 推理栈可选安装 Open WebUI 智能体演示界面。两个实用特性断点安全重复运行setup.sh是安全的已完成的步骤会自动跳过模型文件已存在也不会重复下载Windows 用户使用 PowerShell 运行.\setup.ps1流程完全一致。️ 自由切换规格BONSAI_MODEL 与 BONSAI_FAMILY 速查表下载哪个模型完全由两个环境变量决定完整 24 个变量见 environment_variables.md环境变量默认值可选值作用BONSAI_MODEL27B27B8B4B1.7Ball模型大小BONSAI_FAMILYternaryternarybonsaiall模型家族常见下载组合示例./setup.sh # 默认Ternary-Bonsai-27B BONSAI_MODEL1.7B ./setup.sh # 小机器Ternary-Bonsai-1.7B BONSAI_FAMILYbonsai ./setup.sh # 1-bit 家族的 Bonsai-27B BONSAI_MODELall ./setup.sh # 当前家族全部 4 种规格 BONSAI_FAMILYall BONSAI_MODELall ./setup.sh # 全家桶8 组模型 BONSAI_SKIP_GGUF1 ./setup.sh # macOS 只下 MLX 格式省磁盘新手建议内存 8GB 左右的机器从BONSAI_MODEL1.7B起步16GB 内存选4B或8B24GB 以上内存直接上默认的 27BTernary-27B 权重约 6.7 GiB1-bit 版仅约 3.5 GiB。 下载哪些文件GGUF 与 MLX 双格式说明Bonsai 模型下载 时脚本会按平台自动挑选格式你基本不用操心GGUF 格式llama.cpp 后端Mac/Linux/Windows 通用存放在models/gguf/1-bit 家族或models/ternary-gguf/三值家族MLX 格式Apple Silicon 专用存放在models/Bonsai-*-mlx/或models/Ternary-Bonsai-*-mlx-2bit/非 macOS 平台自动跳过三值模型的格式二选一GGUF 仓库里有PQ2_0和官方Q2_0_g64两种新格式脚本会根据你机器的后端自动下载正确的那一种无需手动挑选。文件格式的详细对照表见 MODEL-FORMATS.md27B 的额外文件脚本还会一并下载视觉投影器mmproj和投机解码头dspark分别用于图片输入和加速解码。⚠️ 避坑提醒仓库中遗留的旧*-Q2_0.gguf文件已废弃新版二进制会拒绝加载。好消息是脚本自动处理这一切只要通过setup.sh下载就不会踩坑。 下载完成后的目录结构下载成功后项目目录会多出models/文件夹models/ ├── gguf/27B/ 8B/ 4B/ 1.7B/ # 1-bit 家族 GGUF27B 含 mmproj 视觉文件 ├── ternary-gguf/27B/ ... # 三值家族 GGUF ├── Bonsai-27B-mlx/ # MLX 格式仅 macOS └── Ternary-Bonsai-27B-mlx-2bit/之后运行 scripts/run_llama.sh 单条问答或 scripts/start_llama_server.sh 启动本地聊天服务http://localhost:8080脚本会自动找到对应的模型文件。各硬件的真实速度参考 community-benchmarks/ 社区基准测试。❓ 常见问题 FAQQ1下载会提示输入 Token不注册 HuggingFace 能用吗能。按回车跳过即可——所有仓库都是公开的Token 纯属可选兼容项见 scripts/download_models.sh 脚本头部注释。Q2网络中断了要重新下载整个模型吗不需要。huggingface_hub支持断点续传且已下载的文件不会重复拉取重跑一次./setup.sh即可继续。Q3磁盘空间不够怎么办在 Apple Silicon Mac 上可用BONSAI_SKIP_GGUF1只保留 MLX 格式或选更小的BONSAI_MODEL。1-bit 家族比三值家族同规格再小约 45%。Q4换模型必须重新跑 setup 吗不用。单独运行 scripts/download_models.sh 只补下模型例如BONSAI_MODEL4B ./scripts/download_models.sh然后直接运行即可。总结Bonsai 模型下载的核心就是公开仓库 免 Token 环境变量选规格。记住BONSAI_MODEL和BONSAI_FAMILY两个旋钮配合一条./setup.sh你就能在本地跑起 1 比特的大语言模型。【免费下载链接】Bonsai-demoBonsai Demo项目地址: https://gitcode.com/GitHub_Trending/bo/Bonsai-demo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Bonsai-demo模型下载详解：HuggingFace公开仓库免Token下载全攻略
Bonsai-demo模型下载详解HuggingFace公开仓库免Token下载全攻略【免费下载链接】Bonsai-demoBonsai Demo项目地址: https://gitcode.com/GitHub_Trending/bo/Bonsai-demoBonsai-demo 是一个可以在本地运行 Bonsai 超低比特1-bit / 三值 Ternary大语言模型的开源演示项目。它的模型全部托管在HuggingFace 公开仓库中免 Token 匿名下载一条./setup.sh命令即可完成装依赖 下载模型 下载推理二进制的全部工作。本文带你完整搞懂Bonsai 模型下载机制、如何免 Token 拉取、如何用环境变量自由切换 4 种规格 × 2 个模型家族的 8 种组合。 Bonsai 模型下载概览Bonsai-demo 是什么Bonsai 系列模型最大的特点是极致压缩——用 1 比特甚至 2 比特的权重承载 27B 级别的模型能力因此模型文件小到一部现代 iPhone 都能装下 27B 模型。它覆盖两大模型家族家族说明默认Ternary-Bonsai三值每权重约 1.7 bit打包为 2-bit质量更高✅ 默认家族Bonsai1-bit每权重约 1.125 bit体积最小每个家族都提供27B / 8B / 4B / 1.7B四种规格其中 27B 是视觉语言模型支持图片、截图和 PDF 输入。 免 Token 下载HuggingFace 公开仓库机制很多模型下载教程都会卡在先去 HuggingFace 注册、申请 Token这一步。Bonsai-demo完全不需要所有模型仓库如prism-ml/Ternary-Bonsai-27B-gguf、prism-ml/Bonsai-8B-gguf等全部公开支持匿名直接下载下载入口脚本 scripts/download_models.sh 虽然保留了BONSAI_TOKEN变量用于兼容但官方明确说明已无需 Token设置与否都无所谓若在交互终端运行脚本可能会弹出输入 HuggingFace Token的可选提示——直接按回车跳过即可不影响任何下载。原理一句话脚本内部用 Python 的huggingface_hub.snapshot_download拉取仓库公开仓库匿名可用Token 只是备胎。⚡ 一键下载模型setup.sh 使用步骤在 macOS / Linux 上整个 Bonsai 模型下载只需三步git clone https://gitcode.com/GitHub_Trending/bo/Bonsai-demo cd Bonsai-demo ./setup.shsetup.sh 会自动完成 8 件事详见 README.md 的 What setup.sh Does 章节检查并安装系统依赖Xcode CLT / build-essential安装 uv 并创建 Python 虚拟环境安装huggingface-cli等依赖依赖清单见 pyproject.toml从 HuggingFace 公开仓库下载模型免 Token下载 llama.cpp 预编译二进制或自行源码编译macOS 上额外从源码构建 MLX 推理栈可选安装 Open WebUI 智能体演示界面。两个实用特性断点安全重复运行setup.sh是安全的已完成的步骤会自动跳过模型文件已存在也不会重复下载Windows 用户使用 PowerShell 运行.\setup.ps1流程完全一致。️ 自由切换规格BONSAI_MODEL 与 BONSAI_FAMILY 速查表下载哪个模型完全由两个环境变量决定完整 24 个变量见 environment_variables.md环境变量默认值可选值作用BONSAI_MODEL27B27B8B4B1.7Ball模型大小BONSAI_FAMILYternaryternarybonsaiall模型家族常见下载组合示例./setup.sh # 默认Ternary-Bonsai-27B BONSAI_MODEL1.7B ./setup.sh # 小机器Ternary-Bonsai-1.7B BONSAI_FAMILYbonsai ./setup.sh # 1-bit 家族的 Bonsai-27B BONSAI_MODELall ./setup.sh # 当前家族全部 4 种规格 BONSAI_FAMILYall BONSAI_MODELall ./setup.sh # 全家桶8 组模型 BONSAI_SKIP_GGUF1 ./setup.sh # macOS 只下 MLX 格式省磁盘新手建议内存 8GB 左右的机器从BONSAI_MODEL1.7B起步16GB 内存选4B或8B24GB 以上内存直接上默认的 27BTernary-27B 权重约 6.7 GiB1-bit 版仅约 3.5 GiB。 下载哪些文件GGUF 与 MLX 双格式说明Bonsai 模型下载 时脚本会按平台自动挑选格式你基本不用操心GGUF 格式llama.cpp 后端Mac/Linux/Windows 通用存放在models/gguf/1-bit 家族或models/ternary-gguf/三值家族MLX 格式Apple Silicon 专用存放在models/Bonsai-*-mlx/或models/Ternary-Bonsai-*-mlx-2bit/非 macOS 平台自动跳过三值模型的格式二选一GGUF 仓库里有PQ2_0和官方Q2_0_g64两种新格式脚本会根据你机器的后端自动下载正确的那一种无需手动挑选。文件格式的详细对照表见 MODEL-FORMATS.md27B 的额外文件脚本还会一并下载视觉投影器mmproj和投机解码头dspark分别用于图片输入和加速解码。⚠️ 避坑提醒仓库中遗留的旧*-Q2_0.gguf文件已废弃新版二进制会拒绝加载。好消息是脚本自动处理这一切只要通过setup.sh下载就不会踩坑。 下载完成后的目录结构下载成功后项目目录会多出models/文件夹models/ ├── gguf/27B/ 8B/ 4B/ 1.7B/ # 1-bit 家族 GGUF27B 含 mmproj 视觉文件 ├── ternary-gguf/27B/ ... # 三值家族 GGUF ├── Bonsai-27B-mlx/ # MLX 格式仅 macOS └── Ternary-Bonsai-27B-mlx-2bit/之后运行 scripts/run_llama.sh 单条问答或 scripts/start_llama_server.sh 启动本地聊天服务http://localhost:8080脚本会自动找到对应的模型文件。各硬件的真实速度参考 community-benchmarks/ 社区基准测试。❓ 常见问题 FAQQ1下载会提示输入 Token不注册 HuggingFace 能用吗能。按回车跳过即可——所有仓库都是公开的Token 纯属可选兼容项见 scripts/download_models.sh 脚本头部注释。Q2网络中断了要重新下载整个模型吗不需要。huggingface_hub支持断点续传且已下载的文件不会重复拉取重跑一次./setup.sh即可继续。Q3磁盘空间不够怎么办在 Apple Silicon Mac 上可用BONSAI_SKIP_GGUF1只保留 MLX 格式或选更小的BONSAI_MODEL。1-bit 家族比三值家族同规格再小约 45%。Q4换模型必须重新跑 setup 吗不用。单独运行 scripts/download_models.sh 只补下模型例如BONSAI_MODEL4B ./scripts/download_models.sh然后直接运行即可。总结Bonsai 模型下载的核心就是公开仓库 免 Token 环境变量选规格。记住BONSAI_MODEL和BONSAI_FAMILY两个旋钮配合一条./setup.sh你就能在本地跑起 1 比特的大语言模型。【免费下载链接】Bonsai-demoBonsai Demo项目地址: https://gitcode.com/GitHub_Trending/bo/Bonsai-demo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考