Text Generation WebUI 本地部署完整指南一条脚本装好本地 LLM 开箱即用【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen装本地 LLM 最头疼的是依赖装不全、环境变量报错、CUDA 版本不匹配。Text Generation WebUI 用一键脚本把这套流程打包好了自动下 Miniforge、建好环境、装完所有后端还支持 OpenAI 兼容 API全程离线、无遥测。功能全景功能说明适合谁聊天与生成 ️instruct / 角色扮演模式可编辑消息、分叉对话日常对话、角色设定视觉与附件消息里带图片、上传 PDF 和 .docx 一起问文档问答、图文理解工具调用模型能调网页搜索、抓页面、数学等自定义函数工作流自动化本地 APIOpenAI / Anthropic 风格接口含 Chat、Completions、Messages想接现有代码的开发者训练与画图LoRA 微调、diffusers 文生图想改模型或出图的人模型后端内置 llama.cpp、ik_llama.cpp、Transformers、ExLlamaV3、TensorRT-LLM 五种切换后端不用重启。完整列表见 docs/ 下的官方文档。三步跑起来 第一步获取代码git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui cd text-generation-webui第二步配置环境。按系统跑一键脚本Linux 是./start_linux.shmacOS 是./start_macos.shWindows 是start_windows.bat。脚本会自己下载 Miniforge 并在installer_files/里建 conda 环境按提示选 GPU 厂商NVIDIA / AMD / 纯 CPU即可不需要 root 权限。第三步启动服务。装完直接再跑一次同样的start_脚本。看到浏览器自动打开http://127.0.0.1:7860、页面正常出现 Chat 标签页就算成功。核心工作流加载模型并开聊从 Hugging Face 下一个 GGUF 格式模型放进user_data/models/。界面会自动检测到它不用手动注册。进 Model 标签页下拉框选中模型loader 默认 llama.cpp。gpu_layers设-1自动全放显卡点Load。加载完点一下 Save下次选这个模型直接沿用参数。切到 Chat 标签页选 instruct 模式发消息。不想每次手动选模型的话往 user_data/CMD_FLAGS.txt 里加一行--model 你的模型文件名.gguf启动即加载。进阶调优 显存不够就压上下文。llama.cpp 的 KV cache 是预分配的ctx-size越大越吃显存。模型加载报 OOM 时优先调低ctx-size再把cache-type从fp16降到q8_0甚至q4_0省不少显存代价是质量轻微下降。把它变成 OpenAI 兼容接口。在CMD_FLAGS.txt加一行--api重启后本地就有 5000 端口的 API浏览器打开http://127.0.0.1:5000/docs能看全部接口文档。现有 OpenAI SDK 的代码基本不用改只把 base_url 换成本地地址即可详见 OpenAI API 文档。常见坑与排障 ⚠️现象start 脚本报错退出。原因项目路径里含空格Miniforge 装不进去。解决把仓库挪到无空格、无中文的路径如/home/用户名/项目/text-generation-webui。现象模型加载报 out of memory。原因上下文或层数超出显卡容量。解决调低ctx-size、gpu_layers设小值让部分层落 CPU或改用更低位的量化模型。现象Model 下拉框里没有模型。原因项目不带任何模型GGUF 必须自己下载放进user_data/models/多文件的 Transformers 模型要放进该目录下的子文件夹。一句话总结它是把本地 LLM 环境地狱压缩成一条脚本的方案。建议先装好跑通对话再去docs/里按 Chat、Model、Training 的顺序把标签页挨个过一遍。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Text Generation WebUI 本地部署完整指南：一条脚本装好，本地 LLM 开箱即用
Text Generation WebUI 本地部署完整指南一条脚本装好本地 LLM 开箱即用【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen装本地 LLM 最头疼的是依赖装不全、环境变量报错、CUDA 版本不匹配。Text Generation WebUI 用一键脚本把这套流程打包好了自动下 Miniforge、建好环境、装完所有后端还支持 OpenAI 兼容 API全程离线、无遥测。功能全景功能说明适合谁聊天与生成 ️instruct / 角色扮演模式可编辑消息、分叉对话日常对话、角色设定视觉与附件消息里带图片、上传 PDF 和 .docx 一起问文档问答、图文理解工具调用模型能调网页搜索、抓页面、数学等自定义函数工作流自动化本地 APIOpenAI / Anthropic 风格接口含 Chat、Completions、Messages想接现有代码的开发者训练与画图LoRA 微调、diffusers 文生图想改模型或出图的人模型后端内置 llama.cpp、ik_llama.cpp、Transformers、ExLlamaV3、TensorRT-LLM 五种切换后端不用重启。完整列表见 docs/ 下的官方文档。三步跑起来 第一步获取代码git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui cd text-generation-webui第二步配置环境。按系统跑一键脚本Linux 是./start_linux.shmacOS 是./start_macos.shWindows 是start_windows.bat。脚本会自己下载 Miniforge 并在installer_files/里建 conda 环境按提示选 GPU 厂商NVIDIA / AMD / 纯 CPU即可不需要 root 权限。第三步启动服务。装完直接再跑一次同样的start_脚本。看到浏览器自动打开http://127.0.0.1:7860、页面正常出现 Chat 标签页就算成功。核心工作流加载模型并开聊从 Hugging Face 下一个 GGUF 格式模型放进user_data/models/。界面会自动检测到它不用手动注册。进 Model 标签页下拉框选中模型loader 默认 llama.cpp。gpu_layers设-1自动全放显卡点Load。加载完点一下 Save下次选这个模型直接沿用参数。切到 Chat 标签页选 instruct 模式发消息。不想每次手动选模型的话往 user_data/CMD_FLAGS.txt 里加一行--model 你的模型文件名.gguf启动即加载。进阶调优 显存不够就压上下文。llama.cpp 的 KV cache 是预分配的ctx-size越大越吃显存。模型加载报 OOM 时优先调低ctx-size再把cache-type从fp16降到q8_0甚至q4_0省不少显存代价是质量轻微下降。把它变成 OpenAI 兼容接口。在CMD_FLAGS.txt加一行--api重启后本地就有 5000 端口的 API浏览器打开http://127.0.0.1:5000/docs能看全部接口文档。现有 OpenAI SDK 的代码基本不用改只把 base_url 换成本地地址即可详见 OpenAI API 文档。常见坑与排障 ⚠️现象start 脚本报错退出。原因项目路径里含空格Miniforge 装不进去。解决把仓库挪到无空格、无中文的路径如/home/用户名/项目/text-generation-webui。现象模型加载报 out of memory。原因上下文或层数超出显卡容量。解决调低ctx-size、gpu_layers设小值让部分层落 CPU或改用更低位的量化模型。现象Model 下拉框里没有模型。原因项目不带任何模型GGUF 必须自己下载放进user_data/models/多文件的 Transformers 模型要放进该目录下的子文件夹。一句话总结它是把本地 LLM 环境地狱压缩成一条脚本的方案。建议先装好跑通对话再去docs/里按 Chat、Model、Training 的顺序把标签页挨个过一遍。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考