大模型本地部署全套软件
想在自己电脑或服务器上跑 DeepSeek、Qwen 等开源大模型？按「运行 → 界面 → 知识库 → 开发」整理了全套工具，全部开源或免费，附官方链接和显存估算。
共收录 36 款软件，点击名称查看介绍、价格和官方下载地址（2026 年 11 月更新）。
第 0 步：先算显存和费用
先确认你的显卡或 Mac 能跑多大的模型，再决定用本地还是 API。
第 1 步：下载模型
国内优先用魔搭，海外模型可走 hf-mirror 镜像。
第 2 步：运行模型（推理引擎）
个人电脑选 Ollama 或 LM Studio；GPU 服务器高并发选 vLLM。
SGLangGPU 服务器高并发 · 开源免费Xinference一键部署 Embedding / Rerank · 开源免费LocalAI兼容 OpenAI 接口 · 开源免费KoboldCpp单文件运行 · 开源免费Ollama一行命令运行 · 开源免费LM Studio图形界面 · 免费Jan开源离线 · 开源免费GPT4AllCPU 也能跑 · 开源免费llama.cpp底层引擎 · 开源免费vLLM服务器高并发 · 开源免费
第 3 步：聊天界面和客户端
给本地模型配一个好用的界面，也能同时接入云端 API。
Cherry Studio多模型桌面客户端 · 开源免费Chatbox全平台客户端 · 免费可用Open WebUI自建网页界面 · 开源免费LobeChat（LobeHub）智能体平台 · 免费可用NextChat轻量网页 · 开源免费AnythingLLM桌面知识库 · 开源免费
第 4 步：知识库和 AI 应用
把公司文档、个人资料做成可问答的知识库，或搭建智能体工作流。
第 5 步：开发框架和 MCP
LangChain应用开发框架 · 免费可用LlamaIndexRAG 框架 · 免费可用MCP 客户端让 AI 调用工具 · 开源免费Continue本地模型写代码 · 开源免费Cline开源编程智能体 · 开源免费
本地画图、语音
怎么挑选和安装
- 先按上面的分类找到需要的软件，点进去查看功能、价格和系统要求。
- 在软件页面点击官方下载按钮，从官网获取安装包。
- 安装时注意取消捆绑选项，首次打开按提示授予权限。
大模型本地部署全套软件常见问题
- 本地部署大模型需要什么配置？
- 入门：16GB 内存 + 8GB 显存可跑 7B—8B 模型；进阶：24GB 显存可跑 32B 量化模型；Mac 32GB 以上统一内存体验较好。可以用本站显存计算器估算。
- 本地部署和用 API 哪个划算？
- 偶尔使用、追求最强效果用 API 更划算；数据敏感、长期大量使用或需要离线时适合本地部署。
- DeepSeek 满血版能本地部署吗？
- 完整参数的 DeepSeek 模型需要数百 GB 显存，个人电脑一般只能跑蒸馏版或高度量化版本。