图 1：本文封面，点明主题「开源模型本地部署」。
先想象两个场景。坐长途飞机时没有网络，你想让 AI 帮你改一份文档；或者你在处理一份不方便上传的合同，任何云端 API 都让你心里没底。这两个需求指向同一个答案：把一个开源大模型直接部署在自己的电脑上，断网也能用，数据也不出本机。
核心结论一句话
本地部署大模型，本质是「下载一份模型权重文件 + 装一个推理运行时」两件事。前几年这需要折腾 CUDA 环境和各种依赖，今天以 Ollama 为代表的工具已经把它压缩成一条命令。真正的门槛不在操作，而在两件事：你的硬件装不装得下这个模型，以及你是否理解本地部署的能力边界。
先搞清楚：你部署的到底是什么
云端大模型服务是「别人的机器在跑模型」，你看到的只是 API。而开源权重模型（比如 Meta 的 Llama 系列）把训练好的参数文件公开发布，谁都可以下载到自己机器上运行。以 Llama 4 为例，官方模型卡写明 Scout 版本是 17B 激活参数、109B 总参数的混合专家模型，采用自定义的 Llama 4 Community License，允许商用和研究使用。注意「开源权重」不等于没有任何约束——许可证条款（用途限制、再分发条件）部署前要读一遍。
权重文件只是静态数据，让它跑起来需要推理引擎。Ollama 是目前个人开发者最常用的本地运行时：底层基于 llama.cpp，把「下载模型、加载到内存、提供对话接口」打包成一条命令。官方仓库给出的安装方式在 macOS 和 Linux 上是一行脚本，装完后 ollama run llama3.2 就会下载模型并直接进入对话。
硬件条件：先看内存，再谈显卡
模型能不能跑，第一约束是内存。模型文件要整个装进显存或内存才能推理，装不下就直接失败或者慢到不可用。一个社区通行的经验法则按 4-bit 量化估算：7B 模型约需 8GB 内存、13B 约需 16GB、70B 则要 64GB 以上的专业设备。这只是估算口径，具体以实际加载为准——Ollama 官方 FAQ 给出的自查方法是跑 ollama ps，输出里的 Processor 列会明确显示模型是 100% 在 GPU、100% 在内存，还是两者分摊。
没有独立显卡也能跑，只是慢：CPU 推理对 3B 以下的小模型尚可接受，适合先把流程跑通。另外官方 FAQ 提到，Ollama 默认上下文窗口是 4096 个 token，需要更长上下文要用环境变量或参数显式调大，而上下文越长占的内存越多，这也是硬件预算的一部分。
图 2：本地部署四步路径、三个私有化动机与硬件门槛。
隐私到底好在哪里
Ollama 官方 FAQ 写得很直白：本地运行时，你的提示词和回答不会被发送到 ollama.com。模型文件下载完成后，整个推理过程可以在完全断网的环境下进行。对个人学习、处理敏感草稿、内网环境验证原型这几类场景，这一点就是决定性优势。同时它默认只监听本机回环地址 127.0.0.1 的 11434 端口，并自带 REST API，写几行代码就能把本地模型接进自己的脚本或小工具。
三个常见误区
误区一：本地小模型能替代云端旗舰。参数量差着数量级，3B 模型在复杂推理和长文写作上明显弱于云端大模型，把它定位成「随手可用的草稿助手」更现实。
误区二：装上就等于绝对安全。本地部署解决的是数据不出机，但模型仍会一本正经地编错答案，模型文件本身也要从官方渠道下载并核对来源。
误区三：模型越大越好。装不下的模型等于没有，加载后每秒蹦几个字的大模型不如秒回的小模型——按自己的内存选能流畅跑的最大那一档，才是正解。
给你的行动建议
今晚就可以完成最小闭环：装 Ollama，跑 ollama run llama3.2 下载 3B 模型，问它几个你熟悉的领域问题，再用 ollama ps 看看它吃掉了多少内存、加载在 GPU 还是 CPU。跑通之后再想第二步：用它的本地 API 写个三十行的脚本，把本地模型接进你的日常工作流。部署这件事，动手一次胜过读十篇教程。
你第一次本地跑大模型时踩过什么坑——是内存不够、速度太慢，还是模型答非所问？欢迎分享你的经历。
参考资料
- Ollama 官方仓库（安装方式、
ollama run用法、REST API、官方 Docker 镜像与 SDK） — https://github.com/ollama/ollama - Ollama 官方 FAQ（本地运行不发送提示词与回答、默认监听 127.0.0.1:11434、
ollama ps查看 GPU/CPU 加载位置、默认上下文窗口 4096 token） — https://github.com/ollama/ollama/blob/main/docs/faq.mdx - Ollama 模型库 Llama 3.2 页面（1B 与 3B 规格、
ollama run llama3.2命令） — https://ollama.com/library/llama3.2 - meta-llama/Llama-4-Scout-17B-16E-Instruct 官方模型卡（Llama 4 Scout/Maverick 的 MoE 架构与参数量、2025-04-05 发布、Llama 4 Community License） — https://huggingface.co/meta-llama/Llama-4-Scout-17B-16E-Instruct