本地跑大模型：Ollama、LM Studio、vLLM 到底该用哪个
把模型跑在自己电脑或自己的服务器上，这两年从极客玩具变成了正经需求。数据不出本地、不用按 token 付费、断网也能用，这几点对企业用户和隐私敏感的场景尤其重要。目前主流的本地推理方案有三条技术路线，代表就是 Ollama、LM Studio 和 vLLM。
图片由 AI 生成
Ollama：上手最快的那个
如果你只是想在本机跑个模型玩玩，或者给自己的小工具接一个本地推理后端，Ollama 是首选。它基于 llama.cpp，模型格式用 GGUF，一条命令就能拉模型、一条命令就能跑起来，命令行交互也很干净。
它的量化支持做得很成熟，普通笔记本的 CPU 都能跑动参数量不大的模型。同时它提供了兼容 OpenAI 格式的接口，意味着你之前写好的调用代码基本不用改，把地址换一下就行。
局限也很明显：它是为「单用户、单机」设计的，并发能力有限，不适合当作多人共用的推理服务。
LM Studio：图形界面党的选择
LM Studio 把本地推理这件事做成了桌面应用，下载、搜索模型、加载、对话全在图形界面里完成，非常适合不熟悉命令行的用户。它对各种硬件的兼容性做得比较宽，集成显卡、Vulkan 后端之类的也能跑起来，跨平台支持也比较友好。
它同样带了本地服务接口，可以被其他程序调用。适合的场景是个人本地的实验、演示，或者非技术同事想自己试一试模型能力。
图片由 AI 生成
vLLM：真正给生产准备的
如果你的目标是「给一群人或一堆程序提供推理服务」，那答案基本是 vLLM。它的核心技术是 PagedAttention，把显存管理做得非常细，再配合连续批处理（continuous batching），在并发场景下吞吐量比朴素的实现有数量级的提升。
代价是它对环境有要求：主要面向 Linux 加 NVIDIA 显卡的环境，部署也比前两个复杂得多。你是在为「服务化」付费，如果只是自己用，完全没必要上这套。
怎么选
个人本地使用、快速试验：Ollama；不习惯命令行、想要图形界面：LM Studio；要对外提供稳定服务、有并发压力：vLLM。
另外提醒一点，本地模型的效果和你的显存直接挂钩。显存不够的时候，要么换更小的模型，要么用更激进的量化，硬扛大模型只会让速度慢到无法使用。选模型之前先看清自己显卡的显存有多大，比选框架更重要。
关于量化的取舍
量化能显著降低显存占用，但也会损失一部分能力，尤其对推理类任务影响更明显。经验做法是：日常对话和文字处理用 4bit 量化通常够用；如果你要做的是需要严谨推理的任务，尽量往上提到 8bit，或者干脆换一个参数更小但未量化的模型，效果往往更好。
