这两年 AI 圈最明显的变化，是开源和闭源的差距在肉眼可见地缩小。去年还得靠 API 才能摸到 GPT-4 级别的能力，今年在自己电脑上就能跑起来一个中文对话流畅的 7B 模型。而且工具链越来越完整——从推理引擎到应用编排平台，几乎每个环节都有成熟的开源方案顶上。
图片来源：网络，版权归原作者所有，侵权请联系删除
这篇文章盘点的 10 个项目，覆盖了跑模型、搭应用、做检索、语音处理几类最实用的场景。选的标准只有两条：真的有人用，以及新手真的能跑起来。每个项目都附了 GitHub 地址，方便直接去看。
一、跑模型：先把大模型在自己机器上转起来
Ollama —— 一条命令启动本地大模型
如果说只能推荐一个入门项目，那就是 Ollama。它的定位很纯粹：把"下载模型、加载权重、起服务"这一串麻烦事压成一条命令。
装完之后，跑 ollama run qwen3 或者 ollama pull deepseek-r1:7b，模型就下到本地开始对话了。它默认开启 11434 端口的 REST API，其他程序可以直接调用，这也是它能和各种应用平台无缝配合的原因。
支持的系统覆盖 macOS、Windows、Linux，硬件上 8GB 显存的消费级显卡就能带起 7B 的量化模型。官方明确建议：模型文件别放 C 盘，设一个 OLLAMA_MODELS 环境变量改掉默认路径，不然几十 GB 的权重很快就把系统盘塞爆。
需要提醒的是，Ollama 的强项是"开发和测试跑得爽"，真要上生产环境扛并发，它的稳定性和吞吐不如后面要说的 vLLM。
- GitHub：https://github.com/ollama/ollama
vLLM —— 生产环境的高吞吐推理引擎
Ollama 适合自己玩，vLLM 适合给一群用户用。它的核心竞争力来自两个技术：PagedAttention 管理显存里的 KV Cache，连续批处理让多个请求共享计算。带来的实际差别是，同样的显卡，vLLM 的并发吞吐能比朴素实现高出一个量级。
图片来源：网络，版权归原作者所有，侵权请联系删除
目前 vLLM 的 GitHub Star 已经超过 66,000，贡献者过千，是推理引擎里事实上的标准选项。2025 年 10 月，PyTorch 基金会把 PyTorch、vLLM、Ray 三个项目打包成一套生产级 AI 计算栈，vLLM 在里面承担的就是"高效推理与服务"这一环。
部署时几个关键参数值得记一下：--tensor-parallel-size 按显卡数量设，--gpu-memory-utilization 一般给 0.9 左右，--max-model-len 别盲目拉大，否则 KV Cache 会吃掉太多显存。多轮对话场景打开 --enable-prefix-caching，重复前缀的计算开销能明显降下来。
- GitHub：https://github.com/vllm-project/vllm
llama.cpp —— 让大模型跑在没显卡的机器上
llama.cpp 是这套工具里最"底层"的一个，用 C/C++ 写的，核心卖点是极致的量化和跨平台。没有独显、只有 CPU 的笔记本、树莓派这类设备，靠它也能跑起小模型。GGUF 格式就是它带火起来的。
它的速度比不上 vLLM，功能也没那么全，但如果你手头只有一台普通电脑，llama.cpp 往往是最实际的选择。
- GitHub：https://github.com/ggerganov/llama.cpp
二、搭应用：把模型变成能用的产品
Dify —— 不写代码也能拼出 AI 应用
Dify 是目前最流行的开源 LLM 应用开发平台，GitHub Star 已经超过 114,000。它的价值在于把搭建 AI 应用的门槛拉得很低。
它提供了五种应用类型：聊天助手、文本生成、Agent、Chatflow、工作流。你可以在可视化界面里拖拽节点，把"用户提问 → 知识库检索 → 模型生成 → 格式化输出"串成一条流水线，完全不用写后端代码。
和 Ollama 的配合是它最常用的玩法。在 Dify 的 .env 文件末尾加两行配置：
CUSTOM_MODEL_ENABLED=true
OLLAMA_API_BASE_URL=host.docker.internal:11434就能把本地跑的模型接进来，整个链路都在自己机器上，数据不出内网。对医疗、金融这类对数据敏感的场景，这个特性比功能本身更有吸引力。
相比之下，它的定位和 LangChain 有重叠，但 LangChain 面向的是写代码的开发者，Dify 面向的是想快速做出产品的人。
- GitHub：https://github.com/langgenius/dify
n8n —— 自动化流程加上 AI 节点
n8n 原本是个工作流自动化工具，地位类似开源的 Zapier，这两年因为 AI 能力加持热度飙升，Star 已经突破 15 万。
它的模式是"节点式编排"：一个节点读数据、一个节点做判断、一个节点调模型，连起来自动跑。AI 相关节点加上之后，它就成了把大模型接进日常业务的一条捷径——比如自动读取邮件、让模型判断优先级、再推送到对应的群。
自建部署对个人和团队都很友好，不按调用次数收费是它相对商业自动化平台的最大优势。
- GitHub：https://github.com/n8n-io/n8n
LangChain —— 写代码构建 LLM 应用的老牌框架
LangChain 是 LLM 应用开发框架里的元老，Star 数常年排在同类前列。它用代码把模型调用、提示词模板、工具调用、记忆管理这些模块封装成可组合的组件，让开发者能灵活拼装复杂逻辑。
它的学习曲线比 Dify 陡，但换来的是完全的控制权。如果你的需求偏定制、需要深度介入每个环节，LangChain 及其生态（LangGraph 等）依然是绕不开的选择。
- GitHub：https://github.com/langchain-ai/langchain
三、做检索与知识库：让模型答对自家的问题
RAGFlow —— 专门啃文档的检索增强引擎
模型本身不知道你公司的内部资料，RAG（检索增强生成）就是补这块短板的方案。RAGFlow 是其中做得比较扎实的一个开源项目，强项在深度文档理解。
它能解析 PDF、Word、Excel、扫描件这些格式，把非结构化的内容切成合适的片段、转成向量存进库，用户提问时先检索再把相关内容喂给模型。相比直接把文档丢给模型，这种方式准确率高得多，也不会因为文档太长而丢信息。
对想搭内部知识库问答的团队来说，RAGFlow 省掉了大量自己处理文档解析的功夫。
- GitHub：https://github.com/infiniflow/ragflow
MarkItDown —— 把各种文档转成模型爱吃的 Markdown
微软出的这个小工具，Star 已经接近 8 万，做的事很单一：把 PDF、Office 文档、HTML、JSON、EPUB 转成 Markdown。
听起来不起眼，但它是搭建知识库时最费时的一步。Markdown 保留了标题层级、表格和链接结构，比纯文本更适合模型理解。它还支持插件扩展，能接 Azure 的文档智能服务补 OCR 能力。
如果你的流程里有大量"文档进、结构化文本出"的需求，这个工具能省下不少事。
- GitHub：https://github.com/microsoft/markitdown
四、语音与多模态：不止于文字
CosyVoice —— 多语言语音生成全栈方案
阿里 FunAudioLLM 团队开源的 CosyVoice，GitHub Star 已过 1.8 万。它提供的是推理、训练、部署一条龙的语音生成能力，支持多语言，还带 0 样本声音复刻。
图片来源：网络，版权归原作者所有，侵权请联系删除
也就是说，给一段几秒钟的参考音频，它就能用相近的音色把新文本读出来。做有声内容、语音助手、视频配音这类需求，用它比闭源 TTS 服务更可控，成本也好算。
- GitHub：https://github.com/FunAudioLLM/CosyVoice
Stable Diffusion 生成模型库 —— 图像与视频生成的开源底座
Stability AI 开源的生成模型库，包含图像和视频生成的一系列模型与工具，规模约 2.6 万 Star。
它的意义不只是一个模型，而是一整套可本地部署的生成能力。配合社区的微调模型和 LoRA，能在自己的显卡上做出风格各异的图像，不用担心生成内容被上传到第三方服务。
- GitHub：https://github.com/Stability-AI/generative-models
五、还有这些模型本身值得关注
工具之外，2025 年国产开源模型本身也拿出了不少硬货，大多能在 Hugging Face 上直接下载。
| 模型 | 参数量 | 协议 | 特点 |
|---|---|---|---|
| DeepSeek-V3 / R1 | 671B（MoE，激活 37B） | Apache-2.0 | 推理能力强，另有 1.5B 到 32B 的蒸馏版可在消费级显卡运行 |
| Qwen3 系列 | 235B / 32B / 30B-A3B 等 | Apache-2.0 | 中文能力第一梯队，尺寸覆盖全面，本地部署选择最多 |
| Kimi K2 | 1T（激活约 32B） | Apache-2.0 | 万亿参数 MoE，智能体和编码方向表现突出 |
| GLM-4.5 / Air | 355B / 106B | MIT | 专为智能体打造，发布后曾登顶 Hugging Face 榜单 |
| Llama 4 系列 | 109B 起 | 社区许可 | Meta 出品，海外工具默认支持度最高 |
| Hunyuan 小模型 | 0.5B–7B | Apache-2.0 | 腾讯开源，消费级显卡甚至手机端可跑 |
选模型有个常见误区是"参数越大越聪明"。实际上跑不动的模型等于没有——先看硬件能带动多大，再看任务需要什么。纯文本问答没必要为了多模态扛更大的显存开销，做本地知识库就用文本模型，只有"看图说话"类需求才需要换多模态。
写在最后
这 10 个项目能串成一条完整链路：用 Ollama 或 vLLM 把模型跑起来，用 Dify、n8n 或 LangChain 把能力接到业务上，用 RAGFlow 和 MarkItDown 喂给它私有知识，需要语音和图像时再补上 CosyVoice 和生成模型库。
图片来源：网络，版权归原作者所有，侵权请联系删除
入手建议从 Ollama 开始，装完跑通一个 7B 模型，后面的路会顺很多。真正上手之后你会发现，今年做 AI 应用的难点已经不是"能不能用上大模型"，而是"怎么把手里这些开源工具拼成自己需要的样子"。
