给文章自动生成摘要和标签，是这两年被问得最多的站长需求之一。思路不复杂：把正文丢给大模型，让它吐一段 100 字左右的简介和几个标签。但真动手时，很多人卡在同一个顾虑上——把整站内容一页页发给云端 API，隐私怎么保证，费用怎么控。
其实还有另一条路：在本地跑一个开源模型，内容不出内网，按次调用也不花钱。最近 Hugging Face 放出的 Llama Windows，把这件事的门槛又拉低了一截。
为什么值得折腾本地模型
云端 API 的好处是省事，坏处是三个：一是按 token 计费，站大一点成本肉眼可见；二是内容要出站，涉及隐私和合规；三是断网或接口波动时，批处理任务直接卡住。
本地模型刚好补上这三点。模型跑在自己机器上，内容不外发；一次装好，之后调用零边际成本；内网环境也能稳定跑批。代价是要有台像样的机器，以及初次配置的耐心。
Llama Windows 是什么
简单说，它是 Hugging Face 出的一个 Windows 11 托盘应用，MIT 许可，免费开源。它会从 Hugging Face Hub 拉取开源模型，用 llama.cpp 在本机起一个服务，对外暴露 OpenAI 兼容的接口。你不用自己编译推理引擎，装好、选模型、点运行，就有了一条本地 API。
对站长来说，这意味着最麻烦的"部署推理服务"这一步被省掉了。剩下的，就是挑一个合适的模型，然后把网站接上去。
图片由 AI 生成
先看机器能不能扛
跑 7B 到 8B 级别的量化模型，16GB 内存是舒适线，8GB 会比较勉强。有独立显卡当然更好，6GB 以上显存能明显提速；没有独显，纯 CPU 也能跑，只是批量处理时慢一些。
模型选择上，摘要和标签这类任务不需要太强的推理能力，7B 级别的指令微调模型足够。量化到 4bit 后，体积通常落在 4 到 5GB，普通办公机也能带得动。别一上来就上几十 B 的大模型，风扇狂转不说，效果未必更好。
三步把本地接口跑起来
第一步：安装并拉取模型
从官方渠道装好 Llama Windows，在应用里搜索并下载一个 7B 级别的指令模型。下载完成后启动服务，记下它监听的本地端口，通常是 127.0.0.1 上的某个端口。
第二步：确认接口能通
用一条最简单的请求测一下。因为它兼容 OpenAI 的接口格式，换个 base_url 就能复用现成的 SDK。请求发到本地地址，能正常返回一段文字，就说明服务通了。
第三步：写个最小脚本验证
拿一篇文章的正文，套一个提示词，让模型输出"摘要 + 三个标签"的结构化结果。先手动跑通，再谈自动化。
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:端口/v1", api_key="local")
resp = client.chat.completions.create(
model="本地模型名",
messages=[{"role": "user", "content": "为下面的文章写80字摘要，并给出3个标签：\n" + 正文}],
)
print(resp.choices[0].message.content)接进网站：一个最小可用的摘要模块
思路很简单，不需要做成复杂的插件。在文章保存后触发一个后台任务，把正文取出来，POST 给本地接口，拿到结果后写回摘要字段和标签字段。
如果是 WordPress，可以挂在保存文章的钩子上；Typecho 用类似的发布后动作。关键是两件事：一是加超时和失败兜底，模型没返回时不能把发布流程卡死；二是控制并发，本地模型一次处理一篇就好，批量任务排队跑。
生成完别直接覆盖，先存到一个草稿字段，人工扫一眼再启用。本地小模型偶尔会漏关键信息，或者把标签写得过于宽泛，人工过一遍能避免站点出现一堆"科技""生活"这种泛词。
图片由 AI 生成
效果与边界要说清楚
7B 模型写摘要，质量取决于文章类型。新闻、教程、测评这类结构清晰的内容，它总结得不错；高度专业或需要跨段推理的长文，就容易抓错重点。标签同理，短文章准，长文章要人工校正。
另一个容易忽略的是上下文长度。本地小模型的上下文窗口有限，太长的文章要先分段，再让模型总结段意，最后合并。别指望一口气塞进去几万字，模型会直接截断。
本地模型不是要取代云端大模型，而是把"高频、低难度、涉隐私"的那部分任务接过来，剩下的难活再交给云端。分工清楚，成本和体验都能兼顾。
如果你的站内容量大、又在意隐私，花一个下午把本地接口跑通、写好摘要模块，长期看很值。它不会让网站变聪明多少，但能实打实省下每月一笔 API 账单，也让内容多了一层自己掌控的安全感。
相关阅读
网站 SEO 配置清单：TDK、robots.txt、sitemap 一次做对
缓存插件装了没效果？先把页面缓存、对象缓存、浏览器缓存的分工搞清楚
