小微企业本地大模型落地：用 Ollama 在工控机部署 Qwen 做制度问答助手

摘要：把员工手册、安全规范、产品 FAQ 直接丢给公有云大模型，有数据外泄风险还要按量付费。本文用 Ollama 把开源中文模型 Qwen 跑在办公室工控机上，搭一个企业制度问答助手，数据不出内网、长期零调用费，是低门槛的 AI 智能化起点。

为什么小企业也需要本地大模型

不少老板已经习惯用通用 AI 问问题，但真把公司制度、客户名单、报价单喂进去，第一反应是「这数据出去了安全吗」。公有云 API 按 token 计费，几十个员工每天问，月底账单也不便宜。更关键的是，通用模型并不了解你公司的具体制度，回答经常是「通用正确但对你没用」。

本地部署的价值就两点：一是知识库完全在内网，回答不联网，合规可控；二是一次性硬件投入，之后调用零费用，用得越勤越划算。对 20 人以内的小微企业，一台千元级工控机就够。

硬件与选型

模型参数是第一道门槛。以 Qwen2.5 为例：

• 7B 模型量化后约 4–5GB，一张亮机独显（如 RTX 3060 12G）或 16G 内存的机器可流畅跑，响应 1–3 秒。
• 若只能 CPU 推理，选 3B / 1.5B（Qwen2.5-3B）更现实，响应 3–8 秒，接受范围内。
• 推荐工控机配置：Intel N100 + 16G 内存 + 512G SSD，整机功耗约 15W，7×24 开机一个月电费几块钱。

不要一上来追 14B/32B，中小企业场景里 7B 配好 RAG 已经能解决八成问题，盲目上大模型只会让硬件成本翻倍、体验变卡。

用 Ollama 一键部署

Ollama 把模型下载、运行、API 全包了，Linux 上两行命令：

# 安装
curl -fsSL https://ollama.com/install.sh | sh
# 拉取并运行中文模型
ollama pull qwen2.5:7b
ollama run qwen2.5:7b

默认 Ollama 只监听 127.0.0.1，要给别人用需放开到内网：

# 开放给局域网（仅内网，切勿映射公网）
export OLLAMA_HOST=0.0.0.0:11434
ollama serve

安全提醒：11434 端口只对内网开放，绝对不要直接映射公网；如果要从办公网外访问，务必套一层反向代理加基础认证（Basic Auth）或 VPN。我看到过有人把 11434 裸奔到公网，第二天机器就被人用来挖矿了。

把制度文档变成可问答知识库

光跑模型还不够，得让它「知道」你的制度，否则就是个普通聊天机器人。正确做法是 RAG（检索增强生成）：

1. 上传 PDF / Word 制度文件，按段落切片（chunk）。
2. 用 nomic-embed-text 等嵌入模型把每段转成向量，存入 Chroma / Qdrant 等向量库。
3. 用户提问时，先检索最相关的 top-k 段落，拼进 prompt，让 Qwen 只基于这些段落作答。

零代码方案：装 Open WebUI，它原生连 Ollama，开启「文档对话」后直接上传制度文件就能问答，小白也能用。需要工程化再上 LangChain / LlamaIndex 自己写管线。

实战：员工问「年假怎么算」

制度文档《考勤管理制度》里写「入职满 1 年享 5 天，每满 1 年递增 1 天，上限 15 天」。RAG 检索到这段后，模型结合提问员工的工龄生成：

您入职满 3 年，本年度应享 7 天年假；申请路径见 OA 考勤模块，需提前 3 个工作日提交。

关键价值在于「有出处」：前端可以把引用的原文段落标出来，员工能核对，也避免模型凭空编一条不存在的规定。这比直接问通用 AI 靠谱得多。

避坑清单

• 幻觉抑制：务必开 RAG + 来源引用，禁止模型脱离文档自由发挥；涉及薪资、合同等敏感问题设「转人工」兜底。
• 中文优先：优先 Qwen2.5 系列，别直接用 Llama 原版，中文理解和遵循指令能力弱一截。
• 并发控制：7B 模型单机建议 ≤5 并发，超出会排队变慢；追求吞吐可换 vLLM 做批处理。
• 知识更新：制度修订后必须重新切片入库，并清理旧向量，否则新旧版本混着答，员工会被误导。
• 审计与隔离：内网隔离 + 操作日志，谁问了什么、模型回了什么可追溯，出了问题能倒查。

小结

本地大模型不是大厂的专利。一台 N100 工控机加 Ollama 加 Qwen，就能给小企业装上「制度问答助手」：数据不出门、回答有依据、调用零成本。它和此前讲的 AI 视觉客流检测是两条不同的智能化路线——一个看「画面」，一个答「知识」，搭配起来才是完整的小企业 AI 工具箱。