孙亮亮
返回 小企业智能化

小企业智能化

小微企业本地大模型落地:用 Ollama 在工控机部署 Qwen 做制度问答助手

2026年10月5日

把开源大模型 Qwen 跑在办公室工控机上,用 Ollama 搭建企业制度/文档问答助手,数据不出内网、免 API 费用。

小企业本地大模型OllamaQwen知识问答

小微企业本地大模型落地:用 Ollama 在工控机部署 Qwen 做制度问答助手

摘要:把员工手册、安全规范、产品 FAQ 直接丢给公有云大模型,有数据外泄风险还要按量付费。本文用 Ollama 把开源中文模型 Qwen 跑在办公室工控机上,搭一个企业制度问答助手,数据不出内网、长期零调用费,是低门槛的 AI 智能化起点。

为什么小企业也需要本地大模型

不少老板已经习惯用通用 AI 问问题,但真把公司制度、客户名单、报价单喂进去,第一反应是「这数据出去了安全吗」。公有云 API 按 token 计费,几十个员工每天问,月底账单也不便宜。更关键的是,通用模型并不了解你公司的具体制度,回答经常是「通用正确但对你没用」。

本地部署的价值就两点:一是知识库完全在内网,回答不联网,合规可控;二是一次性硬件投入,之后调用零费用,用得越勤越划算。对 20 人以内的小微企业,一台千元级工控机就够。

硬件与选型

模型参数是第一道门槛。以 Qwen2.5 为例:

  • 7B 模型量化后约 4–5GB,一张亮机独显(如 RTX 3060 12G)或 16G 内存的机器可流畅跑,响应 1–3 秒。
  • 若只能 CPU 推理,选 3B / 1.5B(Qwen2.5-3B)更现实,响应 3–8 秒,接受范围内。
  • 推荐工控机配置:Intel N100 + 16G 内存 + 512G SSD,整机功耗约 15W,7×24 开机一个月电费几块钱。

不要一上来追 14B/32B,中小企业场景里 7B 配好 RAG 已经能解决八成问题,盲目上大模型只会让硬件成本翻倍、体验变卡。

用 Ollama 一键部署

Ollama 把模型下载、运行、API 全包了,Linux 上两行命令:

# 安装
curl -fsSL https://ollama.com/install.sh | sh
# 拉取并运行中文模型
ollama pull qwen2.5:7b
ollama run qwen2.5:7b

默认 Ollama 只监听 127.0.0.1,要给别人用需放开到内网:

# 开放给局域网(仅内网,切勿映射公网)
export OLLAMA_HOST=0.0.0.0:11434
ollama serve

安全提醒:11434 端口只对内网开放,绝对不要直接映射公网;如果要从办公网外访问,务必套一层反向代理加基础认证(Basic Auth)或 VPN。我看到过有人把 11434 裸奔到公网,第二天机器就被人用来挖矿了。

把制度文档变成可问答知识库

光跑模型还不够,得让它「知道」你的制度,否则就是个普通聊天机器人。正确做法是 RAG(检索增强生成):

  1. 上传 PDF / Word 制度文件,按段落切片(chunk)。
  2. 用 nomic-embed-text 等嵌入模型把每段转成向量,存入 Chroma / Qdrant 等向量库。
  3. 用户提问时,先检索最相关的 top-k 段落,拼进 prompt,让 Qwen 只基于这些段落作答。

零代码方案:装 Open WebUI,它原生连 Ollama,开启「文档对话」后直接上传制度文件就能问答,小白也能用。需要工程化再上 LangChain / LlamaIndex 自己写管线。

实战:员工问「年假怎么算」

制度文档《考勤管理制度》里写「入职满 1 年享 5 天,每满 1 年递增 1 天,上限 15 天」。RAG 检索到这段后,模型结合提问员工的工龄生成:

您入职满 3 年,本年度应享 7 天年假;申请路径见 OA 考勤模块,需提前 3 个工作日提交。

关键价值在于「有出处」:前端可以把引用的原文段落标出来,员工能核对,也避免模型凭空编一条不存在的规定。这比直接问通用 AI 靠谱得多。

避坑清单

  • 幻觉抑制:务必开 RAG + 来源引用,禁止模型脱离文档自由发挥;涉及薪资、合同等敏感问题设「转人工」兜底。
  • 中文优先:优先 Qwen2.5 系列,别直接用 Llama 原版,中文理解和遵循指令能力弱一截。
  • 并发控制:7B 模型单机建议 ≤5 并发,超出会排队变慢;追求吞吐可换 vLLM 做批处理。
  • 知识更新:制度修订后必须重新切片入库,并清理旧向量,否则新旧版本混着答,员工会被误导。
  • 审计与隔离:内网隔离 + 操作日志,谁问了什么、模型回了什么可追溯,出了问题能倒查。

小结

本地大模型不是大厂的专利。一台 N100 工控机加 Ollama 加 Qwen,就能给小企业装上「制度问答助手」:数据不出门、回答有依据、调用零成本。它和此前讲的 AI 视觉客流检测是两条不同的智能化路线——一个看「画面」,一个答「知识」,搭配起来才是完整的小企业 AI 工具箱。

本模块其他文章

小微企业车间噪声粉尘监测实战:ESP32 + 传感器 + MQTT 看板与超标告警小微企业智慧消防实战:NB-IoT 独立烟感联网报警与多通道告警闭环小微企业机器视觉质检实战:用 OpenCV + YOLOv8 在边缘盒子部署工业缺陷检测小微企业工厂能耗远程抄表实战:Modbus/DLT645 电表 + 边缘网关采集 + 峰谷优化看板小微企业自建 MQTT 物联网消息中枢:EMQX 与 Mosquitto 部署、设备认证与主题分层实战小微企业仓库条码出入库实战:ESP32 + 扫码枪 + 轻量 WMS 做库存台账与低库存告警小微企业一体化监控实战:Prometheus + node_exporter + Grafana 监控主机、服务与设备并微信告警小微企业室内定位与电子围栏实战:蓝牙 Beacon + ESP32 网关做资产/人员区域定位与越界告警小微企业设备预测性维护实战:ESP32 + 振动传感器做异常监测、FFT 频谱与企微告警小微企业安灯(Andon)系统实战:ESP32 驱动三色报警灯做产线异常呼叫与看板小微企业设备二维码巡检系统实战:扫码点检、异常上报与维护台账小微企业智能车间照明实战:ESP32 + 继电器 + 人体感应做分区节能灯控门店电子价签与促销信息屏实战:ESP32 + 墨水屏无线刷新、断网缓存与批量管理小微企业用 ESP32 + 称重传感器做原料出入库自动计量:HX711 标定与微信日报实战小微企业用 4G DTU 实现异地设备远程采集:无公网 IP 的分散站点组网与告警实战小微企业用 Wiegand 读卡器 + ESP32 搭建门禁考勤台账:刷卡上报、后台统计与异常告警小微企业冷库无线环境监测实战:LoRa 温湿度节点 + 网关上报 + 超限微信告警小微企业用 ThingsBoard 搭建设备物联网平台:MQTT 遥测上报、规则链告警与可视化看板小微企业用 Node-RED 搭建设备联动中台:从 MQTT 到企业微信告警小微企业设备数据采集与看板上墙:用边缘网关把 Modbus PLC 接入 Grafana门店 AI 视觉智能化落地:用摄像头 + 轻量模型做客流统计与区域安防小微企业低成本环境监控实战:ESP32 + 温湿度/水浸传感器 + 微信告警小企业经营异常自动告警实战:企业微信机器人把问题主动推到群里给小企业搭一套本地 AI 知识库客服:用 Ollama + 向量检索把老员工经验变成可查答案用二维码+手机扫码给小企业做轻量库存盘点:零设备成本的智能化落地当老系统没有接口:用 RPA 补上自动化用实时看板取代每天手填的日报
小微企业本地大模型落地:用 Ollama 在工控机部署 Qwen 做制度问答助手 · 孙亮亮