关注公众号
AI Agent Hermes Ollama 大模型

零成本搭建本地AI Agent：Hermes + Ollama 完全指南（免费版）

不想开API、绑信用卡？跟着这篇教程，用Hermes Desktop + Ollama本地模型，0元搭建属于自己的AI Agent，还能连上手机Telegram随时用。

零成本搭建本地AI Agent：Hermes + Ollama 完全指南（免费版） 封面图

结论先行：想试AI Agent又不想花钱？Hermes Desktop App + Ollama本地模型 + Telegram，三件套零成本搞定。一台Windows电脑就能跑，4070显卡实测Gemma 4 12B，入门体验完全够用。

封面图

很多朋友对AI Agent感兴趣，但看到要开API、绑信用卡、订阅付费平台就却步了。其实有完全免费的玩法——你只需要一台Windows电脑。

本教程带你从零开始：安装Hermes Desktop → 用Ollama下本地模型 → 连Telegram手机上用。全程免费，跟着走一遍就知道AI Agent到底适不适合你。

准备工作：硬件要求

项目说明
操作系统Windows
显卡（推荐）RTX 4070 或更高（影响可运行的模型大小）
最低配置无独显也能跑小模型但速度较慢
软件Hermes Desktop App + Ollama

本教程实测硬件：RTX 4070，模型使用 Gemma 4 12B（约7GB），打声招呼约9秒有回复。

Step 1：安装Hermes Desktop App

  1. 打开 Hermes Agent官网
  2. 右上角Menu Bar点击 Desktop App
  3. 左下角 Download for Windows，下载exe文件
  4. 运行安装程序

安装完成后进入模型选择界面：

  • Recommended：默认推荐（我们跳过）
  • Other Providers：选这个
  • OpenAI Codex：如果你有Codex账号可以选（香港地区需开VPN）
  • Local Custom Endpoint：这才是我们的目标，后面配置

提示：先不要在上面选模型，后面通过Ollama配本地模型。

Step 2：安装Ollama + 下载本地模型

  1. 打开 Ollama官网 → 右上角 Download → 选 Download for Windows
  2. 安装Ollama
  3. 打开Ollama，你会看到模型选择界面
  4. 打开终端（Terminal），运行：
ollama run gemma4:12b

这个模型约7GB，下载需要一些时间。看到 Success 就说明安装成功。

终端中运行ollama命令下载本地模型的概念图

关键设置：调整Context Length

在Ollama的 Settings 里，把 Context Length 设为最低 64K（Hermes Agent的要求），然后保存。

验证模型

在Ollama里选Gemma 4 12B，打个招呼测试一下。4070显卡上约9秒有回复，可以接受。

Step 3：连接Hermes与本地模型

回到Hermes Desktop：

  1. 右下角点 I have an API key
  2. 不要选模型，选 Local Custom Endpoint
  3. 填入IP：127.0.0.1:11434/v1（后面要加 /v1）
  4. 点 Connect

看到 Hermes is ready 就说明成功连接了本地模型。发条消息测试一下——虽然有点延迟，但至少能用了。

Step 4：连接Telegram，手机上用

这是最折腾的一步，很多人在此卡住。跟着一步步来：

4.1 创建Telegram Bot

  1. 打开Telegram，搜索 BotFather
  2. 发送 /newbot
  3. 输入Bot的名字和用户名
  4. BotFather会给你一个 Token，复制保存

4.2 Hermes端配置

  1. 在Hermes Desktop左侧点 Messaging
  2. 第一个默认就是 Telegram
  3. 把Token粘贴到 Bot Token 栏
  4. 点 Save Changes
  5. 它会提示 Restart the Gateway

4.3 正确重启Gateway（此处最容易掉坑）

❌ 不要在界面上点Restart Messaging（很可能会Fail）

✅ 正确操作：

# 打开终端，执行
hermes gateway install
# 选 Yes 启动Gateway
hermes gateway restart
# 重启后确认
hermes gateway status

然后关掉Hermes Desktop和Ollama，先开Ollama，再开Hermes Desktop。看到 Connected 就成功了。

4.4 配对Telegram Bot

  1. 回到Telegram Bot，点 Start
  2. 发个 Hi 看看反应（可能要发两三次）
  3. 如果Bot回复说 “Ask the Bot Owner to Run…”
  4. 复制那条命令，回到终端粘贴执行
  5. 再发一次消息

最后在Hermes Desktop里设置 Home Channel，搞定。

手机通过Telegram与本地AI Agent互动的概念图

⚠️ 踩坑记录

坑位症状解决方案
Gateway Restart失败界面点Restart Messaging报错改用终端命令：hermes gateway restart
Telegram无响应Bot发了消息不回多发几次Hi/Hello触发配对，再执行配对命令
连接不上本地模型报错或无反应确认Ollama已启动，Context Length设64K
响应时间过长一条消息等1分钟+换小模型（如Gemma 4 12B），或升级显卡
Pairing失败Bot要求Ask Owner复制终端命令执行approve，再发一次消息

免费玩法的优缺点

优势劣势
✅ 完全免费，不绑信用卡❌ 模型效果不如云端
✅ 数据本地，隐私安全❌ 新模型需手动下载配置
✅ 可自由换模型❌ 显卡决定上限
✅ 连Telegram手机随时用❌ 复杂任务建议用云端大模型

最后提醒

本地模型再强大，也比不上云端的大模型（GPT、Claude等）。本地模型适合测试、学习和简单任务。如果真要部署到工作场景处理复杂推理，还是建议用云端的大模型。

但如果你想零成本入门AI Agent，这个组合拳绝对值得一试。跟着本教程走一遍，你会对AI Agent的能力和局限有直观感受——到时再决定要不要付费升级也不迟。

下一步可以尝试：换不同模型对比效果、配置更多MCP工具、连接其他消息平台。

免费不等于零门槛，但门槛已经低到一台Windows电脑就够了。

← 返回文章列表