用Hermes Agent搭建会生长的个人知识库:论文、图片、语音全自动织网

传统RAG答完就散,这套反过来。知识提前编译,交叉引用先织好。支持PDF论文、截图、网页、语音备忘录,Obsidian打开就是图谱。

用Hermes Agent搭建会生长的个人知识库:论文、图片、语音全自动织网 封面图

结论先行:传统RAG知识库是临时抱佛脚——你来问,他去查,答完就散。这套基于Hermes Agent的LLM Wiki正好反过来:知识提前编译一次,交叉引用先织好,提问时调的是已经长好的网络。支持论文、图片、网页、语音,Obsidian打开就是知识图谱。

把一篇论文丢给Agent,几十秒后,知识图谱里一个新节点亮起,接上整张网络。更让我惊讶的是它的发现——这篇论文串起了库里几个原本独立的方向。我又顺手问了几个问题,回答让我震惊:它居然顺着库挖出了一条暗线,一条连我自己都没意识到的隐藏关联,而且每一句结论后面都挂着原论文引用。

我第一次觉得,这已经不是搜索了,它更像是会思考。

会生长的知识网概念图:论文、图片被吸入知识图谱网络,节点逐个亮起

知识库三层结构

这套系统本质就三层,没有数据库,就是一堆Markdown文件:

层级作用Agent权限
raw存放原始文档(PDF、图片、音频、网页截取)只读不改
中间层AI织出来的知识网络(页面、总结、对比、关联)读写织网
规则手册底层规则和技能配置系统固定

这也是Karpathy提出的 LLM Wiki 思路:你负责喂文档,Agent负责总结、连线、归档。

官方技能只支持PDF论文,但这位作者将其扩展到了图片、网页和录音三种格式。

三大核心能力实测

1️⃣ 跨源综合

问:「我想用一张自拍生成一堆同一个人的脸,有哪些方法?」

Agent给出三条路线,每条都有代表性方法、适用场景和取舍,末尾附来源列表,每条一个完整的论文路径。随手找一条核对——出处是真的。普通搜索一次给你一篇文章,它直接铺开整个地图。

2️⃣ 概念对比

让Agent对比两个概念(同一张脸做定制生成的两种方法),它从两个已有的实体页面秒出一张对比表。然后觉得这个对比有价值,自动把它存成新的页面——库里的comparisons目录就多了一页。

这就是「会生长」的意思:有价值的答案,它会把它变成新知识。

3️⃣ 知识挖掘找暗线

最刁钻的一题:「基于知识库查询身份嵌入算法扮演了哪些角色,它们之间有没有互相打架的矛盾点?」

回答令人毛骨悚然——画脸要用的那串数字,和隐私里想抹掉的其实是同一串。AI越擅长用它造脸,真人想藏住自己反而越难。认出你和伪装成你,可能用的是同一种技术。

这些不是论文里的结论,而是Agent把整座知识库串起来以后挖出来的一条暗线。

知识挖掘概念图:研究人员面对发光的关联图谱,发现隐藏连接

四步搭建指南

Step 1:部署Hermes

官网下载桌面版,默认安装。如遇安装错误,把代理开成全局模式解决。

Step 2:配置Hermes

配置向导选「有API Key」→ 接入模型 → 填上API Key。进入主界面后:

  • 顶部设置 → 外观 → 改语言
  • 侧边栏「技能与工具」→ 搜索wiki → 把两个自带技能关掉(防冲突)

Step 3:安装Wiki技能

从GitHub下载扩展版Wiki技能源码(链接见视频评论区笔记),解压后整个文件夹放入Hermes技能目录。然后用管理员身份打开PowerShell,执行注册启动网关的指令。

启动完成后,聊天框输入 /mul 就能选到技能。

Step 4:创建第一个知识库

告诉Agent「在D盘创建wiki」,命名后即可批量摄入文档。把论文目录丢给它,Agent会自动:

  1. 读取论文PDF,转Markdown
  2. 写新页面,更新知识库节点
  3. 跟库里已有内容反复对比,找出关联
  4. 关系图谱同步新增文件

几十篇论文十几分钟摄入完成,Token费只花了几块钱。

打通Obsidian

在Obsidian中打开本地仓库,选择wiki目录就导入了。Obsidian主要当查看器使用,文档摄入和知识库查询都在Hermes里操作。

五个实用补充配置

1. DeepSeek + 视觉模型

DeepSeek API不支持图片理解。主模型用DeepSeek,但接入一个能看图的视觉模型——用Hermes平台自带的step模型,免费(需Hermes官网注册,选0元套餐)。

2. 语音转录

翻源码发现Hermes本地自带fast-whisper引擎,只需在技能里加条规则就接上。模型选Large-V3(6G显存),配完重启网关。

3. 手机端使用

  • Telegram:@BotFather创建Bot → 获取Token → Hermes消息平台粘贴 → 填Telegram账号ID → 国内填代理 → 重启网关
  • 微信:PowerShell执行指令 → 扫码连接 → 配置权限两步选1 → 最后Y

4. 支持的文件格式

格式处理方式
📄 PDF论文转Markdown → 读内容 → 写页面 → 更新图谱
🖼️ 图片截图视觉模型读图 → 写页面 → 连线
🌐 网页内容复制粘贴 → 写入知识库
🎙️ 语音备忘录fast-whisper转文字 → 逐字稿入库

5. 知识库养护

成长的知识库需要定期巡检。输入「巡检我的知识库」,Agent会自检并给出报告——哪里有问题,说一声Agent自己就会修好。

适用场景

场景推荐方案
个人学术研究、追垂直领域进展✅ 这套Wiki知识库
管理工作文档Claude Code + Obsidian
团队内部知识库企业知识库方案

传统知识管理最大的痛:存的时候很勤快,找的时候头疼,更别说把它们串起来用。这套方案正好相反——知识提前编译、交叉引用先织好,提问时调的是已经长好的网络。收藏论文、截图、摘抄、语音备忘都能自动生成一个会生长的知识网。

← 返回文章列表