一台跑不动的大模型，四台凑一凑就能跑？
最近看到一个有意思的开源项目——Mesh LLM。它干的事很简单粗暴：把你家里闲置的Mac、老显卡主机、迷你电脑全连起来，变成一个"超级GPU池"，对外提供一个OpenAI兼容的API接口。
不管你是想跑本地大模型、搞AI Coding，还是手里攒了一堆旧设备不知道怎么利用，这个项目都值得研究一下。
它是怎么工作的？
Mesh LLM基于一个名为iroh的P2P网络库构建，不需要依赖任何中央服务器。简单来说就是：
- 本地执行：有GPU的机器直接跑
- 请求路由：模型已经加载到的节点自动接收请求
- 分层拆分：单台机器放不下的超大模型，按层拆分到多台机器上流水线式协同推理（内部代号"Skippy"）
核心思路是：显存不够，多台来凑。
三个关键能力
1. 模型自动路由
小模型会根据名称自动找到已经加载了对应模型的节点。你不用管模型在哪台机器上，Mesh LLM自己会路由。
2. 超大模型分层推理
遇到单台机器内存根本装不下的模型怎么办？它把模型按层拆分，每台机器负责一部分计算层，通过网络串联完成推理。
3. Mixture-of-Agents模式
实验性功能：同一个问题并行发给Mesh里的多个模型，然后对结果做仲裁，返回统一答案。相当于让多台设备同时思考，再投票选出最佳答案。
能接什么工具？
Mesh LLM对外提供标准的OpenAI兼容API（默认端口localhost:9337/v1），所以：
- 任何支持OpenAI接口的聊天工具直接接入
- Claude Code、OpenCode、Goose、Pi Coding Agent都有快捷启动方式
- 现有的Agent应用几乎零改造
内置了超过40个预置模型，参数规模从5亿到235B MoE全覆盖。软件本体只有约18MB，非常轻量。
适合谁用？
| 场景 | 推荐程度 | 说明 |
|---|---|---|
| 有多台旧电脑/Mac闲置 | ⭐⭐⭐⭐⭐ | 盘活闲置硬件的最佳方案 |
| 想体验本地大模型但单卡显存不足 | ⭐⭐⭐⭐ | 多卡组合突破显存墙 |
| 有稳定内网环境（同局域网） | ⭐⭐⭐⭐ | P2P通信速度取决于你的网络质量 |
| 需要极致推理速度 | ⭐⭐ | 跨设备通信有延迟，不适合对延迟敏感的场景 |
| 想加入公开算力网络 | ⭐⭐⭐ | 项目支持，但隐私和性能需自行权衡 |
踩坑提醒
- 网络延迟是关键瓶颈：因为是P2P跨设备通信，如果各节点不在同一局域网，延迟会明显影响推理体验
- 模型拆分不是银弹：虽然能把大模型拆到多台机器上，但通信开销会让实际速度大打折扣，适合"能跑就行"的场景
- 公开算力网络的隐私风险：加入公开网络意味着你的设备会被他人使用，敏感数据谨慎处理
中国AI算力现状
在国内，算力一直是绕不开的痛点。中美在AI基础设施上的差距依然显著：
- 美国在高端GPU供应上仍有优势，国内企业正加速自研替代方案
- 分布式推理这类"存量盘活"思路，恰好契合国内大量存量设备的现实
- 当单卡算力受限时，用软件定义的方式整合闲置资源，是一条务实的路
Mesh LLM这类项目告诉我们：算力不一定非要砸钱买新的，有时候整合旧的比买新的更聪明。
视频来源：鲲鹏Talk B站频道