一、为什么要在本地部署实时语音 AI？
目前市面上主流的 AI 语音助手（如 Siri、小爱同学、天猫精灵等）都依赖云端处理——你的语音上传到服务器，AI 处理后返回结果。这带来了几个问题：
- 隐私风险：你的每一次对话都会被上传到云端
- 网络依赖：没有网络就无法使用
- 延迟问题：网络传输导致响应不够实时
- 持续费用：部分服务需要订阅付费
而本地部署方案完美解决了这些问题：
- ✅ 完全离线：断网也能正常使用
- ✅ 隐私安全：数据不离开你的电脑
- ✅ 低延迟：本地推理，响应极快
- ✅ 永久免费：一次部署，永久使用 date: “2026-07-04T00:00:00+08:00”
二、部署前的准备工作
在开始之前，需要准备以下环境和工具：
1. 安装 Python 3.11
作者要求 Python 3.10 以上版本，建议安装 Python 3.11。下载 Windows 64 位版本，安装时务必勾选"将 Python 添加到系统 PATH"，否则后续会出错。
2. 安装 Git
下载最新版本的 Git 并安装，用于克隆开源项目代码。
3. 安装音频解码器
通过 PowerShell 运行一键安装命令，安装必要的音频解码组件。
4. 硬件要求
- 最低配置：4GB 显存以上的 NVIDIA 显卡（用于运行 4B 模型）
- 推荐配置：24GB 显存（可运行 35B 大模型）
- CPU 模式：也可纯 CPU 运行，但速度会慢一些
⚠️ 部分依赖需从境外源下载，建议提前配置镜像源（如 hf-mirror），否则可能无法正常下载。
三、核心部署步骤
第一步：安装 Speech-to-Speech 框架
在 PowerShell 中激活虚拟环境后，运行一键安装命令，自动下载并安装 speech-to-speech 开源项目及其底层组件（包括 Qwen3 TTS）。
第二步：安装本地大模型
通过 llama-cpp 安装本地大语言模型。Windows 用户需要根据自己 NVIDIA 驱动的 CUDA 版本选择合适的版本。
查看驱动版本的方法：在 CMD 中输入 nvidia-smi，查看 CUDA 版本号，然后选择对应的 llama-cpp 版本。
第三步：下载语音模型
下载语音识别（ASR）和语音合成（TTS）模型，放置在指定目录下。系统支持多种音色选择，甚至可以切换不同方言。
第四步：配置并启动
启动后会自动弹出三个独立的窗口（分别对应 ASR、LLM、TTS 三个模块），都不要关闭。等待启动完成后，打开浏览器访问本地地址，填入语音服务地址（localhost + 端口号），选择音色，保存即可使用。
四、实际体验：实时语音对话
部署完成后，你就可以和 AI 进行真正的实时语音对话了：
你： “你好，请自我介绍一下” AI： “你好，我是你的小助手，喜欢聊天，帮忙解决问题，也喜欢玩点小游戏呢”
你： “跟我聊一下四川话吧” AI： （切换到四川方言回答）
你： “我们聊一下比特币吧，最近比特币暴跌了” AI： “是啊，最近市场波动确实让人心惊肉跳，你入手的位置还好吗？有没有被吓到？”
系统还支持：
- 切换音色：多种 AI 语音可选
- 切换方言：支持四川话等方言
- 调整语气：可要求 AI 用更严肃或更轻松的语气回答
- 实时打断：可以随时打断 AI 的回复，重新提问
五、进阶：使用更大模型提升性能
当前默认使用的是 4B 模型，几乎任何人都可以使用。如果你的显卡足够强大（显存 24GB 以上），可以升级到更大的模型，如 Qwen3 35B A3B 模型。
升级步骤：
- 下载更大版本的模型文件
- 将模型文件放入模型文件夹
- 修改启动脚本中的模型文件名
- 重启所有窗口
升级后，AI 的回答质量、理解能力和对话深度都会有显著提升。
六、重启后如何使用？
如果电脑重启了，不用担心。项目提供了一个一键启动脚本，双击运行即可：
- 运行一键启动脚本
- 它会自动弹出三个窗口（不要关闭）
- 等待启动完成
- 打开浏览器，填入本地语音地址
- 点击保存，即可继续使用
结语：AI 语音助手的未来在本地
这套方案的推出，标志着 AI 语音助手进入了一个新的阶段——从云端走向本地，从封闭走向开源。
以前，我们习惯了把数据交给云端，忍受延迟和隐私风险。而现在，任何人都可以在自己的电脑上搭建一套完全属于自己的 AI 语音助手——它随时待命，永远在线，完全离线，绝对隐私。
对于开发者来说，这是一个极好的学习和二次开发平台；对于普通用户来说，这是一个真正属于自己的 AI 助手。
零度解说在视频中提供了完整的资源下载链接和详细的一步一步教程，即使是非技术用户，只要按照步骤操作，也能成功部署。
当 AI 不再需要联网，当语音对话不再有延迟，当你的每一句话都只留在你的电脑里——这才是 AI 该有的样子。
本文内容整理自零度解说的影片「本地部署！实时 AI 语音对话，免费开源、低延迟，可离线使用，支持中文（Realtime Voice）」