小瓜 RTC 是为 ESP32 芯片设计的固件,由 ZideAI 为小瓜 RTC 项目设计。该项目使用 RTC 协议和 WebSocket 与 AI 服务器进行点对点通信。用户可以使用自己的唤醒词,在短时间内建立连接,并通过音频与 AI 实时聊天。此外,用户在说话时可以中断 AI 的语音,无需任何额外组件。同时,支持通过 ZideAI 进行语音克隆,使 AI 语音更加自然。
| 简体中文 |ENGLISH |
QQ 交流群:1034377943
兼容 小智 硬件,但此版本需要麦克风(INMP441),扬声器(MAX98357A)和0.91寸 OLED(SSD1306)屏幕。目前仅支持 ESP32S3-N16R8 芯片。
🌟若小智面包板可直接烧录使用。
从 发布页面下载最新固件。如果你想自己编译固件,请参考编译指南。使用esptool将固件烧录到 ESP32S3 芯片。
烧录固件后,设备将创建一个名为 XiaoGuaRTC-XXXX
的热点。连接到该热点并打开浏览器访问 http://192.168.4.1
。按照说明连接到互联网。在
ZideAI 网站上注册一个帐户并创建一个新设备。将 6 位设备代码(音频代码)输入到网站并绑定设备。
设备连接到互联网后,设备将自动连接到 AI 服务器。说出默认唤醒词 你好小瓜
以唤醒 AI 并开始聊天。
你可以在ZideAI网站上自定义唤醒词和语音克隆。唤醒词可以设置为任意中文词,语音克隆可以设置为任意语音风格。
- Wi-Fi 连接
- 实时音频通信
- 自定义 LLM API
- 自定义唤醒词
- 语音克隆
- 编译环境准备,IDF V5.5,需要从乐鑫官方库中克隆。
- 克隆代码仓库。
- 克隆 libpeer ,注意选择aiortc_turn_opus分支,并将其放在
XiaoGuaRTC/managed_components
文件夹中。 - 使用 ESP-IDF 框架打开项目。
- 编译项目并烧录固件。
该项目采用 MIT 许可证 - 详情请参见 LICENSE文件。