关于开源库推理代码运行的一些疑问

[gdpgxy]

首先您关于SecoustiCodec的工作非常值得学习，模型兼具低比特率和流式处理能力。最近我在运行inference.py进行推理测试时，遇到几个问题想向您请教，希望能得到您的指点：

1. 关于输出文件：推理过程会生成acoustic.wav和semantic.wav两个音频文件，想确认一下，其中semantic.wav才是模型最终重构出的音频对吗？另外，我用您给的demo作测试，发现我得到的音频没您给出的效果好，对应的音频文件我放在附件了，还麻烦您听一下；
2. 关于0.27kbps下的听感：在0.27kbps比特率下，我观察到重构后的音频（包括您提供的demo和我自己测试的音频）普遍带有一种“沉闷鼻音”的感觉。想请教一下，这种现象是否主要由于比特率过低导致的？还是可能与模型结构或训练目标有关？
3. 关于跨语种和方言的泛化能力：我用法语、俄语、西班牙语以及国内几种方言进行了测试，整体效果都相当不错。想了解一下，这种良好的泛化能力是得益于训练数据覆盖了这些语种和口音，还是模型本身对不同语言/口音的特征具有较好的鲁棒性？
4. 关于带噪音频的重构表现：在测试带噪音频时，我发现重构后的音频质量会明显下降（附件中我上传了一个示例，音频末尾添加了一小段白噪声，供您参考）。我原本以为模型可能会重构出类似的带噪版本（毕竟模型应该是无法区分音频和背景噪音的），但实际输出会有明显的失真，甚至丢字。请问这是不是Neural Audio Codec面对带噪场景必然存在的问题？

非常期待您的回复！感激不尽！

13.wav
13_official.wav
13_semantic.wav

noisy_gauss_20.wav
noisy_gauss_20_semantic.wav

[QiangChunyu]

感谢对这项工作的关注，我将依次回答这些问题：

1. 正如文章中所描述的，该模型具备两种编码方式，分别是Acoustic编码和Semantic编码。semantic.wav是对应的Semantic编解码结果。
2. 是的，这主要是由于低比特率带来的，通过增加参数量或者优化训练目标或许可以帮助提升
3. 关于跨语种和方言能力，就像Vocoder等模型一样，往往是语种无关的，当然在目标语种进行finetuning会有更好的效果。虽然模型在训练阶段是通过音素进行解耦，但是音素本身我们可以认为是弱语种相关的，而是更贴近声学发音。当然不同语种的音素具有区别，比如中文是有调语言而英文是无调语言。所以这类模型天然具有较好的跨语种泛化性。
4. 关于带噪重构的问题，该模型设计的初衷是针对TTS这类的生成模型，实际训练语料中几乎不包含这类含噪语音。如果在训练数据中包含这类数据，会很好的缓解失真问题。所以这并不是“Neural Audio Codec面对带噪场景必然存在的问题”

很抱歉回复的时间间隔这么久，希望以上的回答可以解决你的问题，祝好。

[gdpgxy]

非常感谢您详尽且耐心的回复！很期待项目后续的更新，我会继续关注的。
再次感谢您的付出，祝好！

[gdpgxy]

您好，很抱歉再次打扰一下，关于我推理得到的音频没您给出的demo效果好，请问有什么可能的原因会导致这个问题（之前附件我附带了音频）。
非常期待您的回复！感激不尽！

[QiangChunyu]

这个问题不太好定位，我建议将demo页面中多抽取一些样本，都跑下acoustic.wav和semantic.wav的生成，看下是不是所有样本差异都是一样的

[gdpgxy]

我多试了几组样本，大部分差异不是很明显，但有一组比较明显，我传附件了，您也可以听一下。
再次感谢您的耐心回复！

15.wav
15_official.wav
15_semantic.wav