近日，由清华大学计算机系朱军教授课题组发布的基于薛定谔桥的语音合成系统 [1]，凭借其 「数据到数据」的生成范式，在样本质量和采样速度两方面，均击败了扩散模型的 「噪声到数据」范式。
问题背景
自 2021 年起，扩散模型（diffusion models）开始成为文本到语音合成（text-to-speech, TTS）领域的核心生成方法之一，如华为诺亚方舟实验室提出的 Grad-TTS [2]、浙江大学提出的 DiffSinger [3] 等方法均实现了较高的生成质量。此后，又有众多研究工作有效提升了扩散模型的采样速度，如通过先验优化 [2,3,4]、模型蒸馏 [5,6]、残差预测 [7] 等方法。然而，如此项研究所示，由于扩散模型受限于 「噪声到数据」的生成范式，其先验分布对生成目标提供的信息始终较为有限，对条件信息无法利用充分。
该方法的主要架构如上图所示，输入文本首先经由文本编码器提取出生成目标（mel-spectrogram, 梅尔谱）的隐空间表征。此后，与扩散模型将此信息并入噪声分布或用作条件信息不同，Bridge-TTS 的方法支持直接将其作为先验信息，并支持通过随机或确定性采样的方式， 高质量、快速地生成目标。
工作成果
在验证语音合成质量的标准数据集 LJ-Speech 上，研究团队将 Bridge-TTS 与 9 项高质量的语音合成系统和扩散模型的加速采样方法进行了对比。如下所示，该方法在 样本质量上（1000 步、50 步采样）击败了基于扩散模型的高质量 TTS 系统 [2,3,7]，并在 采样速度上，在无需任何后处理如额外模型蒸馏的条件下，超过了众多加速方法，如残差预测、渐进式蒸馏、以及最新的一致性蒸馏等工作 [5,6,7]。
以下是 Bridge-TTS 与基于扩散模型方法的生成效果示例，更多生成样本对比可访问项目网站：https://bridge-tts.github.io/
输入文本：「The prison population fluctuated a great deal,」
下面展示了 Bridge-TTS 一个在 2 步和 4 步的一个确定性合成（ODE sampling）案例。在 4 步合成中，该方法相较于扩散模型显著合成了更多样本细节，并没有噪声残留的问题。在 2 步合成中，该方法展示出了完全纯净的采样轨迹，并在每一步采样完善了更多的生成细节。 
在频域中，更多的生成样本如下所示，在 1000 步合成中，该方法相较于扩散模型生成了更高质量的梅尔谱，当采样步数降到 50 步时，扩散模型已经牺牲了部分采样细节，而基于薛定谔桥的该方法仍然保持着高质量的生成效果。在 4 步和 2 步合成中，该方法不需蒸馏、多阶段训练、和对抗损失函数，仍然实现了高质量的生成效果。 
在 2 步合成中，Bridge-TTS与基于扩散模型的方法的梅尔谱对比
Bridge-TTS一经发布，凭借其在语音合成上新颖的设计与高质量的合成效果，在 Twitter 上引起了热烈关注，获得了百余次转发和数百次点赞，入选了 Huggingface 在 12.7 的 Daily Paper 并在当日获得了支持率第一名，同时在 LinkedIn、微博、知乎、小红书等多个国内外平台被关注与转发报道。
薛定谔桥（Schrodinger Bridge）是一类继扩散模型之后，近期新兴的深度 生成模型，在图像生成、图像翻译等领域都有了初步应用 [8,9]。不同于扩散模型在数据和高斯噪声之间建立变换过程，薛定谔桥支持任意两个边界分布之间的转换。在 Bridge-TTS 的研究中，作者们提出了基于成对数据间薛定谔桥的语音合成框架，灵活支持着多种前向过程、预测目标、及采样过程。其方法概览如下图所示：
在其他任务如语音增强、语音分离、语音编辑等先验信息同样较强的任务中，作者们期待此研究也会带来较大的应用价值。
作者简介
此项研究有三位共同第一作者：陈泽华，何冠德，郑凯文，均属于清华大学计算机系朱军课题组，文章通讯作者为朱军教授，微软亚洲研究院首席研究经理谭旭为项目合作者。
参考文献：[1] Zehua Chen, Guande He, Kaiwen Zheng, Xu Tan, and Jun Zhu. Schrodinger Bridges Beat Diffusion Models on Text-to-Speech Synthesis. arXiv preprint arXiv:2312.03491, 2023.[2] Vadim Popov, Ivan Vovk, Vladimir Gogoryan, Tasnima Sadekova, and Mikhail A. Kudinov. Grad-TTS: A Diffusion Probabilistic Model for Text-to-Speech. In ICML, 2021.[3] Jinglin Liu, Chengxi Li, Yi Ren, Feiyang Chen, and Zhou Zhao. DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism. In AAAI, 2022.[4] Sang-gil Lee, Heeseung Kim, Chaehun Shin, Xu Tan, Chang Liu, Qi Meng, Tao Qin, Wei Chen, Sungroh Yoon, and Tie-Yan Liu. PriorGrad: Improving Conditional Denoising Diffusion Models with Data-Dependent Adaptive Prior. In ICLR, 2022.[5] Rongjie Huang, Zhou Zhao, Huadai Liu, Jinglin Liu, Chenye Cui, and Yi Ren. ProDiff: Progressive Fast Diffusion Model For High-Quality Text-to-Speech. In ACM Multimedia, 2022.[6] Zhen Ye, Wei Xue, Xu Tan, Jie Chen, Qifeng Liu, and Yike Guo. CoMoSpeech: One-Step Speech and Singing Voice Synthesis via Consistency Model. In ACM Multimedia, 2023.[7] Zehua Chen, Yihan Wu, Yichong Leng, Jiawei Chen, Haohe Liu, Xu Tan, Yang Cui, Ke Wang, Lei He, Sheng Zhao, Jiang Bian, and Danilo P. Mandic. ResGrad: Residual Denoising Diffusion Probabilistic Models for Text to Speech. arXiv preprint arXiv:2212.14518, 2022.[8] Yuyang Shi, Valentin De Bortoli, Andrew Campbell, and Arnaud Doucet. Diffusion Schrödinger Bridge Matching. In NeurIPS 2023.[9] Guan-Horng Liu, Arash Vahdat, De-An Huang, Evangelos A. Theodorou, Weili Nie, and Anima Anandkumar. I2SB: Image-to-Image Schrödinger Bridge. In ICML, 2023.[10] Yaron Lipman, Ricky T. Q. Chen, Heli Ben-Hamu, Maximilian Nickel, and Matt Le. Flow Matching for Generative Modeling. In ICLR, 2023.[11] Kaiwen Zheng, Cheng Lu, Jianfei Chen, and Jun Zhu. Improved Techniques for Maximum Likelihood Estimation for Diffusion ODEs. In ICML, 2023.[12] Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, and Jun Zhu. DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps. In NeurIPS, 2022.[13] Kaiwen Zheng, Cheng Lu, Jianfei Chen, and Jun Zhu. DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics. In NeurIPS, 2023.本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
问题背景
自 2021 年起，扩散模型（diffusion models）开始成为文本到语音合成（text-to-speech, TTS）领域的核心生成方法之一，如华为诺亚方舟实验室提出的 Grad-TTS [2]、浙江大学提出的 DiffSinger [3] 等方法均实现了较高的生成质量。此后，又有众多研究工作有效提升了扩散模型的采样速度，如通过先验优化 [2,3,4]、模型蒸馏 [5,6]、残差预测 [7] 等方法。然而，如此项研究所示，由于扩散模型受限于 「噪声到数据」的生成范式，其先验分布对生成目标提供的信息始终较为有限，对条件信息无法利用充分。
该方法的主要架构如上图所示，输入文本首先经由文本编码器提取出生成目标（mel-spectrogram, 梅尔谱）的隐空间表征。此后，与扩散模型将此信息并入噪声分布或用作条件信息不同，Bridge-TTS 的方法支持直接将其作为先验信息，并支持通过随机或确定性采样的方式， 高质量、快速地生成目标。
工作成果
在验证语音合成质量的标准数据集 LJ-Speech 上，研究团队将 Bridge-TTS 与 9 项高质量的语音合成系统和扩散模型的加速采样方法进行了对比。如下所示，该方法在 样本质量上（1000 步、50 步采样）击败了基于扩散模型的高质量 TTS 系统 [2,3,7]，并在 采样速度上，在无需任何后处理如额外模型蒸馏的条件下，超过了众多加速方法，如残差预测、渐进式蒸馏、以及最新的一致性蒸馏等工作 [5,6,7]。
以下是 Bridge-TTS 与基于扩散模型方法的生成效果示例，更多生成样本对比可访问项目网站：https://bridge-tts.github.io/ - 1000 步合成效果对比
- 4 步合成效果对比
- 2 步合成效果对比
输入文本：「The prison population fluctuated a great deal,」
下面展示了 Bridge-TTS 一个在 2 步和 4 步的一个确定性合成（ODE sampling）案例。在 4 步合成中，该方法相较于扩散模型显著合成了更多样本细节，并没有噪声残留的问题。在 2 步合成中，该方法展示出了完全纯净的采样轨迹，并在每一步采样完善了更多的生成细节。 在频域中，更多的生成样本如下所示，在 1000 步合成中，该方法相较于扩散模型生成了更高质量的梅尔谱，当采样步数降到 50 步时，扩散模型已经牺牲了部分采样细节，而基于薛定谔桥的该方法仍然保持着高质量的生成效果。在 4 步和 2 步合成中，该方法不需蒸馏、多阶段训练、和对抗损失函数，仍然实现了高质量的生成效果。 
在 50 步合成中，Bridge-TTS与基于扩散模型的方法的梅尔谱对比
在 2 步合成中，Bridge-TTS与基于扩散模型的方法的梅尔谱对比Bridge-TTS一经发布，凭借其在语音合成上新颖的设计与高质量的合成效果，在 Twitter 上引起了热烈关注，获得了百余次转发和数百次点赞，入选了 Huggingface 在 12.7 的 Daily Paper 并在当日获得了支持率第一名，同时在 LinkedIn、微博、知乎、小红书等多个国内外平台被关注与转发报道。
薛定谔桥（Schrodinger Bridge）是一类继扩散模型之后，近期新兴的深度 生成模型，在图像生成、图像翻译等领域都有了初步应用 [8,9]。不同于扩散模型在数据和高斯噪声之间建立变换过程，薛定谔桥支持任意两个边界分布之间的转换。在 Bridge-TTS 的研究中，作者们提出了基于成对数据间薛定谔桥的语音合成框架，灵活支持着多种前向过程、预测目标、及采样过程。其方法概览如下图所示：
- 前向过程：此研究在强信息先验和生成目标之间搭建了一种完全可解的薛定谔桥，支持灵活的前向过程选择，如 对称式噪声策略：
、常数 
，和 非对称噪声策略: 
、线性 
，以及直接与扩散模型相对应的 方差保持（VP）噪声策略。该方法发现在语音合成任务中非对称噪声策略：即线性 （gmax）和 VP 过程，相较于对称式噪声策略有更好的生成效果。
- 模型训练：该方法保持了扩散模型训练过程的多个优点，如单阶段、单模型、和单损失函数等。并且其对比了多种模型参数化（Model parameterization）的方式，即网络训练目标的选择，包括噪声预测（Noise）、生成目标预测（Data）、和对应于扩散模型中流匹配技术 [10,11] 的速度预测（Velocity）等。文章发现以生成目标，即梅尔谱为网络预测目标时，可以取得相对更佳的生成效果。
- 采样过程：得益于该研究中薛定谔桥完全可解的形式，对薛定谔桥对应的前 - 后向 SDE 系统进行变换，作者们得到了 Bridge SDE 和 Bridge ODE 用于推断。同时，由于直接模拟 Bridge SDE/ODE 推断速度较慢，为加快采样，该研究借助了扩散模型中常用的指数积分器 [12,13]，给出了薛定谔桥的一阶 SDE 与 ODE 采样形式：
在其他任务如语音增强、语音分离、语音编辑等先验信息同样较强的任务中，作者们期待此研究也会带来较大的应用价值。
作者简介
此项研究有三位共同第一作者：陈泽华，何冠德，郑凯文，均属于清华大学计算机系朱军课题组，文章通讯作者为朱军教授，微软亚洲研究院首席研究经理谭旭为项目合作者。
朱军教授
微软亚洲研究院首席研究经理谭旭
参考文献：[1] Zehua Chen, Guande He, Kaiwen Zheng, Xu Tan, and Jun Zhu. Schrodinger Bridges Beat Diffusion Models on Text-to-Speech Synthesis. arXiv preprint arXiv:2312.03491, 2023.[2] Vadim Popov, Ivan Vovk, Vladimir Gogoryan, Tasnima Sadekova, and Mikhail A. Kudinov. Grad-TTS: A Diffusion Probabilistic Model for Text-to-Speech. In ICML, 2021.[3] Jinglin Liu, Chengxi Li, Yi Ren, Feiyang Chen, and Zhou Zhao. DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism. In AAAI, 2022.[4] Sang-gil Lee, Heeseung Kim, Chaehun Shin, Xu Tan, Chang Liu, Qi Meng, Tao Qin, Wei Chen, Sungroh Yoon, and Tie-Yan Liu. PriorGrad: Improving Conditional Denoising Diffusion Models with Data-Dependent Adaptive Prior. In ICLR, 2022.[5] Rongjie Huang, Zhou Zhao, Huadai Liu, Jinglin Liu, Chenye Cui, and Yi Ren. ProDiff: Progressive Fast Diffusion Model For High-Quality Text-to-Speech. In ACM Multimedia, 2022.[6] Zhen Ye, Wei Xue, Xu Tan, Jie Chen, Qifeng Liu, and Yike Guo. CoMoSpeech: One-Step Speech and Singing Voice Synthesis via Consistency Model. In ACM Multimedia, 2023.[7] Zehua Chen, Yihan Wu, Yichong Leng, Jiawei Chen, Haohe Liu, Xu Tan, Yang Cui, Ke Wang, Lei He, Sheng Zhao, Jiang Bian, and Danilo P. Mandic. ResGrad: Residual Denoising Diffusion Probabilistic Models for Text to Speech. arXiv preprint arXiv:2212.14518, 2022.[8] Yuyang Shi, Valentin De Bortoli, Andrew Campbell, and Arnaud Doucet. Diffusion Schrödinger Bridge Matching. In NeurIPS 2023.[9] Guan-Horng Liu, Arash Vahdat, De-An Huang, Evangelos A. Theodorou, Weili Nie, and Anima Anandkumar. I2SB: Image-to-Image Schrödinger Bridge. In ICML, 2023.[10] Yaron Lipman, Ricky T. Q. Chen, Heli Ben-Hamu, Maximilian Nickel, and Matt Le. Flow Matching for Generative Modeling. In ICLR, 2023.[11] Kaiwen Zheng, Cheng Lu, Jianfei Chen, and Jun Zhu. Improved Techniques for Maximum Likelihood Estimation for Diffusion ODEs. In ICML, 2023.[12] Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, and Jun Zhu. DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps. In NeurIPS, 2022.[13] Kaiwen Zheng, Cheng Lu, Jianfei Chen, and Jun Zhu. DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics. In NeurIPS, 2023.本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。