基于多谱特征生成对抗网络的语音转换算法

计算机工程与科学

基于多谱特征生成对抗网络的语音转换算法

张筱，张巍，王文浩，万永菁

（华东理工大学信息科学与工程学院,上海 200237）

收稿日期:2019-09-23 修回日期:2019-12-23 出版日期:2020-05-25 发布日期:2020-05-25

A voice conversion algorithm based on multi-spectral

feature generative adversarial network

ZHANG Xiao,ZHANG Wei,WANG Wen-hao,WAN Yong-jing

（School of Information Science and Engineering,East China University of Science and Technology,Shanghai 200237,China）

Received:2019-09-23 Revised:2019-12-23 Online:2020-05-25 Published:2020-05-25

摘要/Abstract

摘要：

语音转换在教育、娱乐、医疗等各个领域都有广泛的应用，为了得到高质量的转换语音，提出了基于多谱特征生成对抗网络的语音转换算法。利用生成对抗网络对由谱特征参数生成的声纹图进行转换，利用特征级多模态融合技术使网络学习来自不同特征域的多种信息，以提高网络对语音信号的感知能力，从而得到具有良好清晰度和可懂度的高质量转换语音。实验结果表明，在主、客观评价指标上，本文算法较传统算法均有明显提升。

关键词: 语音转换, 声纹图, 生成对抗网络, 多谱特征, 跨域重建误差

Abstract:

Voice conversion is widely used in education, entertainment, medical and other fields. In order to obtain high-quality converted speech, this paper proposes a voice conversion algorithm based on multi-spectral feature generative adversarial network. It uses generative adversarial network to convert the voiceprint obtained by spectral feature parameters. The feature-level multimodal fusion technique is used to make the network learn multiple spectral feature information from different feature domains, so as to improve the perception of speech signals of the network. Finally, the high-quality converted speech with good definition and intelligibility is obtained. The experimental results show that the proposed algorithm is significantly superior to the traditional algorithms in the subjective and objective evaluation indicators.

Key words: voice conversion, voiceprint, generative adversarial network, multi-spectral feature, cross-domain reconstruction error

张筱，张巍，王文浩，万永菁. 基于多谱特征生成对抗网络的语音转换算法[J]. 计算机工程与科学.

ZHANG Xiao,ZHANG Wei,WANG Wen-hao,WAN Yong-jing.

A voice conversion algorithm based on multi-spectral

feature generative adversarial network

[J]. Computer Engineering & Science.

[1]	白志远, 杨智翔, 栾鸿康, 孙玉宝, . 耦合单词与句子级文本特征的图像对抗级联生成[J]. 计算机工程与科学, 2023, 45(12): 2186-2196.
[2]	黄瑶, 潘丽丽, 熊思宇, 蒋湘辉, 马俊勇. 基于生成对抗网络与多头注意力的文本隐写术[J]. 计算机工程与科学, 2023, 45(10): 1789-1796.
[3]	任拓, 闫玮, 况立群, 谢剑斌, 谌钟毓, 高峰, 郭锐, 束伟, 谢昌颐. 基于多对抗性鉴别网络的人脸活体检测[J]. 计算机工程与科学, 2023, 45(09): 1611-1620.
[4]	马征, 褚钧正, 武鹏飞. 一种基于对抗学习的仿真遥感图像生成方法[J]. 计算机工程与科学, 2023, 45(03): 489-494.
[5]	孙琪, 翟锐, 左方, 张玉涛, . 基于部分卷积和多尺度特征融合的人脸图像修复模型[J]. 计算机工程与科学, 2023, 45(02): 304-312.
[6]	齐永锋, 裴晓旭, 吕雪超, 王静. 基于同步压缩和DCGAN的癫痫脑电信号检测方法[J]. 计算机工程与科学, 2022, 44(12): 2273-2280.
[7]	陈曦, 赵红东, 杨东旭, 徐柯南, 任星霖, 封慧杰. 基于线性注意力机制的单样本生成对抗网络研究[J]. 计算机工程与科学, 2022, 44(11): 2056-2063.
[8]	王伟喆, 郭威彤, 杨鸿武, . 手语到情感语音的转换[J]. 计算机工程与科学, 2022, 44(10): 1869-1876.
[9]	王霞, 徐慧英, 朱信忠. 一种基于谱归一化的两阶段堆叠结构生成对抗网络的文本生成图像模型[J]. 计算机工程与科学, 2022, 44(06): 1083-1089.
[10]	王栋, 杨珂, 玄佳兴, 韩雨桐, 赵丽花, 王旭仁. 基于半监督生成对抗网络的恶意代码家族分类实现[J]. 计算机工程与科学, 2022, 44(05): 826-833.
[11]	谭红臣, 黄世华, 肖贺文, 于冰冰, 刘秀平. 判别增强的生成对抗模型在文本至图像生成中的研究与应用[J]. 计算机工程与科学, 2022, 44(05): 855-861.
[12]	崔克彬, 潘锋. 用于绝缘子故障检测的CycleGAN小样本库扩增方法研究[J]. 计算机工程与科学, 2022, 44(03): 509-515.
[13]	李然, 周子淏, 张月芳, 罗东升, 邓红霞. 一种结合自注意和多尺度生成对抗网络的图像去雨方法[J]. 计算机工程与科学, 2021, 43(12): 2216-2222.
[14]	兰天, 辛月兰, 殷小芳, 刘卫铭, 姜星宇. 基于生成对抗网络的无监督图像风格迁移[J]. 计算机工程与科学, 2021, 43(10): 1789-1795.
[15]	陈文祺, 王英, 王鑫, 汪洪吉. 基于生成对抗网络的多标签节点分类研究[J]. 计算机工程与科学, 2021, 43(02): 280-287.