基于双目融合的无参考立体图像质量评价

计算机工程与科学

基于双目融合的无参考立体图像质量评价

王杨1,2，向秀梅1,2，卢嘉1,2，郁振鑫1,2

(1.河北工业大学电子信息工程学院,天津 300401;2.河北工业大学天津市电子材料与器件重点实验室,天津 300401)

收稿日期:2019-07-05 修回日期:2019-09-11 出版日期:2020-03-25 发布日期:2020-03-25
基金资助:
河北省自然科学基金（F2014202036）；教育部人文社会科学研究项目（15YJA630108）

Non-reference stereo image quality

evaluation based on binocular fusion

WANG Yang1,2,XIANG Xiu-mei1,2,LU Jia1,2,YU Zhen-xin1,2

(1.College of Electronics and Information Engineering,Hebei University of Technology,Tianjin 300401;

2.Tianjin Key Laboratory of Electronic Materials & Devices,Hebei University of Technology,Tianjin 300401,China)

Received:2019-07-05 Revised:2019-09-11 Online:2020-03-25 Published:2020-03-25

摘要/Abstract

摘要：

针对对称失真和非对称失真图像的评价问题，提出了一种基于双目融合的无参考立体图像质量评价方法。首先，分别将立体图像的左、右视点图像分解成拉普拉斯金字塔序列，利用图像平均梯度和区域能量确定各层融合系数，在双目加权模型的基础上逐层融合两序列并重构合成图像。然后，提取左、右视点图像、合成图像的多尺度多方向频域变换特征和对比度、熵、能量、逆差分矩特征。最后，将特征参数作为支持向量回归模型的输入进行训练并预测图像质量。在LIVE 3D phase Ⅰ和LIVE 3D phase Ⅱ图像库上作相关性分析，其Pearson线性相关系数和Spearman等级相关系数均分别达到0.96和0.95以上。结果表明，本文方法对立体图像质量的预测结果与主观评价值具有较高的一致性。

关键词: 立体图像质量评价, 纹理特征, 双目联合, 图像融合, Gabor小波

Abstract:

Aiming at the evaluation problem of symmetric distortion and asymmetric distortion image, a non-reference stereo image quality evaluation method based on binocular fusion is proposed. Firstly, the left and right viewpoint images of the stereo image are decomposed into Laplacian pyramid sequences respectively, and the fusion coefficients of each layer are determined by using the image ave- rage gradient and the region energy. On the basis of the binocular weighted model, the two sequences are merged layer by layer and the cyclopean image is reconstructed. Then, the multi-scale, multi-directional frequency domain transform features and the contrast, entropy, energy and inverse difference moment features of the left and right viewpoint images and the cyclopean images are extracted. Finally, feature parameters are trained as input to the support vector regression model and the image quality is predicted. The correlation analysis is performed under LIVE 3D phase I and LIVE 3D phase II image databases. The Pearson linear correlation coefficient and Spearman rank correlation coefficient reach 0.96 and 0.95 respectively. The results show that the prediction results of stereo image quality have higher consistency with subjective evaluation values.

Key words: stereo image quality evaluation, texture feature, binocular joint, image fusion, Gabor wavelet

王杨1,2，向秀梅1,2，卢嘉1,2，郁振鑫1,2. 基于双目融合的无参考立体图像质量评价[J]. 计算机工程与科学.

WANG Yang1,2,XIANG Xiu-mei1,2,LU Jia1,2,YU Zhen-xin1,2.

Non-reference stereo image quality

evaluation based on binocular fusion

[J]. Computer Engineering & Science.

[1]	李一, 李阳, 苗壮, 王家宝, 张睿. 一种扩展VIFB的红外与可见光图像融合基准[J]. 计算机工程与科学, 2022, 44(06): 1072-1082.
[2]	张丽霞, 曾广平, 宣兆成. 多源图像融合方法的研究综述[J]. 计算机工程与科学, 2022, 44(02): 321-334.
[3]	张贵仓, 王静, 苏金凤. 改进稀疏表示与积化能量和的多聚焦图像融合[J]. 计算机工程与科学, 2022, 44(01): 124-131.
[4]	张丽霞, 曾广平, 宣兆成. NSST域下SPCNN与SR结合的多源图像融合[J]. 计算机工程与科学, 2020, 42(11): 2042-2049.
[5]	张贵仓, 苏金凤, 拓明秀. DTCWT域的红外与可见光图像融合算法[J]. 计算机工程与科学, 2020, 42(07): 1226-1233.
[6]	苏金凤，张贵仓，汪凯. 图像差与加权核范数最小化的压缩图像融合[J]. 计算机工程与科学, 2019, 41(10): 1785-1794.
[7]	严春满，郝有菲，张迪，陈佳辉. 混合特征下最优阈值预测的图像匹配[J]. 计算机工程与科学, 2019, 41(10): 1803-1808.
[8]	王健1,2,张修飞1,任萍1,院文乐1. 基于增补小波变换和PCNN的NSCT域图像融合算法[J]. 计算机工程与科学, 2018, 40(10): 1822-1828.
[9]	王威1,2，张佳娥1,2. 基于引导滤波和shearlet稀疏的遥感图像融合算法[J]. 计算机工程与科学, 2018, 40(08): 1453-1458.
[10]	王威1,2，张佳娥1,2. 基于引导滤波和shearlet稀疏的遥感图像融合算法[J]. 计算机工程与科学, 2018, 40(07): 1250-1255.
[11]	刘辉，代照坤，王龙. 基于Hu-GLCM的手势识别方法研究[J]. 计算机工程与科学, 2018, 40(03): 525-532.
[12]	秦煜1，吴静静1,2，安伟1,2，张美娟3. 基于融合特征的SURF配准算法[J]. 计算机工程与科学, 2017, 39(10): 1890-1895.
[13]	金静1,党建武1,王阳萍1,2,翟凤文1. 一种基于鲁棒局部纹理特征的背景差分方法[J]. 计算机工程与科学, 2017, 39(08): 1513-1519.
[14]	谭红宝，桑庆兵，严大卫. 多核学习纹理特征的立体图像质量评价[J]. 计算机工程与科学, 2017, 39(04): 769-776.
[15]	王刚，李朝锋. 基于视差图和复数轮廓波变换的无参考立体图像质量评价[J]. 计算机工程与科学, 2017, 39(03): 511-518.