结合门控融合网络和残差傅里叶变换重建太阳斑点图

doi:10.11896/jsjkx.220800229

YNAO OpenIR > 抚仙湖太阳观测和研究基地

	结合门控融合网络和残差傅里叶变换重建太阳斑点图
其他题名	Reconstruction of Solar Speckle Image Combined with Gated Fusion Network and Residual Fourier Transform
	黄亚群 1; 郑培煜 1; 蒋慕蓉 1; 杨磊 2; 罗俊 1
发表期刊	计算机科学/Computer Science
	2023-11
卷号	50 期号:S2 页码:278-284
DOI	10.11896/jsjkx.220800229
分类号	TP391.41
产权排序	第2完成单位
收录类别	核心 ; CSCD
关键词	太阳斑点图重建门控融合网络残差傅里叶变换双注意力机制
摘要	使用现有深度学习算法重建云南天文台拍摄的高度模糊太阳斑点图像时，出现高频信息丢失、边缘模糊、重建难度大等问题。对此，提出一种结合门控融合网络与残差傅里叶变换的太阳斑点图重建算法，其中门控融合网络由一个生成器和两个鉴别器组成，生成器包含去模糊模块、高维特征提取模块、门控模块和重建模块。去模糊模块采用基于双注意力机制的U形网络框架，获取低分辨率图像去模糊后的特征；高维特征提取模块使用残差傅里叶变换的卷积块，提取包含图像空间细节的高维特征；门控模块将上述两个特征进行融合，得到权重图，与去模糊后的特征进行加权后，再与高维特征融合，得到融合特征；重建模块采用残差傅里叶变换的卷积块和像素混洗层，将门控模块得到的融合特征图进行重建，得到高分辨率图像。利用两个鉴别器分别鉴别去模糊模块产生的去模糊图像和重建模块产生的高分辨率图像的真实性。最后，设计包含像素内容损失、感知损失和对抗损失的组合训练损失函数，指导模型训练。实验结果显示，所提方法与现有深度学习重建方法相比，高频信息的恢复能力更强，边缘轮廓更清晰，结构相似性和峰值信噪比指标更高。
其他摘要	When using the existing deep learning algorithm to reconstruct the highly blurred solar speckle image taken by the Yunnan Observatory, there are problems such as loss of high-frequency information, blurred edges, and difficulty in reconstruction. This paper proposesd a solar speckle image reconstruction algorithm combining gated fusion network and residual Fourier transform. The gated fusion network consists of a generator and two discriminators. The generator contains a deblurring module, a high-dimensional feature extraction module, agating module and a reconstruction module. The deblurring module adopts the Ushaped network framework based on the double attention mechanism to obtain the deblurred features of the low-resolution image; the high-dimensional feature extraction module uses the convolution block of the residual Fourier transform to extract high-dimensional features containing image spatial details; the gating module fuses the above two features to obtain a weight map, the weight map weighted with the deblurred features, and then fused with high-dimensional features to obtain fused features; the reconstruction module uses the residual Fourier transform convolution block and pixel shuffling layer to reconstruct the fusion feature map obtained by the gating module to obtain a high-resolution image. Two discriminators are used to identify the authenticity of the deblurred image produced by the deblurring module and the high-resolution image produced by the reconstruction module, respectively. Finally, a combined training loss function including pixel content loss, perceptual loss and adversarial loss is designed to guide model training. Experimental results show that compared with existing deep learning reconstruction methods, the proposed method has stronger recovery ability of high-frequency information, clearer edge contours, higher structural similarity and peak signal-to-noise ratio indicators
资助项目	国家自然科学基金[11773073]; 云南省高校科技创新团队支持项目[IRTSTYN]; 云南大学专业学位研究生教学案例库建设项目[2022XJALK02]
项目资助者	国家自然科学基金[11773073] ; 云南省高校科技创新团队支持项目[IRTSTYN] ; 云南大学专业学位研究生教学案例库建设项目[2022XJALK02]
语种	中文
学科领域	天文学
ISSN	1002-137X
URL	查看原文
引用统计
文献类型	期刊论文
版本	出版稿
条目标识符	http://ir.ynao.ac.cn/handle/114a53/26500
专题	抚仙湖太阳观测和研究基地
作者单位	1.云南大学信息学院; 2.中国科学院云南天文台
推荐引用方式 GB/T 7714	黄亚群,郑培煜,蒋慕蓉,等. 结合门控融合网络和残差傅里叶变换重建太阳斑点图[J]. 计算机科学/Computer Science,2023,50(S2):278-284.
APA	黄亚群,郑培煜,蒋慕蓉,杨磊,&罗俊.(2023).结合门控融合网络和残差傅里叶变换重建太阳斑点图.计算机科学/Computer Science,50(S2),278-284.
MLA	黄亚群,et al."结合门控融合网络和残差傅里叶变换重建太阳斑点图".计算机科学/Computer Science 50.S2(2023):278-284.

条目包含的文件
文件名称/大小	文献类型	版本类型	开放类型	使用许可
结合门控融合网络和残差傅里叶变换重建太阳（1524KB）	期刊论文	出版稿	开放获取	CC BY-NC-SA	浏览请求全文