基于残差编解码-生成对抗网络的正弦图修复的稀疏角度锥束CT图像重建

靳 鑫，刘仰川，朱叶晨，张子健，高 欣*

（1.中国科学技术大学生物医学工程学院（苏州）生命科学与医学部，江苏 苏州 215009；2.中国科学院 苏州生物医学工程技术研究所，江苏 苏州 215163；3.中南大学湘雅医院 肿瘤科，长沙 410008）

0 引言

基于平板探测器的锥束CT（Cone Beam Computed Tomography，CBCT）广泛应用于口腔科、骨科、放射治疗科和动物活体成像、物质成分分析、无损检测等。过量的CBCT扫描剂量会对被扫描对象造成辐射损伤，降低曝光参数（管电流或管电压）的扫描模式和增大扫描角度间隔的稀疏投影是两种常用的低剂量扫描方式。与降低曝光参数扫描方式相比，稀疏投影不仅减小了扫描剂量，而且提高了扫描速度，避免了扫描对象因扫描时间长出现移动或形变，导致重建图像中出现运动伪影［1］。利用稀疏投影数据生成缺失角度的投影数据可以提高完备性，进而提高稀疏投影CBCT 重建图像质量，对于快速扫描的CBCT 领域具有重要的意义。目前，解析重建算法中的FDK（Feldkamp-Davis-Kress）算法仍是商用CBCT 扫描仪的标准算法，与迭代重建算法相比，在保证重建图像质量的前提下，具有更快的重建速度。然而，FDK 对投影数据的完备性要求较高，在稀疏投影条件下，重建图像中会出现严重的条状伪影。

为解决上述稀疏投影重建问题，在扇束CT（Fan Beam Computed Tomography，FBCT）领域，一种直接的方法是正弦图修复，通过补全因角度缺失而损失的正弦信息提高投影数据的完备性。传统的FBCT 正弦图修复方法包括线性插值法（Linear Interpolation，LI）［2］、方向插值法［3］、偏微分方程［4］和频域方法［5］等，可以有效减少重建图像中的条状伪影，但这些方法会导致正弦图中的连续性结构出现部分缺失，在重建图像中引入二次伪影。近年来，深度学习在计算机视觉和自然语言处理领域得到了广泛的应用。卷积神经网络（Convolutional Neural Network，CNN）是目前应用最广泛的深度学习算法之一，部分研究者将它用于稀疏投影FBCT 的正弦图修复和图像伪影去除，并取得了较好的效果［6］。文献［7］中采用CNN 中的U-Net 修复仿真的稀疏投影FBCT 正弦图，再经过FBP（Filtered Back Projection）重建，图像质量得到明显提升。文献［8］中在U-Net 基础上提出了基于dual frame 和tight frame 的两种改进型U-Net，对仿真的稀疏投影FBCT 图像的实验结果表明两者均可以有效去除图像中的条状伪影，其中tight frame U-Net 甚至优于全变分（Total Variation，TV）正则化迭代重建算法。文献［9］中在经典U-Net 结构的基础上，提出了用于CT 图像稀疏重建的多残差U-Net，在降低条状伪影的同时更好地保留了图像纹理和细节信息。

由于CBCT 与FBCT 的投影数据类型存在较大差异，单一角度下CBCT 投影数据是锥束射线透射三维物体后在二维探测器上的积分，缺少投影角度间的相关性。一些研究为了建立不同角度CBCT 投影数据间的相关性，提出了一系列以方向插值为基础的方法。文献［10］中将以角度排布的CBCT 投影数据以三维的形式堆叠，基于该三维投影数据直接使用方向插值方法生成缺失角度的投影数据；文献［11］进一步提出将堆叠后的三维投影数据沿扫描平面方向重新抽取为一系列的二维正弦图，再利用方向插值法修复正弦图，取得了更好的效果，但仍具有传统插值方法的连续性结构丢失、引入二次伪影的问题。按照此类方法转换后的CBCT 正弦图与FBCT 正弦图具有一定的结构相似性（Structural SIMilarity，SSIM），因此可将稀疏投影FBCT 重建领域中的深度学习正弦图修复方法应用于稀疏投影CBCT 重建，克服现有基于插值的传统方法的不足，进一步提高CBCT 稀疏重建效果，并填补该领域深度学习正弦图修复方法的空白。

现有研究广泛使用的U-Net 采用对称的下采样层和反卷积层会导致修复后的图像中出现棋盘伪影（Checkerboard Artifacts）［12］。文献［13］中指出对图像进行多次下采样会丢失图像中的信息，并提出了一种具备对称且残差连接的卷积层和反卷积层的残差编解码-卷积神经网络（Residual Encoder-Decoder Convolutional Neural Network，RED-CNN）。该网络中的卷积和反卷积的步长均设为1，以避免对图像下采样，针对低曝光参数扫描的FBCT 图像的实验结果证明，这种不包含下采样的网络结构可以去除图像中的噪声并保持结构细节。文献［14］中在RED-CNN 的基础上提出了一种对称残差CNN（Symmetric Residual CNN，SR-CNN），针对TV 正则化迭代重建的稀疏投影CBCT 图像，增强图像的边缘锐度和解剖结构细节。上述两项基于RED-CNN 的图像域研究表明，残差编解码结构（Residual Encoder-Decoder，RED）相较于连续下采样结构具有更佳的增强性能，但目前仍缺少将这一结构用于正弦图修复的研究。

自2014 年生成对抗网络（Generative Adversarial Network，GAN）被提出后出现了大量变种网络被成功应用于各类计算机视觉和图像处理任务中，在场景生成、图像翻译、文本与图像的相互生成、视频预测等领域都发挥了独特的作用。GAN 模型由生成器和判别器构成，通过生成器生成图像，利用判别器提取的高维特征判断生成图像，再通过判别器和生成器的对抗训练，使生成图像更加接近目标图像。

近几年，部分研究者将GAN 用于医学成像中的生成问题。文献［15］中提出了一种基于特征金字塔（Feature Pyramid）和焦点图（Focus Map）改进的最小二乘GAN（Least Squares GAN，LSGAN）方法［16］，针对稀疏投影CBCT 图像，可去除图像中的条状伪影并保留解剖结构；文献［17］中提出了一种锐度感知GAN（Sharpness-Aware GAN，SAGAN）方法，通过在目标函数中添加锐度损失增强低曝光参数扫描的FBCT图像，有效避免了图像模糊；文献［18］中改进了GAN 的损失函数，将重建损失（Reconstruction Loss）和GAN 原有的生成对抗损失结合，构建联合损失（Joint Loss）［19］作为网络的损失函数，针对小样本量的有限角CBCT 真实投影数据进行正弦图修复，实验结果表明改进后的GAN 可有效生成缺失的投影数据。上述3 种基于GAN 的变种方法在图像域去噪或有限角重建任务中取得了较好的结果，这表明基于GAN 的深度学习方法具有提升稀疏投影CBCT 重建质量的潜力。

本文结合RED 结构和GAN，提出一种用于稀疏投影CBCT 重建的正弦图修复网络——残差编解码-生成对抗网络（Residual Encoder-Decoder Generative Adversarial Network，RED-GAN）。以 RED 模块替 换 Pix2pixGAN（Pix2pix Generative Adversarial Network）［20］中的U-Net 生成器，可保留因原U-Net 生成器下采样而丢失的结构信息，保持正弦图的连续性；同时，RED 模块中的残差连接可防止由网络过深导致的梯度消失问题，降低模型训练难度。此外，利用基于PatchGAN（Patch Generative Adversarial Network）［20］的条件判别器，鉴别生成器生成的正弦图和真实正弦图差异，进一步提升生成器的性能。本文所提正弦图修复的稀疏投影CBCT重建方法主要包括3 个步骤：首先将稀疏投影数据转换为三维正弦图，通过线性插值对正弦图上采样，构建配对的训练数据、测试数据；然后逐切片将上述数据输入RED-GAN 中进行网络训练和测试，并将测试结果（修复后的正弦图）转换回投影数据；最后利用FBP 算法对投影数据进行图像重建，分别在投影数据域和重建图像域中评价网络修复性能。

1 数据和方法

1.1 数据和预处理

本文使用的CBCT 投影数据来自文献［21］中的公开数据集。该数据集通过XRE nv 公司开发的FleX-ray 扫描仪采集，扫描对象是核桃。扫描仪主要由锥束微焦点X 射线源、互补金属氧化物半导体（Complementary Metal Oxide Semiconductor，CMOS）型平板探测器和载物转台组成，其中射线源的额定管电压为90 kV，额定功率为90 W，射线为多能级；平板探测器的像素矩阵为1 536×1 944，像素尺寸为74.8 μm；扫描核桃时，管电压为40 kV，管功率为12 W，单次曝光时间为80 ms，探测器采用2×2binning 模式；射线源焦点到旋转轴的距离为66 mm，射线源焦点到探测器中心的距离为199 mm，几何放大比是3.016；转台通过泡沫固定成像物体，可360°旋转，角度步进为0.3°，投影次数为1 201（首末两次对应的位置重合）；射线源相对核桃有高、中、低这3 种位置高度，本文仅选择中间位置高度对应的数据。

CBCT 扫描原理见图1（a），其中V表示在旋转方向上的探测器像素数，U表示垂直于旋转平面的探测器像素数，N表示投影次数，η表示稀疏采样因子。平板探测器和X 射线源以圆周轨迹同步旋转，探测器像素矩阵大小为U×V，在全采样扫描模式下的投影次数为N。为了获得配对的全采样正弦图和待修复正弦图数据，本文借助线性插值上采样方式构建待修复正弦图，如图1（b）所示：1）将全采样的N个CBCT 投影图按照角度采集顺序堆叠，形成尺寸为U×V×N的矩阵；2）按照稀疏采样因子η，从该矩阵中抽取部分角度上的投影数据，形成尺寸为U×V×N/η的矩阵；3）将两个矩阵分别进行维度变换，得到尺寸分别为U×N×V、U×N/η×V的三维正弦图，称之为全采样正弦图和稀疏采样正弦图，二者均可抽取数量为U、尺寸分别V×N、V×N/η的正弦图切片；4）采用线性插值对稀疏采样正弦图的各个切片上采样，得到尺寸为U×N×V的矩阵，称之为待修复正弦图。待修复正弦图与全采样正弦图尺寸相同，二者组成配对数据。由数据集可知，U=972、V=768、N=1 201，η设为2、3、4。选择10例核桃的投影数据作为训练数据，2 例核桃的投影数据作为测试数据，经过正弦图转换、无效数据剔除，得到8 460 张正弦图切片作为训练集，1 944 张正弦图切片作为测试集。

图1 CBCT扫描原理和配对数据构建流程Fig.1 CBCT scanning principle and paired data construction flow

1.2 基于RED-GAN的正弦图修复流程

采用上述配对数据训练RED-GAN，流程如图2 所示。

图2 RED-GAN训练流程Fig.2 Training flow of RED-GAN

从图2 可见，全采样正弦图切片与待修复正弦图切片一起作为训练数据输入RED-GAN，其中全采样正弦图切片作为真值。RED-GAN 在训练过程中，通过计算全采样正弦图切片与修复后正弦图切片之间的损失并将它反向传播，不断优化网络参数，建立待修复正弦图切片与对应全采样正弦图切片之间的映射关系，结构将在1.3 节中描述。采用待修复正弦图测试RED-GAN，流程如图3。从图3 可见，待修复正弦图切片输入已训练的RED-GAN 中，网络生成修复后正弦图切片。然后，为了尽可能地保证正弦图的准确性，在修复后正弦图转换得到的投影数据中，利用原稀疏投影数据替换对应部分。利用FBP 重建最终的修复后正弦图，得到修复后重建图像。从该流程可以看出，利用修复后正弦图和修复后重建图像均可以评价RED-GAN 的修复性能。

图3 RED-GAN性能评价流程Fig.3 Performance evaluation flow of RED-GAN

1.3 RED-GAN模型

1.3.1 正弦图修复模型

令x∈SV×N为输入网络的待修复正弦图切片，y∈SV×N为对应的全采样正弦图切片。正弦图修复的数学模型表示为：

其中f表示神经网络修复过程，目的是将修复后正弦图切片与全采样正弦图切片之间的L2范数最小化。

1.3.2 Pix2pixGAN

Pix2pixGAN 的结构如图4 所示，包括生成器G 和条件判别器D 这两部分：生成器G 用于将输入的待修复正弦图切片x生成修复后正弦图切片xf；条件判别器D 用于鉴别修复后正弦图切片xf与目标图像y拼接后的(xf，y)和待修复正弦图切片x与目标图像y拼接后的(x，y)的一致性。在网络训练过程中，生成器G 尝试使修复后正弦图切片xf尽可能接近目标图像y，而判别器D 通过提取高维特征鉴别x和xf的一致性，并将鉴别结果反馈给生成器G，使生成器G 具有更好的正弦图修复效果。

图4 Pix2pixGAN的结构Fig.4 Structure of Pix2pixGAN

Pix2pixGAN 的目标函数表示为：

其中：D(x，y)表示条件判别器D 的输出；G(x，y)表示生成器G 的输出；E 表示期望函数。在网络训练过程中，生成器G 趋于最小化目标函数，判别器D 趋于最大化目标函数。当判别器D 对(xf，y)和(x，y)具有最强的鉴别能力，同时生成器G 生成的xf和y之间的差异达到最小时，判别器D和生成器G在相互博弈中达到平衡。此时，生成器G 对正弦图的修复能力达到最强，网络达到最优。这个最小-最大化问题可以描述为：

生成对抗损失与传统的L1或L2距离损失结合能进一步提升网络的生成效果［20］。相较于L1距离，L2距离可以使生成器的输出更加接近目标图像，L2距离损失表示为：

本文将生成对抗损失和L2距离的结合作为目标函数，最终的目标函数为：

其中λ表示L2距离损失的权重。

1.3.3 残差编解码（RED）生成器

正弦图是投影数据按照采样角度顺序堆叠的结果，相较于投影数据，在图像结构上具有高度连续性，表现为每一部分均与邻域高度相关。Pix2pixGAN 的原生成器是U-Net，而U-Net 采用的多个下采样结构会丢失原图像中的信息［13］，进而损失这一连续性。为了尽可能保持正弦图的连续性，本文将Pix2pixGAN 的原生成器替换为RED 模块，通过残差连接的对称卷积层和反卷积层保留正弦图中连续性结构信息。

RED 生成器结构如图5（a）所示。编码结构用于提取特征，对应的解码结构用于从提取的特征中还原真实结构。随着RED 结构的加深，网络能提取更多的特征，但性能会因为多层累计误差而被削弱，梯度弥散和梯度爆炸问题也会导致网络训练更加困难。残差连接可以补偿深层丢失的细节信息，同时缓解因网络加深导致的训练困难。RED 模块中，每个卷积层和反卷积层具有相同的结构，通道数均为96，卷积尺寸均为4×4，卷积步长均为1，每个卷积层和反卷积层都跟随一个Leaky ReLU（Rectified Linear Unit）层作为网络的激活函数层，Leaky ReLU 的参数设为0.2。

图5 RED-GAN结构Fig.5 Structure of RED-GAN

1.3.4 基于PatchGAN的条件判别器

为了进一步提升网络性能，采用基于PatchGAN 的条件判别器鉴别全采样图片和修复后图片的一致性。不同于传统GAN 中判别器仅对生成器生成图像输出一个真或假的评价值，PatchGAN 的条件判别器输出为一个N×N的评价值矩阵，该矩阵中每个值均代表对原始输入图像中特定区域的评价值。相较于传统GAN 判别器，PatchGAN 判别器具有更少的参数和更快的运行速度，更适用于大尺度图像，并且当该评价值矩阵的大小远小于生成器生成图像尺寸时，仍具有出色的鉴别效果，它的具体结构如图5（b）所示。判别器由5 层组成，卷积核大小为4×4，前3 层的卷积步长设置为2，后2 层的步长设置为1，卷积层前4 层的通道数均为192，最后1 层的通道数为32，每个卷积层后都有Leaky ReLU 层作为激活函数。将(xf，y)和(x，y)同时送入判别器，经5 层卷积后分别映射为192×50 的两个特征矩阵，判别器逐像素地判断特征矩阵之间的相似程度，并输出192×50 的评价值矩阵。评价值矩阵的每个元素代表了(xf，y)和(x，y)中一块70×70 的区域之间的相似程度。两区域越相似，评价值越接近于1；两区域的差异越大，评价值越接近于0。判别器根据评价值矩阵结果鉴别生成器的输出图像是否为真实图像，并以此计算生成对抗损失，修正生成器的结果。当生成图像xf足够接近y时，判别器无法分辨(xf，y)和(x，y)，此时网络的性能达到最佳。

1.4 CBCT图像重建

将修复后正弦图转为投影数据，利用FDK 算法对修复后投影数据进行CT 图像重建。FDK 算法是基于FBP 的一种三维重建算法，适用于CBCT 图像重建。它的原理是将锥形束X 射线视为具有不同倾斜角度的扇形束射线面的集合，其中垂直于平板探测器的中心扇形束射线面对应的投影数据采用FBP 重建，其余扇形束射线面对应的投影数据采用修正的FBP 算法重建。

FDK 算法先对投影数据加权，修正重建图像各像素到旋转轴的距离和角度，再对不同角度的投影数据在水平方向上一维滤波，最后沿射线方向进行三维反投影（插值），定义为：

其中：D为射线源到旋转轴的距离；α为投影角度；p(u，v，α)为投影数据；(u，v) ∈[1：U]×[1：V]为投影数据坐标；(a，b，c)为CT 图像坐标系；h(u)为水平方向上一维斜坡滤波器；⊗表示一维卷积。

2 实验与结果分析

2.1 实验环境及参数设置

本文的深度学习框架为PyTorch 1.12.0。计算平台为装有两张NVIDIA GeForce 2080Ti GPU 卡的工作站，操作系统为Ubuntu 20.04。采用Adam 优化器训练RED-GAN，网络的batch size 设为4，单个实验的Epoch 数为200，λ设为105。对于稀疏采样因子η为2、3、4 的投影数据，网络的学习率分别设为0.000 05、0.000 08、0.000 10。在训练和测试过程中，输入图片的灰度值均归一化到［0，1］。

2.2 图像质量评价指标

采用均方根误差（Root Mean Square Error，RMSE）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似性（SSIM）这3 项指标定量评价修复后正弦图和CT 重建图像。

令x表示修复后正弦图切片或对应的重建图像，称为修复后图像，y表示全采样正弦图切片或对应的重建图像，称为真实图像，yi∈y、xi∈x分别表示图中的单个像素。

RMSE 定义为：

其中M代表正弦图切片的像素数。RMSE 越小，表示修复后图像和真实图像之间的差异越小。

PSNR 定义为：

其中ymax代表正弦图y中像素点的最大值。PSNR 越大，表示修复后图像的噪声水平越低。

SSIM 定义为：

其中：μx、μy分别表示图像x和y的均值；δx、δy分别表示图像x和y的标准差；δx，y表示x和y的协方差；C1和C2分别是定义为(0.01 ×ymax)2和(0.03 ×ymax)2的默认参数。SSIM 值越大，表示修复后图像和真实图像的结构越相似。

2.3 实验结果

2.3.1 定量评价

本文采用来自公开数据集中12例核桃的真实CBCT 投影数据进行实验，分别采用LI［2］、RED-CNN［13］、Pix2pixGAN［20］和RED-GAN 对测试数据进行正弦图修复，并将修复结果进行CT图像重建。分别在正弦图域和重建图像域对这4种方法的结果计算RMSE、PSNR和SSIM，进行定量评价。

正弦图域和重建图像域的实验结果如表1、2 所示。从表1、2 中可知，在同一种稀疏采样条件下，RED-CNN、Pix2pixGAN、RED-GAN 这3 种深度学习方法正弦图修复结果及重建图像修复结果的RMSE 值均小于LI 的值；PSNR 和SSIM 值均大于LI 的值。这表明，在同一种稀疏采样条件下，3 种深度学习方法比传统方法LI 更具正弦图修复能力。此外，在同一稀疏采样条件下，RED-GAN 的RMSE、PSNR、SSIM这3 项指标均优于对比深度学习方法，其中，在1/4 稀疏条件下对正弦图的修复效果最为明显，与对比方法中效果最佳的结果相比，在投影域中，RMSE 下降了7.2%，PSNR 上升了1.5%，SSIM 上升了1.4%；在图像域中，RMSE 下降了5.4%，PSNR 上升了1.6%，SSIM 上升了1.0%，表明RED-GAN 具有最强的正弦图修复能力。

表1 不同稀疏采样条件下正弦图修复结果对比Tab.1 Comparison of sinogram inpainting results under different sparse-view sampling conditions

从表1 中还可以看出，随着η减小，即真实数据比例增加，LI 修复正弦图的RMSE 递减，PSNR 和SSIM 递增，各项指标均差于3 种深度学习方法。这表明，LI 的修复能力弱于深度学习方法。在深度学习类方法中，随着η减小，RED-CNN修复正弦图的RMSE 线性下降，PSNR 线性上升，SSIM 上升；Pix2pixGAN 和RED-GAN 修复正弦图的RMSE 先上升后下降，PSNR 和SSIM 先下降后上升。从表2 中还可以看出，随?着η减小，RED-CNN 重建图像修复结果的RMSE 下降，PSNR和SSIMR 上升，RED-GAN 和Pix2pixGAN 重建图像修复结果的RMSE 几乎保持不变后下降，PSNR 几乎保持不变后上升，SSIM 一直上升。具体地，当η=4 时，Pix2pixGAN 修复正弦图和修复重建结果的各项指标均优于RED-CNN；当η=3 时，Pix2pixGAN 和RED-CNN 修复正弦图和重建图像修复结果的RMSE 和PSNR 相当，RED-CNN 修复正弦图的SSIM 指标优于Pix2pixGAN；当η=2 时，RED-CNN 修复正弦图和修复重建结果的各项指标优于Pix2pixGAN；而RED-GAN 在3 种稀疏采样条件下的各项指标均优于Pix2pixGAN 和RED-CNN，特别是当η=4 时，RED-GAN 修复正弦图的3 项指标大幅优于其他对比方法。这是因为当真实数据比例较小时，Pix2pixGAN 通过生成器和判别器之间的博弈，网络修复性能强大；当真实数据比例较大时，RED-CNN 中的RED 结构可以保留更多真实数据，具有更好的正弦图修复性能。而将二者结合起来的RED-GAN 可以兼具二者的优点，在3 种稀疏采样条件下均具有最好的正弦图修复效果，特别是当真实数据比例较小时，更具有优势，这验证了本文方法的有效性。

表2 不同稀疏采样条件下重建图像修复结果对比Tab.2 Comparison of reconstructed image inpainting results under different sparse-view sampling conditions

对比表1、2 可以发现，重建图像域与正弦图域中的变化趋势存在差异。与正弦图域相比，重建图像域中LI 的3 项指标由线性变化改为非线性变化，Pix2pixGAN 和RED-GAN 的3 项指标升降幅度变小。这可能是图像重建过程中FDK 算法对投影数据进行了加权、滤波、反投影等多种非线性操作，改变了其中的信噪比。

2.3.2 主观评价

相较于修复后正弦图，修复后重建图像是临床诊断和物质成分分析的最终依据，更适合主观评价正弦图修复效果。因此，选取上述3种稀疏采样条件下的修复重建图像切片和对应的全采样重建图像切片在相同的窗宽窗位下进行对比分析。

当η=4，即1/4 稀疏采样条件下时，修复重建图像效果对比如图6 所示。从全尺寸图像可以看出，3 种深度学习方法对应的修复重建图像与全采样图像的亮度一致，而LI 对应图像较暗。这表明，深度学习方法均可以较好地保持图像的灰度值，而传统方法LI 会导致灰度值失真。通过感兴趣区（Region Of Interest，ROI）放大图可知，LI 对应图像中存在大量条纹状伪影，原始细条状结构断开且发生严重形变；RED-CNN 对应图像中条纹状伪影较少，但原始细条状结构仍然断开且有较大形变；Pix2pixGAN 对应图像中已经不存在条纹状伪影，原始细条状结构也得到保留，但仍有断开且存在少量二次伪影；RED-GAN 对应修复重建图像中已经不存在条纹状伪影，原始细条状结构保持完整且无形变。

图6 1/4稀疏采样条件下修复重建图像对比Fig.6 Comparison of inpainted reconstructed images under 1/4 sparse-view sampling condition

当η=3，即1/3 稀疏采样条件下时，修复重建图像效果对比如图7 所示。从第1 行可知，4 种方法对应的修复重建图像与全采样图像的亮度保持一致。这表明随着η的减小，真实数据的比例增加，4 种方法均能较好地保持灰度值。从第2 行可知，LI 不但会导致原始细条状结构和块状结构中的缝隙出现模糊，而且原始纤维状结构会出现膨大形变，在图像的空气区域也会引入较多的点状伪影。RED-CNN 会使原本分离的细条状结构和块状结构出现贴合，丢失原本二者之间的缝隙信息，并且会使原图像中的凹陷结构边缘过度平滑，出现形变。Pix2pixGAN 会导致原本分离的细条状结构和块状结构出现贴合，丢失二者间的缝隙信息，并且会在修复重建图像中引入较多点状伪影。RED-GAN 对应修复重建图像可以在尽可能保持细条状结构和块状结构中间的缝隙的前提下，保持原始纤维状结构不出现形变。

图7 1/3稀疏采样条件下修复重建图像对比Fig.7 Comparison of inpainted reconstructed images under 1/3 sparse-view sampling condition

当η=2，即1/2 稀疏采样条件下，修复重建图像效果对比如图8 所示。从第1 行可知，4 种方法对应的修复重建图像与全采样图像的亮度保持一致。从第2 行可知，LI 对应图像会丢失大部分向左侧延伸的纤维结构，纤维结构和外壳之间的缝隙出现模糊。RED-CNN 对应图像既保留了纤维结构和外壳之间的缝隙，也较好地保持了向左侧延伸的纤维结构。Pix2pixGAN 对应图像可以较好地保留纤维结构和外壳之间的缝隙，但会丢失向左侧延伸的纤维结构，并且使修复重建图像中出现了较多的椒盐噪声。RED-GAN 对应图像可保留纤维结构和外壳间的缝隙，也保持了向左侧延伸的纤维结构。RED-CNN 和RED-GAN 具有相近的正弦图修复效果。

图8 1/2稀疏采样条件下修复重建图像对比Fig.8 Comparison of inpainted reconstructed images under 1/2 sparse-view sampling condition

主观对比结果说明，3 种深度学习方法均优于传统方法LI。LI不仅会导致灰度值出现偏差，还会引入伪影，丢失结构细节，具有最差的正弦图修复效果；但随着η减小，即真实数据比例增加，LI 与3 种深度学习方法的修复性能差距变小。RED-CNN 和RED-GAN 在1/2 稀疏采样条件下具有相近的修复性能，这是由于二者均采用了能够更好地保持输入图像信息的RED结构，当η较小时，可更好地保留输入图像中的真实结构。但当η较大时，RED-CNN 会保留更多的不准确数据，使网络正弦图修复效果变差。Pix2pixGAN 使用了含有多个下采样结构的U-Net 生成器，会丢失一部分输入图像中的信息。因此，当η较大时，Pix2pixGAN 可以更少地受到不准确数据的影响，具有优于RED-CNN 的正弦图修复效果，但当η较小时会丢失一部分真实结构信息，反而降低了正弦图修复效果。RED-GAN 将RED 结构与Pix2pixGAN 结合，在1/4、1/3、1/2 这3 种稀疏采样条件下均有最佳的正弦图修复效果，在结构完整性、灰度值保持、减少伪影这3方面均有所提升。

3 结语

本文提出了一种锥束CT 稀疏采样正弦图修复网络RED-GAN。该网络将RED-CNN 与Pix2pixGAN 结合，利用RED 模块替换Pix2pixGAN 中的生成器，可更好地保留原生成器丢失的结构信息，增强网络的正弦图修复能力；利用基于PatchGAN 的条件判别器鉴别生成器修复后的正弦图和全采样正弦图，通过生成器和判别器的对抗训练，进一步提升网络性能。通过在1/2、1/3、1/4 这3 种稀疏采样条件下的正弦图修复实验结果表明，RED-GAN 在正弦图域和重建图像域评价中的RMSE、PSNR、SSIM 这3 项指标 均优于LI、RED-CNN 和Pix2pixGAN。这表明越是数据缺失的情况，本文方法相较于其他方法的正弦图修复优势越明显。因此，本文所提的神经网络是一种性能优异的锥束CT 正弦图修复方法，适用于低剂量快速扫描，具有潜在的应用价值。未来可通过与医疗机构的合作获取医学CBCT 数据，利用医学CBCT 数据进一步探究所提方法的临床应用潜力。