Nat. Biotechnol. | 通过对抗训练和双批次正则化提高神经网络的诊断性能和临床可用性

今天给大家介绍来自德国亚琛工业大学韩天宇团队发表在Nature Communications上的文章，文章为了提高病理学检测神经网络模型的鲁棒性，引入对抗训练方法到神经网络模型中，并且提出双批次正则化技术来进一步改进对抗训练方法。该工作在X-ray、CT和MRI图像数据集中进行了实验，实验结果表明提出的双批次正则化对抗训练方法可以获得较高的鲁棒性和准确性，并为预测结果提供了一定的可解释性。

1

研究背景

近年来，基于深度学习的计算机视觉方法辅助诊断可以帮助医生加快诊断过程，并减少医生诊断的主观性；但这些以标准方式训练的深度学习模型存在鲁棒性差的局限性，比如对训练集合中的图片引入一个微妙的变化（改变一个像素），以标准方式训练的深度学习模型的预测效果就会出现不同程度的下降。对抗训练（adversarial training）是增强神经网络鲁棒性的重要方式。在对抗训练过程中，样本会被混合一些微小的扰动，然后使神经网络适应这种改变，从而对对抗样本具有鲁棒性。然而，研究人员发现使用对抗训练方法很难获得精确度和鲁棒性都很好的结果。因此，该工作提出双批次正则化技术来进一步改进对抗训练方法，从而获得精确度和鲁棒性都好的效果。

2

主要贡献

（1）为了提高医学图像领域模型的鲁棒性，引入了对抗训练的方法；

（2）为了缓解对抗训练方法带来的分类效果下降的问题，提出了双批次正则化技术来优化对抗训练，从而达到鲁棒性和预测效果的双赢，并在X-ray、CT和MRI图像数据集中进行了实验，验证了模型的有效性。

3

模型

3.1数据

该工作一共使用了4个医学图像数据集，分别是：

1. CheXpert，该数据集含有65240个病人的224316张胸部射线图片；

2. ChestX-ray8，该数据集含有30805个病人的112120张额射线图片；

3. kneeMRI，该数据集含有917张膝关节扫描图片；

4. Luna16，该数据集含有888张CT扫描图片。

3.2 方法

为了提高神经网络模型在医学图像领域的分类性能，该工作提出了一种双批次正则化的对抗训练框架，传统的对抗训练方法是最大最小化如下公式：

该公式内层（中括号内）是寻找使损失函数最大的扰动，外层是对神经网络进行优化，其中X表示输入样本，表示叠加在输入上的扰动，是输入样本的标签，即当扰动固定的情况下，训练神经网络模型使得在训练数据上的损失最小，这样就使模型具有一定的鲁棒性来适应这种扰动。但是这种对抗训练方式会使模型的预测效果出现下降，因此，该工作使用双批次正则化技术来改进上述对抗训练方式，即改用如下公式计算：

其中和分别表示正常loss的正则化参数和对抗训练loss的正则化参数，表示模型的其他参数。双批次正则化即对真实样本和对抗性样本保持单独的正则化。为了验证提出的双批次正则化技术对抗训练框架的效果，该工作使用ResNet-50的网络结构作为基础模型进行训练，并通过Adam优化器来优化模型。

4

实验

4.1 引入对抗训练方法

为了验证引入对抗训练方法可以有效提高模型的鲁棒性，该工作使用包含近20万张X-rays的大型胸部图片数据集(CheXpert)训练了一个ResNet-50模型，对这些图片进行分类，模型的ROC-AUC值和扰动噪声ϵ的关系曲线如图（1）和（2）。其中图（1）是不使用对抗训练方法的ROC-AUC值和扰动噪声ϵ的关系曲线图，（2）是使用对抗训练方法的ROC-AUC值和扰动噪声ϵ的关系曲线图，该对比结果表明对抗训练技术可以提高模型的鲁棒性。

（1） 不使用对抗训练方法的ROC-AUC值和扰动噪声ϵ的关系曲线图

（2） 用对抗训练方法的ROC-AUC值和扰动噪声ϵ的关系曲线图

4.2 引入双批次正则化来改进对抗训练方法

由于引入了对抗训练之后，虽然模型的鲁棒性能有所提升，但是模型的预测精度出现下降。所以为了平衡模型的鲁棒性和准确性，该工作引入双批次正则化技术（dual batch norms）来改进对抗训练方法。作者将所构建的带有双批次正则化技术的对抗训练方法、传统的对抗训练方法以及不使用对抗训练方法的三种模型，在kneeMRI和Luna16数据集上进行训练，预测结果对比如图（3）。从图中可以看出引入双批次正则化技术的对抗训练方法可以有效提高模型的预测效果，从而解决因对抗训练带来的鲁棒性高但预测效果下降的问题。

（3）是否使用双正则化技术的分类效果对比图

4.3 样本量对双批次正则化对抗训练方法的影响

为了验证样本数量的增加是否可以有效提升带有双批次正则化对抗训练方法的效果，该工作在CheXpert数据集上进行实验，通过二次采样不同比例的训练集来训练模型，然后在测试集上对模型的预测效果进行评估，不同数量样本的模型效果如图。从图中可以看出，随着样本的数量的增大，带有双批次正则化对抗训练方法的预测效果有所提升。

（4）不同数量样本的模型效果图

4.4 可解释性

为了评估模型的可解释性，该工作构建了带有双批次正则化的对抗训练模型（SDBN）、带有单批次正则化的对抗训练模型（SSBN）和不带对抗训练模型（SSM）。根据X-ray、MRI和CT图片的输入像素绘制三种模型的损失梯度，其中根据X-ray图片的输入像素绘制模型的损失梯度如图（5）所示。从图中可以看出， SDBN更清楚地指出了对诊断起决定性作用的区域，但SSN对这些区域的关注较少，而SSM几乎与这些区域完全不相关，这说明双批次正则化对抗训练模型具有更好的可解释性。

（5）根据X-ray图片的输入像素绘制模型的损失梯度

5

总结

该工作主要目的是探讨基于对抗训练的鲁棒模型在医学影像领域的适用性和潜在优势。该工作引入对抗训练来提高模型在医学图像分类的鲁棒性，为了缓解对抗训练带来的模型预测性能的下降，该工作提出带有双批次正则化技术的对抗训练方法。在CheXpert、ChestX-ray8、kneeMRI和Luna16四个数据集上进行了实验，实验表明该工作提出的双批次正则化技术的对抗训练方法不但可以提高模型的鲁棒性，并且不会降低模型的预测性能，同时为模型提供了一定的可解释性。该工作团队鼓励其他研究团队在其应用中使用对抗训练方法，这不仅会在医疗诊断性能方面带来更稳健、更好的结果，而且还会增加在临床实践中的接受度。

参考资料

Han, T., Nebelung, S., Pedersoli, F. et al. Advancing diagnostic performance and clinical usability of neural networks via adversarial training and dual batch normalization. Nat Commun 12, 4315 (2021).

 https://doi.org/10.1038/s41467-021-24464-3

代码

https://github.com/peterhan91/Medical-RobustTraining