ICML2020 | 贝叶斯图神经网络:解决过平滑和不确定性问题

https://proceedings.icml.cc/static/paper_files/icml/2020/6133-Paper.pdf

目前图神经网络存在很多的问题，这里作者提出了两个，一个是过平滑，另外一个是对预测结果的不确定性进行评估，换句话说希望预测的结果不仅仅是一个结果，如果有一个置信度就更好了，比如疾病预测，预测了影像目前是什么病，有一个置信度是不是会更有价值一些呢？

作者提出了一个用于图神经网络(GNNs)自适应连接采样（connection sampling）的框架，该框架概括了现有的用于训练GNN的随机正则化方法，可以简单理解为一种Dropout与DropEdge升级版+贝叶斯。

该框架不仅缓解了深层GNNs的过平滑和过拟合的问题，而且使得GNNs在图分析任务中可以应付不确定(uncertainty)的问题，这一点就非常具有实用价值了，也是贝叶斯的擅长的地方。

本文作者提出GDC（Graph DropConnect）, 它跟随机正则化Dropout方法不同，Dropout使用固定的采样率dropout rate或手动调整作为模型超参数，本文提出的自适应连接采样GDC它可以与GNN模型参数以全局和局部的方式联合训练。Dropout存在一些问题，因为它没有考虑图的拓扑结构，只是把图上节点的特征随机的丢掉，一些研究也发现DropOut alone is ineffectualin preventing over-fitting, partially due to over-smoothing。而与DropEdge一起可以解决这些问题。本篇作者提出的GDC可以在每一个channel分别进行约束，此外，通过自适应地学习GDC中的连接采样，可以提供更好的随机正则化。

实际上，作者的消融实验发现，仅学习DropEdge率而不加入任何DropOut，就可以大大改善了GNN的半监督节点分类的性能。这篇论文通过概率化的建模connection drop rate，作者提出了一个分层beta-Bernoulli construction的贝叶斯可学习GDC并通过持续松弛和直接优化（使用Augment-REINFORCE-Merge（ARM）梯度估计）来导出解决方案。beta-Bernoulli process借助UQ和正则化功能，可学习的GDC可以帮助解决过度平滑，从而进一步推动GNN的性能。

注：beta-Bernoulli construction又称Indian Buffet Process(印度自助餐过程)是2005年提出的，其核心思想是一个数据点可用无限个二元特征表示，即数据点可以拥有多个隐性特征，且这些特征的概率和不为1。该过程定义了一个有限维行（数据点的个数）、无限维列（隐特征数目）的先验。形象的理解为一个自助餐馆中，一个顾客可以选择吃多个菜。

作者进一步证明，在每个通道的GDC自适应连接采样可被视为GNN中的随机聚集和扩散，其贝叶斯近似解释与CNN的贝叶斯DropOut相似（Gal和Ghahramani，2015）。具体而言，GNN输出的蒙特卡洛估计可用于评估预测性后验不确定性。该公式的一个重要推论是，任何具有邻域采样的GNN，例如GraphSAGE，都可以被视为其对应的贝叶斯近似。

具有自适应连接采样的GNN训练在数学上等价于训练贝叶斯GNN的有效近似。

在基准数据集上的消融实验结果验证了自适应学习采样率是在半监督节点分类任务中提高GNNs性能的关键，使其不容易过平滑和过拟合，具有更稳健的预测能力。