新智元引荐
来历：机器学习blog（ID：mlanddlanddm）
【新智元导读】本文首要研讨联系数据中的半监督目标分类，该问题在联系数据建模中是比较根本的问题。在依据核算的联系学习（如联系马尔科夫网络）和图神经网络（如图卷积网络）的相关文献中，对该问题进行了广泛的研讨。
依据核算的联系学习办法，使用条件随机场能够学习目标标签之间的依靠性，然后进行团体分类，而图神经网络能够进行端到端的练习。这篇文章提出了图马尔科夫神经网络（GMNN），该网络能够结合二者的优势。
标题：GMNN: Graph Markov Neural Networks
作者：Meng Qu，Yoshua Bengio，Jian Tang
Montreal Institute for Learning Algorithms (MILA), University of Montreal, Canadian Institute for Advanced Research (CIFAR), HEC Montreal
论文地址：http://proceedings.mlr.press/v97/qu19a/qu19a.pdf
GMNN用条件随机场对目标标签的联合散布进行建模，其间条件随机场能够使用变分EM（希望最大）算法进行有用练习。
在E -Step中，图神经网络能够学到有用的目标标明，该标明能够近似目标标签的后验散布。在M -Step中，另一个图神经网络用于对部分标签依靠进行建模。
在目标分类、链路分类和无监督节点标明学习上的试验标明，GMNN 取得了最好的成果。
依据条件随机场的办法有一些缺乏，比方
（1）这些办法通常将条件随机字段中的势函数界说为某些人工规划的特征函数的线性组合，这些函数是启示式的。而且，这种模型的表达能力比较有限。
（2）因为目标之间的联系结构比较杂乱，对未符号目标的标签的后验散布进行揣度依然具有必定的挑战性。
依据图的神经网络也有一些缺乏，一个要害的约束即为目标的标签是依据其标明方式独立猜测的，如此一来，目标标签之间的联合依靠项会被疏忽。
在变分EM结构中，E-step用于推理，M-step用于学习。在学习进程中，GMNN的练习进程不是最大化似然函数，而是优化伪似然函数，并使用图神经网络对目标标签的部分条件散布进行建模。这种图神经网络能够比较好地学习目标标签的依靠性，而且不需要人工规划势函数。
在推理进程中，因为准确推理比较难解，能够使用均值场近似值来处理。
受摊销推理的启示，作者们使用另一个图神经网络对目标标签的后验散布进行建模， 从而能够学习有用的目标标明用于猜测目标的标签。在推理进程中，使用图神经网络，能够明显削减参数的数量，而且在推理中的不同目标之间能够同享核算依据。
半监督目标分类的问题描绘如下
简言之即为，已知部分标签估测不知道的标签。
在核算联系学习中，问题描绘如下
在图神经网络中，问题描绘如下
因为许多目标的标签是不知道的，因而能够将最大化对数似然函数转化为求其依据下界（ELBO），此刻求解能够替换履行变分E-Step和M-Step。
为了防止核算配分函数，能够优化下面的伪似然函数，该似然函数依据样本点的邻域样本集。
在推理进程中，因为标签之间的杂乱依靠联系，直接推理后验散布比较难，因而能够依据均匀场办法来处理。
关于不知道标签的目标，使用采样来得到，而关于已知标签的目标，直接使用其实在标签。实际情况中使用一个采样即可。
在学习进程中只需要学习条件散布，不需要人工特征。
为了对不同目标之间的长程依靠进行建模，能够使用多信息传输层。
优化算法伪代码如下
全体结构图示如下
在试验中，针对目标分类使命，每个类中有20个有标签的样本，衡量规范为准确率。
数据集信息核算如下
目标分类中几种算法的作用比照方下
无监督节点标明学习中几种算法作用比照方下
在目标分类问题中，参数设置如下
无监督节点标明学习中参数设置如下
链接分类中参数设置如下
链接分类问题中几种办法的作用比照方下
不同结构下摊销推理的成果比照方下
收敛性剖析图示如下，简单看出收敛速度很快
代码地址
https://github.com/DeepGraphLearning/GMNN
本文经授权转载自“机器学习blog”原创：FrankLearningMachine
