本文介绍了微信搜索数据质量团队在 AAAI 2021 大会发表的两篇研究。
随着社交媒体和移动信息流应用的发展，涌现出了许多用户生成内容模式下的自媒体应用，每个用户都可以作为内容生产者，产生了海量在线文章内容。这些自媒体应用提供推荐和搜索服务让内容消费者可以浏览他们感兴趣的内容。同时，自媒体内容创作的开放性同时也导致了文章质量的参差不齐。在推荐和搜索系统中，结果质量是影响用户体验的的重要因素，评估自媒体在线文章质量对在线推荐、搜索和广告等应用场景都具有重要意义。
文章质量可以从两个维度进行评价，一是从文章内容本身来进行质量的建模和识别，包括内容语义、写作逻辑等方面。二是根据文章在大众用户中的流行度和传播度来判断，文章的流行度和传播量反应了用户对文章的喜爱程度，内容消费者在阅读和传播过程中会对低质量内容进行筛选和过滤。
在 AAAI 2021 上，微信搜索数据质量团队在文章写作连贯性建模和实时传播度预测两个方面发表了研究论文，下面将分别进行介绍。
论文：Hierarchical Coherence Modeling for Document Quality Assessment
不同于其它文本分类任务（如文本主题分类、情感识别等）主要关注文本内容的语义，文章质量不止跟文章语义有关，也跟文章的写作水平有关。写作水平包括遣词造句和文章结构组织的连贯性、逻辑性。
其中，如何建模文章的写作连贯性 (coherence) 是一个困难的任务，有很多研究人员已经在这个问题上做出了他们的贡献。相关研究可以分为三类：(1) 基于实体的方法，识别句子中的实体，建模相邻句子中实体的联系；(2) 基于词汇的方法，建模相邻句子的词共现信息 (3) 基于神经网络的方法，利用神经网络学习词和句字语义的向量表示，建模语义向量的相似度。大部分现有方法都只关注到了相邻句子的相似性，但是相邻句子的相似性只是写作连贯性的一部分。
连贯性不只是两个相邻的句子描述相似的内容，多个相邻句子可能构成更复杂修辞结构，比如排比、并列等。在这些修辞结构中，相邻的句子不一定很相似，但是上下文整体是连贯的。除此之外，写作连贯性也不止存在于局部上下文，文章写作很可能存在层次结构，多个局部连贯的内容组成一个部分（段落），段落间的连贯性也是文章写作连贯性的一个重要部分。因此建模文章的写作连贯性还需要解决这样两个挑战：(1) 如何建模复杂多样的局部修辞结构？(2) 如何建模文章的层次连贯性？
针对上述挑战，微信搜索数据质量团队提出名为 Hierarchical Coherence Model (HierCoh) 的方法来建模文章质量。模型包括 4 个部分：Sentence Layers 通过 Transformer Encoder 建模词向量，并通过 Attention Pooling 得到句子表示向量；Hierarchical Coherence Layers 建模文章的层次连贯性得到连贯性向量；Document Layers 将句子表示向量汇聚在一起得到文章语义表示向量；最后将连贯性向量和语义向量合并起来输入到任务相关的输出层。
图 1. HierCoh 模型框架图
层次连贯性建模
HierCoh 中最重要的部分是层次连贯性建模部分。该部分首先提取每个句子的局部上下文(local context block) 语义，然后得到句子跟该上下文的多维连贯性表示向量。研究者将句子视为最低级（low-level）的语义单元，然后基于这样一个假设得到高级 (high-level) 语义单元：如果连续的几个低级语义单元具有高连贯性，那么他们可以被视为一个高级语义单元。然后用同样的方式得到高级语义单元的连贯性，以及更高级的语义单元和他们的连贯性。研究者用 Local Attention 来提取局部上下文，用双线性层来建模多维连贯性，并提出了 Max-coherence Pooling 来提取高级语义单元。
图 2. Hierarchical Coherence Layer
Local Attention. 将 CNN 中的局部连接结构和 Attention 机制相结合，相比采用线性变化做卷积计算，Local Attention 更适合将相邻句子的语义汇聚成上下文语义。
图 3. Location Attention
Bilinear Tensor Layer. 双线性层中包含一个参数张量，参数张量中的每个切片矩阵可以视为是一种修辞关系的表示，因此通过双线性层得到的多维连贯性向量就表示了多种修辞关系的概率。
图 4. Bilinear Layer
Max-Coherence Pooling. 以步长 p 在大小为 k 的窗口内将低级语义单元合并为高级语义单元，首先计算窗口内每个 local context block 的平均连贯性向量，然后取最大连贯性向量的最大维度（即概率最大的修辞关系的概率）作为该 local context 的连贯性分数，然后取窗口内连贯性分数最大的 local context 作为高级语义单元。
然后重复 Local Attention 和 Bilinear Tensor Layer 即可得到高阶连贯性。最后用 Attention 将多级连贯性融合成连贯性向量，就得到了文章的多层次连贯性表示。
实验验证
该模型在两个经典的文章质量评估任务上进行了验证：自动作文打分和在线新闻质量判别。
自动作文打分（Automated Eassy Scoring）采用该任务最常用的 APSP 文档集[1]。该数据集包含 8 个作文题目，每个题目下的作文得分被缩放到 [0,1] 区间内。解决该任务采用了 sigmoid 输出层，均方误差作为损失函数来训练模型。
在自动作文打分任务上的结果如下表，可以看出 HierCoh 模型在作文题目 1-7 的集合上都取得了最优 / 较优的效果（作文集合 8 由于文章数量最少并且文章长度最长）。
此外，微信搜索数据质量团队采集了微信平台上的新闻文章，并将描述同一个主题或事件的新闻组成新闻对，雇佣标注人员标注了这两篇新闻的质量哪个更好。共分为 3 个类别，类别 0 表示两篇新闻质量相近，类别 1 表示第一篇新闻质量更好，类别 2 表示第二篇新闻质量更好。研究者用孪生网络结构来建模两篇文章，然后合并最终的文章表示向量到 softmax 输出层，得到三分类概率，并用交叉熵作为损失函数来训练模型。实验结果如下，HierCoh 模型取得了最优的效果。
论文：Fully Exploiting Cascade Graphs for Real-time Forwarding Prediction
传播量是衡量在线文章受欢迎程度的最重要指标之一。在线文章的传播量是指用户通过社交媒体转发在线文章的次数。在社交媒体中，用户与他们的朋友共享并交换有趣的文章内容。因此，在线内容的传播通常从作者开始，并通过社交网络传播，从而形成级联图。级联图通常是有向无环图。其中有向路径表示通过社交网络的内容传播过程。社交网络上的信息传播形成为社交网络强化模型和以社交中心为枢纽的模式。级联图的尺寸（节点数量）可被视为在线内容的转发量。因此可以通过对级联图建模，从而得到能准确预测传播量的模型。
图 1. 级联图示例
但是，现有的方法要么无法有效建模级联图、要么忽略了级联图尺寸的宏观变化信息。尽管基于图卷积神经网络 (GCN) 的方法可以通过重复聚合邻居节点特征并更新节点特征最终遍历所有节点，但它对于建模深的级联路径来说是迂回曲折的。基于随机游走 (Random Walk) 的方法会随机选择片面的级联路径，可能会丢失社交中心的信息。另一方面，只聚焦于学习级联图的路径结构和节点信息，会忽略级联图尺寸的宏观变化信息。
为了解决这些挑战，微信数据质量团队提出了一个充分利用级联图信息进行转发量预测的方案。在该方案中，设计了针对级联图的图嵌入算法，能有效捕获对级联图中的深度传播路径和社交枢纽信息；还设计了级联图尺寸建模方法，该方法能有效应对级联图尺寸的急剧变化。作者还构建了一个大规模的真实世界评估数据集。充分的实验结果表明，与之前的转发量建模和图嵌入方法相比，所提出的方法在实时的转发量预测方面，准确率有了极大的提升。
联系客服
