引用格式 吴冠霖,包卫东,牛莅原,等. 从“可解释”到“可接受”：一种作战决策背景下的人机智能融合新视角[J]. 指挥与控制学报, 2023, 9（1）: 33-44.
WU G L, BAO W D, NIU L Y, et al. From interpretability to acceptability: a new perspective of human-machine intelligent fusion under the background of combat decision making[J]. Journal of Command and Control, 2023, 9 （1） : 33-44.
摘要
如何在人类-人工智能混合环境中实现人机智能的有效融合，将人的意向性与机的形式化有机结合进而提升决策水平，是作战决策智能化发展最为迫切的问题之一。对当前人机智能融合主要解决思路“可解释性”方法的有关研究进行梳理，从基本概念发展、主要研究方向、关键基础技术3个方面总结了最新的研究进展，分析了作战决策背景下该原则的局限性以及实际运用中出现的问题。在此基础上提出“可接受性”概念并从“决策者需求”、“智能方法优化方向”出发明确其具体能力要求，以提供一种新的指导原则促进人工智能应用于实际作战决策。
智能作战决策是一种基于人工智能方法展开作战决策作业的新型作战决策样式。其目的在于通过引入强化学习等人工智能方法，在作战决策领域实现更为快速、稳定、有效的决策响应。通过发展智能作战决策构建对敌优势，已成为当前军事斗争的重要发展趋势。
但作战决策问题有其特殊性和复杂性，当前基于人工智能的决策支持系统，往往并不能很好地满足其实际需要。例如针对作战决策中常见的兵力规模计算、敌我态势对比等问题，智能系统通常只给出其结论性判断，但从指挥员视角出发，更重要的是如何说明其推理过程以作为参考。再如，作战决策结论充满了不确定性，人工智能即使能够预测出判断敌主攻方向（领域）或确定我主攻方向（领域），预测战争持续时间，但这只是一种基于有限条件的预判。指挥员该如何认识并信任这个结果，如何对其发生的概率进行理解和决策，人工智能的判断又该如何与指挥员的矛盾判断进行融合？这些在人类分工协作中也会遇到的具体问题[1-5]，已经成为当前智能技术应用于作战决策的巨大障碍。
深入分析这些现象的本质，没有正确处理好作战决策中人与机器智能间的关系，正是问题的根本原因之一。如果不能对人与机器智能之间的关系给出一个可行的指导原则，我们就很难展开：所作出的决定是否明智？决策输出是否合理？什么时候需要调整智能方法？是否符合战争法规和立法[1]？等问题的具体讨论。
以“可解释性”作为指导原则，开发可解释的机器学习方法，是当前针对这一问题的主要研究方向[6-7]。该原则相信决策者可以通过深入了解结果的过程机制来对模型的正确性建立起信心[7-8]。可解释的机器学习方法为了帮助人们更好地理解模型过程和输出，将特定方法纳入传统模型，例如：原因研究[9-10]，相关性分析[11]，模型约简[12-13]，必然性解释[14-15]等，以试图使决策者信赖。
然而，尽管该领域已经取得了一些进展，但说服决策者将这些智能方法部署到作战决策系统中仍然是一个巨大的挑战。 “可解释性”原则的本身是一个相对泛化的概念，清晰界定区分具有一定难度[16]。同时“可解释性”尽管在学术研究中经常被提及，但对其定义目前仍不存在一个共识。实际上，“可解释性”并不是一个整体的概念，不同的研究对于“可解释性”和可解释方法通常有不同的初衷和技术描述。其次，基于“可解释性”原则优化后的方法尽管相较原始方法更简单、更清晰，但其复杂性仍然难以满足一般性的认知要求，普遍存在指挥员依然很难理解的现象[17]。智能方法本身的可解释性与可信任的决策判断没有必然联系，前者并不一定能够带来后者。可解释性仅要求智能方法的底层机制透明可见，然而达到作战决策中的可信任水平，除底层理解外，更强调对方法的运用过程有较高的整体理解。
事实上，作战决策包括方案构想、计划制定等活动，本身是一个结构不良的复杂过程。决策者既要根据各种事实，更要根据自己的经验对局势进行决策。在决策过程中，决策者既有对大概率选项作出选择的理性思维，也有不清楚概率分布的情况下对选项作出选择的感性思维，更有将传统意义上的小概率选项经过概念类比、问题转换、方案构造变成大概率选项的感性、理性混合思维，本质上是一种艺术和科学相结合的过程。作战决策背景下人机智能融合的有效实现，必须充分考虑这些基本特点。
因此，为了有效地解决上述问题，更好地将人工智能运用于作战决策系统，本文的创新工作主要包括：
1）对可解释性的基本概念发展、主要研究方向、关键基础技术进行了综述，对其在作战决策中应用存在的问题进行了分析。
2）从智能作战决策需求与人机智能融合基本概念的辨析出发，提出“可接受性”原则并对其基本内涵进行了具体定义。
3）对“可接受性”的关键能力要求进行分析，聚焦决策者需求、智能方法优化方向，具体讨论了“如何营造智能输出更易于被接受的决策环境”、以及“如何优化智能方法输出更易于被接受的决策”等问题。
1 可解释方法研究现状与问题分析
人工智能领域的“可解释性”概念最早于1988年提出[18]，但直到机器学习方法广泛应用于真实、复杂的环境时，才引起了学者们更多的关注。FREITAS从选定的预测模型优缺点角度出发，研究了可解释性概念[19]。DOSHI等将可解释性定义为以人类可以理解的术语解释或呈现程序输出含义的能力[20]。GUIDOTTI等认为，可解释性是人类与决策程序之间的一种接口[21]。它既是决策者的精确代理，也是人类的可理解物。HERMAN提出，诠释不仅用于告知，还可以用于说服人类。Lou等[23]认为可解释性类似于易理解性或可理解性[22]，因此，应尝试阐明模型的工作原理。KIM和RIBEIRO等提出可解释性由信任的前提决定[24]。一些学者[25]也认为，可解释性与公正和符合道德的决策制定过程有关。2018年5月，欧洲议会通过了《通用数据保护条例》的法律，其中，强调了“获得对相关逻辑有意义的解释”的人民权利[21]。
在该领域的研究中，有两个意思相似的词：可解释性和可解释能力，这两个词在一般情况下都可一起使用，但仍有区别。因为可解释能力在默认情况下一定是具有可解释性的，但反过来则并不总是如此。可解释性主要是指为人类提供可理解能力的能力，它强调原始模型能够被更多地理解。可解释性作为人类与智能模型之间的接口，基于模型动因等使其更好的被人类理解。
事实上，对可解释性与可解释性能力的定义是多种多样的。LOU等认为可解释性类似于易懂性或可理解性，应该尝试阐明模型是如何工作的[29]。HERMAN提出解释也可以用来说服，而不仅仅是告知[30]。DOSHI-VELEZ和KIM将可解释性定义为以人类可以理解的方式解释或提供意义的能力[31]。GUIDOTTI等从预测模型优缺点的角度研究了可解释性概念，对可解释性的观点倾向于因为对原始模型不理解，所以需要后续再构建一个模型对其进行解释的方法[28,32]。ARRIETA等从用户的角度对可解释性进行了定义[33]，针对特定的受众，将其定义为一种技术，该技术提供了模型工作的细节和成因，使其便于清晰地被理解。GUNNING 等对可解释性的定义是指所有能够帮助开发者或用户理解AI模型行为的技术[34]。它包括两种类型:可以解释原始模型本身和模型需要通过后期工作进行解释。KONG等给出的可解释性定义为能够简单明了地向具有不同背景知识的用户解释智能决策过程的依据和原因的方法[35]。
关于可解释性的研究大致可以分为3类[35]:基于可视化的可解释性、基于扰动的可解释性和基于因果的可解释性。
1.2.1 基于可视化的可解释性
基于可视化的可解释，有一个朴素的思路：如果你想解释一个黑盒系统，你可以直接打开它并查看其内部的结构。黑盒中的组件和结构决定了模型具有什么功能。因此，KONG 等将这种直接观察内部结构的方法定义为一种视觉解译方法[35]，类似于去医院做CT。这种方法是最直接、最符合人类认知的。因此，这也是首先被关注并开展的可解释性研究方向，目前主要包括以下两个方向。
一是基于整体模型的可解释性。通常将神经网络的反向传播作为基于整体模型可解释性的核心，神经网络的反向传播可以理解为将模型产生的决策信号从模型的输出层逐层反向传播到输入层，从而可以推断样本特征的显著性。如CHEN等为了提高模型的可解释性，采用对抗性样本对模型进行分类，分析分类错误样本所增加的扰动强度[36]。
二是基于激活的可解释性。JIANG提取了一个关于重症监护的医学信息集(medical information mart for intensive care，MIMIC) [37]。其将ICU患者的生理数据存入医学数据库，将患者的文本数据转化为图片数据，通过迁移学习并利用基于梯度的类激活图VGG16-GRAD-CAM方法预测患者的生存和死亡。YAN提出的基于“准激活映射”概念的光谱特征可视化方法有助于阐明CNN方法应用于光谱分析的工作机理[38]。JIN提出了一种可解释性检测方法，用于解决Android恶意应用检测特征提取中存在的冗余性和抽象性问题[39]。该方法能在高级语义上反映恶意应用的行为模式，并使用卷积层梯度权重类激活映射的可视化方法，挖掘理解恶意应用程序的行为。
1.2.2 基于扰动的可解释性
基于扰动的可解释性性通过扰动输入层并观察输出层的变化来解释输入和输出之间的关系。CHEN利用可解释干扰生成对抗性样本，然后根据对抗样本对模型进行错误分类[36]。对错误分类样本增加的干扰强度进行的分析，可以提高模型的可解释性。RIBEIRO等提出的LIME中，通过检测输入的扰动行为来解释黑盒系统，然后利用数据构造一个局部线性模型，将该模型作为输入附近完整模型的简化代理[12]。这种方法可以用来识别对各种模型和问题领域的决策影响最大的输入区域。
1.2.3 基于因果的可解释性
决策者在决策过程中同样需要因果推理，DU认为因果解释的方法非常重要[40]。例如，将网络模型建模为结构化因果模型，并进行因果推理以估计每个组件对输出的因果影响。对法律条文预测中存在的问题，WANG提出一种基于一种基于模型融合和阈值滤波的法律条文预测模型[41]。然后，通过对相关法律中的事实描述和数字数据（包括货币、年龄等）的分析，提出了一种基于数据离散化和深度金字塔卷积神经网络的法律预测模型，建立了司法判决推理的可解释因果关系模型。LING提出了一种新的因果特征选择算法以平衡现有算法的效率和准确性[42]。它将候选父子节点和配偶的搜索以及虚假父子节点和配偶的删除集成到一个循环中，从而尽可能早地删除假父子节点和配偶，使条件集的长度保持在最小，以平衡效率和准确性。
随着可解释性理论的发展，越来越多的可解释性方法被用于优化模型以简化解释和提升预测程序的性能[21]。它的主要类别包括：可视化[43-44]，因果推理[10,45]，决策树[46]，示例[47]，决策集和规则列表[46,48]，基于聚类的方法[49]，整数规划[50]，交互界面[51]和局部解释或近似[52]。另外，在更复杂的算法上使用改进的局部或近似模型已成为一种趋势。这些简化的模型与用于决策的真实标准相近似[43,53]。
一些研究还提出了“可解释性”的分类方法。GUIDOTTI等将这些方法分类为：黑盒模型解释问题，黑盒结果解释问题，黑盒检查问题和透明盒设计问题[21]。GILPIN等将这些方法分类为：为产出的选择提供辩护，解释网络内部数据的表达方式，以及能够产出解释的网络[53]。本部分根据CHEN的研究，将可解释性技术分为两类：可解释性模型和事后解释方法，分别对应于可解释性和可解读性[36]。可解释性模型追求模型本身的易于理解。同时，事后解释寻求一种解释技术来帮助人们理解那些原本不可能被理解的模型。
1.3.1 可解释模型方法：决策树、贝叶斯模型和线性模型
POULIn等认为,在朴素贝叶斯模型中,由于条件独立性假设,通过概率计算可以求解输入数据和参数，从整体上模拟决策过程[54]。通过概率运算，可以很容易地将模型的决策转化为单个特征对最终结果的贡献度。
FENG将模糊集与决策树相结合，提出了一种基于模糊决策树的分类器[55]。同时利用该模糊集的模糊度，生成一种基于Minkowski模糊度的模糊决策树分类方法。上述方法是通过将决策树中的节点类比为各样本分布频率的模糊集，将使用Minkowski模糊度来监测节点分裂前后模糊度的变化，选取其中最能减少Minkowski模糊度的属性作为节点的分裂属性。
CHEN为了代替人工神经网络和支持向量机提出一种决策树算法，同时也改进了决策树分类算法在实际应用中数据容错率低的问题[56]。结合遥感图像的分类特点和分类知识，构建了一种优化的决策树图像分类模型。
HAUFE等将基于样本线性组合的特征值来实现基于模型权重的线性模型决策过程，上述模型权重可以反映特征对最终决策结果的贡献[57]。如果此特征权重为正，则该特征与最终预测的类别呈正相关，反之为负相关。
然而，可解释性模型也受到模型复杂性的影响。如果模型的维数过多，会由于模型的复杂性而降低其可解释性。相反，降低模型的可解释性维度可能导致模型过于简单，无法有效进行学习。
1.3.2 事后解释方法
事后解释方法是指在对模型进行训练的过程结束后，再利用技术方法对模型进行解释。根据需要被解释的目的和对象的不同，可分为全局解释法和局部解释法。
1） 全局解释：
解释方法：规则提取，模型蒸馏
顾名思义，全局解释方法帮助人们从全局的角度分析模型的内部逻辑。常用的全局解释方法包括规则提取和模型蒸馏。对神经网络来说，主要有两类规则提取方法：分解法和教学法。分解法适用的神经网络为模型结构和参数已知的网络，即白盒。分解法提取的规则来自目标网络中的每个神经元，这些规则在单个单元上集合后构建成了目标网络的复合规则库。教学法适用的是参数未知的网络，即黑盒。因此，教学法是将模型的输入和输出在规则中的映射产生的样本进行对比，以此来提取规则。
当模型过于复杂时，神经网络内部的非线性结构过多，因此，很难理解目标神经网络可解释性的决策逻辑。在这种情况下，降低目标神经网络的复杂度是一种有效的尝试。模型蒸馏法正式这样一种方法。其通过构建教师模型和学生模型，由教师模型传递知识到学生模型。由于学生模型是由教师模型传递而来，学生模型整体上的近似模型就可视为教师模型，通过对学生模型进行解释达到教师模型的近似解释。此外，FROST和HINTON使用决策树来模拟复杂的神经网络[58]。TAN等）利用广义可加性模型的良好解释性来描述输入特征与复杂模型之间的关系，并给出了全局解释[59]。
2） 局部解释：
解释方法：近似，梯度反向传播，灵敏分析，特征反演。
局部解释方法是一种使用于单体的方法，是对特定样本进行解释。局部可解释性方法是一种较为常见的方法，包括局部逼近、梯度反向传播、灵敏度分析和反演特性等。
敏感性分析法是指从众多不确定因素中寻找特定自变量的影响因素。相关方法主要分为两类：一种是模型相关性，主要是通过梯度反向传播的方法来求解关联度，最后将关联度以热图的形式转化为各维度输入对决策的影响。ROBNIKSIKONJA提出通过分解输入特征来观察输入对决策的影响[60]。LI等在修改或删除特征子集之前，通过观察模型决策结果的相应变化，推断出相应输入的决策特征[61]。
局部近似解释方法是利用一个简单的可解释模型将待解释模型的决策结果拟合到输入实例中，然后根据可解释模型对决策结果进行解释。因为对于一个特定的输入样本，大多数模型都是近似线性的决策边界，所以很难也不需要是全局近似的积分决策边界，而是可以用一个给定的实例及其邻域来解释其局部近似模型的决策边界，然后在解释模型的基础上处理解释模型，为解释提供依据。
尽管局部逼近、梯度反向传播、敏感性分析等方法可以在一定程度上提供处理，如局部解释的决策解释模型，但往往忽略了中间层的解释模型。而中间层可以提供更精确的中间信息，以便得到更准确的解释结果。特征反演作为一种可视化和理解深度神经网络中间特征表示的技术，可以充分利用模型中间层的信息来解释模型的整体行为和模型的决策结果。
1.4.1 可解释性基础概念方面存在的问题
通过对“可解释性”定义的有关研究进行梳理，可以发现以下问题：
1）“可解释性”仍然没有公认、清晰的定义，不同的研究往往会根据自己的出发点、研究背景给出不同的解读，这与可解释性本身语义的模糊性有着直接的关系。
2）这些定义隐含着一个基础假设，以易于表达和理解的术语构成一个解释的概念是自证的，不需要进一步的解释。然而现实，特别是作战决策的背景下，基于可解释性原则优化后方法的复杂程度仍然较大，以致指挥员依然很难理解，尽管它已经比原始方法更简单、更清晰了。
3）方法的可解释性与信任决策结果之间没有必然的因果关系，前者并不一定能够带来后者。特别是考虑到作战决策其自身特殊的正确性和规范性要求，尽管模型的可解释意味着模型所做的决策结论可以基于可解释性详细地证明出来，但这并不等于其已经成为作战决策人员可以能够完全信任的模型。作战一线的指战员通常更关注模型的作用及响应过程的规则性与确定性程度。
1.4.2 可解释性研究方向与基础技术方面的问题
通过对当前可解释性主要研究方向和基础技术的分析，不难发现当前的研究尽管取得了一些进展，但仍然有以下几方面的局限：
1）所有这些工作都有一个共同的假设，即这些方法中所使用技术的关键特性是众所周知的。但这与实际的应用场景并不相符。在作战决策实际过程中，作为主体的指挥员，大多数情况下并不具有同专业技术人员相当的技术基础，因此，即使在原理层面具有可证明、可追溯的可解释性，但是其本质上对于一线操作人员来说仍然是不可知的、不可控的。
2）可解释性不同的研究方向和基础技术总是对应着不同的初衷和技术描述，而作战决策又是一个复杂的系统工程，对于作战决策者来说即使具备了有关技术的基础储备，仍然很难基于此在众多的初衷和技术描述下选择适应的可解释方法，以辅助其做出正确的判断。
3）可解释角度出发的方法旨在从不同的角度理清模型的内部实现机理，但是对于作战决策来说仅有这些是不够的。机理的可解释无法代表目标、条件、效果、价值的直接可解释与被理解，而这些正是决策过程中决策者所重点关注的决策特性。
4）与其他人类社会活动不同，作战活动是一种偶发的、非常规性的社会活动，其中的作战决策问题具有更显著的动态性与不确定性。特别是随着各类传感器、互联网技术的发展，作战决策所涉及的信息量更是呈现出指数级增长的趋势。作战决策的复杂特性，使得其在很多问题上天然具有一定的不可解释性。如决策中的“灵机一动”、灵感的出现等，就是人类自己也很难解释。全部可解释是简单系统思维（比如解释机器）的体现，作战决策的特殊背景下需要提供与之适应的一种新的评价基准（参照系）。
2人机智能融合与可接受性
正是由于概念设计本身存在上述的内生问题，从可解释性出发面向作战决策建立一个实用可行的人机智能融合系统遇到了诸多现实的挑战。为了促进人机智能融合，设计人机互信的智能决策系统，有必要对人机智能融合概念进行更深入的研究，并在此基础上结合实际作战决策应用需求进行概念创新，从而为智能技术在作战决策中的实际应用提供理论指导。因此，本节首先对人机智能融合的基本概念进行了讨论，并在此基础上提出“可接受性”理论作为一种新的指导原则。
人的智慧与机器智能融合进行决策是当前作战决策的发展趋势，本文提出的人机智能融合的基本概念，是在人机智能融合决策的基础上展开的。人机智能融合决策就是通过将人的判断和机器的定量分析融合逐步实现人机融合一体化的智能决策。这是作战决策的复杂性与艺术性所决定的，这也是越来越多的无人装备、智能装备被运用的必然要求。
人机智能融合，作为一种范式的描述，是人机智能融合决策的核心。如图 1所示，其指的是一种人的智慧能够有效牵引、优化底层智能技术，机器智能能够有效驱动式的匹配、增强人的智慧，从而促进二者之间实现良性循环的一种新的“融合生态”。人机智能融合不是简单的人脑加智能。其最本质的一点就是强调人与机处理方向的不同，人负责判断事情的价值，智能负责进行实施。人机智能融合的本质导向是通过对智能间决策生成过程有效协同交叉的实现，建立一种良性循环促进的“融合生态”。
人机智能融合的实现，需要人机智能融合方法作为支撑和基础。如图 1所示，人机智能融合方法是指能够从人与机器智能双视角出发，让智能能够引入人类的认知模型，与人实现必要的协同，共同进行推理的方法。其涵盖人机智能融合决策过程中，有效支撑人机智能融合状态实现的各类基础理论与技术方法，主要包括：能够指导人适配机器智能本质特征的指挥决策理论、支持系统的设计理论，能够满足与人融合需求的人工智能基础方法技术及既有方法的改造方法。
图 1 人机智能融合概念示意图
Fig. 1 Sketch map of human-machine intelligence fusion concept
人机智能融合方法更加强调如何有效实现与人必要的协同。将融合的核心转到人上，是人机智能融合方法重点关注的内容。
2.2.1 基础概念定义
人工智能在作战决策中的有效应用，绝非是对既有智能方法的简单套用就能达成的。人的目标是“做正确的事”，而机器擅长的是“正确地做事”，基于何种理论来实现人的智能与机的智能有效融合，将人的意向性与机的形式化有机结合进而提升智能决策水平，是当前人工智能在作战决策应用中首先要明确的问题。
事实针对“可解释性”的不足，一些研究也正在进行新的探索。英国国防安全联合军种研究所在重新思考未来军事指挥的基础上，在可解释人工智能的基础上，进一步明确提出了“可信人工智能”的概念作为理论指导，并结合信任、人工智能和人类机构的概念，提出了一个在人工智能支持的军事决策中发展信任的五维框架[62]。2022年6月美国防部正式签署了负责任的人工智能战略和实施途），提出了实施负责任、以人为本的人工智能的观点，将“负责任的人工智能”作为一个突出的特征，以保持其竞争优势[63]。随后来自美国海军学院[64]、卡耐基梅隆大学[65]的研究人员对该概念进行了进一步的深化研究。“可接受性”正是在这些新的观点核心特质的基础上，从促进人机智能融合，支撑人机互信的智能决策系统实现视角出发，所提出一种新概念。
在本文中，“可接受性”被定义为决策者对智能决策程序的认可的程度或被允许在生产中使用的倾向程度。更具体来讲，“可接受性”是一种对于决策者主观和客观上认可、采纳、服从，又或是无视、违反、逃避、反抗智能决策程序和其输出结果的程度的衡量。
可接受性概念主要是针对一个特定的方法或模模型是否拥有能够被决策者接受的特性。事实上，由于智能决策模型需要满足决策者们提出的要求和评估标准，以获得认可和权威认证，因此，具备“可接受性”的本身即代表了该智能方法满足了其能够应用于实际作战决策业务的条件。
2.2.2 可接受性的目标
需要注意的是，从“可接受性”角度出发，体现了人机智能融合不是要求一个方法的方方面面都得到人类信任。相对于让一个方法完完全全受到信任，“可接受性”更关注一个方法或模型的关键流程，强调关键部分的可信度，排除其所有使人不能够信任的地方。“可接受性”旨在反映的是一款智能程序在特定场景下的内在人机有效融合潜力。“可接受性”能力的提升，并不仅仅是未来人工智能发展的一个技术考量，更是一个重要的道德考量。
这就意味着其关键问题在于界定人工智能方法在什么场景下能够表现得足够出色满足融合条件。换句话说，同一个智能程序其在不同场景下的“可接受性”通常是不一样的。举例而言，在《星际争霸》（一款实时策略游戏）当中，人工智能已经能够生成足够强大的策略来击败职业级对手，但目前还没有方法去解释清楚能够通过智能训练产生了何种复杂的响应策略做到了这一点。但针对游戏表演、游戏bug测试等需求而言，这款人工智能已经具备充分的“可接受性”，但对于职业玩家培训、游戏设计升级等需求而言，其效能远远无法满足可接受性要求。
事实上，“可接受性”理论的目标在于在人机混合环境下形成一个有效的决策同盟。如图 1所示，在这个有效的决策同盟当中，人类智能能够有效促进和提升下层的智能技术，而机器智能则适应并提升人类智能。通过在人类与人工智能之间形成一个生态闭环，本文致力于为作战决策过程提供一个全新的“融合生态”。
2.2.2 与可解释性的特征对比
“可接受性”并非单纯从应用角度出发对传统“可解释性”有关理论进行简单的再定义，它是在后者基础上从作战决策背景下的人机智能融合现实要求出发的一种新的探索。强调一个方法的“可接受性”而非“可解释性”，能够更有效地说服决策者们将这些模型应用到实际作战决策系统当中。其二者在基础概念定义上有着以下显著差异：
1）可解释性有关方法面向模型，旨在为说服决策者而提供对方法或模型的底层、技术层面的细节理解。但是可接受的方法则直接强调关注决策者们的担忧，从可接受性角度出发的有关方法面向“人”展开。
2）“可解释性”概念追求对模型的完备逻辑解释，但“可接受性”概念则重点关注影响作战决策当中人机信任的局部关键问题的限制条件是否满足。可解释性强调完备性、逻辑性，而可接受性强调局部性、条件性。
3）“可解释性”的模型机理解释主要发生在人与人工智能最终输出环节上的决策结果交互。而在人机智能融合过程中这只是其中一个重要的环节，“可接受性”则强调需要人与人工智能在更关键的初始环境设计、约束条件设置等其他内部信息处理步骤当中实现符合要求的互动。
4）“可接受性”强调模型符合要求的概率以及给出其在特定受限条件下所受到影响的风险评估，并不强调所有情况下全部正确。其是从决策风险控制角度出发的一种应用部署思路。
最后也是很关键的一点，“可解释性”的核心思想是让机器智能在思维推理模式上更像人类，从而自然而然的实现人对智能的接纳，在决策层面实现有效的人机智能融合。而“可接受性”的核心思想则是尽可能让机器智能仍然采用符合机器自身特性的模式进行计算处理，只要求其能与人类在决策者们关注的关键问题上进行符合特定场景要求的交互判定。
3可接受性的能力要求
为进一步从可接受性视角出发，对作战决策背景下的人机智能融合实践提供更为细致的参考，本章将从“决策者需求”、“智能方法优化方向”出发，对可接受性的具体能力要求展开讨论。在访谈调研的基础上对关键能力要求进行了系统整理与总结，访谈对象基本上涵盖了作战决策各个关键环节的工作人员，他们当中既有高级决策者、院校专家、决策流程制度设计人员，也有一线指战员、业务参谋、指挥信息系统使用和开发人员等。
以“可接受性”理论作为指导，营造让决策者更易于接受人工智能决策的决策环境有着重要的现实意义。针对当前实际应用场景的短板，本节提出了“定义认知与人工智能方法的边界性质”，“为辩证识别和分析不确定性提供方向和指南”，以及“推动实际生产当中以模型为中心向以人为中心的转变”的能力要求。
3.1.1 定义认知与人工智能方法的边界性质
定义清晰人类认知与人工智能的边界性质是为决策者提供对人工智能的信任的重要基石，其中具体的工作体现在定义人工智能方法、人类认知能力、场景需求三者的边界性质上。
人工智能方法的边界性质：其强调对智能决策程序的适用范围的界定。事实上，机器智能并不是自然法则，而通常是基于简单且有限的约束条件经过训练而得到的，因而其本身能力也有如上的局限性。任何有可能导致违背这些约束条件的影响都应予以足够的重视并予以声明。
人类认知能力的边界性质：“可接受性”概念强调人类的理解能力和分析能力是有限的。尽管有些人工智能方法从方法原理的角度来看是可解释的，:但其方法的复杂度仍然太高，决策者们理解方法过程势必显著影响决策的效率。这些问题应当在实际进行“可接受性”评估时予以足够充分的关注。
场景需求的边界性质：不同任务、场景下人机智能融合需求对智能水平通常有着不同的要求。不同场景下的决策者通常关注不同的问题，场景需求的边界性质的界定，不仅仅能够将一些庞杂的问题简单化，也能够引导方法更好的适应实际作战决策人机智能融合需求。
3.1.2 为辩证识别和分析不确定性提供方向和指南
为人机智能融合设计过程提供辩证识别与分析不确定性的有效策略是另一个值得重点关注的问题，但现有可解释有关研究当中在为实际决策环境提供支撑方法时普遍忽略了这一点。访谈结果表明几乎所有决策者都认为提供智能程序相关的不确定性识别、分析和评估的技术手册是重要且必须的。从计算机领域来看，不确定性是一个表明智能程序中“随机变量”到底有多随机的标量，而在军事一线，决策者们更习惯于称其为“风险”。人机智能融合中机器智能给作战决策带来的不确定性主要表现为以下几个方面：
1）认知不确定性：与任意不确定性不同，可通过采集更多数据和优化结构来减少。如谷歌大脑研发工程师Eric Jang所说，它衡量训练过程中对正确预测有着重要意义但实际未作过多处理的影响因素的忽视程度。尽管这种不确定性可以被进一步优化，仍然太复杂以致难以完全优化。因此，为这种不确定性提供确定的指导方针十分重要。花费巨量的时间和精力并不符合作战决策实际需求，必须在成本与效益间实现一个较好的平衡。
2）任意不确定性：是模型生成的过程中因为采集方法和参数设置而产生的不确定性，因而这种不确定性并不能够单纯通过采集更多数据或考虑得更周全来排除。这种不确定性会从输入到输出会全程影响智能决策结果，因而需要针对性提供一些些设定和分析方法对其进行评估。
3）分布外不确定性：旨在引导判断一个输入是否是有效的，以及模型选用是否合适。这是机器学习实际应用中一个很重要的问题。从某种角度讲，分布外不确定性与“模型误差设定”和“异常检测”是一样的。由于这种不确定性是由分布外问题导致的，因而提供指导方针和方法来帮助决策者们控制这种不确定性十分重要。传统的机器学习方法通常的假设是模型训练和测试的数据是独立同分布的(independent identical distribution，IID)，这里训练和测试的数据都可以说是in distribution(ID)。
3.1.3推动人机智能融合从以模型为中心向以人为中心的转变
先前大多数针对“可解释性”的研究可以被视作是一种以模型为中心的研究。它们更多关注如何调整模型机制，使其更容易让人们理解，而不是关注人们想要如何理解模型。“可接受性”旨在推动从以模型为中心向以人类为中心的变革，因此，其应当重点关注人类本身的知识传递、分级思考和选择性思维的特性。
1） 知识传递：考虑到并不是每个人都具备必要的背景知识以及专门的研究人员辅助来理解该方法，因此，应使决策者更加关注模型输出中包含的知识特性而不是模型输出结果本身。研究人员也应改变目前单纯从模型机制重新设计的角度提供可解释性的模式，更多的聚焦机器智能输出结果向决策支持知识的转变，使向决策者知识传递过程变得更为现实而有效。
2） 分级思维特性：人类的思维特性具有层次性。尽管不同行业的决策者对同一类型的模型具有不同的认知能力，但普遍认同可接受的机器智能对复杂问题的处理应当具备分层特性。分层思维是一种将复杂问题分为几个层次进行讨论的方法。这是决策者通常具有的一种思维方式。
3） 选择性思维特性：信息的选择性思维特性是另一个决策者普遍认为极其重要的思维特性。在常规管理过程中，各个级别的决策者仅需要知道他们自己的命令空间，而无需知道下属为满足其命令而作出的特定选择。实际上，不同的管理者以不同的分辨率观察环境是一种普遍的选择性现象。选择性的一个显着效果是管理人员仅需要以他们自己选择的任务粒度了解系统的状态。
要让人工智能的输出成为更易于接受的决策，需要人工智能满足信息处理当中的关键步骤的能力要求。然而，人工智能方面的大部分研究都关注于优化方法的性能。在本节，提供理论分析以帮助从可接受性出发来重新设计或修改智能方法，这样一个方法就可以不单有更好的性能，也能够保证其高水平的关键输出更容易被决策者接纳。
3.2.1将信息融合程度作为智能方法评估的重要依据
如何评估不同人工智能方法对不同任务场景的适用程度一直是人机智能融合领域研究以及人机智能融合方法构建的关键。目前从可解释角度出发，研究人员从流程演化、可解释、因果推理、相关关系等角度对这一问题进行了分析，但仍然无法有效满足人机智能融合实际操作过程中的基本需要。通过对人的智慧，机器智能产生机理的思考，本文认为应当将信息融合程度作为智能方法可接受性评估的重要依据之一。
人机智能融合的基本原则要求实现以机器为中心向以人为中心的转变。因此，应当以人习惯的范式来审视如何进行人的智慧与机的智能的融合。通过对人与人智慧融合的基本范式进行整理，如图 2所示不难发现，在人的个体内，进行着从信号到符号到知识再到定势的信息运动，在人和人之间则是通过信息传播进行着智慧的交互和融合，所有的信息运动构成了一个信息世界。一般地，人们会把物理世界称为物理域，把精神世界称为认知域，把群体世界称为社会域，把信息世界称为信息域。人与人之间的智慧融合是通过在物理域，把人与人、人与物质世界通过丰富的信号网络连接起来；在认知域，以它自己的符号系统，把人的知识转录出来进行加工处理；在社会域，通过信息处理流程和规则，固化形成一致的定势来综合实现的。
图2 人与人智慧融合的基本范式
Fig. 2 Basic paradigm of wise fusion among humans
因此，考虑人既有的智慧融合习惯，通过信息的融合从而有效促进人的智慧与机的智能进行有效融合是合理的。在面向作战决策的人机智能融合方法的研究工作中，应当将人与机器智能决策过程中信息融合的实现程度作为智能方法可接受性评估的主要依据。
3.2.2修改人工智能方法以适应人类认知模型
图3 人机智能融合表征
Fig. 3 Representation of human-machine intelligence fusion
当前的智能方法研究更多强调性能本身而忽视了其信息输出对人类决策支持的有效性。如图 3所示，可接受的人工智能应当满足人类认知模式的需求，同时还应该有与人通过信号、符号、知识、模式等认知媒介进行集成的能力。相较于此，更为基础的则是其应该能够输出认知形态的信息，而非仅仅是结果。参考人与人之间的信息交互，可接受的人工智能应当有能力输出的认知形态信息包括以下几个方向：
信号（低级认知信息）：是人工智能输出的动作、判定或其他行为，用于传递信息、指令、警告等。其能够表示某些对人类有价值的特性的存在或可能发生的人们所关注的事件、动作、事实等，是机器智能对能量的探测和识别产生信息的基础物理形态。
符号与知识（中级认知信息）：是人工智能通过学习与训练获得的信息、对问题的理解或者某项技能等。可接受的人工智能不仅应该能够对这些能力进行分类，还应该能够将它们有效地传递给人类。其中，符号是对信号赋予有意义的信号，从而产生的信息的一种交互形态，而对符号的构造和组织则产生了信息的抽象形态知识。
定势（高级认知信息）：人工智能能力的得以呈现的本质框架，是对知识的框架性构造方法，也有学者称其为模式。定势是一种人工智能知识的架构，是一种动态的信息结构，随训练的进行而不断发生变化。智能产生的定势是其利用知识自组织创建的信息形态。以人为例，生活中的思维或行为并不是一条一条地调用知识，而是针对问题快速寻找解决问题的框架。
三类认知形态的输出实际上并不难实现。从机器智能的角度来看，当前机器智能的主流三大类方法：有监督学习、无监督学习以及强化学习，从本质上看都没有脱离对信息的采集、处理、加工、输出的基本范畴。当前人工智能领域科研的主要创新点普遍集中在对这些细节过程的优化和深化上。而与此同时人是信息的主体，且人本身也是自身内在信息系统是信息处理的主体，因此，从信息的信号、符号、知识、定势等具体层面挖掘人与机器智能融合的方法是可接受性的重要能力要求之一。
3.2.3提供人机信息交互机制作为辅助
必须意识到无论机器智能如何发展，其本质还是机器。因而不能寄希望于其能够与人以人类的方式进行沟通和交互。所以，必须为人机混合环境下有效决策同盟的实现，开发一种能够提供必要支撑的信息交互机制，以帮助解决人机智能融合难题，使得人与人工智能够在推理、判断记忆等诸多方面，基于共同的信息输出（例如信号、符号、知识、模式等）实现必要的协作。
如图 4所示，当前的人机智能融合是一种传统的人与智能交互模式，是建立在人工智能能够有效模拟人或者理解人这一假设的基础上。该模式只在信息的输入和输出这两个硬件物理域环节进行必要的交互，通过寻求把机器智能的逻辑推演变得越来越像人，而实现二者之间的有效理解，进而实现在硬件物理域的结合。例如神经网络因为具有黑箱性，因此，目前流行用决策树等与人思维更相近的方法拟合神经网络所作的决策结果，但是这本身会导致性能较大的衰减。同时该模式也不适配基于计算机的机器智能的本质。人工智能的优势在于高带宽、大内存、大存储，人在这些领域则是低带宽、算速慢、容量小，这种迁就式的融合方法会限制人工智能性能的发挥。
图4 传统的人与智能交互模式与人机智能融合模式的对比
Fig. 4 Comparison of the traditional human and intelligence
interaction mode with that of human-machine intelligence fusion
因此，需要新的方法，使得人与人工智能不仅能在信息的输入、输出等硬件物理域实现有效融合，还能在输入接口、处理过程、输出接口等软件思维域关键环节中实现有效的交互融合，从信息的信号、符号、知识、定势等具体层面挖掘人与机器智能融合方法的潜力，在充分挖掘机器智能的强大的演化计算能力的基础上，更好地催化人的潜在意识，提升人决定性作用的广度、宽度和深度，形与神俱合。
因此，在机制设计的过程中，一方面需要更加关注设计高效且有针对性的物理交互界面。物理交互界面为人机互动提供了一个基础通道，也是最直观有效的通道，这是人机智能融合现最为基础的部分。另一方面，人机智能信息融合接口在作战决策过程中发挥作用，从逻辑上看主要体现在两个环节：过程支持和目标求解。二者是决策者在不同的决策阶段，所面临的不同任务。是人机智能融合信息机制交互设计中应重点关注的内容。
4结论
本文在对“可解释性”系统综述、问题分析的基础上，提出“可接受性”的概念及其关键能力要求作为一种新的指导方针来指导人工智能运用于作战决策过程。本文的工作为实现人智与机智在作战决策的有效集成提供了理论支撑，能够促进在以人为中心的作战实体、业务中人机智能融合作战决策能力的构建。
联系客服
