由机器学习和深度学习驱动的人工智能领域在过去十年中经历了一些惊人的变化。从一个纯粹的学术和研究领域开始，我们已经看到广泛的行业采用跨越多个领域，包括零售、技术、医疗保健、科学等等。21世纪数据科学和机器学习的关键目标不仅仅是运行实验室实验来发表研究论文，而是转变为解决和解决现实问题，自动化复杂任务，让我们的生活更轻松，更好。通常，机器学习，统计学或深度学习模型的标准工具箱保持不变。像胶囊网络这样的新模型确实存在，但同样的行业采用通常需要几年时间。因此，在行业中，数据科学或机器学习的主要焦点是更'应用'而不是理论上，有效地将这些模型应用于正确的数据以解决复杂的现实世界问题是至关重要的。
机器学习模型本身由一种算法组成，该算法试图从数据中学习潜在模式和关系，而无需硬编码固定规则。因此，解释模型如何对业务起作用总是会带来一系列挑战。行业中有一些领域，特别是在保险或银行等金融领域，数据科学家通常最终不得不使用更传统的机器学习模型（线性或基于树的）。原因是模型可解释性对于企业解释模型所采取的每个决策非常重要。但是，这通常会导致性能下降。这就是集成和神经网络等复杂模型通常可以为我们提供更好，更准确的性能（因为真正的关系本质上很少是线性的）。但是，我们 最终无法对模型决策进行适当的解释。为了解决和讨论这些差距，我将撰写一系列文章，我们将深入探讨可解释的人工智能（XAI）和人类可解释的机器学习中的一些挑战。
这些内容将在本系列的几篇文章中进行介绍，如上所述，以使事情简洁有趣，这样每个人都可以从每篇文章中获得一些关键的内容。
作为行业的数据科学家并在该领域为人们提供指导，我看到数据科学仍然经常被视为一个能够表现魔法或炼金术的黑匣子，可以为人们提供他们想要的东西。
然而，严酷的现实是，如果没有对机器学习模型或数据科学管道如何运作的合理理解，现实世界的项目很少会成功。
考虑到现实世界中的任何数据科学项目，您通常会有业务方面以及技术或解决方案方面。现在，数据科学家通常致力于构建模型并为业务提供解决方案。但是，企业可能不知道模型如何工作的复杂细节。但是，由于这个模型最终将为他们做出很多决定，他们确实有权提出
'我怎么能相信你的模型？'
'你的模型如何真正做出决定？'
这些问题是数据科学从业者和研究人员多年来一直在尝试的问题。
数据科学从业者将知道存在典型的模型可解释性与模型性能权衡。这里要记住的一点是模型性能不是运行时或执行性能，而是模型在决策中的准确程度。有几种模型，包括简单的线性模型甚至是基于树的模型，它们可以很容易地解释模型为获得特定的洞察力或预测而做出的决策，但是你可能需要牺牲模型性能，因为它们总是不能产生最好的结果是由于高偏差（线性模型）或高方差的固有问题，导致过度拟合（完全成长的树模型）。更复杂的模型，如集成模型和最新的深度学习模型系列通常会产生更好的性能，但被认为是黑盒模型，因为很难解释模型如何真正做出决定。
虽然有些人可能会争辩说，如果某些事情运作良好（暂时），为什么会质疑它是如何运作的？
然而，作为人类，逻辑和推理是我们为大多数决策所坚持的。因此，人工智能（AI）制定决策的范式转变无疑会受到质疑。有很多现实世界的场景，有偏见的模型可能会产生真正的负面影响。这包括预测潜在的犯罪分子、司法判刑风险评分、信用评分、欺诈检测、健康评估、贷款借贷、自驾车等等，其中模型理解和解释至关重要。
著名的数据科学家和作家Cathy O'Neil在她着名的书中也强调了这一点，'数学毁灭武器'。
著名的研究人员和作家凯特克劳福德在NIPS 2017主题演讲中讨论了偏见对机器学习的影响以及它对社会的影响，'麻烦与偏见'。
有兴趣的读者也一定要查看她在纽约时报上的着名文章'人工智能的白人问题'，她向我们展示了机器学习应用的例子，包括图像分类，犯罪风险预测，交付服务可用性以及更多有偏见和屈服的不利黑人社区的成果。所有这些真实场景都是模型解释应该如何重要的含义，以及我们是否想利用机器学习来解决这些问题。
机器学习仅在过去几年中得到了广泛的行业采用。因此，模型解释作为一个概念仍然主要是理论和主观的。
任何机器学习模型的核心都有一个响应函数，它试图映射和解释独立（输入）变量和从属（目标或响应）变量之间的关系和模式。
当模型预测或找到我们的见解时，需要做出某些决定和选择。模型解释试图理解和解释响应函数所做出的这些决策，即什么，为什么以及如何。模型解释的关键是透明度，质疑能力以及人类理解模型决策的难易程度。模型解释的三个最重要的方面解释如下。
1. 什么驱动模型预测？我们应该能够查询我们的模型并找出潜在的特征交互，以了解哪些特征在模型的决策策略中可能是重要的。这确保了模型的公平性。
2. 为什么模型会做出某个决定？我们还应该能够验证并证明为什么某些关键特征在预测期间驱动模型所做出的某些决策时负有责任。这确保问责制的模型和可靠性。
3. 我们如何信任模型预测？我们应该能够评估和验证任何数据点以及模型如何对其进行决策。对于模型按预期工作的关键利益相关者而言，这应该是可证明且易于理解的。这确保了模型的透明度。
解释性也通常被称为机器学习模型的人类可解释性解释（HII），是人类（包括非机器学习专家）能够理解模型在决策过程中所做出的选择的程度（如何，为什么和什么）。
在比较模型时，除了模型性能之外，如果模型的决策比其他模型的决策更容易被人理解，那么模型被认为比其他模型具有更好的可解释性。
在解决机器学习问题时，数据科学家往往倾向于关注模型性能指标，如准确性，精确度和召回等等（毫无疑问，这很重要！）。这在大多数围绕数据科学和机器学习的在线竞赛中也很普遍。
但是，指标只能说明模型预测决策的部分故事。
随着时间的推移，由于环境中的各种因素导致的模型概念漂移，性能可能会发生变化。因此，了解推动模型采取某些决策的因素至关重要。
我们中的一些人可能会争辩说，如果一个模型工作得很好，为什么还要深入挖掘呢？永远记住，在解决现实世界中的数据科学问题时，为了让企业信任您的模型预测和决策，他们会不断提出'我为什么要相信您的模型？'这一问题，这一点非常有意义。
如果，一个人患有癌症或糖尿病，一个人可能对社会构成风险，或者即使客户会流失，种种以后个别情况，你会对预测和做出决定的模型（即什么）感到满意吗？也许不是，如果我们能够更多地了解模型的决策过程（原因和方式），我们可能会更喜欢它。
这使我们更加透明地了解模型为何做出某些决策，在某些情况下可能出现的问题以及随着时间的推移它有助于我们在这些机器学习模型上建立一定程度的信任。
本节的主要内容是，现在是时候停止将机器学习模型视为黑盒，不仅要尝试分析数据，还要分析模型如何做出决策。
然而，了解预测背后的原因在评估信任方面非常重要，如果计划基于预测采取行动，或者选择是否部署新模型，则信任是至关重要的。
无论人类是直接使用机器学习分类器作为工具，还是在其他产品中部署模型，一个至关重要的问题仍然存在：如果用户不信任模型或预测，他们就不会使用它。
这是我们在本文中多次讨论的内容，也是决定数据科学项目在行业中取得成功的关键区别之一。这推动了模型解释的必要性和重要性的紧迫性。
有一些特定的标准可用于分类模型解释方法。提到了一个很好的指南，：Christoph Molnar，2018年
· 内在的还是事后的？内在的可解释性就是利用机器学习模型，该模型本质上是可解释的（如线性模型，参数模型或基于树的模型）。事后可解释性意味着选择和训练黑匣子模型（集合方法或神经网络）并在训练后应用可解释性方法（特征重要性，部分依赖性图）。我们将更多地关注我们系列文章中的事后模型可解释方法。
· 模型特定或模型不可知？特定于模型的解释工具非常特定于内在模型解释方法，这些方法完全依赖于每个模型的功能和特征。这可以是系数，p值，与回归模型有关的AIC分数，来自决策树的规则等等。模型不可知工具与事后方法更相关，可用于任何机器学习模型。这些不可知方法通常通过分析（和输入的扰动）特征输入和输出对来操作。根据定义，这些方法无法访问任何模型内部，如权重，约束或假设。
· 本地还是全局？这种解释分类讨论了解释方法是解释单个预测还是整个模型行为？或者如果范围介于两者之间？我们将很快谈论全局和本地的解释。
这不是一套详尽的可解释方法分类标准，因为这仍然是一个新兴领域，但这可以成为比较和对比多种方法的一个很好的尺度。
我们如何定义可解释性的范围和界限？一些有用的方面可以是模型的透明度，公平性和责任性。全局和局部模型解释是定义模型解释范围的明确方法。
总结全局和局部解释
这就是试图理解'模型如何进行预测？'和'模型的子集如何影响模型决策？'。要立即理解和解释整个模型，我们需要全球可解释性。全局可解释性是指能够基于完整数据集上的依赖（响应）变量和独立（预测变量）特征之间的条件交互来解释和理解模型决策。尝试理解特征交互和重要性始终是理解全球解释的一个很好的一步。当然，在尝试分析交互时，在超过两维或三维之后可视化特征变得非常困难。因此，经常查看可能影响全局知识模型预测的模块化部分和特征子集会有所帮助。全球解释需要完整的模型结构，假设和约束知识。
局部本地解释
这就是试图理解'为什么模型为单个实例做出具体决策？'和'为什么模型为一组实例做出具体决策？'。对于本地可解释性，我们不关心模型的固有结构或假设，我们将其视为黑盒子。为了理解单个数据点的预测决策，我们专门关注该数据点并查看该点周围的特征空间中的局部子区域，并尝试基于该局部区域理解该点的模型决策。本地数据分布和特征空间可能表现完全不同，并提供更准确的解释而不是全局解释。局部可解释模型 - 不可知解释（LIME）框架是一种很好的方法，可用于模型不可知的局部解释。我们可以结合使用全局和局部解释来解释一组实例的模型决策。
模型透明度
这就是试图理解'如何根据算法和特征创建模型？'。我们知道，通常机器学习模型都是在数据特征之上利用算法来构建将输入映射到潜在输出（响应）的表示。模型的透明度可能试图了解模型的构建方式以及可能影响其决策的更多技术细节。这可以是神经网络的权重，CNN滤波器的权重，线性模型系数，决策树的节点和分裂。但是，由于业务可能不太熟悉这些技术细节，因此尝试用不可知的局部和全局解释方法解释模型决策有助于展示模型透明度。
模型解释可以创造或破坏行业中的现实世界机器学习项目，并帮助我们更接近可解释的人工智能（XAI）。让我们努力实现人类可解释的机器学习和XAI，为每个人揭开机器学习的神秘面纱，并帮助提高对模型决策的信任。
联系客服
