就利用人工智能和机器学习而言，人们对结果的信任是很重要的。由于所谓的人工智能“黑匣子”问题，许多组织(尤其是那些受管制的行业的组织)可能会犹豫不决，不敢使用人工智能系统：算法只是得出模糊的决策而没有解释其所遵循的理由。

这是一个显而易见的问题。如果我们不知道人工智能如何发挥作用，那我们又如何将医疗诊断或自动驾驶汽车等领域里生死攸关的决策交给人工智能来做?

这个问题的中心是神话所笼罩的技术问题。如今，人们普遍认为，人工智能技术已经变得如此复杂，以至于系统无法解释为何做出自己的决定。即使可以，解释也太复杂了，以至于我们的大脑无法理解。

现实情况是，当今在机器学习和人工智能系统中使用的许多常见的算法都可以内建所谓的“可解释性”。我们只是没有在使用它——或者我们无法访问它。对其它算法来说，人们还在开发可解释性和可追溯性功能，但我们很快就能用上了。

在本文中，你将找到可解释的人工智能的含义，它为什么对商业用途来说很重要，以及哪些力量在推动人们采用人工智能，以及哪些因素阻碍了人工智能的应用。

为什么可解释的人工智能很重要

毕马威(KPMB)和Forrester Research去年发布的报告显示，只有21%的美国高管高度信任这两家公司的分析。毕马威(KPMG)的新兴技术风险的全球负责人Martin Sokalski表示：“这些高管不仅相信我们对人工智能所做的分析——而且相信我们所做的所有分析。

Sokalski说，由于人们对分析缺乏信任，人工智能的采用渐渐放缓，尤其是各大公司对人工智能进行大规模部署的速度放缓。

Sokalski说：“虽然你让聪明的数据科学家想出这些令人惊叹的模型，但是他们却没有施展空间，因为企业领导者不信任也不了解这些模型。我不会在任何会使我不断与监管机构打交道的模型部署到这些流程中，也不会使让我登上头条新闻的模型部署到这些流程中。”

要考虑监管审查的可不光是医疗和金融服务行业。《通用数据保护条例(GDPR)》称，所有公司都必须向客户解释为什么自动化系统会做出决定。

此外，由于无法分析算法如何得出结论，因此各大公司在业务可能上线时不得不盲目相信人工智能系统的建议。

例如，零售公司Bluestem Brands正在使用人工智能提供定制化的购物建议。但是，如果人工智能系统推荐的商品不是有据可考的畅销物品，或者与销售专家的直觉不符怎么办?

Bluestem Brands的IT主管Jacob Wagner说：“人们往往会说，‘不，这个人工智能坏了，我们应该推荐畅销的裤子。’”

解决这些信任危机的方案是提供一个解释。人工智能系统在提出建议时使用了哪些因素?这就是可解释的人工智能该出现的场合——人们越来越需要这样的功能。

可解释的人工智能包含了各种各样的工具和技术，这些工具和技术旨在使具备领域专长的人更容易理解人工智能系统的最终解决方案。可解释的人工智能使人们能够参与决策过程，从而使人们更加信任这些系统并对这些结果高度负责。这往往相当于输出人工智能通过培训所学会的规则，并使人类可以对这些规则进行审计，从而了解人工智能如何从未来的数据中得出结论，这些数据的范围超出了数据集。

Wagner说，就Bluestem Brands而言，他能够从Lucidworks提供的当前系统中获得大约85%的解释，但他希望看到更多的解释。

Wagner说：“使人们克服信任障碍是很难的。推荐某物的理由是什么?——我们对此所有用的信息越多，越容易有这样的体会。”

治理问题

如今，企业使用的大部分人工智能都是基于统计分析的。这些机器学习算法的用途广泛，如改善购物建议、搜索结果、计算信用风险、发现计算机网络中的可疑行为等等。

为了提出建议，这些算法分析了特定的特征、数据字段、因素或在行业中被称为功能的东西。每个功能都具有特定的权重，这些权重有助于人工智能将事物归类或发现异常。因此，例如，在确定某动物是猫还是狗时，算法可能会以动物的体重为主要因素，然后是动物的大小，最后是颜色。

因此，了解决定因素是一个简单的过程。但是各大公司尚未将与决策相关的因素列为工作重点。

毕马威的Sokalski说：“我们注意到的主要趋势之一是企业缺乏对人工智能的内部治理和高效管理。我们发现，只有25%的公司正在投资开发控制框架和方法。”

Sokalski说，这是商业流程成熟度的问题，而不是技术问题。“其本质就是在整个生命周期中构建内部功能，端到端治理以及人工智能的端到端管理。”

可解释的人工智能的现状

Sokalski说，所有主要的人工智能平台供应商以及大多数顶级开源人工智能项目都内置了某种形式的可解释性和可审计性。

毕马威(KMPG)一直在与其中一家供应商(即IBM)合作，开发属于自己的一系列工具，(即AI in Control)供客户使用。这样的框架使公司更容易开发具备内置解释性的人工智能系统，而不必将各种开源项目的功能拼凑在一起。

8月，IBM发布了自己的工具集AI Explainability 360，该工具集包含开源算法，可用于当今使用的所有主要类型的机器学习的可解释性，但不包含常用于时间序列问题(如股市预测之类的问题)的递归神经网络。

该工具集中有八种算法，其中大多数尚未以可用代码的形式公开提供。基础研究在今年或2018年才公布。IBM的研究人员兼IBMThomas J.Watson研究中心的经理Kush Varshney这样说道，

Varshney说：“任何人都可以使用该工具集，不管他们是不是IBM的客户。”

Varshney警告说，但是向人工智能系统添加可解释性并不像提供决定所用因素的列表那么简单。“解释的方法林林总总。”

例如，做出有关是否向某人提供银行贷款的决定。Varshney说，客户想知道为什么自己的申请遭到拒绝，以及怎样才能增加将来获得贷款的机会。

Varshney说：“监管机构不会太在乎每个申请人。他们希望查看整个决策过程，希望整体上解释过程的运作机制。他们希望就如何做出决策并找出是否存在问题(如公平性或其它潜在问题)而为所有输入做出模拟。”

Varshney补充说，对银行来说，要确保系统做出准确的预测，它们将面临截然不同的问题。

解释神经网络

随着人工智能系统变得更加先进并且对预先定义的功能和权重的依赖减少，解释也变得更加困难。举例来说，对猫和狗进行分类的系统不是根据一组列表的数据点进行处理，而是对动物的照片进行处理。

卷积神经网络通常用于图像处理，它会查看训练数据并自行发现重要特征。这些功能以非常复杂的形式出现，即涉及十分复杂的数学计算。

Varshney说：“如果你有一个非常复杂的黑匣子模型，该模型具有所有这些功能并以数百万种方式加以组合，那么人类将无法理解。”

由于特定像素之间的复杂关系而将图片判定为猫而不是狗，这就像甲因其大脑中的特定神经元在特定时间放电而告诉乙这是猫一样无济于事。但是，Varshney说，人们仍然可以通过进行更高级别的抽象来使系统具有可解释性。

Varshney说：“你可以找到在语义上有意义的表征形式。例如，如果这是猫的图像，人工智能将发现胡须、鼻子的形状和眼睛的颜色都是重要的特征。”

然后，为了解释决策，人工智能可以在照片中突出显示表明这是猫的那些地方，或显示猫的典型图像的对比照片。

Varshney说：“这确实是增强人们对系统信任的一种方式。如果人们能够理解这些事物的运作逻辑，那么他们就可以对系统的使用充满信心。”

这正是马萨诸塞州综合医院和百灵达妇女医院临床数据科学中心的执行主任Mark Michalski所采取的方法。

医院使用人工智能在放射图像中发现癌症。医务人员必须对系统有高度的信任才能使用人工智能。为了解决这个问题，医疗提供商不仅会得到扫描图是否表明患者是否得了癌症的非此即彼的答案，还会得到解释。

“你可以在图像上面覆盖若干热图，以此来解释机器为何会盯着某个位置看，” Michalski这样说道。

专有系统和勉为其难的供应商

完全透明并不总是对每个人都有利。对某些人工智能供应商而言，公开人工智能决策方式的细节无异于公开秘密。

数字服务咨询公司Nerdery的数据科学总监Justin Richie表示：“这些软件公司有点自私，它们认为所有人都图谋不轨，都想窃取它们的点子。有些供应商之所以让客户走马观花是因为这样他们就不会暴露自己的权重数据。而其它供应商则直接在其工具中展示可解释性。”

Richie补充说，与其说这是技术限制不如说这是市场问题。随着人工智能技术变得司空见惯，游戏规则也会发生改变。

制造由人工智能驱动的聊天机器人的LivePerson的技术官Alex Spinelli说，商用的现成算法往往缺乏关键的可解释性功能。

Spinelli说：“有些更好的产品确实具有检查和审计功能，但并非全部产品。可供参考的标准并不多。可审计性、可追溯性以及就人工智能为何做出决策的原因而对算法进行查询的能力，这些都是罕见的功能。”

Spinelli说，LivePerson编写自己的具备可解释性的算法，或者使用具备这些功能的开源工具，例如百度的Ernie和谷歌的Bert开源自然语言处理算法。

人工智能标准越来越多

Spinelli说，但是业界正在极力使人工智能系统更加透明。例如，LivePerson参与了EqualAI计划，致力于通过制定准则，标准和工具来预防和纠正人工智能中的偏见。

现有的标准机构也一直在努力解决这些问题。例如，红帽(Red Hat)的业务自动化开发经理Edson Tirelli说，红帽正在使用旨在帮人工智能和机器学习系统提高透明度的多个标准。

Tirelli说：“这些标准有助于‘打开黑匣子’。”

其中一个标准来自Object Management Group的决策模型和注释(Decision Model and Notation)标准。

Tirelli说，这个相对较新的标准有助于填补空白，即人们在理解公司决策过程中所涉及的一切步骤。“你可以跟踪该决策或业务流程的每个步骤，一直到人工智能部分。”

这些标准还使在供应商平台之间迁移流程和模型变得更加容易。但是除了红帽之外，只有少数公司支持决策模型和注释。

Tirelli补充说，Object Management Group的商业流程模型和注释标准得到了数百家供应商的支持。

Tirelli说：“几乎所有的工具都支持这个标准，或同级标准，即分析的可移植格式(Portable Format for Analytics)。大体上所有可以创建机器学习模型的工具都支持该标准。”

Tirelli说，这些标准相互联系，为可解释的人工智能提供功能。

前缘地带

帕洛阿尔托研究中心(PARC)的研究人员Mark Stefik表示，随着人工智能用于执行更复杂的任务，可解释性越来越难实现。

Stefik说：“如果理由给出5000条规则，那将无济于事。”

例如，帕洛阿尔托研究中心一直在为国防高级研究计划局(DARPA)做一个项目，该项目包括对用于护林员救援任务的无人机进行训练。对简单的任务而言，要知道何时信任该系统，比要知道在复杂的山区或沙漠场景中的专家级任务要容易得多。

Stefik说：“我们在这方面取得了很大进展，但我不认为我们对所有类型的人工智能都有解释性。”

最后的挑战，也是最困难的挑战，即常识。

滑铁卢大学人工智能领域的加拿大研究主席Alexander Wong说：“因果推理可望而不可及，这就是我和其他人努力的方向。”

Stefik说，如今，计算机系统很难将关联性和因果关系区分开来。闹钟的响声会导致太阳升起吗?

Stefik说：“我们想找到将虚假的关联性与真实的因果关系区分开来的方法。甚至训练人来做正确的因果推理也是很难的。这是一个非常困难的问题。”

Stefik说，这种通过一系列因果关系进行思考的能力是人们谈论通用人工智能时所谈论的内容。

Wong补充说：“我们在这个方向上取得了不错的进展。但是，如果我不得不猜测的话，我会说，因果推理的最终形式将在一个时限内实现。”

但是，即使可解释的人工智能仍处于起步阶段，这并不意味着公司应该被动等待。

Wong说：“即使在目前的形式中，可解释性对许多商业流程仍然非常有用。如果你现在就开始使用这个形式，那么你所创建的系统将很超前，并且更加公平。谈到负责任的人工智能时，我的核心信念之一是，可解释性和透明性是人工智能的关键组成部分。”