千讯咨询发布的中国人工智能市场发展研究及投资前景报告显示，在企业中使用人工智能解决方案的挑战之一，是人工智能通常运行在所谓的黑匣子情况下。往往人工智能应用采用神经网络，使用算法产生结果，其复杂程度只有计算机可以理解。在其他情况下，人工智能厂商不会透露他们的人工智能是如何工作的。在任何一种情况下，当传统人工智能生成决策时，人类用户是不知道这个决策是如何得来的。
这个黑匣子可能是一个很大的障碍。即使计算机正在处理信息，并且提出建议，计算机也没有最终决定权。这种责任落在人类决策者身上，人类决策者应该对任何负面后果负责。在许多当前的人工智能用例中，这不是一个主要问题，因为“错误”决策的潜在影响可能非常低。
然而，随着人工智能应用的扩展，计算机制定的决策可能涉及数百万美元——甚至是关系到人类的健康和安全。在高度监管、高风险／高价值的行业中，信任计算机的决策而不了解计算机给出建议可能存在的潜在风险根源，你就可能面临着极大的风险。这些企业越来越需要一种可解释的人工智能（XAI）。
人工智能领域已经注意到了这个问题。可解释的AI曾经是2017年神经信息处理系统（NIPS）研讨会的核心主题，而且DARPA也已经投资了一个探索可解释AI的项目。
超越黑匣子：认知AI
认知的、生物启发的AI解决方案采用了类似人类推理和解决问题的方式，让用户可以看到黑匣子内部的情况。与传统的AI方法相比，认知AI解决方案在数字数据处理技术（如机器学习、神经网络和深度学习）之上使用符号逻辑来获得知识。
常规AI使用的神经网络必须接受数据的训练，但不必像人类那样进行理解。神经网络将数据视为一系列数字，根据他们的训练方式标记这些数字，并使用模式识别来解决问题。当神经网络得到数据的时候，它就会询问自己之前是否已经看过这些数据，如果是的话，就会询问之前是如何标记这些数据的。
相反，认知AI是基于概念的。我们可以严格的关系级别来描述概念，或者可以添加允许AI自我解释的自然语言组件。认知AI会对自己说：“我受过训练才能理解这类问题。你向我展示了一系列功能，所以我需要操纵那些与我接受过的训练相关的功能。”
认知系统不会取代神经网络，但确实解释了神经网络的输出并提供了叙述性的注释。认知AI所做出的决策是在清晰的审查跟踪中提供出来的，人们可以理解这些决策，并查询到更多的细节。这些审查线索解释了AI给出建议背后的原因，以及证据、风险、信心和不确定性。
自上而下的可解释性
可解释性取决于谁需要解释，对不同的人可能意味着不同的内容。但是一般来说，如果风险很高的话，则需要更多的可解释性。解释可以是非常详细的，显示用于推导答案的各个数据和决策点。可解释性还可以是为最终用户编写摘要报告的系统。强大的认知AI系统可以根据查看信息的人员，以及信息的使用方式，自动调整解释的深度和细节。
在大多数情况下，人类可视化决策过程的最简单方法是使用决策树，树的顶部包含最少量的信息，底部包含最多的信息。考虑到这一点，可解释性通常可以分为自上而下或自下而上。
自上而下的方法适用于对细节不感兴趣的最终用户；他们只想知道答案是否正确。认知AI可以预测计算机在当前条件下会生成怎样的预测。然后，技术用户可以查看详细信息，确定问题的原因，然后将其交给工程师进行修复。自下而上的方法对于那些必须诊断和解决问题的工程师来说很有用。这些用户可以查询认知AI，一直到决策树的底部，并查看在顶部解释AI结论的详细信息。
可解释的AI是关于人的
可解释的人工智能始于人类。人工智能工程师可以与不同领域的专家展开合作，了解他们所在的领域，从算法／过程／探索角度研究他们的工作。工程师学到的东西被编码成一个知识库，让认知AI能够验证其建议，并以人类可以理解的方式解释它们得出的推理结果。
认知AI是面向未来的。尽管政府对人工智能的监管速度缓慢，但立法机构正在迎头赶上。欧盟从去年5月开始实施通用数据保护法规（GDPR），它赋予了消费者在做出自动决策时的知情权，解释这些决定的权利，以及彻底选择退出自动决策的权利。现在采用可解释AI的企业将为未来的法规遵从要求做好准备。
AI不应取代人类决策，它应该帮助人类做出更好的决策。如果人们不相信人工智能系统的决策能力，这些系统就永远不会得到广泛采用。为了让人类信任AI，系统不能将所有秘密都锁定在黑匣子里，XAI提供了这种解释。
相关研究报告
人工智能项目可行性研究报告
中国人工智能行业发展趋势分析预测报告
中国人工智能行业发展研究报告