AI的透明度是指窥视AI模型的运作，并了解它如何做出决策。AI透明度有很多方面，包括用于理解模型的一组工具和实践、训练所使用的数据、对错误和偏见的类型和频率进行分类的过程，以及向开发人员和用户传达这些问题的方式。

随着机器学习模型的发展，AI透明度的多个方面已经走到最前沿。其中一个很大的问题是，更强大或更有效的模型更难-如果不是不可能的话，因为内部工作原理被埋在所谓的黑匣子中。

业务转型咨询公司Lotis Blue Consulting的合伙人兼首席数据科学家Donncha Carroll说：“基本上，人类发现很难信任黑匣子，这是可以理解的。AI在提供公正的决策或输出方面的记录参差不齐。”

什么是 AI 透明度？

与任何数据驱动工具一样，AI算法依赖于用于训练 AI 模型的数据质量。因此，它们会受到偏见的影响，或者存在一些与使用相关的固有风险。因此，透明度对于确保用户、影响者或受决策影响的人的信任至关重要。

数字化转型咨询公司UST的首席AI架构师Adnan Masood说：“AI透明度是关于清楚地解释输出背后的原因，使决策过程易于理解和理解。归根结底，这是关于消除AI的黑匣子之谜，并提供对AI决策方式和原因的见解。”

为什么透明度正在成为AI领域的要求呢？基本原因在于信任、可审计性、合规性和理解潜在的偏见。Masood 称：“如果没有透明度，我们就有可能创建这样的AI系统：这些系统可能会无意中延续有害的偏见，做出难以理解的决定，甚至在高风险应用中导致不良结果。”

可解释性和可解读性

AI透明度与AI可解释性和可解读性等相关概念密切关联，但它们并不相同。

AI透明度有助于确保所有利益相关者都能清楚地了解AI系统的运作方式，包括它如何做出决策和处理数据。Masood 称：“拥有这种清晰度可帮助建立对AI的信任，特别是在高风险应用程序中。”

相比之下，可解释性侧重于为AI系统做出的决策提供可理解的原因。可解读性是指模型输出（基于其输入）的可预测性。因此，虽然可解释性和可解读性对于实现AI透明度至关重要，但它们本身并不能完全涵盖它。

AI透明度还包括对数据处理、模型的局限性、潜在偏见及其使用背景持开放态度。

普华永道负责AI的负责人Ilana Golbin Blumenfeld指出，流程透明度以及数据和系统透明度可以补充可解释性和可解读性。

流程透明度涉及在整个系统开发和部署过程中对做出的重要决策提供文档和日志记录。它包括治理和测试实践的结构。

数据和系统透明度需要向用户或相关方传达AI或自动化系统将使用他们的数据。当用户直接与聊天机器人等AI互动时，它还会提醒用户。

为什么需要AI透明度？

如前所述，AI透明度对于促进AI系统和用户之间的信任至关重要。AI安全平台AIShield的首席执行官兼首席技术官Manojkumar Parmar表示，AI透明度的最大好处包括：

• 与客户和员工建立信任。
• 确保公平和合乎道德的AI系统。
• 检测并解决潜在的数据偏差。
• 增强 AI 系统的准确性和性能。
• 确保符合新的AI 法规，例如欧盟 AI 法案。

黑匣子AI的权衡

AI通常以准确率的百分比来衡量—即系统给出正确答案的程度。根据手头的任务，所需的最低精度可能会有所不同，但准确率（即使是99%）也不可能是衡量AI价值的唯一标准。企业还必须考虑AI的一个主要缺点，尤其是在商业中应用AI时：具有近乎完美准确性的AI模型可能存在问题。随着模型准确性的提高，AI解释为什么得出某个答案的能力下降，这引发了企业必须面对的问题：模型缺乏AI透明度，因此，这也会影响我们人类信任其结果的能力。

在AI技术的早期阶段，黑匣子问题在某种程度上是可以接受的，但当发现算法偏差时，它就失去了它的优点。例如，开发用于根据种族对简历进行分类的AI取消了某些工作的资格，而用于银行业务的AI则根据性别取消了贷款申请人的资格。AI所训练的数据并不平衡，无法包含各种人的足够数据，并且存在于人类决策中的历史偏见被传递给模型。

近乎完美的AI模型仍然会犯令人震惊的错误，例如将停车标志归类为限速标志。

虽然这些是更极端的错误分类案例-并且包括一些故意设计的对抗性输入来愚弄AI模型，但它们仍然强调了这样一个事实，即算法对它正在做什么一无所知或理解。AI遵循一种模式来得出答案，神奇之处在于它做得非常好，超出了人类的力量。出于同样的原因，模式的异常变化使模型变得脆弱，这就是为什么需要AI透明度的原因，即了解AI如何得出结论。

当使用AI进行关键决策时，理解该算法的推理非常重要。旨在检测癌症的AI模型，即使只有1%的错误，也可能威胁到生命。在这种情况下，AI需要和人类一起工作，当AI模型可以解释它是如何做出某个决定时，任务就会变得容易得多。AI的透明度使其成为团队合作者。

有时，从法律角度来看，透明度是必要的。

数据科学咨询公司Aryng的总裁兼首席执行官Piyanka Jain说：“在银行等受监管的行业，他们将模型可解释性作为在模型投入生产之前获得合规性和法律批准的必要步骤。”

其他用例涉及GDPR或加州消费者隐私法案，其中AI处理私人信息。Extreme Networks首席技术官办公室创新负责人Carolina Bessega说：“GDPR的一个方面是，当使用个人私人数据的算法做出决定时，人类有权询问该决定背后的原因。”

AI透明度的弱点

很明显，AI的透明度有很多好处，为什么不是所有的算法都是透明的呢？因为AI有以下基本弱点：

• 容易受到黑客攻击。 透明的AI模型更容易受到黑客攻击，因为威胁行为者拥有有关其内部工作的更多信息，并且可以定位漏洞。为了缓解这些挑战，开发人员必须在构建 AI 模型时将安全性放在首位，并测试他们的系统。
• 会暴露专有算法。 AI透明度的另一个问题是保护专有算法，因为研究人员已经证明，仅仅通过查看它们的解释就可以窃取整个算法。
• 难以设计。 最后，透明算法更难设计，特别是对于具有数百万个参数的复杂模型。在AI透明度是必须的情况下，可能有必要使用不太复杂的算法。
• 治理挑战。 Blumenfeld警告说，另一个根本弱点是假设任何开箱即用的透明度方法都能满足治理角度的所有需求。她解释说：“我们需要考虑我们的系统在如何获得信任，然后设计具有透明机制的系统。”例如，人们很容易关注透明度的技术方法，以加强可解释性和可解读性。但这些模型可能仍然依赖于用户来识别有偏见和不准确的信息。如果AI聊天机器人引用了一个来源，仍然由人类来确定来源是否有效。这需要时间和精力，并容易出现错误。
• 缺乏评估透明度的标准化方法。 另一个问题是并非所有的透明度方法都是可靠的。它们每次执行时可能会产生不同的结果。缺乏可靠性和可重复性可能会降低对系统的信任并阻碍透明度工作。

随着AI模型不断学习和适应新数据，必须对其进行监控和评估，以保持透明度，并确保AI系统保持可信并与预期结果保持一致。

如何达到平衡

与任何其他计算机程序一样，AI需要优化。为此，我们查看问题的特定需求，然后调整我们的通用模型以最好地满足这些需求。

在部署AI时，企业必须注意以下四个因素：

• 法律需求。 如果该工作需要从法律和监管角度进行解释，则可能别无选择，只能提供透明度。为了实现这一目标，企业可能不得不求助于更简单但可解释的算法。
• 严谨。 如果AI用于生命攸关的任务，透明度是必须的。这些任务很可能不仅仅依赖于AI，因此拥有推理机制可以改善与人类操作员的团队合作。如果AI影响某人的生活，例如用于工作申请的算法，这同样适用。另一方面，如果AI任务不重要，不透明的模型就足够了。考虑一种算法，该算法建议下一个潜在客户来自包含数千个潜在客户的数据库，交叉检查AI的决定根本不值得花时间。
• 暴露。 根据谁有权访问 AI 模型，企业可能希望保护算法免受不必要的访问。即使在网络安全领域，如果可以帮助专家得出更好的结论，那么可解释性也可能很好。但是，如果局外人可以访问同一来源并了解算法的工作原理，那么最好使用不透明的模型。

数据集。 无论情况如何，企业都必须始终努力拥有多样化和平衡的数据集，最好来自尽可能多的来源。AI的智能程度取决于它所训练的数据。通过清理训练数据、消除噪声和平衡输入，我们可以帮助减少偏差并提高模型的准确性。

部署AI 透明度的最佳实践

部署AI透明度（包括在相互竞争的组织目标之间找到平衡）需要领导者和员工之间的持续协作和学习。它要求从业务、用户和技术的角度清楚地了解系统的要求。Blumenfeld表示，通过提供培训以提高AI素养，企业可以让员工做好准备，积极为识别AI系统中有缺陷的反应或行为做出贡献。

Masood说，AI发展的趋势是关注功能、实用性和新颖性，而不是安全性、可靠性、稳健性和潜在危害。他建议从AI项目一开始就优先考虑透明度。为数据集创建数据表和模型模型卡，实施严格的审计机制，并不断研究模型的潜在危害，这是很有帮助的。

AI 透明度的关键用例

AI透明度有很多方面，因此团队必须识别和检查阻碍透明度的每个潜在问题。Parmar 发现考虑以下用例很有帮助：

• 数据透明度。这包括了解数据供给AI系统，这是识别潜在偏见的关键一步。
• 发展透明度。这涉及阐明 AI 模型创建中的条件和过程。
• 模型透明度。 这揭示了AI系统是如何运作的，可能是通过解释决策过程或使算法开源。
• 安全透明。 这将评估 AI 系统在开发和部署期间的安全性。
• 影响透明度。 这评估AI系统的效果，这是通过跟踪系统使用情况和监控结果来实现。

AI透明度的未来

AI透明度是一项正在进行的工作，该行业发现了新问题以及更好的流程来缓解这些问题。

Blumenfeld预测：“随着AI的采用和创新继续激增，我们将看到更高的AI透明度，特别是在企业中。”但是，实现AI透明度的方法将根据特定行业或企业的需求而有所不同。

Carroll预测，实际存在AI风险的领域也可能影响AI透明度工作。这些将基于企业的整体系统风险以及已在模型部署中应用最佳实践的证据。

Masood认为，监管框架可能会在采用AI透明度方面发挥至关重要的作用。例如，《欧盟AI法案》强调透明度是一个关键方面。这表明AI系统正在向更加透明的方向转变，以建立信任、促进问责制并确保负责任的部署。

Masood称：“对于像我这样的专业人士以及整个行业来说，实现完全AI透明度的旅程是具有挑战性的，有其障碍和复杂性。然而，通过从业者、研究人员、政策制定者和整个社会的共同努力，我乐观地认为，我们可以克服这些挑战，并建立强大、负责任，最重要的是值得信赖的AI系统。”