COVID-19 大流行已将业务数字化推向超速发展。 在对高管的调查中，超过三分之二的人表示，自危机爆发以来，他们的公司加速了数字化和自动化的采用。 因此，许多机构（包括银行、保险公司和其他大型企业）正在部署自动化和人工智能解决方案（这种组合越来越多地被称为“智能自动化”）来优化端到端业务流程，不仅实现战术活动的自动化，还实现更多业务的自动化。 复杂的预测问题和决策。
智能自动化解决方案有助于提高效率和效益，并通过从复杂数据中提取新见解来支持决策。 但是，与其他形式的人工智能一样，它们也会增加企业的风险，并导致监管机构加强审查：这些工具和技术最终可能会影响向周围生态系统提供关键业务服务。
人工智能的风险有很多来源。 其中最重要的是模型开发过程中可能违反数据隐私规则； 这些系统的工作方式缺乏透明度，模型设计或训练数据选择中的缺陷可能会带来错误、不公平或偏见； 以及新的网络安全风险，例如恶意行为者的模型提取或故意“数据中毒”。
大多数公司尚未拥有适当的结构和工具来有效管理智能自动化的风险和回报。 具体来说，系统开发和运营的不同方面（例如实施和系统管理、风险和弹性管理以及业务流程优化）通常由各个职能部门以分散的方式进行管理。 此外，组织通常缺乏强大的框架、流程和基础设施来确保对人工智能和自动化进行有效的风险和回报评估。 因此，对于公司来说，将自动化特定的考虑因素纳入更广泛的人工智能和数字风险管理计划中变得越来越重要。
更好地理解自动化风险
为了推动整个组织的战略决策，机构可以创建智能自动化的好处和风险的整体视图，包括这些工具接触关键流程的地方以及可能存在漏洞的地方。 他们不仅需要了解如何简化和自动化流程，还需要了解如何系统地降低风险并提高机构弹性。 为此，可以在整个自动化和人工智能生命周期中考虑五个关键的战术步骤。
步骤一：建立专门的智能自动化风险回报卓越中心
第一个要求是将所有相关信息和决策监督集中到一个地方。 实现这一目标的方法之一是建立专门的智能自动化风险回报管理卓越中心 (CoE)。 该核心职能将负责确保人工智能和自动化解决方案推动整个业务流程的绩效和价值，而不会使风险增加超出组织定义的限制。
为了实现这一目标，CoE 需要全面考虑三件事。 首先，它必须了解整个组织的业务服务和流程的企业分类； 这些成为讨论和导航流程环境的单一事实来源。 其次，它必须知道目前在这些流程中的哪些地方实施了人工智能和自动化，以及随着时间的推移，哪些地方有可能通过部署额外的用例来提高效率或业务绩效。 最后，它必须清楚地了解当前和拟议的人工智能和自动化解决方案中发现的漏洞。
由于简单的自动化解决方案通常依赖于相当确定的方法，因此所涉及的风险更有可能集中在实施错误或不正确的配置上。 这与人工智能复杂技术固有的风险形成鲜明对比，人工智能复杂技术通常旨在解决不确定性，从而引发更广泛的潜在问题，例如可解释性和各种形式的偏见。 因此，自动化风险通常可以被理解为人工智能风险的一个子集。
为了构建这一图景，智能自动化风险回报 CoE 可以利用内部专业知识以及企业其他地方现有的能力。 例如，在银行业，模型风险管理团队通常会提供对人工智能中发现的漏洞的看法，例如与决策中的偏见和公平性相关的问题，或与底层模型的“可解释性”相关的问题。 CoE 将在协调模型风险管理职能部门以及法律、合规和 IT 团队已经执行的活动方面发挥战略作用，通过强大的报告流程提取相关信息。
第 2 步：确定端到端优化和业务简化的机会并确定优先级
组织可能已经在使用各种人工智能和自动化应用程序，还有更多正在考虑或正在开发中。 创建和维护这些应用程序的详细清单是智能自动化风险回报 CoE 的一项基本任务。
该清单将包括有关每种情况下使用的方法和技术的信息，以及实施平台、相关业务流程、系统所有者以及任何相关技术供应商的信息。 它还将包括有关该方法中发现的所有潜在漏洞的详细信息。 业务部门需要向 CoE 提交其实施的每个人工智能和自动化应用程序的信息，并定期进行审查和审计，以确保信息始终是最新的。 该流程可以建立在现有情报的基础上：银行的模型风险管理团队通常会维护一个模型库存，以了解整个组织使用的人工智能解决方案。
人工智能和自动化库存支持风险回报方程的双方。 通过提供关于人工智能在组织中如何以及在何处使用的完整视图，该清单可以帮助领导者识别协同效应和机会，将经过验证的方法复制或扩展到新领域。 同时，该清单使 CoE 能够发现风险、识别其所有者并管理任何所需的缓解步骤。
基于在整个组织中实施的智能自动化的横向视图，风险回报 CoE 可以就在何处部署、增强、淘汰或整合解决方案和技术做出战略决策。 在这种情况下，组织可以建立一个框架，根据组织价值和业务关键性来确定流程的优先级。 例如，当一家在多个地区开展业务的全球安全和现金物流公司进行企业级识别和优先级划分工作时，领导者能够定义 40 多个可供其他企业利用的战略性现有人工智能解决方案。
步骤 3. 开发一个强大的框架来集成整个端到端价值链的技术解决方案
智能自动化风险回报 CoE 与相关分析和技术团队合作，可以为人工智能和自动化技术的开发和实施建立标准化流程和一套原则。 然后，CoE 可以与业务部门合作，确保这些原则在整个组织中得到一致应用。 这样做可以提高整个组织范围内的人工智能和自动化工作的透明度，并有助于确保在开发周期的早期识别关键风险和限制。
一家全球银行重新审视并重写了其自动化和人工智能开发手册，以创建一种可应用于每个地区和业务线的通用转型方法。 该手册的标准加强了对项目风险的有效跟踪，包括对特定风险评估和指标的要求，以及转型的影响、回报和额外收益。 同样重要的是，严格的优先级系统鼓励关注最关键的应用程序、流程和服务。 该框架帮助银行首次了解整个组织使用的人工智能和分析系统的局限性，使其能够定义强大的缓解控制措施。
第 4 步：评估人工智能和自动化风险
每个人工智能系统或自动化工具都需要经过严格而全面的测试制度，以识别输入、处理组件和输出中任何不准确或偏差的风险。 至少，评估通常涵盖数据质量（例如数据样本中的错误或偏差风险）、实施的正确性（包括正确公式和规则的部署）、系统的性能、灵敏度和稳健性 （重点关注输出准确性）、模型的可解释性（考虑到其用例和复杂性）以及其生成的结果中的任何偏差和不公平性。 某些类型的测试，包括针对安全漏洞或数据中毒敏感性的测试，可能需要内部或第三方专业团队的服务。
在银行等行业，监督分析风险评估（例如模型风险管理）的职能及其执行的分析可以支持人工智能应用程序的决策。 美国一家大型银行在其数字化进程中开发了多种人工智能和自动化解决方案，包括聊天机器人、光学字符识别 (OCR) 技术、机器人流程自动化和语音转文本技术。 作为银行标准监督实践的一部分进行的独立审查和质疑流程确定了一系列降低风险和提高这些系统产生的效率效益的机会。
例如，OCR 技术出现了不稳定问题。 该方法常常会误解客户帐户标识符中的字符 – 将字母“O”解释为数字“0”，或将数字“5”解释为“S”。 这些不准确性会错误地将客户信息映射到相关系统中，并且需要多次人工干预来手动纠正错误。 实施控制措施以确保在不影响客户的情况下以受控方式在早期阶段识别和处理存在风险的案例。
在其他地方，聊天机器人在规划生产时没有制定强有力的监控计划，以确保在部署之前识别和控制未来的变化（例如添加新语言或功能，包括访问敏感银行信息）。 引入这样的计划可以保护银行免受潜在的财务或声誉风险。 它还允许该机构跟踪效率的提高，例如通过衡量基本客户交互中人为干预的需求减少。
第 5 步：设计框架和基础设施来监控风险和回报
最后，由于需要持续做出决策，因此公司可以定义流程来监控人工智能和自动化随着时间的推移带来的好处和风险。 在此背景下，需要建立健全的监测框架和基础设施，并具有明确的绩效和风险指标。 此类框架已在银行业中使用，尽管迄今为止它们的重点仅限于风险。 创建将人工智能和自动化技术的风险和收益结合起来的视角是推动整个组织战略业务决策的关键一步。
理想情况下，监控将提供一个仪表板，其中包含整个组织的自动化和人工智能的聚合视图，以及所需的特定于解决方案的信息（例如上次测试人工智能的时间、随着时间的推移观察到的效益水平以及任何性能恶化） ）。 最终，这将允许智能自动化风险回报 CoE 创建实时热图和仪表板以采取行动。
这种监控将伴随一个问题管理程序，以有效纠正人工智能工具和自动化系统中发现的错误和限制。 随着时间的推移，效率下降、系统需要增强或重新开发的情况也会升级。
智能自动化已经改变了许多业务流程的效率和有效性。 然而，随着公司寻求通过更广泛的应用和采用更复杂的方法来扩大这些技术的使用，他们也面临着越来越大的风险。 平衡这些风险与自动化和人工智能的潜在回报将是未来几年的关键挑战。 如今，采用正确的结构、系统和治理措施的组织将能够释放巨大的改进潜力。
