如何将数据治理用于 AI/ML 系统

2023-08-29 0 578

如何将数据治理用于 AI/ML 系统

数据治理确保数据可用、一致、可用、可信和安全。 这是一个让组织苦苦挣扎的概念,而当大数据和人工智能和机器语言等系统出现时,赌注就更大了。 组织很快意识到人工智能/机器学习系统的功能与传统的固定记录系统不同。

对于人工智能/机器学习,目标不是返回单个交易的值或状态。 相反,AI/ML 系统会筛选 PB 级的数据,寻找查询或算法的答案,甚至可能看起来有点开放式。 数据通过同时输入处理器的数据线程进行并行处理。 IT 可以提前清除同时和异步处理的大量数据,以加快处理速度。

该数据可以来自许多不同的内部和外部来源。 每个来源都有自己的收集、整理和存储数据的方式——它可能符合也可能不符合您自己组织的治理标准。 然后是人工智能本身的建议。 你信任他们吗? 这些只是公司及其审计师在关注人工智能/机器学习的数据治理并寻找可以帮助他们的工具时面临的一些问题。

如何将数据治理用于 AI/ML 系统
确保您的数据一致且准确
如果您要集成来自内部和外部事务系统的数据,则应该对数据进行标准化,以便它可以与其他来源的数据进行通信和混合。 许多系统中预先构建的应用程序编程接口可以与其他系统交换数据,从而促进了这一点。 如果没有可用的 API,您可以使用 ETL 工具,该工具将数据从一个系统传输为另一系统可以读取的格式。

如果您要添加非结构化数据,例如照片、视频和声音对象,可以使用对象链接工具将这些对象相互链接和关联。 对象链接器的一个很好的例子是 GIS 系统,它结合了照片、示意图和其他类型的数据,为特定设置提供完整的地理环境。

确认您的数据可用
我们通常将可用数据视为用户可以访问的数据,但它的含义远不止于此。 如果您保留的数据因过时而失去了价值,则应将其清除。 IT 和最终业务用户必须就何时清除数据达成一致。 这将以数据保留策略的形式出现。

在其他情况下也应清除 AI/ML 数据。 当人工智能的数据模型发生变化并且数据不再适合该模型时,就会发生这种情况。

在 AI/ML 治理审计中,审查人员希望看到针对两种类型的数据清除的书面政策和程序。 他们还将检查您的数据清除实践是否符合行业标准。 市场上有许多数据清除工具和实用程序。

确保您的数据可信
情况发生变化:曾经非常高效地工作的人工智能/机器学习系统可能会开始失去效力。 你怎么会知道这事? 通过定期检查 AI/ML 结果与过去的表现以及您周围世界正在发生的事情。 如果你的人工智能/机器学习系统的准确性与你的偏离,你必须修复它。

亚马逊的招聘模式就是一个很好的例子。 亚马逊的人工智能系统得出的结论是,最好雇用男性求职者,因为该系统正在研究过去的招聘实践,而大多数被雇用的人都是男性。 该模式未能适应前进的是更多高素质的女性申请人。 人工智能/机器学习系统已经偏离了事实,反而开始在系统中播下招聘偏见。 从监管的角度来看,人工智能不合规。

亚马逊最终废除了该系统,但如果公司定期监控系统性能,对照过去的性能进行检查,并将其与外界发生的情况进行比较,就可以避免这些错误。 如果AI/ML模型不同步,可以进行调整。

数据科学家可以使用 AI/ML 工具来测量模型漂移,但业务专业人员检查漂移的最直接方法是将 AI/ML 系统性能与历史性能进行交叉比较。 例如,如果您突然发现天气预报的准确度降低了 30%,那么就该检查 AI/ML 系统运行的数据和算法了。

申明:本文由第三方发布,内容仅代表作者观点,与本网站无关。对本文以及其中全部或者部分内容的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。本网发布或转载文章出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,也不代表本网对其真实性负责。

七爪网 行业资讯 如何将数据治理用于 AI/ML 系统 https://www.7claw.com/60580.html

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务