如今，制造商从不断扩大的来源网络收集信息。 无论是来自传统物理传感器的时间序列数据、实时视频流，还是非结构化的手动输入报告，数据都是日常运营决策的核心。
也就是说，希望利用数据来支持复杂的人工智能模型的行业领导者发现，糟糕的数据质量一直是最高价值人工智能用例的障碍。 一些常见的数据质量问题包括丢失数据点、损坏或校准错误的传感器、不完整的数据映射或字典、不兼容的系统、架构限制、访问速度慢以及对现有来源的了解不足。 这些缺点在制造业中往往更加复杂，与其他行业相比，传感器通常在更耗费体力的环境中运行。
遗留系统架构和薄弱的数据治理也导致数据质量不佳。 如果没有现代化的工业数据管理，由善意的主题专家驱动的多选项卡电子表格的替代生态系统通常会为关键流程提供支持。 结果，不同工厂的数据以不同的方式被操纵，导致它们实际上难以治理。
数据质量需要作为数据基础设施和治理的核心组成部分。 虽然技术和数据基础设施现代化可能是一项艰巨的任务，但数据质量可以在此过程中以有针对性的迭代方式得到解决，重点关注业务中长期存在和最重要的问题。
低质量数据常常被认为是不可避免的，需要大规模的系统重新设计、多年的数据收集以及大量的劳动力和资本配置来纠正。 由于这些原因，许多人工智能用例被搁置多年，而公司则等待问题自行解决，从而留下了巨大的价值。 本文阐述了工业化工具如何清理和丰富现有数据，以消除数据质量障碍并释放人工智能在制造业中的全部潜力。
制造业中的数据质量挑战
近年来，基于机器学习的建模已经从入门障碍变成了开源商品。 人工智能现在已成为许多行业的赌注。 如今，高质量原始数据的可用性是分析竞争优势的主要来源。
尽管有许多现成的工具可以检测数据质量问题，但创建问题列表只是第一步。 解决这些问题历来需要付出巨大的努力（请参阅附文“数据质量是跨行业的重大挑战”）。 当发现问题时，数据工程师可能会花费数周时间查询多个系统，以确定它们的问题所在。 如果问题可以得到解决，修复通常需要深入研究 IT 堆栈。 从未收集过数据的情况可能更难解决。
技术并不是唯一的挑战。 数据团队通常资源有限，并且远离核心业务部门。 这种去中心化的结构限制了业务部门和数据团队之间的交互频率。 结果，团队面临着无休止的追逐问题的循环，而不是追寻根本原因并专注于对业务影响最大的数据问题。
大规模纠正数据：敏捷、以数据为中心的方法
传统上，数据管理被视为大型瀑布式 IT 项目，而不是一系列敏捷的快速循环迭代，从而阻碍了下游的进展，直到数据“完美”。 转向敏捷框架（许多使用下游数据的项目可能已经采用了该框架）可以帮助组织并行处理具体用例，优先考虑那些能够带来最大价值的用例。 这种向快节奏运营模式的转变对于满足不断变化的数据优先级至关重要。
考虑到这一点，行业领导者越来越多地建立敏捷的数据质量“特警团队”（图表 1）。 这些团队通常由三到五名数据科学家、工程师和数据专家以及来自业务部门的翻译人员（或数据所有者）组成，他们与业务部门密切合作，以识别和修复阻碍最高价值的问题 人工智能用例。 它们通常是以中央数据治理和架构团队为中心的模型的一部分，该团队管理一组通用标准和流程。 这使得特警团队能够在每个业务中嵌入数据单元，以定制数据管理，同时遵守通用标准。
以数据为中心的人工智能是一种新兴方法，专注于通过改进数据来释放机器学习模型的性能。 以数据为中心的人工智能工具可以通过提高自动化水平来加速数据质量修复，包括程序化标签、合成数据生成以及通过集成内部和第三方来源来丰富数据。 尽管以前的解决方案有时可能需要几个月的时间才能制定出来，但这些工具使数据质量特警团队能够在几天内创建解决方案（请参阅附文“推动当今影响力的五项创新”）。
数据质量也是机器学习运营的核心组成部分，机器学习运营是将数据科学家、数据工程师和 DevOps（软件开发和 IT 运营）聚集在一起构建并持续改进生产级机器学习模型的实践。 数据质量的自动化方法可以帮助确保此类模型建立在正确的数据上，并且数据质量障碍在机器学习开发过程中得到解决，而不是造成延迟，例如，在以下情况下使用编程方法为主题专家标记数据 数据丢失。
提高数据质量没有灵丹妙药。 相反，数据质量特警团队将需要配备可重复使用的数据质量构建块和组件的工具包，例如实体解析和异常检测，团队可以使用它们来快速组装解决方案。 此外，自动化数据沿袭可以确保跟踪数据的更改，以便更容易地解释和测试它们。
