美国邮政服务规模庞大,每年处理 1290 亿封邮件,其中包括 73 亿个包裹。 那是每天 2000 万个包裹,或每秒 230 个。 因此,当包裹丢失时,需要进行大量分类才能找到它。
借助由 Nvidia 提供支持的新 AI 程序,USPS 已经建立了一种方法,可以显着减少查找丢失包裹所需的时间,从几天缩短到两个小时。 包裹分拣只是一个开始——USPS 现在有了可以通过其新的边缘 AI 部署来支持的数十种应用程序的想法,涵盖从邮件分拣到营销的方方面面。
Nvidia 联邦政府业务副总裁 Anthony Robbins 本周告诉记者:“在整个企业中以这种规模部署的企业级 AI/ML 项目并不多,尤其是在政府方面。”
近年来,美国政府投入了数十亿美元,致力于利用人工智能实现美国联邦机构的现代化。 然而,Nvidia 表示,邮政服务的部署因其规模和复杂性而脱颖而出。 该机构在 195 个地点使用 1,000 多台邮件处理机器。
罗宾斯说:“通过在美国邮政总局建立企业范围的 AI 程序,正在开展的工作可以激励美国联邦政府,坦率地说,也可以激励全球的商业企业和企业。”
USPS 在 2019 年选择使用 Nvidia GPU 为其 AI 边缘部署提供动力。 该机构现在在两个数据中心拥有 13 个 EGX 系统,主要用于训练为边缘计算基础设施计划 (ECIP) 构建的 Al/ML 模型——分布式边缘 AI 系统。
邮政服务还将 HPE 服务器部署到边缘——在他们的案例中,是其 195 个邮件处理中心。 HPE Apollo 6500 服务器每台都配备了四个 V100 GPU,目前每台每天处理 20 TB 的图像。
基础设施到位后,该机构部署了 Nvidia 开源软件 Triton 推理服务器,以帮助管理整个分布式企业的 AI 部署。 Triton 将不同的 AI 模型自动交付到不同的系统,这些系统可能具有支持不同深度学习框架的不同版本的 GPU 和 CPU。