Apple 分享了有关其正在开发的辅助功能的一些细节,并就其如何看待增强的日常现实给出了一些相当大的暗示。 我们会在 WWDC 2022 上看到更多这方面的信息吗?它将如何应用?
让生活触手可及,让现实数据成为现实
即将推出的两项辅助功能增强功能似乎暗示了 Apple 的方法:门检测和实时字幕。 这是他们的工作:
门检测:使用 iPhone 摄像头,它会检测到一扇门,将用户导航到那扇门,通知他们门是开着还是关着,告诉他们如何开门,它可以理解和读取门号等信息。
实时字幕:您的 Apple 设备将收听任何音频内容,并为您提供该对话的实时文字记录。
两者都是令人难以置信的功能,但是当您稍微考虑一下它们时,它们就会变得非常惊人。 我是这样看的:一旦 Apple 设备可以创建它所听到内容的实时转录,为什么它不能将该转录翻译成不同的语言?
[ 如何选择合适的 UEM 平台 ]
这意味着什么
我们知道 Apple 拥有执行此操作的技术——我们每次翻译网页时都会使用它。 这个过程非常快,那么为什么不简单地将翻译扩展到您的 Apple 设备提供的转录呢?
这也可以通过两种方式发挥作用,您的设备会说您不会说的语言,使您能够通过多种语言加入复杂的对话。
Door Detection 使用 Apple 探索了一段时间的技术。 您可以自己轻松使用它们——打开照片并搜索“灯柱”的图像,您将能够浏览您拥有的每张照片,其中包括灯柱。
现在,我不了解你,但如果你的设备可以识别照片中的项目,它应该能够使用相同的机器视觉智能在其他地方识别它们。
视觉+智能+情境=?
这意味着,就像盲人或视力不佳的人可以期待使用门检测来找到并打开一扇门一样,有理由认为他们将能够使用类似的技术来识别 Apple AI 的其他任何东西 设备有一个名称:
“嘿 Siri,蔬菜店里的橙子在哪里?”
“他们在你右边三步,在前面数第二个包厢里。 他们花了 1 美元。”
Door Detection 告诉我们这将会发生,因为支持它的技术已经存在。 它只需要扩建。
那么,这一切有什么革命性的呢? 这意味着 Apple 已经组装了大量构建模块,使其技术能够识别我们周围的世界并与之互动。 一旦技术理解了这个世界,它就可以帮助指导我们的互动,利用我们可以使用的信息来增强我们的决策。
一个盲人或低视力的人正要买一个 1 美元的橙子,可能会被告知同样的水果在更远的街道上可以以一半的价格买到。 或者现场服务工程师可能会发现他们的设备已经打开了他们碰巧正在查看的硬件的故障排除手册。
我们这里有两种技术,表面上是为可访问性而构建的,它们也使公司的设备能够围绕视觉和声音进行交互理解。 这种理解使设备能够向用户提供有关所见所闻的上下文有用信息。
这可以是对直接问题的回应,也可以是反映 Apple 在 Siri 建议方面所做的工作,由设备对你通常请求的帮助类型的了解驱动。
人类经验的增强已经开始
您无需成为企业专业人士就能认识到,这为消费者用户提供了一系列强大工具和服务的机会,以及围绕机器视觉智能和跨多个行业的工业 5.0 的极其强大的企业应用程序。
这些应用程序的一大优点是,由于它们基于可访问性技术,它们还使那些在某些领域中可能尚未获得应有的平等代表的人能够更积极地参与。
这就是我所说的增强现实。 这就是我认为我们将在 WWDC 2022 上学到更多的东西。
难怪苹果已经开始泄露有关向公司董事展示这些技术的信息,以及为此类技术开发最合乎逻辑的工具 Apple Glass 所面临的设计挑战。
一步一步地,这项多年努力的基石现在正在更快地落实到位。 我已经可以听到批评者准备再次犯错了。