人工智能芯片领域正在蓬勃发展，除了通常的怀疑者之外，还有许多初创公司的创新。 您以前可能从未听说过 NeuReality，但很可能在今天之后您会听到更多有关它的信息。
NeuReality 是一家于 2019 年在以色列成立的初创公司。今天它发布了 NR1-P，它称之为以 AI 为中心的新型推理平台。 对于一个以前未知的领域来说，这是一个大胆的主张，而且实现目标的时间非常短——即使这是后续更多实施中的第一个。
由行业资深人士创立
Tanach 在半导体和系统领域拥有 20 多年的经验，致力于从计算和无线一直到数据中心网络和存储的解决方案。 他和他的联合创始人、运营副总裁 Tzvika Shmueli 和 VLSI 副总裁 Yossi Kasus 历史悠久，在他们之间的关键职位上拥有令人印象深刻的以往经验清单。
Habana Labs、Intel、Marvell 和 Mellanox 是 NeuReality 创始人曾工作过的几家公司。正如 Tanach 解释的那样，Xilinx 也是 NeuReality 的重要合作伙伴。 此时，NR1-P 作为原型在 Xilinx FPGA 上实现。 目标是最终将 NR1-P 实现为片上系统 (SoC)。
NeuReality 已经开始向客户和合作伙伴展示 NR1-P，但并未透露姓名。 该公司声称原型平台验证了其技术并允许客户将其集成到协调的数据中心和其他设施中。
Tanach 提炼出 NeuReality 的哲学，他说系统和半导体应该从外到内设计：“你需要了解系统。如果你能构建系统，就像高通公司所做的那样，他们正在构建手机和基站 为了制造最好的手机芯片”。
从一开始，NeuReality 就选择专注于推理工作负载。 正如 Tanach 指出的那样，处理如何训练 AI 模型引起了很多关注，并产生了非常昂贵的计算机吊舱，这些吊舱在训练模型方面取得了优异的成绩。
但是，当你推动人工智能在现实生活中的应用中使用时，你需要关心模型是如何部署和使用的——因此，推理。 而当你尝试使用昂贵的 pod 时，每次 AI 操作的成本都非常高，很难同时解决这两个问题。
这一理念也是将英特尔 AI 产品事业部前总经理 Naveen Rao 博士带到 NeuReality 董事会的原因之一。 Rao 是 2016 年被英特尔收购的 Nervana 的创始人。在英特尔工作期间，Rao 有两条产品线，一条用于训练，一条用于推理。
计算的钟摆
正如 Tanach 所说，Rao 很欣赏 NeuReality 的“新鲜观点”。 但这到底意味着什么？ NR1-P 严重依赖 FPGA 解决方案，这就是与 Xilinx 的合作伙伴关系非常重要的原因。 Tanach 指出，Xilinx 不仅仅是可编程逻辑和 FPGA：
“当你看看他们今天的高级 FPGA 是如何构建的，它们是一个片上系统。他们在他们最新的 Versal ACAP 技术中内置了 ARM 处理器。他们还集成了一系列你可以编程的 VLAW 引擎。并与他们一起 我们可以构建一个非常强大的 16 卡服务器机箱”。
NeuReality 在 Xilinx FPGA 中实施了 NR1-P，因此他们无需制造任何东西——他们只需构建机箱。 正如 Tanach 指出的那样，他们与 Xilinx 合作并提出了一个在 FPGA 内部实现的自主推理引擎。 SoC 正在开发中，将于 2022 年初推出。
这意味着 NR1-P 不针对嵌入式芯片，因为为此使用 FPGA 是不切实际的。 然而，即使有 SoC，NeuReality 也会继续瞄准近边缘解决方案：
“边缘设备需要更优化的解决方案，专门为设备的需求而设计。你需要以微瓦、毫瓦或低于 50 毫瓦的功率来做事。但计算的钟摆是存在的。当前的趋势是推动越来越多的 计算到云端。但我们开始看到钟摆回来了。
看看微软和 AT&T 的交易，在美国各地的 AT&T 设施中建立许多数据中心，以使更多的计算能力更接近边缘。 由于成本和功率的原因，许多物联网设备将无法嵌入人工智能功能，因此它们将需要一个计算服务器来为它们提供更靠近它们所在位置的服务。 一直到云端再返回会引入高延迟”。
面向对象的硬件架构
根据 Tanach 的说法，NeuReality 的“秘密武器”在概念上很简单：其他深度学习加速器在从应用程序卸载神经网络处理方面可能做得很好，但它们是 PCI 设备。 它们必须安装在整个服务器中，而且成本很高。
CPU 是系统的中心，当它卸载东西时，它会运行设备的驱动程序。 NeuReality 的情况并非如此。 NR1-P 是一个自主设备，连接到网络。 它具有所有数据路径功能，因此它们不需要在软件中运行。 这个瓶颈被移除，不再需要额外的设备。 Tanach 将其称为面向对象的硬件：
“这里的主要对象是 AI 计算引擎。我们使用面向对象的软件已经很长时间了，它改变了我们编码的方式。我们用它需要的功能包装主要对象。是时候开发硬件了 做同样的事情。如果你想投资人工智能计算引擎，就把它作为主要的事情”。
Tanach 谈到的另一个话题是所使用的通信协议。 他指出，像 Nvidia 这样的推理解决方案使用 REST API，这使得网络成本非常高。 NeuReality 还有其他方法，他们将在未来公开。
最后但同样重要的是，云数据中心的弹性和利用率也很重要。 Tanach 说，现有的深度学习加速器不在这个等式中。 Kubernetes 连接、与编排器的通信，所有这些都是在托管这些深度学习加速器的 CPU 上完成的。 NeuReality 将这些功能集成到设备中。
Tanach 继续补充说，所有这些都意味着 AI 推理操作的成本非常低，无论是在资本支出还是运营支出方面。 此时，FPGA 可用于数据中心，以及 5G 基站等功耗不太成问题的地方。 SoC 将有两种类型，一种用于数据中心，另一种用于更靠近边缘的节点的低成本和功率规格。
NeuReality 声称与深度学习加速器供应商提供的可用 GPU 和 ASIC 相比，每美元的性能提高了 15 倍。 当被问及这些声明的参考时，Tanach 提到使用 MLPerf 作为内部基准测试的基础。 Tanach 补充说，NeuReality 将很快分享对 MLPerf 的建议更新。
早些年
除了交付其 SoC，NeuReality 还致力于交付其软件堆栈。 目标是能够与人们使用的任何机器学习框架一起工作，无论是 PyTorch 还是 TensorFlow 或其他任何东西。 Tanach 指出，ONNX 使这变得更容易，而 NeuReality 正在投资软件。
人工智能计算卸载的未来是完全卸载管道，他继续补充道。 承诺是 NeuReality 的软件堆栈将支持能够实现这一点的计算图表示。 在客户方面，NeuReality 瞄准三个细分市场。
Hyperscalers 和下一波云服务提供商，为军队、政府和金融业等客户构建数据中心的解决方案提供商，最后但并非最不重要的是，OEM。
今天的公告是在 NeuReality 于 2021 年 2 月以 800 万美元的种子投资从隐身状态中脱颖而出之后发布的。 诚然，NeuReality 仍处于早期阶段。 然而，该公司的背景和初步迹象似乎值得关注。
