Deep Vision宣布推出低延迟AI处理器

Deep Vision是一家新的AI初创公司，正在为边缘计算解决方案构建AI推理芯片，如今已脱颖而出。这家拥有6年历史的公司的新型ARA-1处理器有望在低延迟，能效和计算能力之间找到合适的平衡，以用于从传感器到照相机以及成熟的边缘服务器的任何事物。

由于其在实时视频分析方面的实力，该公司将其芯片瞄准智能零售解决方案，包括无收银员商店，智能城市和工业4.0 /机器人。该公司还与汽车行业的供应商合作，但围绕自动驾驶的关注要少于监视车内活动，以确保驾驶员注意道路并且不会分散注意力或困倦。

该公司由其首席技术官Rehan Hameed和首席架构师Wajahat Qadeer创立，后者聘请了曾在英特尔和SanDisk工作过的Ravi Annavajjhala作为公司首席执行官。Hameed和Qadeer在斯坦福大学的博士学位论文中开发了Deep Vision的体系结构。

Annavajjhala解释说：“他们提出了一种非常引人注目的AI架构，可以最大程度地减少芯片内的数据移动。”“在查看AI工作负载时，无论是每美元的性能还是每瓦的性能，这都能为您带来非凡的效率。”

但是，在团队拥有可用的硬件之前很久，该公司就集中精力构建其编译器，以确保其解决方案能够真正满足客户的需求。然后，他们才完成芯片设计。

正如Hameed告诉我的那样，Deep Vision始终专注于减少延迟。尽管其竞争对手经常强调吞吐量，但该团队认为，对于边缘解决方案，延迟是更重要的指标。虽然专注于吞吐量的体系结构在数据中心中很有意义，但Deep Vision CTO Hameed认为这并不一定使它们非常适合边缘应用。

他说：“吞吐量架​​构需要加速器同时处理大量流，以充分利用硬件，无论是通过批处理还是通过管道执行。”“这是他们获得大吞吐量的唯一方法。当然，结果是单个任务的延迟很高，这使得它们对于实时性能至关重要的边缘用例不适合我们。”

为了实现这种性能-Deep Vision声称其处理器提供的延迟要远低于Google的Edge TPU和Movidius的MyriadX-该团队正在使用一种架构，可将芯片上的数据移动降至最低。此外，其软件根据特定的工作负载优化了架构内部的整体数据流。

“在我们的设计中，我们没有在硬件中烘焙特定的加速策略，而是在我们自己的处理器中构建了正确的可编程原语，从而使该软件可以映射您可以在其中找到的任何类型的数据流或任何执行流。一个神经网络图有效地位于同一组基本图元之上。”

这样，编译器便可以查看模型，并找出如何在硬件上最好地映射它，以优化数据流并最大程度地减少数据移动。因此，处理器和编译器实际上也可以支持任何神经网络框架并优化其模型，而开发人员不必考虑通常使其他芯片难以工作的特定硬件约束。

Hameed说：“我们在设计硬件/软件堆栈的每个方面时都考虑到了相同的两个高级目标。”“一个是最大程度地减少数据移动以提高效率。然后，以一种可以针对每种类型的问题使用正确的执行计划的方式，保持设计的各个部分具有灵活性。”

自成立以来，该公司已筹集了约1900万美元并申请了9项专利。新芯片已经试用了一段时间，即使该公司已经有几个客户，它仍然选择保留到现在。该公司显然希望其独特的体系结构能够使其在这个竞争日益激烈的市场中占得一席之地。除了英特尔的Movidius芯片(以及Google和AWS为其自己的云提供的定制芯片)之类的产品外，该领域还有很多初创公司，包括Hailo之类的公司，该公司在今年早些时候和最近获得了6000万美元的B轮融资也推出了新芯片。