EE Times采访NovuMind创始人吴韧博士

在来自NVIDIA GPU 技术大会的视频中，来自HPE的Bruno Monnet发表了名为 “Improving Deep Learning scalability on HPE servers with NovuMind: GPU RDMA made easy”的演讲。 阅读全文

本文作者：Karl Freund （Moor Insights&Strategy 国际知名行业分析师，专注人工智能和高性能计算） 2018年秋天，当一家名为NovuMind（中文：异构智能）的AI芯片创业公司宣布推出其第一款用于处理神经网络的低功耗芯片时，在业界专家中引发了剧烈讨论。异构智能公司声称其专利设计能够更为有效地处理三维张量数据，从而优于其他芯片公司需要将三维张量预处理成二维矩阵的设计。它在低分辨率和高分辨率环境中显示了其优势，而在一种流行的模型（Resnet 50），常用于数据中心的性能比较，则优势较小。而在今天，该公司已经赢得的重要大客户以及其商业部署为这次辩论提供了王炸！让我们来仔细研究一下这家公司，他的第一个产品以及一些成功案例。这些案例佐证了异构智能公司芯片的独创性和无与伦比的性能功耗比。更多详情请参阅我接下来的研究报告。 异构智能公司的特别之处？ 作为一名行业分析师，在过去的18个月里，我曾帮助许多投资公司对不同的初创公司进行分析。我特别注意到，这些初创公司中的许多公司都对英伟达和它的值得信赖的GPU不屑一顾。在我看来，这是一种危险的态度，我们不能忽略英伟达强大的生态系统、技术水平以及创新纪录。许多初创公司与英伟达一样瞄准高端人工智能训练市场，但英伟达在这个市场里所占据的霸主地位很难被撼动。英伟达的竞品可能需要比英伟达快10倍，才可能有机会证明它的替代价值让它的用户愿意承担替换的风险。 其他玩家，比如Habana Labs、Thinkci等，则决定优先入局人工智能推理芯片市场。从相机、电视到自动驾驶，人工智能加速器的应用十分广泛，市场也能很客观，但有着很大的性能及功耗限制。异构智能在创始人兼CEO 吴韧博士的领导下，也瞄准人工智能推理市场。吴博士坚信，异构智能公司的高性能、低功耗、低成本的芯片将会打开各种应用市场大门，而避免和英伟达已经牢牢占据的高性能、高价格的市场进行竞争。 异构智能独有的人工智能推理专用架构DSA（Domain SpecificArchitecture即针对应用领域做优化的处理器架构，区别于通用架构）的独特方案赢得了其早期客户的青睐。此专用架构专注在卷积神经网络，从而在人工智能应用最大的基于图像处理的应用市场中，有极强的竞争力。吴博士说道，NovuTensor推理芯片的极端高效来自于独一无二受专利保护的全新计算体系结构，它的特殊性体现在：能够进行真正的原生态三维张量卷积运算——这是人工智能计算的一个最关键的算子。不同于其他构架，NovuTensor在处理时并不需要首先将三维张量展开为二维矩阵，可直接在本地进行三维张量运算。比起目前大部分人工智能芯片公司还在通过牺牲计算精度来提高算力，NovuTensor的这个方向显然更具影响力。它意味着通过更高的并行性来提高性能，减少展开三维张量运算所需要的重复数据操作，节约能耗，并通过一次加载两个张量来增加计算强度。该公司已于去年秋天成功流片拿到28nm的工程样片，据其公司规划显示，该产品计划在更新的制程上进行算力的进一步提升。 图1： NovuTensor能够更为有效的处理深层神经网络，从而降低延迟及成本，目前已获四项美国专利。（图片来自异构智能） 案例 让我特别感兴趣的是，异构智能的部分商业落地非常有意思，其中一些应用场景可能会在未来产生相当巨大的需求。以下是几个例子： 第一个客户案例是新加坡NCS集团，它是电信巨头SingTel（新加坡电信有限公司，是新加坡最大的电信公司）的子公司。NCS希望通过异构智能的技术，建立一个智能监控系统，该系统能够通过智能摄像头进行视频分析，监测特定的人、车、物、异常情况等等。这套智能系统可以将城市中的摄像头从单纯的视频捕获设备，转变为可实时向警方提供预警的端点。在实际应用中，低功耗（3瓦！）低成本和低延迟是关键因素。NCS研发主管Kar Han Tan提到，“我们的应用环境要求在非常低功率的情况下，具有非常高的性能。异构智能的芯片构架很独特，这也使得他们在保持价格具有竞争力的同时，还能够满足我们客户的需求。”目前，异构智能正在进行第一阶段的测试，其技术将应用在约二十万台智能摄像头设备上。 第二个客户案例，是一家大型消费电子公司，该公司正在用异构智能的第一款芯片完成工程样机测试智能超分辨率技术在8K电视上的应用。通过该芯片，可以实现将4K图像放大到一个完整的8K图像，并利用人工智能来填充细节以生成超高质量的图像，同时降低本机8K图像传输的带宽要求。当然，实现这个对功耗是有严格要求的，没有人想要在电视机里放一个冷却风扇。由于在您面前的屏幕可能并不是8K显示设备，因此图2中的图像不能被公正的显示出来。但是，如果你放大它，便可以感受到差别。 […]

挪威特隆赫姆，2017年12月14日/美通社/ – 10月23日清晨，挪威公共道路管理局（NPRA）在第三大城市特隆赫姆的Prinsens门一侧设立了一个小型人工智能设备。 几个小时内，它精准地计算了道路上的自行车数量：向北104辆，向南111辆。 “这将有助于NPRA监督非机动车辆的使用情况，并评估绿色出行政策的实施情况。” NPRA代表说。 这个人工智能自行车计数器，是来自硅谷的AI初创公司NovuMind的创意。与NPRA尝试的先前措施不同，NovuMind的人工智能自行车计数器是新一波“边缘计算”设备的代表之一，将AI功能内置于每个单独的设备中。设备准确率达到了96.4％，超越了NPRA先前测试的所有解决方案。 “ NovuMind致力于让人工智能无所不能，无处不在，从而改善人们的生活。”NovuMind的创始人兼首席执行官吴韧博士说。 “与捕获流量图像和视频并将其上传到云端处理的其他深度学习技术不同，NovuMind智能自行车计数器使用边缘计算，每个设备都能够检测和计算。” “用我们的方法，在计数时不会传输或储存图像，并且当自行车计数器系统扩大时，云端并不会增加额外的负担。由于欧洲国家比其他国家更尊重隐私，边缘计算更有机会满足云计算无法满足的要求。“ NovuMind的工程副总裁Kar-Han Tan说。板载AI功能使设备能够像人类一样对自行车进行计数，并且只将计算出的数据发送到云端，而无需任何附带的图像或视频。这可以通过减少数据存储来保护行人隐私并提高可扩展性。 “终端智能将为新一代智慧、绿色城市铺平道路。我们相信终端智能是构建面向未来的城市和乡村规模系统的最佳方式。” NovuMind的AI工程师Scarlett Teng说。 历史悠久的特隆赫姆与NovuMind之间的合作很大程度上归功于对提高环保意识的共同愿景。挪威政府已经做出了很多努力，使得像特隆赫姆这样的城市更加环保，例如通过收费减少二氧化碳排放、提高停车费、要求汽车持许可证进入城市等。减少汽车数量可以改善空气质量，从而使绿色出行更加便捷愉快。 来自特隆赫姆市的一位代表说：“如果所有骑自行车的人都改成开车出行，那么特隆赫姆将会出现5公里长的拥堵”，“我们不仅希望骑车者继续骑自行车，而且还希望更多的人骑自行车，不论男女老少。”据该代表称，特隆赫姆政府打算明年在自行车基础设施上投入更多资金，希望鼓励更多人骑自行车出行。 随着城市实施应对气候变化和其他问题的新举措和政策，仅靠现有基础设施收集的数据可能远不足够。 “关于城市交通流量的实时信息对于公共交通，道路安全和紧急服务的智能优化至关重要，”吴韧博士说，“我们的传感器是一种低成本，多功能，安全的设备，可以实时计算和跟踪多种不同类型的交通流量，包括汽车，行人，自行车甚至动物。然后，可以将详细的交通数据即时传送给系统云服务器。由于使用了NovuMind内部开发的ASIC，搭载最先进的深层人工神经网络，对现有网络，存储和计算基础设施的负载非常小，可忽略不计。智能自行车计数器只是NovuMind智能城市解决方案的开始。”   原文标题：AI […]