Improving Deep Learning Scalability on HPE Servers with NovuMind: GPU RDMA Made Easy

美国加利福尼亚州圣克拉拉市，2018年5月17日 – 嵌入式应用人工智能的领先创新者异构智能今天宣布将参加将于5月22日至24日在圣克拉拉举行的2018年嵌入式视觉峰会， 异构智能将在展厅的＃704展位展示其产品，异构智能的两位高管将在会议期间进行主题演讲。 异构智能的创始人兼首席执行官吴韧博士将就节能处理器如何为智能设备赋能提供行业见解。他将分享如何通过将AI嵌入终端设备中，从而让智能设备可以在低延迟并保护用户数据的基础上提供服务。 异构智能芯片设计副总裁李淼也将进行技术分享，主题为针对专用于卷积神经网络的芯片如何在低功耗的嵌入式应用中实现与GPU或TOU相媲美的高性能。 异构智能很荣幸成为嵌入式视觉联盟的一员，并成为2018年嵌入式视觉峰会的金牌赞助商。有关2018年嵌入式视觉峰会的更多信息，请访问：https：//www.embedded-vision.com/summit 关于异构智能 异构智能致力于帮助客户将AI的强大功能融入其产品和服务中。 NovuTensor芯片以及全套AI解决方案支持，使OEM能够嵌入深度学习推理功能，无需考虑电源或网络访问受限问题。在AI行业先驱吴韧博士的带领下，异构智能团队拥有机器学习，芯片设计和高性能计算方面的国际化专业团队。该公司的总部和研发部门位于加利福尼亚州圣克拉拉市，并在中国北京和广州设有办事处。更多详情，请访问：http://www.novumind.com

本文作者：Karl Freund （Moor Insights&Strategy 国际知名行业分析师，专注人工智能和高性能计算） 2018年秋天，当一家名为NovuMind（中文：异构智能）的AI芯片创业公司宣布推出其第一款用于处理神经网络的低功耗芯片时，在业界专家中引发了剧烈讨论。异构智能公司声称其专利设计能够更为有效地处理三维张量数据，从而优于其他芯片公司需要将三维张量预处理成二维矩阵的设计。它在低分辨率和高分辨率环境中显示了其优势，而在一种流行的模型（Resnet 50），常用于数据中心的性能比较，则优势较小。而在今天，该公司已经赢得的重要大客户以及其商业部署为这次辩论提供了王炸！让我们来仔细研究一下这家公司，他的第一个产品以及一些成功案例。这些案例佐证了异构智能公司芯片的独创性和无与伦比的性能功耗比。更多详情请参阅我接下来的研究报告。 异构智能公司的特别之处？ 作为一名行业分析师，在过去的18个月里，我曾帮助许多投资公司对不同的初创公司进行分析。我特别注意到，这些初创公司中的许多公司都对英伟达和它的值得信赖的GPU不屑一顾。在我看来，这是一种危险的态度，我们不能忽略英伟达强大的生态系统、技术水平以及创新纪录。许多初创公司与英伟达一样瞄准高端人工智能训练市场，但英伟达在这个市场里所占据的霸主地位很难被撼动。英伟达的竞品可能需要比英伟达快10倍，才可能有机会证明它的替代价值让它的用户愿意承担替换的风险。 其他玩家，比如Habana Labs、Thinkci等，则决定优先入局人工智能推理芯片市场。从相机、电视到自动驾驶，人工智能加速器的应用十分广泛，市场也能很客观，但有着很大的性能及功耗限制。异构智能在创始人兼CEO 吴韧博士的领导下，也瞄准人工智能推理市场。吴博士坚信，异构智能公司的高性能、低功耗、低成本的芯片将会打开各种应用市场大门，而避免和英伟达已经牢牢占据的高性能、高价格的市场进行竞争。 异构智能独有的人工智能推理专用架构DSA（Domain SpecificArchitecture即针对应用领域做优化的处理器架构，区别于通用架构）的独特方案赢得了其早期客户的青睐。此专用架构专注在卷积神经网络，从而在人工智能应用最大的基于图像处理的应用市场中，有极强的竞争力。吴博士说道，NovuTensor推理芯片的极端高效来自于独一无二受专利保护的全新计算体系结构，它的特殊性体现在：能够进行真正的原生态三维张量卷积运算——这是人工智能计算的一个最关键的算子。不同于其他构架，NovuTensor在处理时并不需要首先将三维张量展开为二维矩阵，可直接在本地进行三维张量运算。比起目前大部分人工智能芯片公司还在通过牺牲计算精度来提高算力，NovuTensor的这个方向显然更具影响力。它意味着通过更高的并行性来提高性能，减少展开三维张量运算所需要的重复数据操作，节约能耗，并通过一次加载两个张量来增加计算强度。该公司已于去年秋天成功流片拿到28nm的工程样片，据其公司规划显示，该产品计划在更新的制程上进行算力的进一步提升。 图1： NovuTensor能够更为有效的处理深层神经网络，从而降低延迟及成本，目前已获四项美国专利。（图片来自异构智能） 案例 让我特别感兴趣的是，异构智能的部分商业落地非常有意思，其中一些应用场景可能会在未来产生相当巨大的需求。以下是几个例子： 第一个客户案例是新加坡NCS集团，它是电信巨头SingTel（新加坡电信有限公司，是新加坡最大的电信公司）的子公司。NCS希望通过异构智能的技术，建立一个智能监控系统，该系统能够通过智能摄像头进行视频分析，监测特定的人、车、物、异常情况等等。这套智能系统可以将城市中的摄像头从单纯的视频捕获设备，转变为可实时向警方提供预警的端点。在实际应用中，低功耗（3瓦！）低成本和低延迟是关键因素。NCS研发主管Kar Han Tan提到，“我们的应用环境要求在非常低功率的情况下，具有非常高的性能。异构智能的芯片构架很独特，这也使得他们在保持价格具有竞争力的同时，还能够满足我们客户的需求。”目前，异构智能正在进行第一阶段的测试，其技术将应用在约二十万台智能摄像头设备上。 第二个客户案例，是一家大型消费电子公司，该公司正在用异构智能的第一款芯片完成工程样机测试智能超分辨率技术在8K电视上的应用。通过该芯片，可以实现将4K图像放大到一个完整的8K图像，并利用人工智能来填充细节以生成超高质量的图像，同时降低本机8K图像传输的带宽要求。当然，实现这个对功耗是有严格要求的，没有人想要在电视机里放一个冷却风扇。由于在您面前的屏幕可能并不是8K显示设备，因此图2中的图像不能被公正的显示出来。但是，如果你放大它，便可以感受到差别。 […]