酷应用

业界 | AIIA DNN benchmark「从芯」测试

百家作者：机器之心 2018-10-20 06:49:09

机器之心发布

机器之心编辑部

AI 进入爆发期后，芯片对技术进步的影响愈发凸显。深度学习对计算芯片提出了新需求，催生了 AI 加速芯片的问世。当 AI 芯片的功能日益复杂化、多样化，一方面，芯片厂商纷纷给出不同的衡量标准，声称其产品在计算性能、单位能耗算力等方面处于行业领先水平；另一方面，需求方却关心如何能从厂商给出的信息中判断出芯片是否能实际满足其真实场景的计算需求。针对这一现状，一个与真实场景紧密相连的、同时跨产品可比的测试评估方案的出现，迫在眉睫。

如何构建与真实场景紧密相连的、面向不同产品形态、设备级别的 AI 加速器测试评估方案？2018 AIIA 人工智能开发者大会揭晓了答案。会上，《AIIA DNN benchmark——人工智能端侧芯片基准测试评估方案 V0.5 版本》由中国信息通信研究院云大所人工智能部副主任、中国人工智能产业发展联盟（AIIA）总体组组长孙明俊代表中国人工智能产业发展联盟发布。

中国信息通信研究院云大所人工智能部副主任、中国人工智能产业发展联盟总体组组长孙明俊

AIIA DNN benchmark 的工作目标为客观反映当前以提升深度学习处理能力的 AI 加速器现状，所有指标均旨在提供客观比对维度。AIIA 希望，该方案能够为芯片企业提供第三方评测结果，帮助产品市场宣传；同时为应用企业提供选型参考，帮助产品找到合适其应用场景的芯片。V0.5 版本首先给出了端侧评估方案。

根据孙明俊介绍，AI 基准测试方案的制定面临诸多挑战。即便抛开优化程度、硬件架构等若干问题不谈，延迟、带宽、能耗都要纳入考虑范围。同时，各种神经网络模型都有不同参数，不同设备在不同参数下有不同的输出曲线。如何让指标在不同级别的设备中横向可比？而云端和终端的应用是否需要不同的基准测试？如何为不同测试项目分配权重，以获得一个相对公正客观、有代表性的评分？这些都是应用领域的差异性和实现选择的多样性导致的测评难题。

针对以上特点，AIIA 联合 Arm 中国、阿里巴巴集团、百度、寒武纪科技、ChipIntelli、地平线、华为、华大半导体、Imagination、Synopsys，腾讯、云之声等 12 家企业，推出了 AIIA DNN benchmark——人工智能端侧芯片基准测试评估方案。

AIIA DNN benchmark 将以「版本迭代、不断丰富、不断完善」的工作方式，为更多评测应用场景、评测指标等提供评估方案，最新公布的 v0.5 版本提供了「通用芯片 AI 能力评估」和「定制化芯片的 AI 能力评估」2 种方案评测方案。方案覆盖了时间、性能评价指标以及功耗 3 类测评指标和图片分类、目标检测、语音识别、超分辨率 4 大应用场景。其中通用芯片的 AI 能力评估限定在指定场景、数据集、网络模型、框架下，而定制化芯片的 AI 能力评估将更加关注 AI 芯片对于特殊场景的优化能力，如安防、自动驾驶、智能音箱等。针对每一个具体变量，方案都提供了 check list 选项，供被测方选择。

目前 AIIA DNN benchmark 芯片基准测试评估方案是初级版本，预计会在 10 月底到 11 月初面向企业征集首轮评估对象及方案，首轮测试对象主要为端侧设备。AIIA DNN benchmark 将会从场景、指标、部署位置等角度不断做版本更新，诚邀企业参与。

可以预见，AIIA DNN benchmark 的发布，能够促进芯片供给侧与需求侧的交流，让需求方的意见能够更快传达到芯片企业，让企业进行有针对性的改良，加快行业迭代速度，推动 AI 产业的快速进步。