端侧AI：从探索尝试到逐步展开 | GMTC

AI 在智能?机和智能设备中应?越来越广泛，?如短视频 App 中的 AR 特效、?脸?禁等。随着端上算?不断增强和算法快速发展，特别是模型压缩技术和?模型算法设计不断成熟，在端侧运?算法模型成为可能。端侧 AI 简单说就是在终端设备做机器学习算法应?，这?“终端设备”主要是指?机，当然也包括不断出现的各种智能设备和 IoT 设备。?前，端侧 AI 主要是推理运?，当然也慢慢出现了在终端设备做训练，?如联合学习、迁移学习等。相较于云侧 AI，端侧 AI 具有低延时、兼顾数据隐私、节省云端计算资源，以及不依赖?络提供稳定服务等显著优势。

自 2017 年以来，端侧 AI 在底层技术和业务应?等??都取得了快速发展，逐渐从尝试性应?变成驱动业务创新的核?推动?之?。基于端侧 AI 的?脸检测、?体姿态、?势等算法补?了 AR 特效中的交互能?，从?可以实现各种有趣好玩的 AR 应?，且在短视频 App 中?泛应?。基于端侧 AI 的实时?户感知和理解能?，对于搜索推荐、安全?控、系统优化等业务都有帮助。在智能硬件 IoT 领域、?脸考勤机、 智能?禁锁，以及?载 ADAS 等应?也都跟端侧 AI 相关。

从技术发展来看：

• 端侧推理引擎逐步成熟，基本解决了算法模型在端侧能不能跑的问题，?且国内框架相?国外具有普遍的优势。国内开源的 NCNN、MNN、MACE 以及 Paddle-Lite 等经过不断打磨优化已经做的?常不错。国外 TFLite 和 Pytorch 也开始重视端侧推理，重点投?，性能等提升明显。

• 除推理引擎之外，端侧 AI 应?和部署仍存在较??槛，?业公司逐步有?些尝试。?如，阿?淘系在 2020 年 3 ?开放 MNNKit，包含?脸检测、?势识别等算法能?。百度和??也有计划开源多种算法模型，?如，百度最近开源的含?罩?脸检测及分类模型。另外，华为通过?站式开发平台 ModelArts 希望实现端、边、云全场景的 AI 部署。

总的来说，虽然端侧 AI ?前仍处于发展初期，但是相关应?已经展示出其巨?潜?，希望更多?能够了解和应?这项技术。这也是我们本次?会端侧 AI 专题的价值，通过介绍端侧 AI 最新技术进展和?业案例，给??开发人员提供参考，从?使他们能结合??业务场景进?探索和尝试，获得业务突破。

最早从 2016 年开始公司内部就有业务尝试端侧 AI 能?，并在 2017 年开始有计划的建设和探索端侧 AI ?向，包括我??和所在的 MNN 团队，也是从那个时候开始尝试端侧 AI ，经过这?年的发展，端侧 AI 已经成为移动 App 的基础能?，助?业务发展和创新突破，并且也取得了不错的业务结果。

?前，公司?绝?多数移动 App 都有使?端侧 AI，2019 年初统计使? MNN 的 App 就超过 20 个。以?淘为例分享?个数据：10 多个场景应?，超过 25 个模型运?，每天运?机器学习和深度学习算法次数超过 500 亿次。

应?场景

• ?淘信息流推荐

基于端侧 AI 技术可以实现更加实时的?户意图识别，做出更加精准的内容推荐，甚?在端上训练实现“千?千模”，有效提升了原有个性化推荐技术，该技术已在 2019 年双 11 中?规模应?并取得不错业务结果。对信息流的点击量和 GMV 都带来了明显提升。

• ?淘美妆 AR

基于端侧 AI 的?脸检测能?结合 AR 应?可以给消费者更加真实的购物体验。2019 年双 11 美妆?业推出的 AR 在线试妆功能，能够让?户模拟上妆，有效提升了线上购物体验。除此之外，?付宝扫福、?淘拍?淘、智能 Push 以及闲?智能发布等都是端侧 AI 的典型应?。

技术建设

总体来说，因为我们起步早，体系也相对完整，技术结果显著。基本已经解决算法模型在端侧能不能跑以及跑得好、跑得快等问题，现在我们正在解决规模化应?和业务创新快速验证的问题。具体从如下???简单来说：

• 端侧推理引擎

我们有开源推理引擎 ?MNN，以及?付宝定制化引擎 xNN，在性能优化、 异构多机型适配，模型压缩等??有?较多积累，?前也已具备训练能?并?撑业务端上训练任务。

• 端 AI 算法能?

公司各算法团队已经沉淀?脸检测、?势识别、?体?骼、OCR 等常?能?，并且构建统?开箱即?算法集?撑业务快速接?应?。

• 端 AI?作台和研发体系

淘系技术团队正在探索和建设?站式端侧 AI ?作平台"MNN?作台"，降低端侧 AI 应??槛，实现业务快速创新试错。

端侧 AI 的应?会向更?范围、更多领域铺开并切实给业务带来价值。从?公司尝鲜到普通公司逐步推开，它会真正成为?项基础能?；从视觉算法到?数据、?然语?处理、语?等更多算法领域的应用，例如：?歌发布的 ALBERT 在移动端部署应?已经成为可能；从智能硬件到 IoT 设备，近来 TinyML 技术也在不断成熟，正在成为新的蓝海，具体可以参? TinyML2020 有关内容。

端侧 AI 相?云侧 AI ?站式机器学习平台整体技术体系还不够完善，针对?专业算法同学如何能够?主解决数据和算法问题产出模型，针对?前端和算法同学如何提?协同效率等些问题的解决势必会进?步推动整个端侧 AI 的发展。淘系内部基于 MNN 正在构建端侧 AI 的完整研发体系，包括端 AI 运?时 +?作台 + 服务端，后续也会逐步向业界开放，?起让端侧 AI 获得更?发展。

5G 技术已经到来，我觉得 5G 技术的发展也会促进端侧 AI 的发展。举例来说，5G 来了，?视频数据会进?步膨胀，当?络不是瓶颈，服务端算?就会成为瓶颈，那么本地的视频内容理解、预处理就显得尤为重要，更实时、更低成本的?案肯定会被应?，业界有些公司已经开始?动。结合 AR 来说，端侧 AI 补充了 AR 的交互能?，5G 补充了 AR ?络传输能?，让?质量的 AR 素材传输变成可能。那么，结合 5G + 端侧 AI + AR 技术可能会出现?些有意思的应?。

总的来说，端侧 AI 经过?年发展，虽然在技术建设和业务应?都有了?些进展，但仍处于?规模应?爆发前夜。随着算?和算法不断进步，应??槛的不断降低，结合 AR、视频、5G 以及 IoT 等技术，端侧 AI 必将迎来更?的发展。

吕承飞，花名吕行，阿里巴巴资深无线开发专家。2013 年加入淘宝，经历手机淘宝超级 App 技术演化完整过程，主导手淘 iOS 架构升级、架构治理、稳定性以及性能等相关工作。2017 年开始端侧 AI 方向探索，现负责端智能团队，构建开源端侧推理引擎 MNN，淘宝 AR 技术框架和美妆 AR 等创新应用，端计算技术框架和搜索推荐等创新应用。