20+移动端硬件,Int8极速推理,端侧推理引擎Paddle Lite 2.0 正式发布
今年 8 月,飞桨(PaddlePaddle)对外发布面向终端和边缘设备的端侧推理引擎 Paddle Lite Beta 版。
经过近两个多月的迭代和发展,2019 Wave Summit+ 深度学习开发者峰会上 Paddle Lite 2.0 正式版发布。
Paddle Lite 致力于提供一套功能完整、易用、高性能的端侧推理引擎,方便广大开发者将应用部署到任何端侧设备之上。
对比最初的 beta 版本,正式版在编译、文档、性能、硬件支持、平台支持等方面都有了较大的改进提升。
而飞桨团队也透露,将在今年内继续推进若干小版本的升级,并期待和欢迎开发者加入社区并给出反馈。
图 1:典型端侧 AI 应用部署场景
图 2:Paddle Lite 功能定位
Paddle Lite 自 Beta 版发布以来,在如下核心功能上进行升级:
多框架支持:原生支持 PaddlePaddle 的模型,同时通过 X2Paddle 工具,提供对 TensorFlow,PyTorch 和 ONNX 模型格式的更充分的支持。
多硬件支持:除了 ARM CPU、移动端 GPU、华为 NPU,新增支持 Nvidia GPU 和 X86 CPU。
更好的性能:更新 benchmark,提升了在 ARM CPU 上尤其是 int8 的性能。
更加完备的功能:支持 python API,优化编译流程,新增预测库极致裁剪等功能。
更加完善的文档和 demo:提供完善的文档和多平台的 demo,包括安卓、iOS 和树莓派等。
多框架支持
官方已经验证如下主流模型的适配情况:
transformer
facebox
blazeface
shufflenetv2
mobilenet-ssd
vgg16
googlenet
mobilenetv1
mobilenetv2
Resnet50
多硬件支持
Yolov3
Alexnet
Unet
更好的性能
ARM CPU (v7,v8) 上 float32 和 int8 两种计算模式的预测性能均得到提升(见图 3,图 4),详情可以参考最新的 Benchmark,链接如下:
更加完备的功能
①支持 python API
②优化编译流程
tiny_publish:用于对部署体积有严格要求的平台,对应 MobileConfig 预测接口。
full_publish:用于对部署体积无要求的平台,使用简便,对应 CxxConfig 预测接口。
android ARM CPU, GPU
iOS
X86
NV GPU/CUDA
Huawei NPU
ARM Linux
③预测库极致裁剪
Paddle Lite 对现有移动端预测库进行了进一步压缩,ARM V8 so 从 1.4M 降到 1.3M;此外,还发布了根据单个模型做定制裁剪的功能,即生成一个只包含该模型必需算子的预测库,效果如下图所示:
更加完善的文档和 DEMO
增加支持硬件的列表,参考:
https://paddlepaddle.github.io/Paddle-Lite/v2.0.0/support_hardware/ 增加根据模型裁剪算子的方法,参考:
https://paddlepaddle.github.io/Paddle-Lite/v2.0.0/library_tailoring/
更新最新 Benchmark,参考:
https://paddlepaddle.github.io/Paddle-Lite/v2.0.0/benchmark/
为了实际地展示 Paddle Lite 的部署能力,Paddle Lite 增加了 Paddle-Lite-Demo:
https://github.com/PaddlePaddle/Paddle-Lite-Demo
Android ARM CPU
Android Huawei NPU
iOS ARM CPU
ARM Linux 树莓派
以 ARM Linux 树莓派为例,Paddle Lite 驱动树莓派 3B 调用摄像头进行识别任务,整体效果如图 6 所示:
详情请参考树莓派摄像头的购买、安装、配置与验证,以树莓派 3B 为例:
https://github.com/PaddlePaddle/Paddle-Lite-Demo/blob/master/PaddleLite-armlinux-demo/enable-camera-on-raspberry-pi.md
Paddle Lite 的 Github 链接:
https://github.com/PaddlePaddle/Paddle-Lite
Paddle Lite 的文档链接:
https://paddlepaddle.github.io/Paddle-Lite/
Paddle Lite Demo 的链接:
https://github.com/PaddlePaddle/Paddle-Lite-Demo
PaddlePaddle 的 Github 链接:
https://github.com/paddlepaddle
如果使用过程中遇到任何问题,大家可通过 Paddle Lite 官方 QQ 群与开发人员进行技术交流及问题反馈,飞桨 Paddle Lite 官方 QQ 群(群号696965088)。
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/