距离高效的深度学习推断模型,你只差这临门一脚

百家 作者:InfoQ 2019-01-02 08:54:45
你还在为硬件功耗过高导致单次计算推断的成本升高而苦恼吗?你还在为特定应用场景下响应时间过长而导致用户体验下降而感到无力吗?你还在为优化 AI 架构的底层代码而感到无从下手吗?如何优化现有的 AI 框架?在机能有限的情况下,如何最大限度地利用 GPU 的效能?  

随着深度学习技术的发展,目前已经广泛应用于计算机视觉、语音识别、记忆网络等领域,深度学习技术,似乎已经成为了每一家科技公司的“标配”。现在市面上的深度学习框架有很多,比如 TensorFlow、Torch、Caffe 等等。但是在使用上述这些框架的日常研发过程中,你是否也有遇到过“硬件功耗过高导致单次计算推断的成本升高、在特定的应用场景下响应时间过长而导致用户体验下降”的问题?

面对这些问题,一般有两种解决办法。一种是查看底层架构算法逻辑,对底层代码进行层层测试来找出其中“拖油瓶”的部分,通过手动优化算法来提升性能;另一种就是使用工具,来对 AI 架构底层的代码进行优化、合并,以保证效率的提升。

NVIDIA TensorRT™是一款高性能深度学习推理优化器和运行时加速库,网上有这样一句话来形容 TensorRT:天下没有免费的午餐,如果有,那就是 TensorRT”。

如果是说你想全方位提升深度学习架构的运算效率,NVIDIA TensorRT 就是你的不二选择。

AI 前线联手 NVIDIA 开发者社区,在 2019 年开年之际,为各位带来一场“TensorRT”的在线学习课程。“TensorRT 是如何加速计算推断进程的?对深度学习和模型训练会有哪些帮助?TensorRT 的开发环境如何配置?”等等,你的这些疑问,在这次公开课上将会统统找到答案。

课程时间 & 形式

2019 年 1 月 10 日 (周四)晚 19:30-21:30

warm up:19:30pm-20:00pm

talk live:  20:00pm-21:00pm

Q&A:      21:00pm-21:30pm

本次课程将全程在线直播,通过「阅读原文」即可免费报名,后续获取相应课程链接。

课程大纲

本次课程将会系统介绍 TensorRT 的原理与开发配置,帮助你更好上手及应用 TensorRT,从而进一步优化计算推算成本,优化现有 AI 架构,课程大纲包括:

1. TensorRT 性能特点包括哪些?能帮助你解决架构优化和性能优化层的哪些问题?

2. TensorRT 优化原理是怎样的?

3. TensorRT 的 FP16 和 INT8 的推理过程

4.  叫你快速上手 TensorRT, 并详细了解其开发环境配置过程

备注:NVIDIA TensorRT™是一种高性能深度学习推理优化器和运行时加速库,可为深度学习推理应用程序提供低延迟和高吞吐量。使用 TensorRT 可优化神经网络模型,以高精度校准低精度,最后将模型部署到超大规模数据中心、嵌入式或汽车产品平台。

如何报名

点击下方阅读原文即可报名参加,会务组将在报名成功后给您发送开课提醒和直播链接。

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接