酷应用

NIPS 2017 | 机器之心线上分享第三期：深度神经网络 - 随机三元化梯度下降和结构化稀疏

百家作者：机器之心 2017-11-23 05:26:46

11 月初，我们发布了《攻略 | 虽然票早已被抢光，你可以从机器之心关注 NIPS 2017》。在 NIPS 2017 正式开始前，我们将选出数篇优质论文，邀请论文作者来做线上分享，聊聊理论、技术和研究方法。

本周将进行线上分享的第三期，机器之心邀请到了杜克大学博士生温伟给我们介绍杜克大学的一篇NIPS 2017 Oral 论文。

日期：北京时间 11 月 26 日 20:30 至 21:30。

分享者简介：温伟，博士生四年级，现就读于杜克大学，导师为李海教授和陈怡然教授。温伟博士的研究方向主要是分布式机器学习、模型压缩、结构学习和深度神经网络理解。个人主页：www.pittnuts.com。

演讲主题：深度神经网络 - 随机三元化梯度下降和结构化稀疏

演讲摘要

1.TernGrad - 一种把梯度三元量化到{-1,0,+1}，以改善分布式深度学习的通信瓶颈，从而提高训练速度的方法；

TernGrad[1]是一种梯度量化方法，将浮点梯度随机量化到{-1,0,+1}，在保证识别率的情况下，大大降低梯度通信量。TernGrad文章是NIPS 2017 Deep Learning track里的4篇orals之一；

2.SSL - 基于结构化稀疏的深度神经网络加速方法。

本次分享的第二个主题是SSL[2]。相对于连接剪枝(ConnectionPruning)，SSL可以直接控制稀疏模式，避免稀疏权重随机分布导致的计算效率低的问题。SSL是一个通用方法：在CNNs中，SSL可以去掉filters，channels，neurons，ResNets里的layers，学到非矩形的filter形状，以及去掉权重矩阵里面的行和列。文章发表在NIPS 2016，并与微软研究院-雷德蒙德合作，扩展到LSTMs并提交在某会议[3]。在LSTMs中，该方法可以有效地去掉hidden states，cells，gates和outputs，从而直接学到一个hidden size更小的LSTMs并不改变LSTMs内部固有的结构。

所有代码均已开源[4][5][6]。

[1] Wei Wen, Cong Xu, Feng Yan,Chunpeng Wu, Yandan Wang, Yiran Chen, Hai Li, TernGrad: Ternary Gradients toReduce Communication in Distributed Deep Learning, NIPS 2017

[2] Wei Wen, Chunpeng Wu, YandanWang, Yiran Chen, Hai Li, Learning Structured Sparsity in Deep Neural Networks,NIPS 2016

[3] Wei Wen, Yuxiong He, SamyamRajbhandari, Wenhan Wang, Fang Liu, Bin Hu, Yiran Chen, Hai Li, LearningIntrinsic Sparse Structures within Long Short-Term Memory, arxiv preprint

[4] https://github.com/wenwei202/terngrad

[5] https://github.com/wenwei202/caffe

[6] https://github.com/wenwei202/iss-rnns

参与方式

线上分享将在「NIPS 2017 机器之心官方学霸群」中进行。加群方式：长按扫描下方二维码，添加「机器之心小助手Ⅱ」，备注暗号：147，由小助手拉大家入群。