资源 | 多伦多大学“神经网络与机器学习导论”2017年课程表

百家 作者:AI100 2017-07-03 14:32:03



翻译 | AI科技大本营(rgznai100)


Hinton大神独步天下的人工智能课程——多伦多大学“神经网络与机器学习导论”,2017年课程表上线了。


你可能没学过这门课,但了解机器学习的你一定有听过这门课的大名。今年冬季学期,这门课将交由多伦多大学助理教授Roger Grosse主讲。


如果你还不知道这位教授,请一定要了解一下他在Google Brain实习的本科学生Aidan Gomez,AI100对此做过专门报道:牛!他本科没毕业就进入Google Brain,还发表了最火的深度学习顶级论文... 你呢?


闲话少说,我们直接来看 CSC321 "Intro to Neural Networks and Machine Learning" 的课程表:


http://www.cs.toronto.edu/~rgrosse/courses/csc321_2017/


第1课:导论

  • 什么是机器学习,什么是神经网络,它们能够做什么?

  • 监督式学习、非监督式学习、以及强化学习呢?

  • 本课程的组织安排。


第2课:线性回归

  • 线性回归,一种监督式学习模型,通过它你可以预测得到一个目标值。

  • 以最优化问题的形式呈现它,并且通过直接求解方程或者梯度下降算法进行求解。

  • 向量。特征映射和多项式回归。泛化:过拟合、欠拟合、验证。


第3课:线性分类

  • 二元线性分类。线性分类器可视化。感知器算法。线性分类器的局限性。


第4课:分类器学习

  • 二元分类器损失函数比较。

  • 交叉熵损失、Logistic激活函数、Logistic回归。

  • Hinge 损失。多向分类。凸损失函数。梯度检验。


第5课:多层感知机

  • 多层感知机。激活函数比较。

  • 把深度神经网络视为函数和特征学习。

  • 线性神经网络的局限性和非线性网络的普适性。


第6课:反向传播算法

  • 反向传播算法,一种用于计算梯度的方式,在整个课程中我们都会用到它。


第7课:优化

  • 如何使用反向传播算法得到的梯度。

  • 损失函数特征:局部最优解,鞍点,平顶,低谷。

  • 随机梯度下降算法和momentum算法。


第8课:自动微分法

  • 由助理教授David Duvenaud授课


第9课:泛化

  • 偏差/方差分解,数据增强,限制模型复杂度,提起结束,权重衰减,集成算法,随机正则化,超参数优化。


第10课:分布式表征

  • 语言模型,n-gram模型,神经网络语言模型(一种分布式表征),skip-grams (另一种分布式表征) 


第11课:卷积神经网络

  • 卷积操作。卷积层和池化层。等变异数和不变性。

  • 卷积神经网络的反向传播算法规则。


第12课:图像分类

  • 卷积神经网络架构在手写数字和物体分类方面的应用。

  • 卷积神经网络大小的测量。


第13课:玩转卷积网络

  • 卷积神经网络可视化:导向型反向传播算法,输入数据梯度下降。

  • Deep Dream。神经网络风格迁移。


第14课:递归神经网络

  • 递归神经网络。时间轴上的反向传播。

  • 递归神经网络在语言模型和机器翻译中的应用。


第15课:梯度爆炸和消失

  • 为什么递归神经网络梯度会爆炸或者消失,从两个角度进行分析:第一,反向传播机制;第二,递归神经网络计算的函数。

  • 对应的措施:梯度裁剪、输入反转、LSTM


第16课:ResNet与Attention

  • 深度残差网络。

  • 基于Attention模型在机器翻译和字幕生成方面的应用。

  • 神经网络图灵机。


第17课:学习概率模型

  • 最大似然估计。贝叶斯参数估计基础和最大化后验估计。


第18课:混合模型

  • K-means。混合模型:后验推断和参数学习


第19课:玻尔兹曼机

  • 玻尔兹曼机:定义;边缘和条件概率;参数学习。受限玻尔兹曼机。


第20课:自编码机

  • 主成分分析;自编码机;逐层训练;将自编码机应用于文件和图像的获取


第21课:贝叶斯超参数优化

  • 贝叶斯线性回归;贝叶斯优化


第22课:对抗学习

  • 对抗学习案例;生成式对抗网络(GANs)


第23课:围棋

  • “AlphaGo人机对战”


怎么样,看到最后一节AlphaGo有没有眼前一亮的感觉?这就是紧跟技术发展的国外课程,跟国内不一样的地方。


当然,如果你还是怀念Hinton大神的亲自讲授,你总是可以找到他的Coursera页面:https://www.coursera.org/learn/neural-networks




【好课推荐】TensorFlow实战进阶:手把手教你做图像识别应用》直播课即将来袭!课程重视实践,以百万级用户APP开发团队的经验为基础,包含大量实战中总结的经验和技巧,在大咖讲师开导下,实现短时间内做出自己的图像识别作品并上线提供演示和服务。识别图中二维码报名。


7月3日-7月5日 早鸟价299元,7月6日恢复原价,超低价不要错过。


就差你还没关注这个号了

▼▼▼


点击下方“阅读原文”查看更多内容

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接