Transformer变体为何无法应用于多种任务?谷歌:这些架构更改不能有效迁移
来自 Google Research 的研究人员探索了多个 transformer 变体,发现它们无法在多个实现和应用中实现很好地迁移,大多数架构更改无法有效提升性能。
透明注意力:沿着编码器路径创建加权残差连接,以加速梯度流;
进化 Transformer:通过基于进化的架构搜索来设计模型,其中初始群体的种子是原版 transformer;
合成器变体:用「合成注意力」替代自注意力;
漏斗 Transformer:渐进式地减少序列长度,以高效编码输入序列;
稀疏专家 Transformer:用稀疏激活专家层替代前馈网络;
通用 Transformer:对输入序列重复应用相同的 transformer「模块」。
建新·见智 —— 2021亚马逊云科技 AI 在线大会
4月22日 14:00 - 18:00
识别二维码或点击阅读原文,免费报名看直播。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
关注网络尖刀微信公众号
随时掌握互联网精彩
随时掌握互联网精彩
赞助链接
排名
热点
搜索指数
- 1 习近平在重庆考察调研 4924597
- 2 开鲁县:禁止任何人阻止农机下地 4964844
- 3 深圳龙华城管回应“暴雨天浇花” 4857082
- 4 一季度中国经济稳中有进 4740204
- 5 大熊猫扑倒保育员 动物园报平安 4668073
- 6 女子吐槽天然气费突增 老公被约谈 4568793
- 7 俄副防长伊万诺夫涉嫌受贿被拘捕 4420492
- 8 周琦被驱逐 4389496
- 9 广东辟谣绥江河原水水源不足 4290779
- 10 美国要制裁中国金融机构?中方回应 4195670