系统调研160篇文献,领域泛化首篇综述问世,已被IJCAI 2021接收
在这篇文章中,中国科学院大学计算机应用技术博士、微软亚洲研究院研究员王晋东介绍了 DG(领域泛化)领域的第一篇综述论文。
文章链接:https://arxiv.org/abs/2103.03097
PDF:https://arxiv.org/pdf/2103.03097
作者单位:微软亚洲研究院、中央财经大学
数据操作,指的是通过对数据的增强和变化使训练数据得到增强。这一类包括数据增强和数据生成两大部分。
表征学习,指的是学习领域不变特征 (Domain-invariant representation learning) 以使得模型对不同领域都能进行很好地适配。领域不变特征学习方面主要包括四大部分:核方法、显式特征对齐、领域对抗训练、以及不变风险最小化(Invariant Risk Minimiation, IRM)。特征解耦与领域不变特征学习的目标一致、但学习方法不一致,我们将其单独作为一大类进行介绍。
学习策略,指的是将机器学习中成熟的学习模式引入多领域训练中使得模型泛化性更强。这一部分主要包括基于集成学习和元学习的方法。同时,我们还会介绍其他方法,例如自监督方法在领域泛化中的应用。
连续领域泛化:一个系统应具有连续进行泛化和适配的能力,目前只是离线状态的一次应用。
新类别的领域泛化:目前我们假定所有的领域具有相同的类别,未来需要扩展到不同类别中、乃至新类别中。
可解释的领域泛化:尽管基于解耦的方法在可解释性上取得了进步,但是,其他大类的方法的可解释性仍然不强。未来需要对它们的可解释性进行进一步研究。
大规模预训练与领域泛化:众所周知,大规模预训练(如 BERT)已成为主流,那么在不同问题的在规模预训练中,我们如何利用 DG 方法来进一步提高这些预训练模型的泛化能力?
领域泛化的评价:尽管有工作在经验上说明已有的领域泛化方法的效果并没有大大领先于经验风险最小化,但其只是基于最简单的分类任务。我们认为 DG 需要在特定的评测,例如行人再识别中才能最大限度地发挥其作用。未来,我们需要找到更适合 DG 问题的应用场景。
亚马逊云科技线上黑客松2021
识别二维码,立即报名参赛。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
随时掌握互联网精彩
- 1 构建新时代中塞命运共同体 4989615
- 2 《庆余年2》官宣定档 4963530
- 3 老外被中国人的约饭节奏震惊了 4876974
- 4 “铁杆”塞尔维亚是个怎样的国家? 4734400
- 5 宁夏发生交通事故致9死2伤 4651878
- 6 假日经济谋得发展增量 4590295
- 7 灵隐寺的七叶古树开花了 4469183
- 8 不是请不起 而是周口杰伦更有性价比 4313705
- 9 清华大学校庆不见国旗系谣言 4227936
- 10 男子离婚要求分割女方父母所赠房产 4192095