华中科技大学VLR组原作解读SeqFormer & IDOL：视频实例分割新SOTA
视频实例分割是一个近几年兴起并逐渐引起广泛关注的领域，它要求算法同时完成视频中的物体的检测、分割、分类、以及跟踪。目前主流的视频实例分割算法可以被分为 Online 和 Offline 两种范式，Online 模型通过逐帧分割并添加后处理进行跟踪，将图像实例分割算法扩展到视频实例分割任务上。Offline 模型通过将整段视频输入以同时获得分割和跟踪的结果。这两种范式各有其特色以及特殊的应用场景。
本次分享中，来自华中科技大学、字节跳动、约翰霍普金斯大学的研究者们提出了分别基于 Offline 和 Online 范式的两个视频实例分割 SOTA 模型：SeqFormer 和IDOL，这两篇工作现在都已经被 ECCV2022 接受为 Oral。在此之前，Online 模型的性能远远落后于 Offline 模型，该工作深入分析了此前 Offline 和 Online 模型性能相差巨大的原因，揭示了视频实例分割任务的关键问题，并且补齐了这个差距，让这两种范式回到相同的起跑线上。此外 IDOL 在第四届大规模视频物体分割挑战赛（ 4th Large-scale Video Object Segmentation Challenge，CVPR2022）的视频实例分割赛道上取得第一名。
分享主题：离线模型 vs 在线模型 | 视频实例分割 SOTA：SeqFormer & IDOL
分享嘉宾：吴俊峰，华中科技大学 VLR 组博士生，指导老师为白翔教授。研究方向为计算机视觉，包括视频实例分割、目标跟踪等。目前以第一作者身份在计算机视觉顶级会议上发表多篇论文，并取得第四届 YouTube-VIS Challenge 的冠军。
分享摘要：
本次分享将首先回顾视频实例分割任务的两种主流范式与代表方法，比较不同范式的主要差异，并介绍提出的 Offline SOTA 模型。之后会深入分析之前 Offline 和Online 模型性能差距的原因，并介绍如何设计 Online 模型来补齐这个差距。
相关链接：
1、SeqFormer: Sequential Transformer for Video Instance Segmentation, ECCV, 2022 (Oral)
论文地址：
https://arxiv.org/abs/2112.08275
项目地址：
https://github.com/wjf5203/SeqFormer
2、In Defense of Online Models for Video Instance Segmentation,?ECCV, 2022 (Oral)
论文地址：
https://arxiv.org/abs/2207.10661?
项目地址：
https://github.com/wjf5203/VNext
关注公众号：拾黑（shiheibook）了解更多
[广告]赞助链接：
四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/
机器之心
关注网络尖刀微信公众号随时掌握互联网精彩
- 1 中国经济向世界提供“机遇清单” 7904589
- 2 再次提醒：中国公民近期避免前往日本 7808892
- 3 狂甩45次 无汞体温计才降到36℃ 7712769
- 4 2025这些“经济”持续成长壮大 7616778
- 5 女生被宿舍孤立关门外一夜？学校回应 7521665
- 6 “无名”男子医院躺7年半 警方介入 7426316
- 7 网警：男子AI生成车展低俗视频被拘 7331343
- 8 北冥有鱼竟然是真的 7238947
- 9 5000万粉丝女网红涉嫌逃税仍直播 7143962
- 10 寒潮来袭！多地气温将创下半年来新低 7044674
