真假费德勒大战!斯坦福出品AI模型一键生成温网决赛

百家 作者:新智元 2020-08-24 13:11:04



  新智元报道  

来源:arxiv

编辑:梦佳

【新智元导读】2020 澳网男单半决赛,费德勒0-3输给了小德。如果费德勒死忠粉对结局很不满的话,AI这回可以帮你实现了,斯坦福特别出品Vid2Player带你重新领略不一样的天王之战。 
 
在2020年的澳网男单半决赛上,费德勒惜败小德。
 
如果作为费德勒死忠粉对结局很不满的话 ,要不要试试这些用AI生成的网球比赛画面,既令人毛骨悚然又令人印象深刻。
 
受新冠疫情的影响,今年没有温网了。但是疫情不能阻止斯坦福大学的一个研究小组,用AI来重现这项大型赛事。
              

AI学到了小德的击球习惯和神级走位

斯坦福的研究人员使用带有标注的镜头数据库来训练AI,网球赛事的周期性帮助他们建立了一个统计模型,来预测像德约科维奇和费德勒这样的明星在特定情况下的表现。

 
这个镜头美中不足是看着有点儿失真,地上没有球员的影子,球迷和裁判一动不动。还有就是球和球员没有阴影,看起来他们就像是PS到场地表面的。
 
      AI合成的费德勒和德约大战(左侧有标注的数据集)
 
而现实中,费天王和小德的比赛,截至到今年年初的澳网,共有50次费德决,小德共赢了27次。
              

模型考虑常见的网球策略和每个运动员的倾向,通过「多回合」训练,它知道了德约科维奇喜欢把球击向对手的弱侧,也了解了每个球员在等待对手回球时倾向于如何走位。
               

几千个回合发现:费德勒比纳达尔更喜欢底线

数据集中包含了每个球员的几千次击打瞬间。研究人员用这些比赛视频构建了球员的行为模型,并将这些行为输入一个基于图像的系统,最后,系统就能生成网球运动员比赛的2D模拟视频。

              
给定带标注的击球周期和两个球员的行为模型的数据库,系统将会合成一个新的视频,如右边的伪代码所示。
          
该算法首先选择发球片段为起始点,然后,主循环的每次迭代对应于两个玩家之一的新击球周期的开始,例如第一次迭代对应于回球者第一个击球周期的开始。
 
在每次迭代中,系统都会根据玩家传入的球(击球位置,回球位置等),调用球员的行为模型为球员生成行为目标。然后,系统对符合行为目标的击球周期进行剪辑并搜索数据库。最后,系统将所选剪辑的视频画面合成到虚拟环境中,渲染一直进行到球接触地面。
 
在循环的每次迭代中,系统还会判断该点是否应该结束,比如玩家的击球是错误的,或者是对手无法达到的。尽管未在伪代码中显示,该算法也可以直接从交互式用户输入中接收玩家的行为。
             
在AI模型中,费德勒比纳达尔更接近底线,其实就反映了他们在现实生活中是如何比赛的。这也是和其他之前的网球比赛系统的不同之处。
        
行为模型预测下纳达尔(a)、德约科维奇(b)和费德勒(c)的击打策略(蓝色区域为球员的站位,红色区域为对手的站位,黄色虚线为预测的击打路线)
 


脑洞场景来了:费德勒和小威比赛会怎么样?

 这些功能允许系统创建无穷无尽的比赛场景。

 
比如费德勒自己打自己的水仙画面,真假美猴王?
    
     
也许很多人都畅想过小威廉姆斯和费天王同场竞技,这下终于满足了!
     
     
这个AI系统甚至可以推断出,球落在不同的位置,可能会引发出多少种不同的比赛结果。更重要的是,该系统允许你控制每一个网球选手的落球位置和回球位置,所以很有可能未来会有游戏工作室把这个AI系统改成网球游戏。
 
     
当然,这个网球对战系统并不完美。虽然研究人员竭尽全力隐藏那些分散注意力的效果,比如改变灯光效果和玩家的服装,但有时候这些剪辑看起来更像是直接从90年代的 FMV 游戏中直接照搬下来的。
 
觉得失真?感受一下之前版本系统的模拟效果。确实是浓浓的90年代画风。
       
    
有了模拟温网,是不是以后还会有模拟欧洲杯、世界杯、奥运会了?


参考链接:
https://www.engadget.com/stanford-university-tennis-vid2player-ai-193041240.html
https://arxiv.org/abs/2008.04524

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接