定格动画公司莱卡正在联手英特尔,用AI加速动画制作

百家 作者:大数据文摘 2020-12-24 13:57:44
大数据文摘出品
来源:VB
编译:lin
 
我们都知道,人工智能非常擅长将重复的任务自动化。
 
这项“技能”在动画领域也能大展身手。最近,定格动画工作室莱卡就和英特尔联手开发了一款软件工具,既能节省时间,又能让动画师专注于自己的工作。
 
最近,莱卡正在着手于训练神经网络,以在后期制作过程中检测并帮助纠正木偶脸上的线条和其他瑕疵。 这些缺陷是莱卡塑造角色的方式所固有的,因此必须训练AI以识别出有问题的线,通过称为“rotoscoping”的过程对其进行追踪定位。同时,莱卡希望保留其手工艺术品的特征缺陷,让艺术家掌管一切
 
如果一切按计划进行,莱卡的下一部电影,你就能看到一些成果了。
 
莱卡定格动画工作室以故事片《鬼妈妈》《通灵男孩诺曼》《盒子怪》《魔弦传说》和《遗失的环节》而闻名,它为每部电影捕捉并编辑了数万帧画面。
       
       

传统电影制作技术融合现代科技

  
在定格动画中,目标被拍摄,轻微移动,然后再次拍摄,一遍又一遍。快速翻动多张静止的图像可以产生运动的错觉。这是一种起源于19世纪的技术。
 
我们中的许多人在小学时就被分配了参与定格动画艺术项目。如果我们今天重新审视这些业余爱好者的努力,毫无疑问,我们会注意到一些相当严重的技术缺陷,比如我们用来塑造木偶的粘土上的接缝,以及相机的对齐问题。此外,从散落在房子里的物品中提取的艺术表达是有限的。
 
专业的定格动画师必须克服这些类似的挑战,同时把讲故事和艺术提高到一个新的水平。在最近的一次网络研讨会上,莱卡的视觉效果主管Steve Emerson详细介绍了工作室的劳动密集型流程。
       
定格动画是紧张的工作:莱卡的一名动画师平均每周可以捕捉到3.5到5秒的动作。
 
“我们在莱卡做的就是拿木偶——完全铰接起来的木偶——我们制作微型布景,把这些木偶放入其中,在真实世界的光线下,我们一次捕捉一帧。所以,对于电影的每一帧,我们摆出一个木偶的姿势,进行曝光,以最小的增量移动木偶或在那个环境中的其他东西,然后我们进行另一次曝光。然后,在我们做了24次之后,我们有一个一秒钟的表演。所以,我们一次又一次地反复这样做,直到我们有一个90到95分钟,2小时的电影。”
 
数学几乎是压倒性的。莱卡最近的作品《遗失的环节》总时长93分钟。每秒24帧,这意味着工作室的动画师不得不费力地收集近13.4万帧。根据Emerson的说法,每个动画师每周可以捕捉三到四秒的动画。“这是一个耗时、紧张、疯狂的过程,充满了各种问题。这些问题通常会在后期制作中得到纠正。”
 

创造更迷人的定格动画体验

 
莱卡之所以能取得成功,一定程度上是因为它们突破了观众对定格动画的期待。一方面,它们体现了这种技术发自内心的审美。另一方面,它们超越了木偶的情感调色板。“……我们利用技术做到这一点,”Emerson说。
 
在木偶到达拍摄现场之前,莱卡的面部动画团队使用软件确定一个镜头将会是什么样子,然后提前3D打印面部。对于《遗失的环节》,Laika创造了10.6万张不同的脸,这些脸由重叠的纹理部分组成,比如皮肤、眉毛、牙齿和舌头。每一张脸都从中间分开,让动画师有机会在每一帧的基础上捕捉特征,用更少的面部成分实现更广泛的表情。但这也意味着莱卡电影中的角色都有这种明显的人为痕迹,需要在视觉效果中清理干净
 
Emerson说:“在过去的五部电影中,我们一直在使用rotoscoping旋转描摹技术,这是一种可以用电脑进行的高科技追踪技术。”“你实际上是在绘制线条和形状,告诉计算机我想要以某种方式修复某特定区域。”

       

超过2000个角色的表演需要通过旋转处理和场景移除进行修饰。

 
想象你正在粉刷房间。在开始粉刷墙壁之前,你需要把天花板和地板保护起来。尽管这一步骤会给刷墙过程增加大量的时间,但它对于得到干净的成品是必要的。同样的道理也适用于rotoscoping。随着3D打印技术的发展,莱卡可以创建更多的形状,以实现越来越细微的表演,对它们进行rotoscoping变得更加困难。
 

在不影响艺术效果的前提下,通过AI来进行rotoscoping


莱卡清理木偶脸上线条的决定并非轻率做出的。制作团队知道要去除电影每一帧中的人工缺陷需要大量的工作。但最终,与更真实的角色建立更强烈的情感联系是优先考虑的
 
为了帮助加快对不断增长的脸型库进行rotoscoping处理的过程,该团队开始探索使用Xeon cpu的机器学习解决方案,希望能节省50%的时间。在此过程中,该公司做出了一些与人工智能相关的普遍原则背道而驰的决定。
 
首先,英特尔的应用机器学习小组帮助莱卡弄明白,向其神经网络输入大量关于木偶的一般训练数据,不如为少数角色创建一个工具集那么有益。
 
“事实证明,当你专注于创建rotoshape这个特定的任务,这是一个你想要从脸上的跟踪点遮盖或者跟踪的区域,一个设计良好的5到6帧拍摄数据对于训练系统来说足够了,”生产技术主管Jeff Stringer说。
       
       
莱卡的团队也对调整软件对完美的追求感兴趣。他们想要一种解决方案,可以隔离艺术家想要清理的线条,同时保留人手造成的瑕疵,从而增加真实性。因此,当涉及到机器学习时,该公司希望确保其动画制作人掌握最终话语权。
 
“机器会尝试一下,”Emerson说。“它将为您提供跟踪信息。但是,与此同时,对于艺术家来说,这是一个机会,可以评估已经完成的工作,并拥有可以以他或她需要的任何方式重新来过或进行增补的工具。”
 
莱卡首次进军机器学习领域时走的是Xeon的路线,部分原因是英特尔的处理器已经在为莱卡工作室的工作站和渲染场提供动力。Stringer表示:“如果英特尔的应用机器学习团队要制造一些东西,我们知道他们能够针对那些CPU优化它。”而且因为这个工具集是用oneAPI组件构建的,所以它的代码不需要重写来支持未来的架构。
 

艺术与技术的结合催生了创新路线

 
感谢3D打印以及机器学习的发展,莱卡的艺术家们正在创造更加生动的角色,使其能够更贴近生活,栩栩如生。工作室持续改进百年手艺以实现过去无法想象的说故事手段。那也许就是为什么5部动画片均获得奥斯卡最佳动画片提名的原因。
       
拥有完整角色轮换的未来将使Laika的动画师避免在背景中具有数字角色的场景进行多次曝光,从而可以更有效地工作。
 
未来,Emerson希望将更大的场景和更大的人群融入到莱卡的项目中。但是,再一次,技术上的限制需要克服。“在莱卡之前的定格动画电影中,你永远不会看到这么多人,因为没有能力创造那么多木偶。所以,如果你要创造大量的角色,除非你准备制作1000个木偶放在那里,否则就需要注入一些数字技术。”
 
莱卡已经有使用mattes, alpha通道和rotoscoping增加数字附加的经验。这种组合的效果,包含多次曝光,可以实现在木偶后面增加人群,而这同样是耗时和昂贵的。
 
“如果我们可以做完整的角色旋转描摹,将角色从动画板中分离出来,而不需要在他们后面放上绿色屏幕,这将是令人难以置信的。这样我们就能跳过第二次曝光。这样,定格动画师就不用停下来把绿色屏幕放进去了。他们可以继续推进表演,因为他们所做的很多都是关于节奏的。”
 
技术在莱卡的艺术中起着辅助作用。但很明显,团队希望有新的功能来帮助动画师简化那些重复的、昂贵的任务,这些任务让动画师无法在镜头上捕捉他们的想法。莱卡的最新功能中已经包含了大量的技术。很快,机器学习将有助于加快rotoscoping过程。除此之外,该工作室的技术团队还有许多其他的愿望。幸运的是,使用统一编程模型构建的软件工具可以很容易地支持莱卡加速定格动画未来发展所需的任何硬件。

相关报道:

https://venturebeat.com/2020/12/16/oscar-nominated-studio-laika-leans-on-ai-to-accelerate-stop-motion-animation/


志愿者介绍
后台回复志愿者”加入我们


点「在看」的人都变好看了哦!

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接