运动捕捉 (mocap) 如何成为好莱坞首选的视觉特效角色技术

Wētā FX 视觉特效总监 Erik Winquist 以 2024 年的电影《猩球崛起:新世界》为例,解释了运动捕捉 (mocap) 如何将视觉特效的真实感提升到新的水平。


图片 © 2024 20th Century Studio,由 Wētā FX 提供。

Drew Turney

2024 年 8 月 21 日

min read
  • 表演捕捉和运动捕捉都是数字过程的名称,用于记录穿着带标记的特殊服装的演员的动作或面部表情。

  • 《指环王》《猩球崛起》《阿凡达》等系列大片中,视觉特效公司 Wētā FX 将表演捕捉方法的真实感提升到新的水平。

  • 表演捕捉是现代视觉特效中数据最密集的领域之一,因此非常适合机器学习,这将有助于动画师迎合现代电影制作的需求。

 

《指环王:双塔奇兵》中,Gollum 这个角色是基于演员 Andy Serkis 的表演完成的纯数字化创作。最初 Serkis 只是被选中为 Gollum 配音,但当他工作时,导演 Peter Jackson 意识到他的动作能完美地转换到银幕上。这个过程被称为运动捕捉 (mocap) 或表演捕捉,它并不是由导演 Jackson 发明的。它的早期版本是转描,早在 1937 年迪士尼出品的《白雪公主》中就已大量使用。

《双塔奇兵》中,与在《白雪公主》中一样,动画师参考了表演镜头,以匹配 Serkis 在实拍镜头中的时间和动作。20 年前,Jackson 的《指环王》三部曲和《金刚》达到了新的真实感和细节水平,并凭借《双塔奇兵》《王者归来》赢得了奥斯卡最佳视觉特效奖

Wētā FX 的视觉特效主管 Erik Winquist 表示,从那时起,表演捕捉技术的基本要素就没有改变,该公司在上述电影以及《阿凡达》《猩球崛起》系列等影片中推动了表演捕捉的发展。“从根本上说,我们仍然需要有才华的人类演员,在他们身上做某种标记,将他们放在舞台上,并记录他们在做什么,”Winquist 说。

全新改进的猩猩

借助最新的运动捕捉技术,Wētā FX 工作人员可以在日光甚至恶劣的环境条件下捕捉在户外拍摄的表演。图片 © 迪士尼。

视觉特效美工人员表示,他们最好的作品是看不见的。真实感的门槛很高,哪怕视觉特效只是稍微偏离一点,观众也是不会接受的。对于今年的《猩球崛起:新世界》来说,表演捕捉非常完美 - 观众可以体验到银幕上会说话的猩猩栩栩如生,与道具、实拍角色以及彼此之间自然互动。

Winquist 和他的技术团队在 2011 年的《猩球崛起》中解决的最大挑战之一是能够在舞台布景之外,也就是在户外进行运动捕捉。“运动捕捉技术基于红外线,而太阳光有大量的红外线成分,”他说,“一旦来到户外,就要与从一切东西反射的红外线做斗争。

运动捕捉团队需要 Winquist 所描述的“黑色海洋中的白点”来进行细节捕捉,这些点指的是演员穿着的运动捕捉服上的标记。在室内舞台上,您可以使用没有红外线的人造光,这样摄影机就可以轻松拾取运动捕捉服标记。在户外进行表演捕捉需要对标记进行改进。

最新一代的标记是微弱的 LED 光源,与摄影机快门同步发射,隔离它们并过滤掉所有其他红外光源。摄影师可以调整曝光设置,使阳光中的红外线不会被捕捉到。

但是,有源 LED 灯可能很脆弱。在 2014 年的《猩球崛起:黎明之战》中,Wētā FX 将电线包裹在保护性橡胶线中,以便可以在加拿大温哥华潮湿的森林进行户外拍摄。在 2017 年的《猩球崛起:终极之战》中,保护性外壳使 Wētā FX 能够在雪和水等更恶劣的环境中捕捉表演。

视差视图

通过对演员表演和面部表情的立体捕捉,Wētā FX 动画师可以更轻松地将三维角色网格应用于实拍画面中的演员。图片 © 2024 20th Century Studio,由 Wētā FX 提供。

Wētā FX 的运动捕捉流程的其他改进包括将更多技术融入面部骨架以捕捉更多细节,并使用两个摄影机更好地捕捉这些细节。就像三维电影因为两个图像之间几乎察觉不到的差异而产生深度错觉一样,使用两个摄影机可以为动画师提供更精确的演员面部三维网格,提供比单个镜头更精细的细节。

因为灵长类动物脸部移动的独特方式,这一突破对《猩球崛起:新世界》显得至关重要。“当演员抿起嘴唇或者嘴唇伸展或突出时,尤其是猩猩在发出嘶吼声时,所有这些在只有一个摄影机的情况下都会很棘手,很多时候要靠猜测,”Winquist 说,“三维网格为我们提供了更高的精度。”成功地将这些动作动画化,创造出以忠实于真实猩猩的方式生活、呼吸和说话的猩猩角色,这表明表演捕捉已经取得巨大进步。

这项新技术还消除了对手动三维深度合成的需求。面部骨架和常规摄影机上的立体捕捉意味着 Wētā FX 可以创建画面中任何物体的三维网格,而不仅仅是演员。这极大地改善了匹配移动过程,轻松将二维动画对象放置在实拍画面中。“八个主要角色正在与武器等真实的道具互动,或翻动书页,”Winquist 说,“当您确切地知道它在三维空间中所处的位置时,将这些动作从主要镜头中保留下来,而替换正在与动画要素互动的角色就会变得容易得多。”

捕捉演员的精髓

通过表演捕捉和 CG 动画,《猩球崛起:新世界》中的 Noa 这个角色保留了演员 Owen Teague 的表演的所有微妙要素。图片 © 迪士尼。

表演捕捉过程中的关键要素仍然是表演 - 演员像角色一样移动和行为。很大程度上,正是 Serkis 对轻浮、尖锐性格的探索,使 Gollum 这个角色在《双塔奇兵》《王者归来》中表现得如此出色。在《猩球崛起:新世界》中,主演 Owen Teague 研究了灵长类动物保护区的猩猩动作,为他的表演增添了真实感。

当 Serkis 向媒体介绍即将到来的《指环王:猎捕咕噜》时,他说这项技术实际上即将免费。“现在已经达到了很高的水平,表演的作者身份可以让您更加内化,而不会有任何过度表演的感觉,”他说,“这显然是现在在更大和更深层次上起作用的东西。”

但现在需要注意的是,导演可以在平板电脑上观看正在表演的场景,并将角色绑定实时应用于表演捕捉数据。Winquist 说:“电影制作人不需要专注于它的‘猩猩本性’- 我们可以进行各种后期制作调整,比如让角色更高或更适合画面。最需要关注的是演员脸部发生的细微差别,最微妙的微调。我担心的是打磨掉粗糙的边缘,正是这些边缘成就了人类的表演。如果导演看不到这一点,因为他们看到的是应用了实时低分辨率代理面部骨架的近似值,那么他们就没有所需的信息来决定第 5 个还是第 6 个镜头更好。”

Winquist 补充说,无论技术有多好,导演和动画师都需要真正看到演员的付出 - 只有几个像素的微妙眼球运动意味着每个人都可以看到“齿轮在旋转”。

现场表演捕捉和后期制作过程中的 CGI 增强并存是一种平衡。“有些时候,无论出于何种原因,我们都必须创作一些导演在拍摄当天没有拍到的东西,”Winquist 说,“他们说这部电影真的是在剪辑室里制作的,经常有人说,‘如果我们当时知道我们现在所知道的,我们本可以用不同的方式拍摄,但是,嘿,Wētā FX,您能帮我们吗?’”

一切又再次回到了表演上。“我们的动画师非常有才华,但导演和演员之间存在一些空间,”他继续说道,“这种实验就在那时和那里发生。如果您将它交给 VFX,即使只有几个小时,更新仍然有滞后。到那时,那种魔力只发生在片场,这种自发性已经消失了。”

速度和规模

Wētā FX 使用面部深度学习解算器 (FDLS) 高效地生成初始表演捕捉渲染,让美工人员能够腾出更多时间专注于在猩猩面部表达口语对话这一具有挑战性的工作。图片 © 迪士尼。

Winquist 在这个领域工作多年,他表示,该公司的渲染流程已经非常完善且精简,因此他的团队可以将东西渲染得“毫无疑问地绝对真实”。在新千年的 CGI 里程碑中,(英文)、火和头发等曲面终于被“征服”。现在的重点是如何提高 CGI 和 VFX 的制作效率。“在某种程度上,这就像您得到一个新的硬盘,您只是不断地填满它,”他说。

表演捕捉是现代视觉特效中数据最密集的领域之一,因此非常适合机器学习。 《猩球崛起:新世界》有超过 1500 个视觉特效镜头,其中大部分都包含表演捕捉数据。只有 38 个镜头完全没有视觉特效,这与 2002 年相去甚远,当时 Gollum 在《双塔奇兵》中有 17 分钟的放映时间。

Wētā FX 使用机器学习开发了一种面部深度学习解算器 (FDLS),其中算法导向的表演捕捉渲染可自始至终由人类验证,它拒绝了大多数机器学习工具的“黑匣子”性质。在镜头获得批准后,动画师可以将结果直接流式传输到编辑或动画应用程序中的工具。Wētā FX 使用 Autodesk Maya 作为平台来容纳一些专有的视觉特效和动画工具。

Wētā FX 在机器学习技术方面取得的进步旨在让美工人员能够做得更多。“我们想依靠我们一直在使用的核心团队,但在猩猩的脸上创建口语对话让他们有更多的工作要做,”Winquist 说。他补充说,FDLS 帮助《猩球崛起:新世界》动画师为每个角色获得了一致的基线,可以应用于多个镜头。

在表演捕捉工作流中,一切都回到了故事的本质和制作风格。“如果您有一个角色出现在几十个镜头中,它会改变您的方法,因为运动捕捉的足迹非常大 - 突然之间,您会发现周围有 40 名工作人员,”Winquist 说,“如果只有一个角色,您在片场的足迹更少,工作效率更高。因此,当我们进入时,一个重要的考虑因素是最适合特定节目和预算的技术。”

“我们评估特定项目的需求,并据此制定计划,”他继续说道,“我们可以将一个成熟的捕捉系统带到摄影棚或室外位置,或者我们可以用几台视频摄影机摇晃起来,在表演者身上做出轻微不同的标记,大喊‘开始’,然后再进行整理。”

关于 Drew Turney

Drew Turney 从小就知道自己想改变世界,长大后,他意识到写出别人改变世界的故事更容易。他撰写有关技术、电影、科学、书籍等的文章。