【转自：CG世界《这一篇就够了！iMoCap技术发展史》2019.09；来源：https://beforesandafters.com/2019/09/10/computer-pajamas-the-history-of-ilms-imocap/】

 

当我们说起动作捕捉技术的时候，大家最先想到的是下面这两类：一个是相机捕捉演员套装标记的光学捕捉系统；另一个是在演员套装里利用磁铁、加速度计和陀螺仪的惯性捕捉系统，后者比较专业的说法是“基于微型惯性传感器、生物力学以及传感器融合算法的动作捕捉系统”（来自网络，看不懂也无所谓）。

其实现在还有第三种使用也很普遍的类型iMoCap（基于图像的捕捉），全称为Image-BasedMotionCapture，演员身穿带有特定跟踪标记的套装，来帮助重建现场表演，有时会有多个监控相机（witnesscamera）在3D空间对演员表演进行三角测量。既然说到iMoCap，那就必须得提一提这个领域的先驱者工业光魔（ILM），他们在2006年电影《加勒比海盗2：聚魂棺》中率先推出了他们的iMoCap技术。今天咱们从多个方面来了解一下。

 

 

iMoCap的起源

 

《加勒比海盗1：黑珍珠的诅咒》大家都应该熟悉吧，工业光魔团队在完成其中的特效挑战后，将光学动作捕捉和关键帧动画结合在一起，实现了几个全CG的骷髅海盗，也经历了N多艰难险阻（比如被诅咒的船员变成骷髅那段），拍摄困难、动画师制作困难，动捕过程更困难。几位团队总监意识到想要给加勒比系列拍续集，不能总是这么玩，得鼓捣点不一样的出来，尤其是章鱼哥戴维琼斯这个角色。

 

 

导演戈尔·维宾斯基当时要求章鱼哥和船员们在续集中全部都是数字角色，而从制作团队第一部的经验来看，手动matchamation不仅费时费力，而且不够精准，在尝试了光学动捕的方法之后也并没有成功（据说是导演不乐意用这种xue微有些落后的方法）。虽说是CG角色，好在续集中没有像第一部真人&CG那样的变形镜头，大佬们觉得ILM团队可以在演员身上设置跟踪标记来更好的辅助matchamation。

 

什么是Matchamation？

将CG角色/对象与现场实拍素材进行匹配的过程称为matchamation（又叫rotomation/matchanimation），是将matchmoving（运动匹配）、动画和某种程度上的rotoscoping技术混合起来的混合名称。

 

在那之前，ILM研发部门为电影《珍珠港》制作了一个演示，用两个相机动捕的方法解决了数字特技演员在即将沉没的战舰甲板上滚下的镜头。这个演示给了总监们启发，也可以用类似两个监视相机的方式，给演员穿上带有类似跟踪标记的套装，利用监视相机拍摄表演，对相关位置进行三角测量。

为了使现场拍摄系统能够辅助matchamation，所采用的方式既要达到接近光学动作捕捉的质量，又要搞定不同拍摄环境产生的困难。其中有一个规定，无论采用什么方式，都不能对相机和光照条件有所限制。因此ILM团队在了解到续集电影会涉及非常复杂的场景和大量定位工作之后，他们希望能提出一种现场占地面积小而且便携式的表演捕捉系统。

 

“iMoCap系统的配置包括带有标记点和标记带的中灰色半紧身捕捉服（动捕套装）、几台便携式高清摄像机（黑白或彩色均可，最好是同型号）、便携式三脚架，以及后期处理所需要的专业软件，仅此而已，因而整套系统可以很方便地带去片场使用。”

信息来源：《详解工业光魔动作捕捉神器iMoCap》_人人网“电影特技”公共主页

 

iMoCap系统是如何工作的

 

清楚了iMoCap是怎么来的之后，接下来咱们了解一下系统是如何工作的。虽然系统很大一部分是演员身上的事，但它不只和套装有关，主要还得是从拍摄素材和监视相机中提取数据。

系统最初的概念是考量能否利用ILM获得奥斯卡奖项的跟踪和运动匹配软件MARS来解决骨架运动。在可以使用MARS跟踪和解决刚性物体之后，将已知大小和形状的刚性三维物体附加到演员身上并进行跟踪，把表演动作转换成简单mocap风格的骨架运动，这些物体就构成了ILMiMocapBands（后文还会多次提到，中文是叫iMoCap“带子”么？有没有大佬赐教专业叫法...）。

 

 

研发团队的成员们发现使用已知大小和模式的刚体对象可以在软件中建模，就没有必要从多个相机视图中可见每个标记，这就是iMoCap与大多数光学动捕系统不同的地方。在光学系统中为了对位置进行三角测量，同一个标记点需要在各个相机中都能看到；要是一个band周围有足够的点可见，即使只有一个视图，也能解决它的位置和3D空间中原始方向。

Bands将会分别放置在演员身体的各个部位，上臂、下臂、大腿、小腿、腰部、肩部、头部和胸部，然后每一个band会以椭圆围绕几何体的形式进行建模，以较小的相机数量跟踪表演动作，极大程度地减小了设备在现场的占地面积。

 

 

《加勒比海盗2/3》的经历

 

《加勒比海盗2：聚魂棺》和《加勒比海岛3：世界的尽头》（两部剧是连着拍的）的拍摄环境从室内摄影棚环境转换到阳光水面反射的室外环境，饰演章鱼哥的比尔·奈伊和扮演船员的其他演员一直身穿iMoCap套装（据说只有BillTurner一人是特效化妆），所以大多数《加勒比海带》系列电影都只用了1-2个监视相机和1个素材拍摄相机，并用单个相机视图解决了很多镜头。

iMoCap套装的特点就是黑色方块带白点。之所以特意选择这种样式，是因为即使产生虚焦和模糊的情况，跟踪依然可以进行下去。

在了解到《聚魂棺》《世界的尽头》的拍摄环境有时候可能会很非常黑暗，ILM一开始打算在白点下安装LED，这样黑暗环境中也可以发光。虽然测试效果不错，但是在现场拍摄多个角色时不太切合实际。

 

 

比如在2004年电影《范海辛》中，ILM为表演捕捉套装设计并搭建了自定义活动红外跟踪标记点，考虑到《聚魂棺》的预期剧情和系统简化，他们决定放弃LED方式，而是简单地找到对比度比较高的材质，哑光表面以避免镜面高光就可以了。

 

 

根据早期测试结果来看，需要在这种方式中进行一些视觉区分，黑色方块上只有白点，有时候在素材上就很难跟踪到某些东西。因此他们创建了一个重复正方形图案，按照“白底黑点”“黑底白点带白条”“白底黑点”“白底黑点没有条”的顺序排列。虽然跟踪起来还是有些困难存在，但通过计算方块也能保持其连贯性。

 

 

还有就是形变的问题。Bands的拉伸和褶皱可能会过度扭曲图案，他们选择用刚性材料制作bands，既可以弯曲，又不会产生拉伸变形。此外，套装面料是深灰色的，避免了可能会把光线反射到对面角色，或是场景出现套装颜色的问题。而且在实际制作之后他们惊奇地发现，灰色提供了很好的灯光参考，甚至比灰球的效果还好。

套装和跟踪/运动匹配方法都了解了吧，其实还有一小块是自定义捕捉装置。利用两台高速机器视觉（machinevision）相机作为监视相机，黑白相机，全局快门，可以以任意帧率和分辨率运行，可以同步到电影相机，通常以48或72fps运行。但是好不好用呢？下面我们再说。

 

 

《加勒比海盗2/3》中iMoCap的工作流程

 

就这样，iMoCap系统融入了ILM从现场拍摄到最终动画的视效制作流程，团队成员为建立完整流畅的工作流程付出了巨大的努力，当时做出的许多决定到现在还适用，其中一项决定确保了系统可以同时捕捉多个演员的表演。

在《聚魂棺》《世界的尽头》之前，站在屏幕前同时身穿iMoCap套装的演员不能超过3个人。但是在这次拍摄开始的第一天，章鱼哥身边的水手们在现场全都齐刷刷地换上了iMoCap套装！扮演章鱼哥的演员比尔·奈伊把这套“行头”成为“computerpajamas”（电脑睡衣？电子睡衣？），说虽然看上去有些怪异，但至少自己很舒适，不用坐在那儿化妆一化就是四个小时了。

 

经过事实证明，出于便携式目的而设计的自定义捕捉系统，在大多数现场拍摄使用时的操作较为繁琐，一般拍摄是不会用到了，倒是保留下来主要在南加州用于舞台棚拍，如果是在户外，再用2个Prosumer相机用作参考就可以了。

拍摄过程中需要大量band材料，不仅是演员用量大，还要在破损或者丢失后及时替换新的使用。所以团队准备了很多备用band，卷成卷，专门由服装部门保管。毕竟对专业拍摄工具的维护和修整也是一项挑战。

 

还有一点就是，团队在拍摄过程中，要有比预期的情况更加灵活的应对才行。因为在现实拍摄中极有可能出现这些情况：捕捉到的数据不够理想；得到相机视图不够好；band和套装粘附不到一起，总是在不停地动；有些镜头需要重新校准等等情况。这些都需要团队在现场灵活应对。所以说，处理情况的灵活性、依靠不太理想数据工作的能力和一流的制作技术是同等重要的。

当一个时间段的拍摄结束之后，团队成员回到ILM第一个任务就是整理手头拿到的关于每个设置的数据，这些数据有可能会为日后制作数字角色提供帮助。他们从来没有用监控相机进行制作的经验，因此剪辑师必须要弄清楚如何处理这些镜头并进行同步。所谓“同步”，就是把监控相机和素材相机进行匹配。这不是一个简单的操作，特别是将帧速率为24fps的拍摄素材和以59.97运行的监控相机进行匹配的时候，还是有些挑战的。

接着ILM跟踪部门会对每个镜头中演员所佩戴band上的圆点和跟踪点进行跟踪，其中一部分过程可以自动实现，但艺术家们在每个镜头的准备阶段也会进行手动跟踪和素材清理的工作。这个系统的优势之一，就是可以对捕捉的素材脚本进行跟踪，必要的时候也可以进行手动修改。

 

 

然后我们把整个工作流程拆分一下，看看都经历了哪些步骤和操作。

1.根据参考素材构建演员简单的数字替身模型，其中包括低分辨率的几何体（无扫描）、骨骼和band的移动位置；

2.同步监控相机和素材相机。为了更加精确地同步监控相机素材，他们一般情况下会上传60fps版本的拍摄素材进行辅助；

3.对所有可用相机进行matchmove；

4.将跟踪点和数字替身的band连接到一起；

5.对镜头关键帧中骨骼的band进行重新解算，这是非常关键的部分。因为band是在不断移动和改变的，不能依赖于默认校准，艺术家需要在关键帧匹配数字替身，然后利用解算器重新进行解算，得到的结果更为精确一些；

6.接下来就该解决动作了。一切设置完毕，就可以来解决骨骼运动的问题，艺术家也可以设置一些“帮助”姿势，用于锁定或平滑某些通道，重新求解，以精确最终效果；

整个过程非常耗费人力，但是结果令人印象深刻。无论是章鱼哥的主要镜头，还是全体船员的镜头，以及充满戏剧性的击剑混战，都涉及到了这些制作流程。

 

《加勒比海盗》之后，iMoCap又有哪些发展

 

现如今iMoCap仍然是ILM制作的重要组成部分，自从《聚魂棺》《世界的尽头》之后，套装设计经历了很多次修改，软件和工作流程也有很大程度的更新。

第一次套装更新是在《加勒比海盗3：世界的尽头》，由专业的动捕套装供应商提供，直到现在他们还在和同一家供应商合作，套装类似于普通动捕套装，布料柔软，很容易和band相连接，还能染成适合角色的颜色。

《加勒比海盗》系列之后的大项目就是《钢铁侠1》和《钢铁侠2》，iMoCap用于跟踪主演钢铁侠和战争机器，为他们添加数字化的装甲。对于钢铁侠来说，他们把动捕套装染成了红色，用来反射“平均光照”。

 

iMoCap套装第一次大变化是在2010年《加勒比海盗4：惊涛怪浪》中，其中一个主要角色是美人鱼，为了制作角色从人类变成美人鱼的效果，需要用iMoCap来捕捉女演员的身体表面。因此他们开发了一款新型跟踪软件和一种新型套装设计，不必再依赖iMoCapbands，只要跟踪套装就可以了。

 

▲美人鱼原始效果vs最终效果·图片来自网络

新系统的工作目标是为了自动识别演员身上的标记，在跟踪特有的表面特征时还要捕捉到表演运动。而新款套装刚好可以补充这一目标，被设计成带有圆形分形图案的紧身连体裤。之所以采用分形模式，是因为无论脚本中的焦点是否清晰，所采用的图案大小是否合适，当时的“ILM几何体跟踪器”都可以自动识别套装上的特征。2015年，这项技术的设计和制造获得了奥斯卡最佳技术成就奖。

为美人鱼设计的iMoCap套装应该算是一个特例，因为这个角色一半是人形一半是生物。ILM团队在这个想法的基础上开发出了下一个版本，称为Delta套装，为2012年漫威系列《复仇者联盟1》的制作贡献了力量。新的Delta套装带有直接印在衣服上的三角形图案，三角形的每个角可以为特征探测器提供点位置，方便在镜头中进行识别和跟踪，而且没有规模和大小的限制。

 

▲《复仇者联盟》中的iMoCap应用·图片来自网络

Delta套装之所以可以成为ILM团队iMoCap系统强有力的补充，是因为它采用的分形模式在镜头完全虚焦的情况下仍然可以继续跟踪。而且它采用了和《加勒比海盗2：聚魂棺》相同的band设计，band背面有魔术贴，每天使用起来也是很方便的。

说完Delta的结构，咱们再来看看它在跟踪方面的性能。其实从《加勒比海盗2：聚魂棺》开始，动捕系统的跟踪性能也有了很大的改变，无论是较为复杂的绑定还是更为精确的几何体变形，都为ILM团队制作后来的数字替身提供了巨大的帮助。在为动画环节进行跟踪的时候，他们使用的是相同精度的模型和动画绑定，完全替代了之前跟踪简易模型简单骨架的操作。

 

Delta与基于几何体的跟踪系统相结合，艺术家在早期iMoCap阶段，可以跳过令人掉头发的跟踪环节，在几个关键帧上简单地摆出数字替身动作，就可以继续下一步了。如果艺术家对跟踪效果不是特别满意，也可以自己手动修改，什么时候满意为止。

iMoCapbands还是用来提供旧版工具能够跟踪到的“锚定跟踪点（anchormarkers）”，只是艺术家不再需要依赖这些跟踪点识别已知的刚性物体。

ILM团队之后对于iMoCap动捕套装的重大更新是在2016年电影《忍者神龟2:破影而出》，使band成为套装中的一个固定组成部分。也就是说，只要动捕演员佩戴band，在不更换套装的前提下，不必从早活动到晚，艺术家也可以获取数据，创建数字替身角色。iMoCapBand上圆点的颜色、独特条纹专门为了《忍者神龟2:破影而出》这部电影进行了更新。

 

▲《忍者神龟2:破影而出》iMoCap应用·图片来自网络

 

近期其中一个更新是在《星球大战外传:侠盗一号》的动捕过程中，特殊符号代替了彩色圆点。

 

 

然后就是在最新的《复仇者联盟4：终局之战》中，动捕演员在身穿imoc套装的同时也佩戴了头显相机，并在套装上设置了活动跟踪点。下面两张照片来自绿巨人马克·鲁法洛的个人社交平台。

 

关于工业光魔iMoCap动捕系统近来的发展，上面大致地为小伙伴们介绍了一下。如果你已经看过《星球大战外传:侠盗一号》《寂静之地》《黑豹》《海王》《阿拉丁》《复仇者联盟3：无限战争》和《复仇者联盟4：终局之战》这些影片，就能深切地体会到工业光魔iMoCap动捕系统在影片制作方面的应用。

虽然有的时候他们不一定会为影片某个角色提供最终视觉效果，但至少他们把一个个数字化的CG生物和角色栩栩如生地、真实地呈现了出来。所以对于一个优秀的团队来说，具备顶级制作技术固然重要，如果在遇到问题的时候，能够找出或是研发出应对同类问题，或是适合于拍摄/制作的解决方案也很重要。制作与研发双管齐下，才会创作出更为一流的作品。