【重磅干货】Wide Open音乐MV全景版·VR全景视效之全景跟踪-VFXQH

熟悉懂行的人一定被过年The Mill发布的化学兄弟最新单曲Wide Open音乐MV普通版本震惊了,长达五分多钟7000多帧一镜到底的高精度动捕跟踪,在The Mill超凡的技艺下,将场景的数字重建,动作捕捉,舞蹈演员的照片建模等CG高端技术完美结合,打造出一部参考级别优秀的动捕作品。


先来回顾一下普通版本


普通版本制作解析

过年的时候我首发了该MV的解析文章:The Mill最新作品——当舞蹈遇到3D打印制作解析,有兴趣的朋友可以继续点击观看。

就在前几天三星的MilkVR应用悄悄上线了Wide Open音乐MV全景版,有设备的朋友可以点击我通过应用观看,这部视频蕴含的实拍与CG的跟踪技术,已经可以说是目前最尖端的代表,注意是综合了:2D跟踪、单摄像机3D跟踪、全景相机的跟踪(不是一个相机,是所有VR相机都跟踪下来)。

想体验第一视角请电脑打开文章观看或者通过优酷移动端APP观看。(因平台版权原因所以视频音乐被抹去了)

【重磅干货】Wide Open音乐MV全景版·VR全景视效之全景跟踪-VFXQH

我个人觉得,一是VR现在这么流行都想跟着火一把填充内容,二是为了测试,通过7000多帧一镜到底的项目来检验跟踪水平,经过我刨根问底儿的探索精神,找到了The Mill外包的跟踪团队,原来是实拍跟踪最尖端之一的公司PeanutFX。这家公司我不多介绍了,你可以去看看他们的Demo,参与过很多重要大项目的跟踪。简直是术业专攻的职业跟踪专业户,早在一年前他们就开始研发跟踪全景视频的3D跟踪软件,而且现在已经提供全景视频图片的跟踪服务。下面是早在10个月前,VR全景视频刚刚火起来,他们使用GoPro的全景相机做的跟踪测试。已经相当厉害了!

接下来谈谈我们都关心的问题:如何跟踪?

The Mill最新作品——当舞蹈遇到3D打印制作解析文章中我提到了如何跟踪,因为是全景跟踪,所以采取软件算法的跟踪办法是不可取的,至少目前的跟踪精度是不可取的,因为VR视频牵扯到多个镜头多次畸变,缝合融合算法,抖动,这本身都是跟踪的致命因素。

【重磅干货】Wide Open音乐MV全景版·VR全景视效之全景跟踪-VFXQH

就算一个相机跟踪的特别准,其他的也准也会出问题,因为存在不同的误差系数,有数学常识的人都知道:ABC如果误差系数不均衡 ,最后的误差系数是几何倍数增长的。但这一切并不是没有可能的,在去年SIGGRAPH Asia 2015东京展会中,我看到了有跟踪软件厂商已经在尝试VR全景多路视频跟踪稳定了。

【重磅干货】Wide Open音乐MV全景版·VR全景视效之全景跟踪-VFXQH

所以这就要采取硬件跟踪。首先因为我工作的原因,我参与过VR全景相机的硬件软件研发,有幸看过同出The Mill之手的全球首部全景视效短片<HELP>的工程文件,和相关合成师跟踪师在展会上进行了短暂的交流,加上我有合成师的功底,所以对这里面的每一部分都比较熟悉。

【重磅干货】Wide Open音乐MV全景版·VR全景视效之全景跟踪-VFXQH【重磅干货】Wide Open音乐MV全景版·VR全景视效之全景跟踪-VFXQH【重磅干货】Wide Open音乐MV全景版·VR全景视效之全景跟踪-VFXQH

首先全景视频的硬件跟踪,基本是三个过程,扫描点云,拓扑建模,实拍匹配。如图上所示,完成如此高精度的Mesh,跟踪最大的精度问题已经解决,这时候只需要在VR全景相机中间装一个动捕三维空间跟踪点,或者跟踪单路的镜头就可以匹配上,所有的问题就迎刃而解了。有哪些成熟的硬件设备呢?其实传统的雷达点云扫描设备都可以干这件事,不过需要一定的把控能力和开发能力去稍作改变,两年前我一直在关注这家公司Nctech,这家公司一直在做全景实拍图片视频的建模、点云、深度等研究。有能力的土豪公司如果在做VR项目,跟踪是棘手的难题的话,不妨快看看吧。

【重磅干货】Wide Open音乐MV全景版·VR全景视效之全景跟踪-VFXQH

跟踪的重要性不必我多言了,它是所有目前VR全景视频实拍+视效必须解决的难题,它是虚拟和实拍间结合的桥梁。VR虚拟现实在游戏引擎交互的玩法之外,当然包括高品质的VFX视效项目,比如<HELP>,虽说VR全景电影短暂代替不了传统电影的讲故事的镜头语言,但做做预告片炒抄噱头总是可以的,万一真能做好说不定呢。我个人保持中立谨慎的态度,还有像Lytro这样的光场相机,都是在干这些事情。现在软硬件流程均已成熟,一旦这些核心难题解决后,VR高质量视效项目就会如雨后春笋般涌出,当没有条件限制,没有技术作为噱头,而这一切到最后考验的是人个体本身。

转载请注明转自:VFXQH  作者:李启辉

VFXQH 原创版权所有 · 转载请注转自 VFXQH