谷歌又搞事了,基于灯光技术的三维捕捉黑科技!

By | 2020年7月25日

  「灯光」正在影视作品、游戏以及虚构环境中的作用至关首要,它是一种首要的外型手法,正在影片中起着转达信息、表白情绪、衬托氛围、描写人物性情以及心思变动等作用。它影响着影片基调的构成以及影片格调的展示,与影片基调构成统一对立的关系,与其它外型手法连系体现影片的节拍以及旋律。

  影视作品里许多殊效场景都需求借助绿幕实现,正在技巧不外硬的时分,常会发作「五毛殊效」的惨案。

  想要复制完满的光效更是个难题。跟着较量争论机视觉技巧的演进,较量争论机曾经可以比拟「天然」地复原人脸形态、皮肤纹路,然而正在模仿灯光前提这一块仍是缺乏写实感。

  而google比来发布了一项基于灯光的全新技巧——Relightables。可以完满处理这一点。

  Relightables 零碎工作流程可分为三个局部:捕获、重修以及衬着。

  该零碎的外围依赖于一个蕴含多视角(自动)平面深度传感器的灯光球面安装,球面安装装置有 331 个可编程的灯和 90 个高分辩率 12.4MP
重修相机。

  捕获人体所用的相机蕴含 32 个红外(IR)相机以及 58 个 RGB 相机。红别传感器提供精确、可托赖的 3D 数据,RGB
相机捕获高品质多少法线贴图以及纹理。这些相机以 60Hz 的频次记载原始视频,钻研者基于球面梯度照明瓜代应用两种没有同的照明前提。

  接上去,钻研者将数据上传到公共存储库中,第一个阶段是天生每一个「机位」的深度图、宰割图以及 3D 网格 [Kazhdan 以及 Hoppe
2013]。

  他们用一个对齐算法来解决重修网格的序列,如斯一来,长的子序列就能够同享常见的三角定位(triangulation)。钻研者提出了一种新的办法来处理要害帧的抉择成绩,将其转变成一个
MRF 推理成绩来处理。每一个共同的三角定位都被参数化为一般的 2D 纹理空间,该空间能够以及一切同享该三角定位的帧同享。

  最初每一个网格都有两个可用的梯度球形照明图象,从中能够天生倒映率、法线、光泽度以及环境光遮挡图。这些图与规范衬着引擎兼容,可用正在任何设定的光线前提下从新天生衬着图象。

  google这个全新的零碎能够完满复原人物四周的光影成果,使患上分解的影像看起来愈加真切。能够无缝地将捕获到的人体交融到事实世界中或片子、游戏等中的数字场景。它可能会彻底改革
3D 捕捉技巧畛域。

编纂:严志祥

起源:影像骑士