VR体积视频赋能教育和元宇宙

来源：财讯网 2021-10-22 14:46:03

元宇宙Mataverse这个词在今年席卷了全球互联网，热度居高不下、人尽皆知。元宇宙是指通过虚拟现实和互联网，构建具有链接感知和共享特征的，平行于现实世界的3D虚拟空间。如果想要有一个直观的认识，推荐大家看一下有由HTC投资好莱坞斯皮尔伯格大导演执导的电影《头号玩家》。

图一：《头号玩家》剧照

元宇宙是一种可以改变人类生活方式的超前概念：在不远的将来，人们可以随时随地切换身份，自由穿梭于物理世界和数字世界之中，在虚拟空间和时间节点所构成的数字世界中社交、工作、学习、娱乐、购物、旅游等尽情互动。

在普通人还不知道元宇宙是什么的时候，互联网巨头纷纷进军元宇宙：Facebook是元宇宙布局的先驱者，扎克伯格表示Facebook组建了专门的元宇宙部门，未来五年要将Facebook从社交公司变成元宇宙公司。英伟达（NVIDIA）公司推出的Omniverse开发平台，为未来元宇宙建立的基础模拟、协作平台。Roblox游戏被认为是元宇宙的雏形。今年3月上市以后，被认为是元宇宙第一股，市值立即上升达到400亿美元。美国Epic Games在4月获得10亿美元的投资用来构建元宇宙基础。这笔融资创下了元宇宙赛道最高融资纪录。腾讯投资收购一众元宇宙相关公司，旗下的天美工作室正在打造代号为“绿洲”的元宇宙游戏。大玩家字节跳动以1亿元投资了元宇宙概念公司代码乾坤，8月又以90亿元左右的高溢价收购Pico正式入局元宇宙。

巨头们的举措印证了元宇宙发展到了新阶段。

图二：互联网巨头布局元宇宙

而元宇宙与教育有着不同寻常的关系。Universe宇宙，无所不包，有归一的意思；University大学，无所不教，无所不谈；Metaverse是一个触手可及的宇宙，也是教育发展升级的窗口。元宇宙和教育之间具有天然的平行性和覆盖性，大学是为学习提供最好的条件，而元宇宙为全天候学习提供了最大空间和最好的技术基础。

著名心理学家马斯洛曾提出，人的最高级欲望之一就是求知，元宇宙更容易让参与者满足他们的求知欲望，相信元宇宙的开发和探索最终也会落在求知上。最重要的是，元宇宙可以很好的平衡教育资源，是解决教育均衡问题的最有效手段之一。

Jon Radoff 提出了元宇宙的7层价值链其中最底层最核心的就是基础设施。元宇宙概念的实现对于基础设施的要求极高，需要大量的基础设施提前布局、跟进发展。而作为物理世界中最复杂的“人”，我们自己，应该如何进入教育元宇宙呢？体积视频技术作为现阶段唯一能够完整、真实、高效捕捉写实的“人”在真实的世界中动态数据的方式，也是在三维空间中能够百分百复制人类运动细节的唯一方法，构成了元宇宙基础设施的最重要一环。

图三：元宇宙的七层价值链

通过球形部署的100多个高端工业相机、激光器、传感器等，我们可以从各个角度捕捉图像，采集全息数据。通过计算机图形学算法拟合成为一序列三维模型和场景。这样拍摄的视频不再是一个二维的图像，而是一个沉浸式的连续3D场景。这就是我们所说的“体积视频”（Volumetric Video）。

图四：体积视频摄制棚

传统的视频是由每秒30帧的静态画面构成，体积视频是由每秒30帧连续三维模型构成。他能记录三维空间中所有的动作和行为，尤其是写实，并将其存储为一个全角度的立体场景。完全没有固定的观看视角，用户可以自由地穿梭在场景之中，从任意角度、任意距离、任意位置观察场景中的对象，并且与之互动。

图五：算法重建体积视频

元宇宙需要与现实高度互通，对现有数字孪生技术提出了沉浸感、交互感等方面的高要求，需要大量写实的动态真人的数字化内容，对于“人”的超写实记录和呈现都是现有技术的最大难题。

现有的CG建模、动捕、面部捕捉等做出来的人物数字模型无法还原动态的真实的人的动作和表情细节，很难做到真实，永远无法做到相同，而且时间和成本极其高昂。

体积视频技术是数字孪生领域中对动态人物精确全面数字化的高效手段，同时解决了时间和成本非常高昂的两个最大的痛点，而且同时实现了高精度，百分之百还原动作与神情。

图六：体积视频摄制棚拍摄动态真人数字化内容

体积视频非常适合需要在多个角度观看的教学和示范活动的记录，也就是凡是需要动手的教育。我们利用体积视频技术帮助著名京剧大师全息保留他最好的演艺水平并作为教学素材，让最棒表演成为永恒；帮助跆拳道冠军保留标准的技术动作作为他自己的教学工具，节省教练体力与成本，使用上好的高级教练并提升学员兴趣。这样的技术用来全面提升我们的在线教育MOOC平台，再合适不过了。