技术

走向全息甲板体验:寻求与虚拟现实的逼真互动

面向全息甲板体验寻求与虚拟现实的逼真互动

阿里亚汉德斯
首席架构师,视频与标准战略研究与开发

2017年9月5日

到目前为止,我们大多数人都很清楚围绕虚拟现实和增强现实主题的市场热潮。我们中的许多人,在某种程度上,都戴上了笨重的头戴式设备,不温不火地走进体验,自己去看看。而且,根据你的设置有多复杂(以及它的成本),你的里程会有所不同。具有讽刺意味的是,一些研究表明,婴儿潮一代更有可能被虚拟现实“震撼”,而千禧一代更有可能用矛盾的“嗯”来回应。这就引出了一个终极问题,很多人都在思考这个问题:虚拟现实会继续存在吗?

这是个好问题。

当然,在过去的半个世纪里,3D观看的各种化身表明,我们对某些东西并不满意。我们目前的观看条件还不够好,或者说,我们今天消费视频的方式有些不太对口。

你想看什么?

让我们面对现实吧,我们今天消费视频的方式并不是我们的眼睛用来记录视觉信息的方式,尤其是在“现实世界”中。看看现实世界(顺便说一下,这不是你现在正在做的事情),你的眼睛捕捉到的信息比场景中物体反射的光的颜色和强度多得多。事实上,人类视觉系统(HVS)被设计用来捕捉许多视觉线索,而这些线索在当前的显示技术和内容中都极其难以复制。

显示而且内容?是的。唉,这是一个两部分的问题。但让我们先回到视觉线索的问题。

你的大脑希望你看到什么

考虑到这一点,对于我们这些有视力的人来说,HVS提供了我们每天吸收的大约90%的信息,因此,我们的大脑很好地适应了各种物理定律和相应的光线模式。更简单地说,当一些事情看起来不应该或者当我们所看到的与所感受到的或所做的不匹配时。这些感官信号的不匹配正是我们的视觉线索发挥作用的地方。

以下是一些最重要的暗示:

  • 聚散度的距离当眼睛的肌肉移动到一个物理位置时,大脑感知到的距离,还是焦平面.当焦平面距离我们的眼睛有一个固定的距离时,比如说,就像你的VR头盔上的屏幕一样,那么大脑就不会期望你检测到距离上的巨大变化。毕竟,你的眼部肌肉是固定在看附着在你脸上的东西的,也就是屏幕。但是,当视觉内容以一种模拟深度错觉的方式产生时(特别是深度的大变化),大脑会意识到它从我们的眼睛获得的距离信息与它在现实世界中接受的距离之间存在不匹配,这是基于我们眼睛的物理聚焦。结果呢?晕车和/或其他一系列不愉快的事情。
  • 运动视差:当你作为观众,在身体上移动时,比如说穿过博物馆的一个房间,那么身体上离你近的物体应该比离你远的物体更快地穿过你的视野(FOV)。同样地,放置在远处的物体应该在FOV中移动得更慢。
  • 水平和垂直视差:FOV中的对象在从不同角度观看时应该呈现不同的外观,无论是从基于水平和垂直位置的视角变化来看。
  • 运动对光子延时:.当你戴着VR头盔时,视觉内容不会立即改变以适应你头部的运动,这真的很不愉快。这种延迟被称为“运动到光子”延迟。为了获得真实的体验,运动到光子的延迟必须小于20毫秒,这意味着服务提供商,如有线电视运营商,将需要设计能够确定性地支持极低延迟的网络。毕竟,从你移动头部开始,就需要发生很多事情,包括发出头部运动的信号,识别与运动一致的内容,获取耳机尚未获得的内容,等等。
  • 支持遮挡,包括填“洞”。当你穿过或穿过一个视觉场景时,在其他物体前面或后面的物体应该相互遮挡,或者开始重新出现与你的运动一致。

难怪……

考虑到我们大脑对技术的所有这些巨大要求,难怪目前的VR技术还不够成熟.但是,怎样才能达到这个目标呢?这项技术还需要走多远?真的会有全息甲板吗?如果“是”,什么时候?它会是我们一生中经历的事情吗?

全息甲板首次出现在1987年的《星际迷航:下一代》中。全息甲板是一种虚拟现实环境,它使用全息投影来实现与虚拟世界的物理交互。

幸运的是,有很多积极的迹象表明,我们可能很快就会看到全息甲板。当然,这不是一个承诺,但让我们假设有证据表明,内容生产、分发和显示正在取得重大进展。你怎么说?

捕捉和显示光场

光场是3D光体,而不是普通的2D光平面,后者通常分布在传统相机和传统显示器上。当HVS捕捉自然世界中的光(即不是来自2D显示器)时,它是通过捕捉3D空间中的光来做到这一点的,即从我们视野中的物体反射的光量。这部分光线包含了必要的信息,可以触发我们大脑非常重要的视觉线索,也就是说,让我们以一种对大脑来说自然的方式体验视觉信息。

因此,简而言之,不仅需要有一种方法来捕捉这种体积的光,而且还需要有一种方法来将这种体积的光分布在电缆、网络上,并且在网络的末端需要有一个显示器,能够从通过网络发送的数字信号中再现这种体积的光。小菜一碟,对吧?

信不信由你

有证据表明,各方面都取得了重大进展。例如,在今年早些时候的F8大会上,Facebook发布了它的光场相机,以及相应的工作流程。Lytro公司也是光场生态系统的关键参与者,他们的生产为基础的光场相机。

对于显示端,有光场实验室而且Ostendo两者的任务都是通过光场显示器,即能够投射大量光的显示器,使家庭观看成为现实。

在分发方面,MPEG和JPEG都有正在进行的项目,以使光场内容的压缩和分发成为可能。顺便问一下,这些内容的数字格式是什么?看看MPEG的119新闻th都灵会议:

在其119th会议年,MPEG发布了要求草案,以制定一个标准来定义一个场景表示媒体容器,适用于创作和呈现丰富的沉浸式体验的内容交换。该标准被称为混合自然/合成场景(HNSS)数据容器,其目标是定义一个场景图数据表示和相关的媒体容器,可以渲染以交付逼真的混合场景,包括遵循自然光流、能量传播和物理运动学操作的场景。该容器将支持可以一起呈现的各种类型的媒体,包括由计算机生成或从现实世界捕获的体积媒体。

这项最新的工作是由CableLabs, OTOY和光场实验室提交给MPEG的贡献所推动的。亚博yabo888vip网页版

嗯…从谚语中可以看出,也许我们离全息甲板的体验并不遥远。

--

订阅我们的博客,阅读更多关于虚拟现实和CableLabs创新的内容。亚博yabo888vip网页版

隐私偏好中心

    严格的必要

    网站正常运行所必需的cookie。

    PHPSESSID, __cfduid hubspotutk

    性能

    它们用于跟踪用户交互并检测潜在的问题。这些数据有助于我们通过提供用户如何使用本网站的分析数据来改善我们的服务。

    BizoID, wooTracker, GPS, _ga, _gat, _gid, _hjIncludedInSample, mailmunch_second_pageview

    针对

    这些cookies用于(1)发送与您和您的兴趣更相关的广告;(2)限制你看广告的次数;(3)帮助衡量广告活动的效果;(4)了解人们在观看广告后的行为。

    __hssc, __hssrc, __hstc,