Apple Glass可以通过仅渲染用户注视的内容来加速AR

时间:2020-12-09 11:33:47来源:
导读 通过使用注视来确定要分析的摄像头元素的优先级,分析用户正在看的内容可能有助于Apple Glass或AR头戴式耳机改善其在处理视频方面的性能。

通过使用注视来确定要分析的摄像头元素的优先级,分析用户正在看的内容可能有助于Apple Glass或AR头戴式耳机改善其在处理视频方面的性能。

增强现实系统依赖于收集有关环境的数据,以便更好地向用户提供混合现实图像。对于大多数人来说,这主要归结为从用户的眼睛附近获取实时的摄像头馈送,对其进行数字化处理,然后以更改后的状态向用户展示,尽管这也可以涵盖深度映射等其他数据类型。

由于许多VR和AR系统使用与主机捆绑在一起的头戴式耳机,因此需要输入有关环境的数据可能会导致问题,因为一次只能通过这么多的数据来传送数据。多年来对相机的改进,包括更高的分辨率和帧速率,意味着有更多的数据需要分析和处理,并且可能束缚不了。

还有更多的处理资源需要考虑,因为数据越多,创建AR图像所需的处理就越多。

在周二美国专利商标局授予的一项名为“基于凝视方向的视频数据自适应预过滤”的专利中,Apple试图通过缩小需要处理的视频数据的范围来解决入侵问题。处理发生。

简而言之,该专利建议该头戴式受话器可以拍摄环境图像,并对场景应用一些过滤器,每个过滤器覆盖视频帧的不同区域。这些过滤器根据用户的目光以及典型的AR和VR数据点(如头部位置和动作)来确定要发送给主机进行处理的数据的位置。

过滤后的数据层通过系绳或无线方式发送到主机,然后进行处理并反馈到耳机进行显示。然后循环重复。

其背后的逻辑是,处理用户实际看到的内容并不一定需要照相机采集的所有数据。当用户可能面对一个方向时,他们的眼睛可能会指向一侧,从而使内容在其视图的另一侧的呈现实际上毫无意义。

标签:AppleGlass