图片来源@视觉中国
(资料图)
“苹果XR头盔会成为整个行业的标杆，XR设备走进每家每户，就像是手机一样普及”。
在六月份举行的一场元宇宙主题论坛上，肖伟发现苹果发布的头戴显示器Vision Pro成为了行业讨论的焦点。
作为一家元宇宙基础设施提供商的技术负责人，他非常理解市场对于这台苹果耗费七年研发的头戴显示设备的热情：从上半年元宇宙“退烧”开始，不少大厂都战略放弃了元宇宙，创业企业处境更加艰难。
“如果不是政府的大力支持，我们肯定坚持不到现在，Vision Pro现在就是一根新的救命稻草。”
作为一款价格高达3500美元的XR设备，Vision Pro显然并不是一款消费级产品，但它的出现给了整个XR行业一针强心剂。作为2021到2022年互联网行业最热门的概念，“元宇宙”也在两年间经历了从资本热捧、大厂入局到回归理性的生命周期。
和元宇宙紧密相关的XR设备，出货量在2021年增长了超过90%，突破一千万台，达到了1095万台。随着元宇宙概念降温，2022年全球XR设备出货量降低到了960万台。
除了元宇宙概念退潮外，体验不佳、价格高昂、缺乏内容是XR设备市场难以维持增长趋势的主要原因。镜片、处理器、电池、传感器……XR设备设计的每个环节都直接关系到最终的用户体验，试图设计一款能够兼顾舒适和效果的XR设备需要在每个环节都投入大量的资源，这注定是一场少数厂商的游戏。
作为行业龙头的苹果，经过七年打磨的XR产品获得相关行业、用户的高度关注是理所当然的，但XR厂商都并非在期待苹果的技术方案——用什么样的方式绕过用户体验、性能和成本的“不可能三角”。
减不掉的重量佩戴的舒适程度是XR设备的第一道门槛。“虽然厂商都在努力让头盔戴起来更舒服，但用久了还是会感觉太重，”VR设备制造从业者张力告诉《银杏科技》。
目前市面上主流的VR头盔重量都不超过600克，Oculus Quest重571克，HTC Vive重468 克，Pico4重586克，堪堪脱离了沉重的范畴，但依然会让用户感觉“压脸”，因此不得不设计多条绑带将头盔“绑”在用户头上，降低不适感。短期，处理器、传感器、光学原件和外壳等核心部件让减重并不容易，尤其是光学部件。
目前主流的VR光学方案是Pancake，利用多组特殊的镜片将图像多次折射最终进入人眼，可以大幅降低光学部件的重量和体积。以PICO 4上的Pancake光学方案为例，与应用菲涅尔透镜的前代产品相比，前端主体重量降低了26.2%，厚度减少了38.8%。
张力表示，相较于不到20元一片的菲涅尔透镜和不到10元一片的非球面透镜，Pancake方案更精巧也更昂贵，单个光学模组的价格达到了近200元。“近年以盛波光电为代表的Pancake部件提供商在资本市场上获得了大量关注，实现量产后的Pancake方案才便宜到能够用在中低端VR显示器上，”张力说，“比Pancake更好的方案最近几年不会出现，还停留在实验室里，光学原件体积和重量基本已经压缩到最小了。”
在难以继续缩小的光学部件之外，用于计算、散热、供能的部分占据了一台VR显示器的大部分空间。尤其是对于采用精巧昂贵的Pancake方案的头盔来说，由于将图像在透镜间进行了多次反射，图像的亮度损失极高，制造商就只能选用更大功率的显示器，这让目前市面上的VR头盔续航成为了一个严重的问题。
Oculus Quest2电池容量4500mAh，续航约两小时，Pico 4电池容量6000mAh，续航约三小时，HTC VIVE Focus 3电池容量5300mAh，续航约两小时。
在长时间使用的过程中，用户往往需要将头盔与电源连接起来。为了让拥有两颗芯片的Vision Pro显示器更轻，苹果将电源从头盔中单独取出成为一个用线材连接的独立部件。为了保证显示效果和续航，更强的计算能力会要求更多的散热空间和更大的电池，这会让头盔变得太重。
把电池拆出来，这个“返璞归真”、对于率先将手机一体化的苹果来说可以称得上是“违背祖宗”的设计纯属无奈之举，但却不失是一种可接受的解决方案。
Oculus 联合创始人帕尔默・拉基在接受采访时曾表示：“需要明确的一点是，电池外置是推进头显的正确方式，我在 Oculus 时就一直倡导这样做，但无奈的是我在后续的权力争夺中败阵”。
除去光学部件、电源之外，计算芯片、散热结构、外壳等部分组成了一台XR设备的其他的部分。如何平衡这些重量和体积，让用户戴得舒适是XR设备厂商的重点关注的问题，也是厂商核心竞争力的体现。
去不掉的成本摆在XR厂商面前的第二个问题是成本，这里不仅仅是XR设备的生产成本，还包含了XR设备的使用成本。VR设备需要有什么样的显示效果？
2016年，AMD公布的一份文件中通过计算人眼视野范围和显示器像素密度得出的结论是，最理想的VR显示效果要达到单眼144Hz以上的刷新率和16K的分辨率。
图：AMD VR技术方案
放在目前的科技水平下，这个标准还是难以企及，但常见的4K、120帧的图像质量已经足够能够让用户获得较好的VR体验了。
万物数创CTO黄一告诉《银杏科技》，本地渲染的内容越少就需要更高的带宽进行传输，带宽需求越低就需要越高的渲染能力。但如前文所述，在保证佩戴舒适度的情况下，厂商很难将性能更加优秀的芯片塞进显示器里。
芯片制造行业如果不发生技术飞跃，显示器的计算性能很难突破当前的极限。将渲染放在云端是可行的吗？可行，但高成本很难支持大规模应用。
黄一认为，将渲染放在云端的问题在于成本过高。他算了一笔账，目前的网络背景下，高清内容的传输是可以实现的。
以Vision Pro的显示效果来计算，Vision Pro分辨率可以达到单眼4k，刷新率为90帧每秒，可以实现较为优秀的显示效果，在正常使用的时候可以达到视网膜屏的显示水平。
4k、2d、60帧视频的带宽要求是10MB/s，即80Mbps。目前内容分发网络（CDN）的流量费用为1Gb约0.8-1.2元，一分钟数据传输量约4.8Gb，即每分钟传输成本约4.5元。用户观看一部90分钟长的电影，仅产生的分发流量费用就超过400元。
换句话说，相比大多数仅需要5Mbps带宽的1080P视频，VR视频的播放成本提高了16倍，这对于VR内容提供商来说是极高的负担，尤其是对于为VR设备提供内容配套的厂商来说负担更重。一个典型的商业案例是VR直播。
作为Pico VR的内容配套，抖音在2022年4月就上线了VR直播功能，用户可以使用Pico系列设备观看最高8K的3DVR直播内容。如果将8K、3D、60帧的直播流全部通过网络传输，至少需要640Mbps带宽，成本则攀升到了1080P直播的128倍。
目前通过Pico观看抖音VR直播是不需要额外付费的，意味着这部分成本全部都由字节跳动承担——作为推广VR设备的成本。
如果抖音希望通过类似爱奇艺的付费会员制度来盈利，将30元/月作为标准，要保持同样的利润率，会员每个月需要付3840元来观看VR视频。
当然，厂商并不会将视频流全部通过互联网传输，VR一体机的计算芯片能够极大的降低带宽的使用量，这里就涉及到XR设备制造的最后一个门槛：性能。
提不高的性能计算性能的提高必然伴随着体积和重量的提高。在保证舒适性的情况下，能塞进XR设备的计算芯片选择其实相当有限。
因此，摆在XR厂商面前的核心问题是，如何利用尽量少的带宽和有限的计算能力，尽可能的为用户带来更好的显示效果？
主流的解决方案主要是通过算法降低渲染成本，节省性能和带宽。一个较为成熟的方案是利用深度学习技术将低分辨率、低帧数的图像转化为高分辨率、高帧数的图像。
按照前文的计算，4k、2d、60帧视频的带宽需求约为80Mbps，将帧数降低为30帧，带宽的需求就能降低一半。
在使用VR显示器时，低帧数难免会带来拖拽和卡顿感，因此需要用到“插帧”技术将30帧视频扩充到60帧，即在每两帧之间插入一帧由本地生成的图像，以提高帧数和显示效果。
这种技术并不新鲜，在多个不同的领域都有应用，而在VR平台上最典型的是针对Quest 系列显示器推出的应用AppSW 和ASW，它们允许头盔中显示的VR应用以实际显示刷新率的一半进行渲染。
类似的，深度学习还能使机器通过渲染一部分像素来推算出整个图像。典型的代表是英伟达DLSS ，即Deep Learning Super Sampling（深度学习超级采样）技术，该技术已经沿革到第三代，也针对VR应用推出了相应的版本，在理想状态下可以仅渲染11%的像素来还原整个图像。
另一个方案是注视点渲染Eye Tracked Foveated Rendering（ETFR）。注视点渲染指的是通过眼球追踪来识别用户在VR中的注视点，从而动态调节VR屏幕的清晰度。
正在针对该技术进行攻关的哈尔滨工业大学教授范晓鹏告诉《银杏科技》，用户在使用XR设备时并不会经常大范围的转动视线，视觉焦点会比较稳定地盯住一个方向。“所以我们就是利用这一点，把观察者正面看到的这些图像渲染的好一些，压缩比低一些，让它看起来清晰一些，其他的部分质量可以差一些。
当使用者转头的时候，因为人眼有一些延迟，利用这个延迟调整高质量渲染的位置，就可以减少数据的传输量。”按照2021年NVIDIA与眼动追踪技术服务商Tobii公布的实验数据，注视点渲染技术可将显示效果最高提升57%。
但需要注意的是，该技术基于眼动追踪功能，这需要在头盔中塞入更多的传感器和电池，同时设备的价格也会水涨船高。不支持该功能的Pico4官方售价为2800元，安装了眼动追踪和面部捕捉传感器的Pico4 Pro售价则来到了3800元。
定义下一个风口综合这些技术，性能不足的VR设备的使用成本终于来到了勉强可接受的程度，但距离成熟的确还有不小的距离。
被业界寄予厚望的苹果Vision Pro在舒适度、性能和成本的三角中，苹果选择了舒适度和性能。
高达3500美元的售价让苹果能够从容地选择最好的设计方案打造一个标杆产品——这个过于昂贵的方案对于大多数XR厂商来说，最大价值在于教育市场，让更多投资和人才进入XR领域，吸引更多XR内容创作者，完善XR上下游产业链生态。
市场上并不缺乏一个顶级XR设备生产商，缺乏的是一个像苹果一样能够定义下一个十年最好的科技产品的企业。从技术的角度来看，更好的消费级的XR产品大概还离我们很远，但Vision Pro的出现无疑让它来得更快了一些。
标签：
