专题栏目:ARVRMR虚拟现实

VRAR硬件产业研究报告:产业链日趋成熟,行业爆发在即

一、VR 行业明显提速,AR 产品蓄势待发

1.1 VR/AR 的内涵与区别:构建沉浸式体验

VR/AR 究竟是什么?很多人会对于 VR、AR 和 MR 这些概念的界定感到困惑,而不同企业和机构的定义 又往往有所不同。简而言之,虚拟现实(VR)是虚拟场景的封闭式体验,而增强现实(AR)体验会将数字元 素叠加到现实世界的对象和背景上。混合现实(MR)可以说是升级版的 AR,能够实现虚实场景的结合,和 AR 的区别就是对虚拟图像的真实感做严格的要求,因此是 AR 的一种类别。

VR/AR 两者在关键器件、终端形态上相似性较大,在关键技术上也有重叠之处,而在应用领域上有所差异。VR/AR 均需要用计算机绘制虚拟图像。VR 中的图像全部由计算机绘制,往往需要配置高性能的 GPU,同时由 于 VR 是隔绝式的音视频沉浸体验,因此对显示画质要求较高。而 AR 中大部分图像是通过镜片透射或摄像头 拍摄的,计算机绘制的图像占比较少,而且是以信息性为主的,对图像逼真度要求较低,因此对 GPU 要求不高。 但 AR 需要对场景进行理解,需要用非常复杂的算法,并且实时运行,这样 AR 对 CPU 的运算性能要求非常高。 此外,VR 侧重于游戏、视频、直播与社交等大众市场,AR 侧重于工业、军事等垂直应用。

1.2 VR/AR 重回关注:进入提速增长阶段

1.2.1 VR/AR 发展史回顾:经历了热炒、低谷,迎来新的拐点

VR/AR 行业经历了热炒、低谷,到复苏,迎来了新的拐点。2012 年,谷歌推出了 Google Glass 的 AR 眼镜产 品,其后, Oculus 被 Facebook 以 20 亿美金收购,并推出 VR 头盔。VR/AR 概念进入市场视野,被认为是替代 智能手机的下一代终端形态。Facebook 和微软先后进入 VR/AR 市场,包括 Sony、三星、HTC 等多家大厂开始推 出相关的硬件产品,2015-2016 年 VR/AR 市场热度达到高点。但到了 2016 年下半年,由于商业模式,以及网络、 硬件和内容上的瓶颈都没有突破,资本输血式的发展模式并不能够持续,行业开始进入寒冬。2018 年 VR 历经 热炒、低谷,已逐步成熟,并从 Gartner 曲线中消失,AR 仍处于泡沫破灭的低谷期,有待技术的突破和发展。 2020 年疫情推动居家需求,以 Oculus 为代表的 VR 产品需求增长强劲,用户基数增加以及众多开发者的加入, 使 VR 行业明显提速。而随着 AR 光学技术不断取得突破,行业也迎来了新的拐点。

1.2.2 出货量明显加速增长,应用端和 B 端成为市场规模重要推力

从终端设备出货量看,2020 年行业总体出货量增长较为显著,市场反响持续升温,已进入产业化放量增长 阶段。陀螺研究院报告显示,VR 头显 2020 年全球出货量达到 670 万台,同比提升 72%,预计 21-22 年将持续 高速增长。疫情影响下,室内娱乐设备需求显著提升,同时具有 C 端统治潜力的 Oculus Quest 系列产品及 VR 娱 乐平台上线,提供了完整优质的用户体验,促使 C 端 VR 头显出货量显著提升。

预计未来三年行业复合增长率超过 80%,不同终端形态互通性增强。IDC 数据显示,预计 2024 年 VR/AR 终端出货量超 7600 万台,其中 AR 设备达到 3500 万台,占比升至 55%,2020-2024 五年期间 VR/AR 终端出货 量增速约为 86%,其中 VR、AR 增速分别为 56%、188%,预计 2023 年 AR 终端出货量有望超越 VR。比之 2018-2020 年相对平缓的终端出货量,随着 Facebook Quest2、微软 Hololens2 等标杆 VR/AR 终端迭代发售以 及电信运营商虚拟现实终端的发展推广,2021 年有望成为 VR/AR 终端规模上量、显著增长的关键年份,VR/AR 终端平均售价将从当前 2500/9700 元人民币进一步下降。此外,华为 VR Glass、PicoNeo 2 等一体式头显终端 均可通过串流功能而不再受制于移动平台的功耗与渲染算力,跨终端形态的使用融通性显著提高。

全球 VR/AR 市场规模接近千亿,AR 与内容应用成为首要增长点,预计 2024 年将达到近 5000 亿元。据 IDC 等机构统计,2020 年全球 VR/AR 市场规模约为 900 亿元人民币,其中 VR 市场 620 亿元,AR 市场 280 亿 元。预计 2020-2024 五年期间全球虚拟现实产业规模年均增长率约为 54%,其中 VR 增速约 45%,AR 增速约 66%,2024 年两者份额均为 2400 亿元人民币。从产业结构看,终端器件市场规模占比位居首位,2020 年规 模占比逾四成,随着传统行业数字化转型与信息消费升级等常态化,内容应用市场将快速发展,预计 2024 年 市场规模超过 2800 亿元。

2020 年成为重要转折点,B 端市场规模持续增长,将与 C 端相近。2020 年已成为一个重要的转折点,2C 端形成了居家办公及娱乐的生活习惯,消费者宅家时间延长,而 2B 端由于疫情中断了企业的供应链,工作场所 限制以及运营效率低下使企业更加关注员工培训和协作。在整体 VR/AR 市场上,B 端支出小于 C 端,但未来的 大部分增长是来自 B 端。IDC 预测,2024 年 B 端应用市场包括培训(41 亿美元),工业维护(41 亿美元)和零 售展示(27 亿美元),C 端应用 VR 游戏,VR 视频/功能观看和 AR 游戏)的总支出为 176 亿美元。

1.2.3 应用生态完善及行业标准确立,赋能行业加速成长

Steam 及 Quest 等 VR 平台应用内容生态逐步完善。

(1)Steam 平台是目前全球最大的综合型数字发行平台 之一,其开放生态和宽松的游戏发行机制在全球拥有大量的用户。Steam VR 支持自选 VR 硬件体验平台上的 VR 内容,促进了平台应用的开发,目前 Steam 平台已有超过 4000 个 VR 商品,2020 年 Steam 平台新增 VR 用户 170 万,相关收入同比增长 71%。

(2)Quest 作为封闭生态的代表,上线游戏超过 200 个,质量较高,用户付费意愿 强。2020 年 9 月 Quest 平台内容累计收入已达 1.5 亿美元,随着 Quest 2 销量上涨,平台收入将进一步提升,预 计 2021 年底达 5 亿美元。

OpenXR 通用标准降低内容移植难度,吸引更多开发者入场。OpenXR 是来自 Khronos 的免费 API 标准,为 引擎提供跨 VR/AR 内的一系列设备的本机访问权限,OpenXR 标准使应用只需编写一次,就可以在所有硬件和软 件平台上进行运行,大幅减少开发者的软件应用开发成本,极大的推动 XR 行业的发展。微软和 Oculus 已开始 推广并开放了自己平台的 OpenXR 接口,Steam VR 21 年 2 月 25 日更新版本正式支持 OpenXR。该标准目前已有 超过 40 家硬件厂商和游戏平台加入,将会进一步扩大 XR 市场前景和商业空间。

VR 头显出货量提升和 VR 应用开发标准及生态确立共同构造行业增速良性循环。2020 年全球 VR 头显出货 超过 600 万台,预计 2021 年全球 VR 头显将达到 980 万台的出货量规模。Oculus Quest 2 于 2020Q4 约达到 200-300 万的销量,我们预计 2021 年全年销量超过 700 万。2020 年全球 VR 用户已经超过千万,用户群体壮大为 VR 内 容提供了市场前景和商业空间,形成了“VR 头显销量增长-用户增长-内容需求爆发-内容收入提高-优秀开发者持 续入场-内容质量提高-VR 头显销量继续增长”这一良性循环状态。

1.3 VR/AR 投融资趋势:市场情绪上升,投融资规模稳步提升

2020 年 VR/AR 投融资规模继续上升,海外投资规模提升显著。由于 VR/AR 行业多数企业尚处于中早期创 业阶段,极大依赖外部融资和并购进行研发活动,投融资仍是行业景气度重要的衡量指标。从规模上看,2020 年 VR/AR 投融资规模达到 244 亿元,投融资并购发生 219 起,实现连续三年上涨。其中海外投资规模提升显著, 较 2019 年提升 36.8%,国外产业较国内领先 2-3 年,产业和资本对行业的研究和理解更加深入,投融资活动更 活跃,预计未来国内企业的估值和融资会更上一层楼。

从环节上看,硬件和应用仍是重点环节。行业仍在上游硬件上发力,竞争格局尚未定型,硬件尚待继续成 熟,也是资本主要布局的方向。应用方面更多在 B 端寻找机会,尤其是 AR 尚未破圈到 C 端。内容方面随着 VR 销量和用户开始放量,游戏生态进入良性循环,未来将吸引更多资本入局。

2020 年和 2019 年的融资并购案例中,AR 眼镜领域的并购金额居于首位。AR 眼镜领域发生了几笔大的并 购事件,包括 Magic Leap,North,Nreal 等。解决方案、工具软件、游戏、教育培训等领域也有较高的投融资 活跃度。此外,VR/AR 半导体芯片厂商也开始有了较高的关注度,其中最大一笔融资为 3D 成像半导体公司 Inuitive 获得 1.06 亿美元投资。

1.4 大厂布局:海外巨头 VR/AR 持续布局,国内厂商处于探索阶段

国内外龙头厂商持续布局 VR/AR 行业,近年来均加大研发和并购活动,在技术方向和品类上各有侧重。其 中 Facebook 以 Oculus 系列产品为切入持续建设 VR 产品及生态,微软以 Hololens 为切入打磨 B 端 MR 产品及生 态,苹果已申请大量专利并即将发布新品,谷歌持续完善消费级 AR 产品与生态,华为侧重底层技术布局并陆续 推出产品。

Facebook 持续丰富 Oculus 生态。Facebook 近年收购机器视觉公司 Scape、VR 游戏开发商 Sanzaru、AR 地图 数据公司 Mapillary、VR 变焦头显技术厂商 Lemnis 等;开发全新的 VR/AR 操作系统,摆脱对谷歌安卓的依赖; 推出 Quest 2,预计 21 年销量超 700 万台,与雷朋合作生产 AR 眼镜,预计 2021 年上市。

苹果在 AR 产业链持续布局,即将发布产品。AR 设备的透镜已在富士康工厂试产,预计于 2022 下半年发布 头显产品,2023 年发布眼镜产品。苹果收购 Next VR 布局内容领域,发布 ARKit4,以及 LiDAR Depth API 申请可调节透镜 AR 波导显示系统等几十项 VR、AR 专利。

微软继续打磨 HoloLens。微软推出 HoloLens 2 工业版,2021 年春季开放预购,HoloLens 2 将支持 5G 技术, 未来打造 AR 生态系统软 MR 开发工具正式发布,新功能包括 Ultraleap 手部追踪,MRTK Toolbox,手部菜单优化 等。

谷歌持续完善消费级 AR 产品与生态。谷歌 AR 眼镜 Glass 2 开放购买,售价 999 美元。正式推出 ARCore Depth API。1.8 亿美元收购加拿大 AR 眼镜公司 North。谷歌搜索加入 AR 功能,支持 3D 动物的 MR 视频录制。

华为侧重底层布局,多方位出击。华为海思发布 XR 芯片,支持 8K 解码,内置高性能 GPU。华为 AR 眼镜 专利曝光,华为 AR 地图正式上架华为应用市场,基于河图技术构建,河图 2.0 AR 地图正式发布;发布 AR/VR Engine 3.0,推出全新的 AR 内容开发工具 Reality Studio。

阿里达摩院成立 XG 实验室,为 VR/AR 场景研究视频编解码技术、网络传输协议等相关标准。阿里影创 VR 研究院成立。 腾讯聚焦内容和云生态。

腾讯游戏与华为成立联合创新实验室探索 VR/AR 等前沿技术。与英伟达合作在 Tencent Marketplace 上全面提供 Cloud XR。

HTC持续优化 Vive 生态:发布两款全新 VR 概念机(一体式 VR 和短焦 VR),同时停产 Vive Pro 和 Focus,继 续生产 Pro Eye 和 Focus Plus。投资 VR 内容企业 Immersive VR Education,以及另外 7 价 VR/AR 内容和应用领域 企业。

二、VR:产业链核心环节均已渐趋成熟,硬件产品体验大幅提升

2.1 VR 近期上市产品分析:一体机和轻量化为主流

2020 年 VR 上市产品以一体机和轻量化为主流。2020 年 Facebook 发布新一代 VR 一体机,Oculus Quest 2, 同时 HTC、华为、夏普、爱奇艺、电信均发布了 VR 产品,全年 13 歀 VR 头显中 7 款为一体机,且一体机重量轻 便于携带,符合消费电子产品的发展趋势。

从 VR 头显硬件配置上看,高通 XR 芯片、Fast-LCD 屏幕,菲涅尔透镜成为主要硬件方案,6DOF 及 Inside-Out 成为主要显示交互方案。处理器上,高通 XR 已成为当前 VR 主力芯片。显示上,4K、70Hz 的 Fast-LCD 屏为消 费级 VR 主流屏幕,能有效降低纱窗效应和眩晕感。光学上,普遍采用菲涅尔透镜方案,短焦方案由于其产品体 积小厚度薄,越来越多的厂家开始跟进。追踪显示上,VR 头显逐步升级到 6DOF,Inside-Out 成为主流。

2.2 VR 产品结构及产业链:处理器、存储、光学显示器件合计占比超 80%

VR 终端的硬件部分主要由处理器、存储、屏幕、光学器件、声学器件、壳料、辅料构成。Oculus Quest 2 采用高通骁龙 XR2 芯片组、闪迪内存、JDI 和夏普的 LCD 显示屏、两片菲涅尔透镜、国产锂电池组、4 个外部摄 像头实现 6DOF 头部交互,实现了更轻的质量、更紧凑的结构、更准确的交互和更高的图像性能。

处理器、存储、光学显示器件在 VR 终端成本中占比较高,产业链相对比较成熟。由于目前 VR 产品的使用 场景主要是游戏和视频,以图像处理和显示为功能重点,因此在硬件成本中,负责计算、渲染和图像处理的 CPU 和 GPU 占比较高,占比 16%左右;另外 VR 也需要较高的内存,存储成本占比 27%;包括屏幕和光学器件在内 的显示器件占比约为 40%。

目前 VR 硬件的产业链相对比较成熟,与智能手机重合度较高,许多领域的技术积累可以复用。VR 产业链 包括传统的显示屏产商 JDI、夏普、京东方、华星光电、深天马等,以及传统光学厂商舜宇光学科技、联创电子 等,声学厂商歌尔股份、瑞声科技等,精密结构件厂商立讯精密、领益智造、长盈精密等,代工厂歌尔股份等。

2.3 计算芯片:高通为 VR/AR 开发专用芯片,骁龙 XR2 占市场主流

高通为 VR/AR 开发独立专用的芯片平台,提供强大硬件性能支持。高通骁龙推出 5G+XR 芯片 XR2,全面 布局 VR/AR 市场,骁龙 XR2 是基于骁龙 865 针对 VR/AR 设备进行改造的专用平台,结合了高通 5G、AI 和 XR 领域的最新技术,相对 XR1 其性能得到显著提升,XR2 在 Quest 2 上首发。目前高通芯片 835、845、骁龙 XR1、XR2 等芯片在 VR/AR 硬件市场上具有统治地位。

国产 VR/AR 芯片起步较晚,仍需时间积累。国产芯片起步较晚,目前全志科技、瑞芯微、晶晨等厂商都 提供了虚拟现实解决方案,但性能尚有差距。其中 16 年推出的瑞芯微 RK3399 定位高端 VR 芯片,采用了双Cortex-A72 大核+四 Cortex-A53 小核和高端图像处理器,面向高端 VR 设备市场。17 年推出的全志 VR9 采用四 核 Cortex-A53,支持 4K@60fps 解码,视频播放能力与高通骁龙 XR1 持平,主要用于中低端视频播放 VR 设备。 20 年 5 月海思正式发布 XR 芯片平台,可支持 8K 解码能力,集成 GPU、NPU,Rokid Vision 将成为海思 XR 芯 片平台的首款 AR 产品。国内 XR 芯片主要集中在中低端并在市场上具有一定的竞争力,但高端 XR 芯片开发能 力仍需要积累。

2.4 显示:Fast-LCD 目前成为主流

VR 对像素密度要求极高,要求 1000ppi 以上的显示器件。VR 的原理是将手机大小的屏幕分屏,然后用放 大镜将屏幕画面矫正后投射到人眼中,让人形成双目立体视觉。由于 VR 特殊的分屏播放形式,在显示的时候单 个画面只会用到屏幕一半的像素点,再加上光学镜片和屏幕材质等因素的影响,复杂的光学系统位于用户眼睛 和显示面板之间,它们会严重降低图像质量,VR 感知分辨率就会远远低于面板的分辨率。目前 8K 的 VR 可以相 当于屏幕 480P 的视觉效果,12K 的 VR 相当于平面 720P 的视觉效果。同时,由于便捷性和舒适性的要求,VR 的显示器件面积较小,要让这宽广的世界在方寸之小的屏幕上显示,对于 ppi(像素密度)的要求极高。目前普 通手机屏幕在 300ppi 左右,而 VR 则要求 1000ppi 以上的显示器件。

Fast-LCD 屏幕量产稳定、性价比高,目前已成为消费级 VR 头显的主流屏幕。VR 头显与普通显示器的区别 在于头部的移动造成的图像扭曲和运动模糊,为解决这一现象,需要全局刷新驱动技术,减少光源发光时间。 传统 LCD 显示屏的响应时间是其最大的问题,Fast-LCD 技术使用新的液晶材料(铁电液晶材料)和超速驱动技 术(overdrive)来有效提升刷新率,同时也具有较高的量产稳定性和良率,性价比较高,Oculus Quest 2 即采用 一块改良后的 Fast-LCD 替换了上代产品中的两块 AMOLED。

2.5 光学:菲涅尔透镜得到成熟应用,未来向超短焦方案发展

菲涅尔透镜在 VR 头显上得到广泛成熟运用。菲涅尔透镜采用聚乙烯塑料注塑成型工艺,表面加工成一圈 圈向外由小到大,由浅到深的同心圆,剖面看似锯齿状。该设计允许构造大光圈和短焦距的透镜的同时具有较 轻的重量和较薄的厚度。但菲涅尔透镜会使显示器件的清晰度受损和曲率出现偏差。菲涅尔透镜使 VR 头显设 备能在短距离中实现有效图像显示效果,是目前主流 VR 头显中透镜光学部件。

超短焦光学为头显继续“瘦身”,成为 VR 光学技术的未来发展方向。目前反射偏振的折叠光路(Pancake) 为最易量产的超短焦方案。Pancake 可以细分为两片式和多片式两种方案,目前市面上多为两片式,其生产工艺 要求简单,成本可控,是目前大多数 VR 眼镜所采用的短焦光学方案,而相对的多片方案中光学镜片较多,组 装及镀膜难度较大。基于 Pancake 技术方案的 VR 眼镜,图像源发射光线进入半反半透的镜片之后,光线在镜 片、相位延迟片以及反射式偏振片之间多次折返,最终从反射式偏振片射出。此种光学方案能极大地缩小了产 品体积,但 Pancake 的光学质量会因制造工艺问题出现杂散光、对焦差和脏污的情况。

2.6 定位与交互:Inside-out 和 6DOF 逐渐成为主流

追踪定位:Inside-out 取代 Outside-in 成为 VR 主流架构

Inside-out 逐步取代 Outside-in 成为主流技术。定位追踪技术在实现上主要分为两类,即“Outside-in”和 “Inside-out”。2017 年,由外向内(Outside-in)追踪定位技术实现产品化,并开始大量用于体验馆、线下门店 等商业场景。Outside-in 需要在房间里布置传感器的摆放或者悬挂位置,如果你想把 VR 体验场地换到另外一 个房间,传感器的摆放就又得重新布置。2018 年,Facebook、HTC 发布基于 Inside-out 的一体机,由内向外 (Inside-out)追踪定位技术能够实现设备的无绳化,也逐渐取代 Outside-in, 明确成为 VR 主流追踪定位技术架 构。在 AR 领域,目前主要的技术路线是单目视觉+IMU 融合 SLAM 定位,实现厘米级准确度和毫米级精密度 定位输出。

手势交互:目前以基于手柄的“6+6”交互为主流,未来将以裸手交互为趋势

6DOF 逐渐取代 3DOF,头显和手柄“6+6”成为发展趋势。定位技术的原理简单概括,就是“信号源+传 感器”,使用相应的算法计算出物体的位置信息(包括三轴及旋转共六个自由度,6DOF)。算法及算力的成熟带 来 VR 设备从初期的 3DOF 向 6DOF 发展。目前手柄控制依然是主流,融合 Inside-out 6DOF 头动和 6DOF 手 柄交互的所谓“6+6”交互路线成为发展趋势,代表厂商有 Oculus Quest、Pico 及 Nolo、Ximmerse 等。各厂 商的 VR 手柄设计有较大不同,通常都会配置摇杆,小型触摸板,A、B 操作按钮,以及握柄部分的电容感测, 可识别压力、触感、以及光学数据。

裸手交互是未来的主流研究方向。裸手交互(原生手势识别)方案需要识别出手部骨架的 21 或 26 个关键 点,并将每个点用 3 个自由度衡量,输出 21/26*3 维的矢量,并由专业算法来识别手部的姿态和位置。裸手交 互的硬件方案包括 RGB 摄像头、3D 摄像头(TOF、结构光、双目视觉)和数据手套等,业界标杆是以 Leap Motion 和 uSens 为代表的双目红外相机方案,支持双手交互、单手 26DOF 跟踪,广泛用于一体式、主机式虚拟现实 终端,而在手机式产品方面,华为 AR Engine 利用结构光器件实现了单手 26DOF 交互方案。裸手交互的算法 方案大体可以分为模型驱动和数据驱动两种方式,模型驱动类的算法不需要训练数据,但需要高度精确的初始 化设计,通常只能用于手势追踪领域,数据驱动类算法依靠大数据和机器学习,目前已经成为主流的研究方向。

手势识别的落地场景目前以游戏为主,未来将向肢体交互等方向拓展。目前,手势识别技术的落地场景还 比较有限,主要在 VR 游戏场景中,另一方面,手势识别技术存在使用疲劳、识别率不高、精确性较差和时延 等方面的固有问题,因此还处于比较早期的发展阶段。但可以预见的是,手势交互是未来人机交互必不可少的 一部分。随着深度学习的快速发展,交互范围也逐渐从手部拓展到肢体,以 Wrnch、Facebook、华为 AR Engine、 百度、旷视、商汤等国内外厂商先后推出可实时运行的人体骨骼点跟踪技术,广泛用于各类 VR/ AR 应用。

三、AR:光学系统是核心器件,产业链多种方案百花齐放

3.1 近期 AR 上市产品分析

2020 年上市的 VR 产品尚未形成统一的形态和主流的技术路线。从产品形态上,一体式、分体式共存,尚 未形成统一的技术路线。轻薄化、类普通眼镜是发展的必然选择。目前仍受限于底层核心技术,特别是光学、 显示技术和电池续航等的技术突破。

从处理器上看,高通芯片一家独大。从显示上看,多种显示屏幕并存,Micro-LED 是未来。从光学系统来 看,光波导+Micro-LED 是未来发展的趋势,光学显示镜片的量产与成本问题有待解决。从感知交互来看,SLAM 开始普及,手势识别逐步具备。

3.2 AR 产品结构及产业链:光学组件成本占比接近一半

AR 终端的硬件部分主要由处理器、光学组件、摄像头和传感器、存储器几部分构成。Magic Leap One 主 要部件包含 6 个 LCOS 屏幕和一块 6 层的几何光波导镜片,一块可以续航三小时的电池,使用了英伟达 Parker SOC。HoloLens 主要部件包括深度感应摄像头、4 个环境感应摄像头、全息处理单元 HPU、Intel Atom x5-Z8100 CPU、一块 16.5Wh 的电池、3 层衍射光栅+LCOS 的光学显示方案。

近眼显示技术是目前主要难点,因此光学显示在 AR 终端成本中占比较高。近眼显示(Near-eye display, 简称 NED)目前是 AR 硬件最重要的问题,不同于半导体遵循摩尔定律,往往具有可预见的迭代周期,光学设 计则需要在最基本的物理定律的框架下,不断探索、论证各种的可能性,技术门槛较高,生产良率低。因此目 前的 AR 终端中,光学显示的占比最高,参考 Hololens 的成本结构,光学显示部分约占 40%左右。其次是处理 器(~30%),存储(~15%), 摄像头(~10%),电池(2%)。

3.3 光学显示系统:百花齐放,Micro-LED+光波导未来可期

AR 设备的光学显示系统通常由微型显示屏和光学元件组成。光学组合器的不同,是区分 AR 显示系统的 关键部分,市场上各种方案百花齐放,目前较多的搭配方案包括 LCOS+光波导、DLP+光波导、硅基 OLED+自 由曲面等。

3.3.1 显示:多种显示方案共存,Micro-LED 逐渐成熟并有望成为主流技术

目前 AR 设备中多种显示屏幕共存。目前发布的 AR 产品使用较多的是 LCOS、硅基 OLED、DLP 三种屏 幕,由于亮度上的差异,硅基 OLED 一般与 BB、自由曲面搭配、LCOS、DLP 基于亮度上的优势与光波导搭配。 Micro-LED 由于具有高亮度、低延时、低功耗等优点将成为 AR 眼镜微显示器件的最优选择。

(1)硅基液晶(LCOS)作为 AR 终端常用的显示技术得到了一定发展与认可,但其较高功耗与较低对 比度限制了该技术的发展。

硅基液晶(LCOS)是一种新型的反射式微液晶投影技术,它采用涂有液晶硅的 CMOS 集成电路芯片作为 反射式 LCD 的基片。传统的 LCD 是做在玻璃基板上,LCOS 则是做在硅晶圆上。前者通常用穿透式投射的方 式,光利用效率只有 3%左右,解析度不易提高;LCOS 则采用反射式投射,光利用效率可达 40%以上,而且可 随半导体制程快速的微细化,逐步提高解析度。LCOS 的优势在于性价比较高,缺点在于对比度不足以及功耗 较高。

(2)硅基 OLED(OLEDoS)可显著改善 LCOS 在对比度、功耗与响应时间等方面的性能表现,成为新 近发布 AR 终端的技术选择。未来需要进一步降低成本并完善生态体系。

硅基 OLED 显示采用单晶硅晶圆作为有源驱动背板,所以更容易实现高 PPI(像素密度)、高度集成、体积 小、易于携带、抗震性能好、超低功耗等优异特性。自 2020 年开始,国内显示厂商在硅基 OLED 领域投资动作 频繁,2020 年产线投资规模超过 200 亿元,包括安徽熙泰、京东方、维信诺、紫旸升光电科技等公司均有投资 兴建硅基 OLED 产线。

未来硅基 OLED 需要解决的问题包括:一是降低成本,硅基 OLED 是集成电路和新型显示两种技术的结合, 其中集成电路制程占据了器件成本的 70%到 80%,随着硅基 OLED 器件市场需求的不断增长,现有的生产方式 还有待探索和磨合;二是优化系统和提升整机设计水平,包括光学设计和制造、人体工程、操作系统和应用程 序等多方面的配合。

(3)Micro-LED 成为继 LCD 和 OLED 后业界期待的下一代显示技术,技术逐渐成熟,市场前景广阔, 诸多行业巨头加速战略布局。

Micro-LED 原理是将 LED 阵列微小化、可拼接化使其性能得到良好提升,具备低功耗、高亮度、高对比、反应速度快、厚度薄与高可靠等优势。Micro-LED 微显示屏幕当前量产的难点在于巨量转移技术,目前制造成 本过高,产业化仍需要时间。梳理晶元光电、友达光电、錼创科技、三星等重点企业的发展进度可知,预计其 规模量产时间在 2022 年左右。

苹果(LuxVue)、脸书(InfiniLED)、谷歌(Glo、Mojo Vision)、英特尔(Aledia)等纷纷投资或收购 Micro-LED 领域初创公司,布局 Micro-LED 显示技术。2020 年国内 Micro-LED 厂商 JBD 与 AR 眼镜厂商 Vuzix 达成供货, Facebook 已宣布与英国 Micro-LED 厂商 Plessey 合作推出了 Micro-LED AR 眼镜。

3.3.2 光机:多种光学方案并存,光波导技术发展趋势明确

AR 的光机设计是当前的难点之一。一方面,不同于 VR,AR 是需要透视的,成像系统不能挡在视线前方, 因此多了一个或一组光学组合器,通过“层叠”的形式,将虚拟信息和真实场景融为一体。另一方面,不同于 半导体遵循摩尔定律,往往具有可预见的迭代周期,光学设计则需要在最基本的物理定律的框架下,不断探索、 论证各种的可能性,技术门槛较高,进展相对缓慢,但目前在一些技术上已经取得了较为明确的突破。

在各种光学参数存在冲突的情况下做出取舍,是目前 AR 光机的重要挑战。由于现有技术方案在分辨率(清 晰程度)、视场角(视野范围)、重量体积(美观舒适)等方面存在潜在冲突,如何做到视觉质量、眼动框范围、 体积重量、视场角、光学效率与量产成本间的权衡取舍、优化组合成为驱动技术创新的主要动因。

(1)折反式(Birdbath)得益于设计与量产成本的优势,触发了消费级 AR 终端的规模上量。

Birdbath 的工作原理是把来自显示源的光线投射至 45 度角的分光镜。分光镜具有反射和透射值(R / T), 允许光线以 R 的百分比进行部分反射,而其余部分则以 T 值传输。同时具有 R/T 允许用户同时看到现实世界的 物理对象,以及由显示器生成的数字影像。从分光镜反射回来的光线弹到合成器上。这是一个凹面镜,可以把 光线重新导向眼睛。 基于这一传统技术路径的光学模组体积较大厚度减薄困难,眼动框范围受限,其光学系统须搭配算法缓解 畸变,且光效难以高于 15%,效果和成本较大程度受限于微显示器的发展,高亮的 OLEDoS 成为最优搭配, 目前我国已有厂商采用该技术大量出货。搭载 Birdbath 光学方案的 AR 头显包括:联想 Mirage AR 头显、ODG R8 和 R9、OPPO AR Glass 2021 等。

(2)自由曲面在早期得到业界认可,其显示效果、光效表现较好,但会产生畸变等问题。

自由曲面采用相对简单的光学设计,它搭载了低成本的 LCD 显示源,以及带反射/透射(R/T)值的曲面反 射镜。显示器发出的光线直接射至凹面镜/合成器,并且反射回眼内。显示源的理想位置居中,并与镜面平行。 从技术上讲,理想位置是令显示源覆盖用户的眼睛,所以大多数设计都将显示器移至“轴外”,设置在额头上方。 凹面镜上的离轴显示器存在畸变,需要在软件/显示器端进行修正。

但自由曲面量产加工难以保持较高精度,局部精度下降可导致图像局部扭曲和分辨率降低,存在产品一致 性难题。此外,通过厚棱镜观察真实世界会出现一定程度扭曲和水波纹样畸变,这些因素影响了自由曲面的发 展潜力。搭载自由曲面光学方案的 AR 头显包括:Mira Prism,Meta 2,Leap Motion,Dream World。

(3)光波导在 AR 领域的技术发展前景明确,有助于推动消费级 AR 产品显著升级,高性能光波导的发 展尚需时间。

(a)几何(阵列)光波导:镜面阵列设计,实现一维扩瞳,制造工艺复杂

几何光波导中,耦合光进入波导首先遇到一个棱镜或反射面,在多轮全反射后到达眼睛前方,耦合光出波 导的结构是一个“半透半反”镜面阵列。每一个镜面会将部分光线反射出波导进入人眼,剩下的光线透射过去 继续在波导中前进。镜面阵列相当于将出瞳沿水平方向复制了多份,这样眼睛在横向移动时都能看到图像,这就是一维扩瞳技术(1D EPE)。

目前几何光波导代表光学公司是以色列的 Lumus,国内的珑璟光电。如果生产过程符合设计,几何波导的 成像质量比较好,但光效率比传统光学系统偏低,相当于出光面积变大,每一个出瞳位置看到的光就变少了。 但问题在于,几何波导的工艺难度非常大,主要在于复杂的镀膜工艺,由于光在传播过程中会越来越少,要保 证动眼框范围出光均匀,阵列中这五六个镜面的每一个都需要不同的反射透射比(R/T),又由于光通常是偏振的, 每个镜面的镀膜层数可能达到十几甚至几十层;另一方面是胶合难度大,镜面之间的平行度和切割的角度都会 影响到成像质量,极易出现瑕疵,导致黑条纹,出光不均匀,鬼影等现象。因此几何波导的良率较低,可量产性较低。此外,基于阵列光波导的二维扩瞳方案对加工工艺的挑战极大,短期难以商用。

(b)衍射光波导:通过光栅调整,可以实现二维扩瞳

衍射光波导主要有利用光刻技术制造的表面浮雕光栅波导(Surface Relief Grating,SRG)和基于全息干涉 技术制造的全息体光栅波导(Volumetric Holographic Grating,VHG), HoloLens 2,Magic Leap One 均属于前 者,苹果公司收购的 Akonia 和 Digilen 则致力于后者。

衍射光波导依循光学元件从毫米级到微纳级、从立体转向平面的技术趋势,采用平面的衍射光栅取代传统 的光学结构。衍射光波导利用经过两次两个方向的扩瞳光栅或二维光栅以实现二维扩瞳,从而给以人为中心的 光学设计与用户体验优化留有更大的容差空间。

衍射光波导的原理简单来讲,就是通过设计衍射光栅的参数,将光衍射到想要的方向上去。衍射光栅是一 个具有周期结构的光学元件,这个周期可以是材料表面浮雕出来的高峰和低谷 ,也可以是全息技术在材 料内部曝光形成的“明暗干涉条纹”,但归根结底都是在材料中引起了一个折射率 n 的周期性变化。因此, 衍射光栅通过衍射级和色散实现分光特性,起到了与传统光学器件类似的改变光线传播方向的作用,但是它所 有的操作又都是在平面上通过微纳米结构实现的,所以非常节省空间,自由度也比传统光学器件大很多。

衍射光波导的可量产性较好,色散问题是比较大的技术挑战。衍射光波导技术与几何光波导相比主要优势 在于光栅在设计和生产上的灵活性,不论是利用传统半导体微纳米制造生产工艺的表面浮雕光栅,还是利用全 息干涉技术制成的体光栅,都是在玻璃基底平面上加镀一层薄膜然后加工,不需要像几何光波导中的玻璃切片 和粘合工艺,可量产性和良率要高很多。衍射光波导技术的不足主要来源于衍射元件本身对于角度和颜色的高 度选择性,光的效率偏低,另外还有色散问题。为了改善色散问题,针对 FOV 和动眼框内的“彩虹效应”,如 何用一层光栅作用于 RGB 三色且实现最大的 FOV 成为重要的技术挑战。

光波导的优势包括:能够实现通过一维和二维扩瞳技术增大动眼框,从而适应更多人群,改善机械容差, 推动消费级产品实现;波导镜片像光缆一样将图像传输到人眼,成像系统旁置,不阻挡视线并且改善配重分布; 波导形态一般是平整轻薄的玻璃片,其轮廓可以切割,外观形态更像传统眼镜,利于设计迭代;多层波导片可 以堆叠在一起,每层提供一个虚像距离,提供了“真”三维图像的可能性。

目前光波导技术也存在一些不足,主要包括:由于光在耦合进出波导以及传输的过程中都会有损失,并且 大的动眼框使得单点输出亮度降低带来的光学效率相对较低;对于几何波导来说,繁冗的制造工艺流程导致总 体良率较低;对于衍射波导来说,衍射色散导致图像有“彩虹”现象和光晕,非传统几何光学,设计门槛较高。

在微软 HoloLens,谷歌,Magic Leap 、DigiLens 等厂商的推动下,光波导目前成为 AR眼镜的主流技术。 光波导技术在 AR 领域的技术发展前景是明确的,但预计在中近期难以大规模普及。光波导技术中各类技术路 线间存在明显的优势和短板,目前尚未确立主导地位技术方案。此外,由于受到基础物理定律的限制,光波导 要实现重大技术突破将面临巨大的研发困难,相关产品难以单独作为完整终端产品,须配套技术和零部件才可 能产出被市场认可的 AR 终端,而有关配套技术和零部件尚有相当比例需要进一步完善,因此高性能光波导的 发展尚需要时间。

3.4 感知交互:SLAM 开始普及,各大厂纷纷布局

SLAM(Simultaneous localization and mapping,同步定位与建图)技术近几年开始成熟,并被用于 VR/AR 等消费者产品的追踪定位。简单理解,SLAM 就是某种设备(机器人、VR/AR 设备)来到陌生环境中,需要精 准建立时空对应关系,并回答“我在哪里?”“这是什么地方?”“我该怎么走?”等问题,也就是定位、建图 和路径规划。由此可见,SLAM 是一套要求实时性和准确性的大型系统,涉及硬件上高速度高精度的感知和姿 态跟踪、算法上多线程并发执行,资源的分配、读写的协调、地图数据的管理、优化和准确性等系统整合的众 多问题。

SLAM 的数据来源是传感器,传感器的质量对于 SLAM 的效果影响很大。因此 SLAM 对于硬件的要求很 高,包括对于 IMU 要求高精度,对于摄像头要求全局快门,大的视角,快门速度足够高,能够保证图像在高速 运动时不会产生模糊。不仅如此,SLAM 数据来自于多个传感器的融合,以 Facebook 的 Oculus Insight 系统为 例,硬件架构包括三种传感器:IMU,摄像头和红外 LED,多个传感器需要精密的校准和调整,直接关系到算 法的准确性。

精确高效的算法则是 SLAM 的核心。以开源的 ORB-SLAM 算法为例,主要分为三个线程,Tracking 用于跟踪 Camera Pose,Local Mapping 用于构建点云地图,Loop Closing 用于闭环检测,优化点云位置。Place Recognition,即重定位,是利用 BOW(Bag of Words)模型在已经构建好的地图内定位 Camera。目前距离应用 到终端产品上还存在比较大的问题,主要包括代码 Bug 优化,传感器的位置跟踪不稳定,芯片实时处理所有数 据的算力不够,以及内存问题。

SLAM 是 AR 必备的核心技术,各大公司纷纷布局,未来前景可期。从 VR/AR 的应用场景来看,由于 VR 设备主要是虚拟世界的沉浸感,SLAM 是对真实世界的描述,现有的 Outside-in 方案基本不需要 SLAM,Inside-out 需要 SLAM 配合解决跟踪用户位移的问题。而对于 AR 设备来说,为了实现虚拟元素和真实世界的融合,SLAM 则是必须拥有的最核心的一项技术之一,苹果 ARKit、谷歌 ARCore 与华为 AR Engine 推出的 AR SDK 普遍 遵循单目视觉+IMU 融合定位的技术路线,也验证了各大公司对其重视的程度,在 SLAM 相关的传感器、算法、 软件、硬件等方向,也出现了小公司在关键细分领域快速创新、大公司在各个关键方向布局并且频繁收购的趋 势。

在初期阶段,由于产品和硬件高度差异化,而 SLAM 相关技术的整合和优化又很复杂,目前有能力做好 SLAM 全套解决方案的仍是 Facebook、微软、谷歌、苹果等大厂。随着 SLAM 各个领域的产品化进程推进,细 分市场的创新和应用正在迅速推进。由于市场上算法和软件仍然比较碎片化,移动端硬件的计算能力还不够, SLAM 相关技术正在从软件和算法层面向硬件推动,可以期待在这个过程中必将会产生巨大的机会和众多优秀 的公司。

四、基础设施建设:网络条件已具备,云 VR 将加速行业普及

4.1 接入网:5G 与千兆带宽,“双 G”赋能 VR/AR

在接入网方面,5G、Wi-Fi6、10G PON 有望在五年内成为面向虚拟现实业务的主流传输技术。双 G 是指 5G 和千兆带宽,5G 主要是室外移动场景,也就是无线基站到移动终端一侧,而千兆带宽+ Wi-Fi6 为室内固定 场景,在包括接入网和承载网解决带宽和时延问题。Wi-Fi 是室内固定场景,5G 则是户外移动场景,二者共同 为 VR/AR 提供更优的管道。Wi-Fi 技术相对成熟,可实现 VR/AR 终端的无绳化。固定宽带光网络目前可以支 持 1Gbps-2.5Gbps 的带宽接入,能够满足少量 VR 用户承载,未来将升级到 5G-10G。未来 5G 的目标网可为每 用户提供随时随地平均 100Mbps 的无线接入服务,为 VR/AR 业务提供极致体验。

4.1.1 5G:高速率、低时延的特性将大幅提高 VR/AR 体验

5G 网络高速率、低时延的特性适合承载 VR/AR 业务,并大幅提高用户体验。根据 5G 的性能指标,5G 移 动网络能够达到 20Gbps 的峰值速率,是 4G 的 20 倍;能够达到 1Gbps 的体验速率,是 4G 的 100 倍;空口时延 1ms,是 4G 的 1/5。

ITU 定义的 5G 三大业务场景为:eMBB(增强型移动宽带)、uRLLC(高可靠低时延通信)和 mMTC(大 规模机器通信)。eMBB 场景主要提升以“人”为中心的娱乐、社交等个人消费业务的通信体验,主要场景包括 随时随地的 3D/超高清视频直播和分享、虚拟现实,随时随地云存取、高速移动上网等大流量移动宽带业务, 带宽体验从现有的 10Mbps 量级提升到 1Gbps 量级,要求承载网络提供超大带宽。mMTC 和 uRLLC 则主要面 向物物连接的应用场景,其中 mMTC 主要满足海量物联的通信需求,面向以传感和数据采集为目标的应用场景; uRLLC 则基于其低时延和高可靠的特点,主要面向垂直行业的特殊应用需求。

从以上三种场景的实现难度来看,eMBB 能够最先实现,推动超高清流媒体、VR/AR 率先落地。未来 5G 的目标网可为用户提供随时随地平均 100Mbps 的无线接入服务,为 VR/AR 业务提供极致体验。

4.1.2 千兆带宽+ Wi-Fi6:能够实现 VR/AR 对于网络的要求

随着光纤宽带接入技术的进步和新兴高带宽业务的应用,千兆宽带已成为下一步宽带发展的焦点。Ovum 的报告显示,全球已有超过 234 家运营商发布千兆业务,其中 20 家发布了万兆业务。我国目前已经基本普及 了百兆光纤入户,未来将逐步开展城市千兆带宽入户示范。固定网络经历了 5 个阶段的发展,目前已进入以 10G PON 光纤技术为基础的千兆时代。

当前已规模部署的 FTTH 技术包括 EPON 和 GPON,EPON 仅能提供 1Gbps 带宽接入,不适宜虚拟现 实业务部署。GPON 技术可提供 2.5Gbps 带宽接入,时延小于 2ms,能够满足少量 VR 用户承载。为满足 VR 用户规模化发展,须将 EPON/GPON 升级到 10G EPON/GPON。10G PON 作为千兆网络的基础技术,与前几 代固定接入技术相比,带宽、用户体验和联接容量三个方面均有飞跃式发展,上下行速率将高达对称 10Gbps, 时延降低到 100μs 以下,实现全场景多业务覆盖,满足 VR 用户的规模化发展。

下一代 Wi-Fi 技术 Wi-Fi 6 在传输速率、功耗、空间和性能等方面同样具有较大提升。Wi-Fi 6(即 IEEE 802.11ax),是一项无线局域网标准,也是 Wi-Fi 5(IEEE 802.11ac)的升级版。Wi-Fi 6 支持更高的传输速率, 最高速率可达 9.6Gbps。Wi-Fi 6 允许更多的设备接入,并且能够加快每一台设备的速度和容量,在连接相同数 量设备的基础上,速度是 Wi-Fi 5 的近四倍。基于 Wi-Fi 6 支持室内室外场景、提高频谱效率和提升密集用户环 境下 4 倍实际吞吐量的性能,能够实现 VR/AR 对于高速率和低时延的要求,可以处理来自多个 VR 用户不同类 型的流量。

4.2 Cloud VR:推动设备轻量化、低成本,并加速行业普及

本地 VR 受到用户体验与终端成本的制约,Cloud VR 能够解决主要痛点。VR 用户体验与终端成本的平衡 是目前影响 VR 产业发展的关键问题。低成本终端有助于提升 VR 硬件普及率,但有限的硬件配置也限制了用 户体验,用户的首次体验不好,后续就很难接纳和持续使用 VR。另一方面,以 HTC VIVE、Oculus Rift、Sony PlayStation 等为代表的高品质 VR 设备,其配置套装价格高达数千乃至万元,过高的终端成本明显制约了高品 质 VR 的普及。另一个关键问题是头显设计和佩戴舒适度,目前 VR 强交互类业务的渲染主要在本地主机和终 端进行,对 GPU 的资源要求很高,要求 VR 需要连接到电脑上,带来笨重的体验;而如果不连接电脑,VR 本 身配置显卡则会带来体积大、头显重、高耗电和过热的问题,这些问题减少了用户使用 VR 的时间,对 VR 的 推广带来不利影响。另外,VR 内容的市场相对比较分散,很多优秀的 VR 内容分散在各个厂家,难以有效地分 发给客户。

Could VR 的解决方案通过将云计算、云渲染的技术应用到 VR 业务中,借助高速稳定的网络,将云端的显示 输出和声音输出通过压缩后传输到用户的终端设备,实现 VR 内容上云、渲染上云,实现 VR头显的无绳化和轻 量化,更容易被用户所接受,有效解决 VR发展的痛点。由于 Cloud VR 具有如下显著优势,已经成为 VR 产业规 模化发展的必然选择:

实现终端轻量化,提升使用者体验:Cloud VR 无需本地主机,省掉了 VR头显与主机之间的连接线,“无 绳化”头盔让用户摆脱了线缆的束缚,同时也减少了 VR头显的重量过重,耗电过高,以及发热严重的问题,大幅提升 VR 设备的使用体验;

利于降低终端成本和价格,推动普及:渲染在云端处理,大幅降低终端 CPU+GPU 渲染计算压力,降低 终端硬件要求,不需要本地高性能、高成本主机,将大幅降低 VR/AR 的成本,加速 VR/AR 的普及;

有利于内容分发、聚合:通过统一的 Cloud VR/AR 平台,可适配不同终端上的不同类型的内容,内容 制作商只需与平台适配,无需考虑与各终端的适配细节,可进一步聚焦 VR/AR 内容数量和质量的提升; 同时,聚合到统一平台后,用户对于优质内容的获取将更加便捷;

利于内容版权保护,鼓励开发更多的内容应用:当前大量 VR/AR 内容属于离线体验,这种方式很难做 到对于内容版权的有效管控,VR/AR 内容上云后集中管理,有利于防止未经授权的读取、复制与传播, 遏制内容盗版,保护 VR/AR 产业的可持续发展;

利于与大数据分析、人工智能结合:数据在云端,利用云端强大的计算分析能力,进行大数据分析或 与人工智能结合,产生更多产业创新与价值。

来源:未来智库

发表评论

相关文章