VR的复苏

复苏期（2019 至今）：基于第一波产品的失败经 验教训，新技术逐步改进、产业链趋于成熟，产品体验及性价比明显提升。2019 年底随着 全球 5G 正式展开部署，VR/AR 作为 5G 核心的商业场景重新被认识及重视，行业重回升势；

同年 Qculus Quest 发售，VR 游戏《Beat Saber》全球销量超 100 万份。

2020 年，VR/AR 行业产业链各环节成熟度提升，叠加疫情推动居家需求上升，以 Facebook 发布的 Qculus Quest 2 为代表的消费级 VR 设备需求增长强劲，爆款 VR 游戏《Half-Life：Alyx》引爆行业。

2020 年 VR/AR 产业投融资活跃，金额及数量均回到 2016 年的高点水平。

生产稳定期： VR/AR 新技术的性能/效果最终能满足消费者需求时，将进入实质的普及生产阶段。

VR/AR 出货量增长显著，已进入产业化放量增长阶段。比之 2018-2020 年相对平缓的终端 出货量，随着 Facebook Quest2、微软 Hololens2 等标杆 VR/AR 终端迭代发售、电信运 营商虚拟现实终端的发展推广，以及平均售价从当前 2500/9700 元进一步下降，2021-2022 年 VR/AR 终端规模上量、显著增长。

产业链分析框架

硬件

VR 终端的硬件主要由芯片处理器、屏幕及光学器件、声学器件、存储、壳料、辅料等构成。

其中，芯片处理器、存储、光学显示器件在 VR 终端成本中占比较高，与智能手机重合度较高，许多领域的技术积累可以复用，硬件产业链相对比较成熟。

成本

VR 目前的主要的使用场景 是游戏及视频，以图像处理与显示为功能重点，因此硬件成本中：

  1. 屏幕占比 36%
  2. 光学器件占 比 6%
  3. 光学显示器合计占比约 40%
  4. 同时 VR 也需要较高的内存，存储成本占比 27%
  5. 负责计算、渲染和图像处理的 CPU、GPU 处理器占比 16%左右。

芯片

高通骁龙 XR2 成为 VR 主力芯片。

最早应用到 VR/AR 设备的芯片是高通针对手机的 SOC 方案 821、835、845，其中 835、845 均针对 VR/AR 设备作相应优化。

2018 年 5 月，高通 推出 VR 专用芯片骁龙 XR1，其性能与骁龙手机芯片660 相近。

2019 年 12 月，高通发布基 于骁龙 865 衍生的 XR2，集成了高通的 5G、AI 及 XR 技术。

2019年高通骁龙发布5G+XR芯片 XR2， 骁龙XR2 是以骁龙865为基础针对 VR/AR 设备进行改造的专用芯片平台，结合了高通 5G、 AI 及 XR 领域的最新技术，相对 XR1 其性能得到显著提升。

目前新一代 VR 一体机 Oculus Quest 2、VIVE Focus 3、Pico Neo 3 系列等均采用 XR2 平台。

软件

VR对系统的挑战： 3D化与实时性 ，是虚拟现实优化创新的重要技术方向。

正如 iOS 基于 UNIX，Android 基于 Linux，虚拟现实 OS 并非独立于现有操作系统发展 而来，在操作系统和底层软件上继承了移动端特性，是基于移动 OS 定制优化的嵌入式实时系统。

VR 技术特征

近眼显示 特征，虚拟现实 OS 有望成为首个 3D 化操作系统。 感知交互 特征，虚拟现实 OS 凸显稳态、实时、紧耦合的发展特性。

  • 近眼显示

    当前移动 OS 主要面向传统手机应用设计，用户视野较小，UI 控件和 Layout 布局方式均面向 2D，对多任务系统的执行并不迫切。

    虚拟现实 OS 可能不再有“桌面”概念，用户目之所及即为操作界面，更加强调空间思维，在 3D 图形渲染、3D 内容传输、3D 显示乃至基于 glTF 等新兴 3D 格式等方面变化甚巨。

  • 感知交互

    虚拟现实 OS 凸显稳态、实时、紧耦合的发展特性。

    • 移动系统机制

      传统移动 OS 是一个 待命式 系统，系统基于用户有意识主动操作进行响应，且各子系统相对独立。

      1. 传感与渲染子系统相互独立；
      2. 图像输入与渲染子系统相互独立；
      3. 传感器不参与渲染处理系统；
      4. 移动OS系统设计存在诸多缓存逻辑；

    • VR系统特性差异

      虚拟现实 OS 更像稳态系统，不论用户主动操作与否，从姿态到渲染保持实时稳定运行，20ms MTP 时延约束成为其中核心技术挑战，体现在如下方面。

      1. 在图形渲染方面

        VR由于复杂合成系统将带来过高渲染延迟，不同于移动 OS 用户界面 2D 图 层合成的方式，虚拟现实 OS 渲染方式存在显著差异。

      2. 在传感融合方面

        移动 OS 交互方式以触屏为主，基于这一交互技术的事件体系在虚拟现实中无法使用，此外，移动 OS系统架构中缺少高精度高频率的传感融合实现，架构的复杂性导致传感延迟较高。

      3. 在内容应用方面

        移动 OS 图形驱动均为 C++库，上层应用采用 Dalvik 虚拟机作为运行时，与实际 图形驱动较远，效率较低，且移动 OS 的事件回调机制难以满足虚拟现实应用的实时性需求。

VR主流系统

VR 设备目前主要是基于安卓定制系统。

早期的 VR 一体机基本沿袭手机端的计算芯片与操作系统，如：

  1. Oculus Go 采用高通骁龙 821 芯片；
  2. Vive Focus 采用高通骁龙 835 芯片；

操作系统则是在安卓系统的基础上进行优化及定制。

类似地，分体式 VR 包括 PC VR、PS VR 以 及华为 VR Glass、创维 V601 等超短焦手机 VR，其运行的操作系统仍以连接的主机为主， 包括微软 WMR、索尼 PS 及安卓系统。

3D开发工具

3D 开发工具的核心是生产与创作工具，逐步走向简单化、轻量化、可视化。

目前市场核心的 3D 开发引擎包括 Unity 的 U3D、Epic Games 的 Unreal Engine，以及 Frostbite Engine 寒霜引擎、起源引擎等，主要用于游戏、影视等 PGC 的内容生产。

由于 Metaverse 需要简单易用的生产工具，3D 开发工具也逐步走向简单化、轻量化、可视化， 如 Roblox 平台的开发工具 Roblox Studio，《我的世界》MC Studio 等。

目前，VR/AR 均已脱离了基于厂商原始 SDK 的简陋低效开发阶段，而步入了第三方技术支 持的高效开发新纪元。

VR 大型应用开发已得到各类图形库平台供应商的支持。

VR 开发不再拘泥于 Oculus SDK、OpenVR 等原始 SDK，而是可以通过 Unity、Unreal 等成熟图形引擎、 游戏引擎实现快速高效开发。

OpenXR:VR通用的SDK

OpenXR 是一个由 Khronos 组织联盟开发的开放式、无版权费用的 XR 行业标准规范，旨在 简化 VR/AR 软件开发，打通游戏引擎及内容底层连接，塑造具备互通性的开放生态。

OpenXR 最大的意义是，游戏开发者使用一个 API 接口就能让游戏在不同品牌的 VR/AR 中运行；硬件厂商则可利用现有 OpenXR 内容降低市场进入门槛，为消费者提供更丰富的内容体验。

以下不同硬件平台对OpenXR的支持：

  1. 微软在 HoloLens、WMR 头显均提供 OpenXR 支持；
  2. Unity 推出 OpenXR 支持预览版；
  3. Epic 宣布虚幻引擎 5 不再支持 SteamVR、Oculus 等平台，转而支持且仅支持 OpenXR 标 准；
  4. Oculus 推荐游戏引擎使用 OpenXR；
  5. 国内厂商中华为、兆芯、Pico 等也加入 OpenXR 联盟参与标准的讨论与制定工作；

内容/平台

VR 内容题材日益丰富，促进 VR 体验向消费者渗透普及。

截至 2020 年 12 月，Steam、 Oculus PC、Viveport、SideQuest、Pico、Oculus Quest 平台的 VR 应用总数分别达到 5554、 1755、2513、931、578、235 款。

截至 2020 年 9 月，Facebook Quest 平台内容收入已达 到 1.5 亿美元，35 款游戏收入达到百万美元，沉浸声、手势识别与虚拟化身等特色内容制作 SDK 陆续发布。

随着 VR 内容的丰富、设备体验的升级以及售价的不断下探，VR 产品将 进一步向消费者渗透普及。

应用领域

游戏之外，视频、直播、电竞、社交等商业场景亦多点开花，呈现广阔前景。

根据 IDC 数据，消费类 VR 主要包括游戏、视频、直播、影院、电竞、社交、音乐等领域.

商业类 VR 主要是教育、文旅、医疗、家装、房产、零售等。

其中基础的 VR 娱乐产品如游戏、视频、直播等需要用户具有高沉浸感，从而达到“身临其境”的体验，这对于 VR 内容的品质要求非常高；

而对于商用场景，用户对产品的关注点更多的在于能否达到相应的效果，因此，商用 VR 的内容门槛相对用户端要低，内容制作成本也相对较低，同时一些商业模式也已经跑通，可预见商业 VR 将迎来高速发展。

巨头布局：围绕硬件、软件、内容/平台展开竞争

Facebook：以消费级硬件切入，剑指 VR 社交

  1. 硬件方面

    Facebook 在收购 Oculus 后相继推出 PC VR Oculus Rift CV，VR 一体机 Oculus Go、VR 一体机 Oculus Quest、PC VR Oculus Rift S、VR 一体机 Oculus Quest 2。

    其中 Oculus Quest 2 上线半年后销量超过此前所有产品总和，预测2021年销量为500-900万台。

  2. 软件方面

    出于商业竞争及战略安全的考虑，Facebook 已经加大投入构建围绕空间计算与 3D 的完整 VR/AR 操作系统，以应对对安卓系统的依赖而受制于谷歌。

    自研操作系统有助于 Facebook 将社交、隐私与硬件深度结合，为其收购的公司以及合作伙伴构建完善生态。

  3. 内容方面

    Quest 平台采用严格的审核机制决定游戏上线，以高品质内容成就高口碑，上线以来收入规模稳步增长，累计收入规模超 1.5 亿美元，超 60 款游戏收入达 100 万美元。

    此外，VR 社交平台《Facebook Horizon》被视作 Facebook 志在社交的桥头堡，仍在测试中，兼容 Rift、Quest。

微软：专注 AR 眼镜，继续打磨 HoloLens

  1. 硬件方面

    微软发布 HoloLens 一代惊艳市场，持续打磨后推出 HoloLens 2，增加了强大的 手势追踪，这种进步是划时代性的，如同智能手机的触屏功能；相对一代 CPU 性能有显著提升，可以流畅运行复杂特效；与微软 Azure、Dynamics 365 等远程方案很好结合使用。

  2. 软件方面

    HoloLens 运行在名为 Windows Holographic 的平台上，如果将 HoloLens 看作 PC 机，那么 Windows Holographic 平台就是操作系统。

    基于 Windows 10 的 Windows Holographic 平台能够提供全息影像框架、交互模型、感知 API 和 XboxLive 服务，目前在 Windows 商店里能够找到数百个全息 UWP 应用，可见其正在规模性地扩展。

    同时，微软联合 Unity 推出 MRTK 开发工具（Microsoft Mixed Reality Toolkit）旨在帮助开发者轻松利用 Unity 开发跨平台 MR 应用。

    它同时允许开发者通过编辑器模拟轻松进行原型设计。

    最新的 MRTK 2.7 现可通过 Mixed Reality Feature Tool 下载，正式支持 OpenXR。

苹果：低调布局多年，颠覆性产品蓄势待发

  1. 硬件方面

    专利技术，截至目前，苹果已有 330 多项公开可查的 VR/AR 关键专利。

    苹果在 AR/VR 领域 的布局最早可以追溯到 2006 年提交的一项头戴式显示器的专利。

    截至目前透露的最新专利 包括“动态环境照明控制”、“全景光场捕捉、处理和显示”，以及一项“基站”专利，为 VR/AR 内容提供处理能力，支持用户与内容进行 6DoF 交互。

  2. 软件方面

    苹果最新的 ARKit 5 帮助开发者构建比以往任何时候都要更好的 AR 体验，主要包括位臵锚定支持更多地区、人脸追踪功能升级、改进运动追踪等。

  3. 内容方面

    苹果收购 VR/AR 直播企业 Next VR、收购虚拟现实初创公司 Spaces、Apple TV+ 流媒体视频服务中增加 VR/AR 内容，基于底层链条逐步完善内容生态。

谷歌：不再支持 Daydream，重心重回 AR

  1. 硬件方面

    2017 年，Google Glass 以企业版本 Glass Enterprise Edition 回归，主要面向企业客户，涉及农业机械、制造业、医疗以及物流等领域。

    2019 年，Google Glass Enterprise Edition 2问世。企业级市场之外，谷歌于2020年收购加拿大眼镜公司North布局消费级AR， North 创立于 2012 年，主要研发支持手势控制操作的臂环设备 Myo； 2018 年改名为 North， 同时推出智能眼镜 Focals，同年 North 收购英特尔 230 多份智能眼镜专利。

  2. 软件方面

    对标苹果 ARKit 推出 ARCore，基于安卓系统搭建增强现实（Augmented Reality, AR）应用的 SDK。

    ARCore 使用三项关键技术来整合虚拟内容和现实世界：

    1. 运动跟踪技术 （让手机能够理解并追踪自身在环境中的相对位臵）；
    2. 环境理解技术（让手机可以侦测到扁 平的水平面，如地表或咖啡桌）；
    3. 光照强度估测技术（可以估量当前环境的光照情况）；

VR穿戴分类

VR平台可分成2大类，分别为 有线VR 和 无线VR

  1. 有线VR：是指基于PC/主机类的VR设备，例如：OculusDK1、DK2；CV1；HTC VIVE；Sony PSVR等。

    其特点：基于强大计算能力的极佳的综合体验效果。

  2. 无线VR： 以 Google Cardborad 、 Oculus GearVR 、 Oculus Quest2 为代表的移动端VR，以手机或者穿戴式设备实现无线显示。

    其优点：可以随身携带，缺点是计算能力不如台式机强大。

未来 无线VR 一定是主流方向，这不单是因为嵌入式CPU、GPU发展越来越强大，体验越来越好，更重要的一点是，无线方式结合VR技术可以实现丰富的商务模式，更容易获得普通消费者青睐。

下一步：学习VR技术,开发元宇宙

推荐给一些零基础一个完整的学习路线：语言掌握C# — 工具掌握 Unity — SDK掌握Vuforia和ARKit — AR眼镜掌握HoloLens开发 —- VR眼镜掌握Oculus Quest开发。

介绍了主流VR硬件平台，但想要真正“携手VR”，还需要了解如何开发VR应用。下面就介绍一下VR开发引擎，其实本质还是传统的3D引擎，尤其是传统的 双U （即Unity3D和Unreal），加入了VR插件（所谓VR插件，基本功能是实现左右分屏渲染，陀螺仪、位置跟踪等API）。

开发引擎与我们传统的开发语言环境相比，有以下几个不同：

  1. 首先开发者要更熟悉3D 的理念，这是VR的基础
  2. 其次VR的3D引擎开发需要各种各样的开发应用资源

Unity（U3D）

Unity Technologies 是一个全面整合的专业游戏引擎，同是一款强大的IDE工具，可以制作多平台综合型游戏。诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容。

Unity类似于Director,Blender game engine, Virtools 或 TorqueGame Builder等利用交互的图型化开发环境为首要方式的软件，其编辑器运行在Windows 和Mac OS X下，可发布游戏至Windows、Mac、Wii、iPhone和Android平台。也可以利用Unity web player插件发布网页。

参与者不仅仅是程序员，还有美工等其他人员，所以引擎是一个完整的协作工具，编程尤其是写代码只是开发中的一个环节， 开发 更多是一种综合性工作。

Unreal Engine（UE）

关于UE和UDK，前者是正式商业版本（建议用此版本），后者是前者的免费版，无源码，商业用途需要授权。 UNREAL ENGINE中文名“虚幻引擎”，是目前世界最知名、授权最广的顶尖游戏引擎，占有全球商用游戏引擎80%的市场份额。中国首家虚幻技术研究中心在上海成立，该中心由GA国际游戏教育与虚幻引擎开发商EPIC的中国子公司EPIC GAMES CHINA联合设立。

基于它开发的大作无数，除《虚幻竞技场3》外，还包括《战争机器》、《彩虹六号维加斯》、《镜之边缘》等等。在美国和欧洲，虚幻引擎主要用于主机游戏的开发，在亚洲，中韩众多知名游戏开发商购买该引擎主要用于次世代网游的开发，如《剑灵》、《TERA》、《战地之王》等。 iPhone上的游戏有《无尽之剑》（1、2）、《蝙蝠侠》等。

双U对比

关于以上两种开发引擎哪种更适合VR开发

Unreal

  • 优势：3D图形画质较好，因为它采用了预烘培等技术，并且更充分地利用了Shader。
  • 劣势： 开发难度较大，早期只能使用C/C++开发，UDK引入了类C/JAVA语言UnrealScript作为开发语言，但业内精通UE的开发者不多，有极端观点认为UE如果不做FPS射击游戏的话，失败概率很大。

Unity

  • 优势
    1. 架构设计非常合理；开发者容易上手。
    2. 跨平台支持非常好，第三方插件系统非常先进，能第一时间获得最新VR设备的插件支持，堪称宝库的 asset Store 第三方组件、素材商店让你仿佛是在与全世界的开发者联合开发。
    3. Unity开发可以 举一反三 ：一次开发可以迅速应用到多种平台，或者新插件一发布，许多老的项目也能扩展到新的方式当中。比如VR开发，Oculus、HTC、Sony、Cardboard一发布，Unity平台上就有新的插件可以使Unity开发的老项目适用于VR新硬件平台上。所以目前U3D的开发者队伍发展速度非常快。
  • 劣势
    • 出现时间较晚，一般认为缺省画质不如UE。

其他平台

其他还有一些平台如CryEngine、OSVR等，也有一些开发者不用引擎，直接用高级语言驱动VR设备开发，但这种方法要解决的问题太多，比如左右画面自己渲染，陀螺仪驱动数据读取等，有兴趣的开发者可以找一些资料，不过因为VR硬件平台发展太快，选择这种开发方式要慎重。

OpenXR

OpenXR 是VR领域的一个重要里程碑。这个API将允许游戏和其他应用程序在各种硬件平台上轻松运行，而无需专有的SDK。

  1. OpenXR 的实现是非常底层的，普通的开发者们无需仔细研究底层，只需要拿到工具类进行开发调用即可。
  2. 开发者们可以基于OpenXR上层继续进行便捷的应用开发，但这同样需要一个类似VRTK的开发套件来进行。
  3. VR/AR厂商们可以将自己原有的SDK向 OpenXR改造靠拢，以实现一个多平台互通的桥梁。

OpenXR | OpenXR是什么？一文带你全面了解OpenXR的相关知识，上车收藏不迷路 - 云+社区 - 腾讯云

OpenXR | （二）使用 OpenXR 制作一款简单VR示例场景 的全过程详细教程，包含两个实战案例。 - 云+社区 - 腾讯云

OpenXR Plugin

OpenXR Plugin是 Unity 开发的符合 OpenXR 标准的工具包，旨在让 Unity 开发者尽可能高效地将内容部署到更加广泛的 XR 目标平台上。开发者在 Unity 2020 中通过 Package Manager 搜索"openxr"即可找到该工具包并进行安装。

OpenXR Plugin | OpenXR Plugin | 1.0.3

OpenXR 插件 - Unity 手册