去年 Meta 推出了其 MR 开发平台 Presence Platform，这是该公司的机器感知和 AI 功能套件，使开发人员能够构建 MR 和基于自然交互的体验。近日，随着 Meta Quest Pro 在 Connect 2022 大会上推出，该公司正在解锁全彩 MR，并为其存在平台的核心堆栈引入新的支柱：社交存在。
使用运动 SDK 进行社交展示
Meta 推出了运动 SDK，这是其 Presence Platform 的最新功能。运动 SDK 由 Meta 的眼睛、面部和三点式身体跟踪功能组成，这些功能使虚拟化身能够使用 Meta Quest Pro 的内向传感器实时模仿面部动作，这也是在 Meta Horizon Worlds 及其工作室中驱动化身的相同基础技术。
眼部和面部跟踪功能
运动 SDK 包括 Meta Quest Pro 中新技术开辟的眼睛和面部跟踪功能，在头显内部有五个红外传感器指向用户的脸部。其中三个传感器指向眼睛和上脸，两个传感器指向下脸。据该公司称，面部跟踪由机器学习模型驱动，该模型可让 Meta Quest Pro 检测各种面部动作。
为了使化身看起来富有表现力但仍然感觉自然，通过运动 SDK 输出的抽象面部运动数据由基于“面部动作编码系统（FACS）”的线性混合形状表示，一系列零对一的值，对应于一组通用面部动作（例如鼻子的揉搓或眉毛皱起）。
Meta 表示，这些信号将使开发人员在将信号从面部跟踪 API 映射到角色装备时更容易保留用户原始动作的语义含义，无论他们的角色是人形还是其他东西。Meta 与内部艺术家团队合作，创造了一个名为 Aura 的外星角色，Aura 将作为示例提供，开发人员本月晚些时候可以从 GitHub 下载。
除了社交存在之外，开发人员还可以使用对某人在 VR 中查看位置的估计作为输入来构建新的交互和体验，类似于手部跟踪。根据 Meta 的说法，这意味着人们将能够根据他们正在寻找的位置与虚拟内容进行交互。
从隐私的角度来看，Meta 表示，应用程序永远不会从这些功能中获取用户眼睛和面部的原始图像数据，而只能访问一组数字，这些数字可以估计某人在 VR 中的位置及其面部运动。开发人员和 Meta 无法访问眼睛和面部图像，因为它们在处理后会被删除，并且永远不会离开头显。
身体追踪接口
运动 SDK 现已推出，还包括 Meta 的身体跟踪 API。该 API 根据控制器或手相对于头显的位置使用三点跟踪。为了保持沉浸感，Meta 表示它使用一个大型的真实人类运动数据集来学习和纠正简单反向运动学（IK）方法常见的错误。
身体跟踪 API 在玩家使用控制器或仅使用手时都有效。在这两种情况下，还提供了包括手在内的完整模拟上半身骨架。该 API 还会自动处理玩家放下控制器并开始使用手的情况，而无需开发人员进行任何额外的逻辑处理。
据该公司称，身体追踪 API 适用于 Meta Quest Pro 和 Meta Quest 2，它将适用于未来的 Meta Quest VR 设备，未来几年将通过相同的 API 提供对身体追踪的新改进。
混合现实功能
该公司推出的新混合现实功能包括：场景理解、全彩色 Passthrough 和共享空间定位点。
场景理解
Meta 的场景理解功能于今年早些时候发布，使开发人员能够创建 MR 体验，以适应用户的个人空间，从而提高沉浸感。数字内容可以与物理世界进行交互，支持遮挡、碰撞、导航网格和斑点阴影，所有这些都可以提高 MR 中的沉浸感和真实感。
全彩色 Passthrough
Passthrough 为 VR 中的人们提供了周围物理世界的实时表示，并允许开发人员构建将虚拟内容与物理世界融合在一起的体验。Meta Passthrough 功能的下一步是显而易见的是全彩色Passthrough。虽然 Meta Quest 2 使用了黑白 Passthrough 模式，但 Meta Quest Pro 就是为此设计的。使用 Passthrough 构建的 Quest 2 应用程序仍然可以在 Meta Quest Pro 上使用。
借助 Meta Quest Pro 的高级传感器和 4 倍像素数量，开发人员现在可以构建体验，让人们参与虚拟世界，同时保持全彩在物理空间中的存在。这要归功于该公司对高级立体视觉算法的投资，这些算法有助于为特写和房间规模的 MR 场景提供更高质量、更舒适的 Passthrough 体验、更好的深度感知和更少的视觉失真。
共享空间定位点
Meta 将在今年晚些时候推出其空间定位点的更新，并引入共享空间定位点。此更新将使开发人员能够通过为多个用户创建共享的世界锁定参考框架来构建本地多人游戏体验。例如，开发人员可以构建游戏和应用程序，其中两个或更多人可以在同一物理空间中协作或一起玩，并与相同的虚拟内容进行交互。
在 Connect 上，Meta展示了 Magic Room 的预览版，这是一种 MR 体验，它正在为利用共享空间定位点的 Meta Horizon Worlds 工作室构建。Magic Room 允许任何混合的人一起在同一个物理房间中协作。
Meta 表示，随着其硬件的不断发展，其 Presence Platform 将创造更多机会将 MR、自然交互和社交存在带入 VR，并使开发人员能够努力实现公司的元宇宙愿景。
