在三月初举办的Ignite 2021大会上，微软推出了全新的MR协作平台Mesh，揭示了微软迈向MR主导企业（尤其是在行业应用领域）的下一步重要行动。

除了公告中包含的普通细节外，真正能够令人感到兴奋的是Mesh演示视频，展示了在当前传感器和显示技术的支持下，能够做出的酷炫MR应用。

但大家仍然还保留着一丝疑问：视频中的内容真的可以实现吗？如果是，如何开发出视频中的某些应用内容？Microsoft如果真正专注于企业领域，那么以消费者为中心的示例（例如Microsoft与Niantic联手展示的Pokemon Go概念视频）背后的含义是什么？为了了解Mesh对HoloLens 2和AR领域的真正意义，NextReality对Microsoft的Greg Sullivan进行了一次专访，以解答大家对于Mesh的一些疑惑。

以下是对采访内容的整理：

Q：Mesh精美的演示视频简直不可思议。我认为，很多人对视频感到兴奋是因为它不仅仅看起来像科幻小说中的情节，而且我们现在可以通过HoloLens和Kinect等技术来将它实现。

但是，视频中呈现的更加逼真立体的全息影像需要更多的传感器才能实现，目前大多数的在线协作只是基于一个简单的化身来实现。这让我们产生了一些怀疑。我们想知道的是，视频中展现的哪些片段是Mesh真正能够做到的。

Greg Sullivan：简短的来说，目前我们的确只能使用一个简单的化身系统。这段视频的主旨在于描述Mesh的一项核心功能：临场感，让你感受到真的能够身处距离数百或数千英里外的现实场景中。如何远程呈现用户的外观？最终的目标当然是你描述过的更加逼真立体的全息影像，但这是一种较为复杂的方式。我们需要从另一种方式起步，就是化身系统。

我们从AltspaceVR的化身开始，将整套系统搬到了Azure上，也因此，这套系统将会从Azure继承所有企业级的管理和安全等功能。这是对于最终目标最简单的实现，当你戴上 HoloLens，它具有的位置跟踪和环境感应摄像头等传感器可以在你移动时追踪你的动作。

在Mesh中，有关HoloLens 2最酷的功能之一是完全清晰的手部跟踪。如你所见，HoloLens 2可以追踪每只手25个不同的关节点。因此，当你佩戴HoloLens并使用Mesh时，你的形象会被简化，但该简化的化身通过HoloLens 2可以拥有完整的手势动作。

先前你还提到了“需要更多的传感器”以进行完整的体积捕捉（Volumetric Capture），或者说从化身发展成为完整的全息影像。的确，HoloLens中的传感器无法对你的身体进行体积捕捉，它可以捕捉用户在空间中六个自由度的运动，可以捕捉所有的手部运动，但是无法捕捉到用户的整个身体。

现在有几种选择摆在我们面前，但如果仔细看一下Mesh的宣传视频，你就会看到对Azure Kinect开发人员工具包和摄像头的引用。Azure Kinect与HoloLens 2使用了相同的深度传感摄像头。就视频中下象棋或远程协作的部分来说，你可以看到用户已经被体积捕捉功能创建了全息影像，但该影像只能显示用户的正面。如果你使用Kinect的ToF红外摄像头，可以做到类似的功能。当然，其他深度感应技术也同样能做到，例如LiDAR。但要使用HoloLens 2的内置传感器来实现追踪用户的身体实现体积捕捉而不是只使用化身来代表用户，仍有一些工作需要完成。

Q：假设我在一端使用HoloLens 2，另一端的人由AltspaceVR风格的化身表示，他们可以使用哪些设备？假设对方没有HoloLens 2，他们将使用哪些不同的工具进行连接？

Sullivan：在我完全回答问题之前，我想先区分开Mesh平台和Mesh云服务提供的功能。开发人员可以通过身临其境的Mesh协作云服务将这些功能构建到自己的应用程序中，以和游戏开发人员相同的方式编写游戏（例如加入Xbox Live使其自动成为多人网络游戏）。

通过引用Mesh SDK并将协作功能添加到你的应用程序中，Mesh能使任何应用程序成为沉浸式的MR协作应用。因此该应用程序可以在HoloLens上运行，也可以在Oculus上运行。您可以在Windows Mixed Reality头显中使用，也可以在PC或Mac或智能手机上使用。因此，内置了Mesh云服务的应用程序其执行环境是跨平台的。

微软的愿景是无论用户使用哪种设备，都能够一定程度地参与到Mesh平台中。通过运行内置Mesh云服务的应用程序，用户可以与朋友或同事在三维虚拟空间中进行协作，唯一的不同在于大家使用的硬件。如果你和我都戴上HoloLens 2，我们可以打开并运行一个Mesh应用程序，然后用化身来代表我们，在对方周围走动并进行协作。

如果有人通过笔记本电脑的二维屏幕参加了该会议，意味着他们的设备中没有内置的位置追踪功能。因此，如果他们在房间里走来走去，应用中他们并不会动。这些用户只能通过鼠标来导航，但是我们依然可以邀请他参加我们的会议。我们尚未在Microsoft Teams应用程序中内置此功能，但是最终，任何用户都将能够通过启用了Mesh云服务的Microsoft Teams加入其他人的会议。我们确实承诺将做到这一点，但目前还没法公布一个确切的时间节点。

因此，微软的想法是做出双向的互联。首先，如果微软构建的Mesh只有拥有HoloLens才能使用，实际上会限制该应用的用户数量。目前来说，口袋里装着智能手机的人数要比拥有HoloLens的人多得多。因此，我们研究了所有的终端智能设备，以及当今所有人们体验MR的方式，其中包括了Pokemon Go以及其他很多东西。这些智能设备上已经出现了AR框架，例如iOS和Android上的ARCore和ARKit。我们的目标是通过添加新的功能，来让开发人员可以为无论是iPhone、Mac还是PC构建应用程序并添加Mesh云服务。

Q：有些人最初会对Mesh的演示视频感到困惑。首先mesh（网格）这个名词通常指代3D和metaverse世界中所有事物上的虚拟层。但微软将Mesh一词用来表示将各种沉浸式平台连接在一起。这里的Mesh表示的含义并不是我们常规认识中的「网格」一词，对吗？

Sullivan：是的，我们知道Mesh一词的现有解释，但我认为它很合适，因为我们所谈论的是一种能够使人与人之间互相连接并感知存在的基础能力。

Q：问一个敏感的问题：Mesh给人的感觉很像Spatial。我知道你们在过去几年中与Spatial建立了非常友好、亲密的关系。所以我只是想知道，这是否会影响你们使用Spatial所做的一切？微软与Spatial还有任何关联吗？你是否觉得你们之间现在存在任何业务上的重合和潜在的竞争吗？

Sullivan：这是一个很好的问题。我并没有亲自参与过微软与Spatial的合作关系，但HoloLens发明者 Alex Kipman曾亲自参与过，他会告诉你他正在与Spatial紧密合作。这就是他向我描述的方式，Spatial团队是一家初创企业，规模还很小。

关于“Spatial”这个问题如果展开说的话，其实是这样：微软和Spatial在解决一个共通的难题，让任何开发人员都可以在他们的应用程序中构建协作、共享的沉浸式体验。根据Alex透露过的信息，Spatial可以与微软合作，共同维护实现MR协作所需要的一些基本组件和管道，同时Spatial还会对这些基本的组件和管道进行补充，集中资源精力进行一些定向的开发，以区分他们的服务和应用。

Q：这意味着虽然Mesh与Spatial的直接竞争很少，但Mesh的出现让其他开发者与初创公司能够更好的与Spatial竞争，对吗？

Sullivan：是的，但Spatial已经取得了领先。他们对自己的产品所提供的价值有非常清晰的认识；同时在某些方面来说，竞争将使他们能够更加专注于他们的产品。这是我们行业以前曾经发生过的事情，对吗？有时，攻克一个难关能带来很多好处。当一个问题被解决，人们应该慎重的思考是否所有人都应当为这个问题重复的「造轮子」。我们是想为每个应用程序都解决一次这个问题，还是可以提供一种通用的方法作为基础，每个人都可以基于该方法建立自己独有的方案，并满足特定受众的需求？

Q：这个示例让我想起了Web浏览器时代，当时每个人都在试图找出让用户更友好的访问Internet的方案。因此，你想说的可能是Mesh几乎就像是一个用于XR的Web浏览器，让人们可以创建各种用于XR的Web浏览器。

Sullivan：更准确的说，更像是Web的基础标准……这里主要提供了一些基础管道问题的解决方法。然后，开发者可以在此基础上进行新的构建。

Q：访问Mesh需要付出什么等级的成本？是否有针对开发人员、专业人士和企业用户的区分？从可访问性的角度来看，Mesh将如何进行推广？

Sullivan：这些问题的答案我们尚未公布，没法提供很多细节。开发人员可以通过SDK免费使用Mesh，并将此功能构建到任何应用程序中，就像任何游戏开发人员都可以免费添加Xbox Live功能一样。你可以认为Mesh和Xbox Live对于开发者来说是相同的，它免费且能够用于任何应用程序。

Q：我想知道，如果使用云组件会产生一些费用吗？

Sullivan：是的，这是一个合理的假设。我们尚未公布任何Mesh的细节。一部分预览的工作是为了从开发人员那里获得反馈。当我们使用Windows版Kinect时，开发人员就如何使用Kinect发挥了无限的创造力。

我们看到外科手术医生和乐队指挥家使用Kinect深度感应摄像头创造了与Xbox游戏完全无关的有趣使用方式。这是开发人员发挥创造力的直接结果。既然我们处于Mesh的预览阶段，将其移交给开发人员将教会我们很多有关如何使用它的知识。因此，我们希望能够进行一系列的创新。

Q：对于那些不熟悉Microsoft各种软件产品的人，能否解释下Mesh如何与Azure协作，两者又有哪些区别。这两种服务都是面向云的，差异在哪里？

Sullivan：我要说的是，Microsoft Mesh是Azure提供的一项服务。Mesh是一个沉浸平台，使用Azure来提供协作功能。它利用了我们几年前引入的Azure远程渲染功能，还使用Azure管理你的身份，无论是通过Azure Active Directory还是通过你的Microsoft帐户。

Q：鉴于我们在过去的一年中经历了新冠病毒疫情的大流行，远程工作已成为一种趋势。在这种情况下，很多人需要进行远程会议，并开始将AR和VR视为替代方案。但并不是每个人都需要沉浸式的环境，大多数人仍然需要更为简单的视频会议形式。作为微软MR总监，最接近公司内部HoloLens和AR相关业务的人，你在过去一年中学到了什么？是否发现过关于如何使用AR的轶事或经验？

Sullivan：大多数情况下，人们可以远程完成工作，尤其是对于信息工作者来说，远程工作几乎不会产生任何影响，这完全是由技术带来的。我们还意识到的一件事是，远程协作时存在感非常重要。

每个人都对Zoom或Teams感到有些疲惫，这些工具之所以令人称奇，是因为它们使我们能够继续开展工作，但也突出了我们从它们的体验中没有得到的一些东西。我们没有一种自发合作的感觉。没有走廊上的对话，没有真正的临场感，没有眼神的接触。我们确实错过了一些事情，

我认为，去年我们学到的一件事是，一些会议可以被电子邮件取代，某些出差可能通过团队电话解决。因此，我认为我们正在看到技术如何改善我们的工作方式。就我个人而言，我不再需要上下班通勤了。远程协作已经改变了我的生活，这是技术引发变革的一个生动案例。而且我认为，去年的新冠病毒疫情促进了远程协作这一观念被接受。这场疫情并没有颠覆某些事情，但确实让一些未来的趋势加速到来。

来源：93913虚拟现实