3月31日,高通在线上举办了主题为「芯世界 会客厅」的XR媒体沟通会,高通副总裁兼XR业务总经理司宏国(Hugo Swart)分享了高通在XR领域的最新动态。
司宏国首先介绍了行业的整体发展态势。根据IDC和CCS的报道,2020年全球VR和AR头显的出货量达到700万台,并预计这一数字将在2024年达到惊人的5700万台。出货量之所以会大幅度攀升,其中一个重要的因素就是2020年Facebook推出了Oculus Quest 2,它的出货量在整体出货量中占据了非常大比例(最新数据显示,Quest 2销量已超过400万台),其他OEM厂商,比如微软及中国厂商也有力拉动了出货量的上升。
司宏国详细讲解了高通如何从四个方面来帮助整个XR产业和生态系统不断向前发展:
●芯片:提供两个层级的产品——XR1主要面向中高端市场,XR2在此基础之上更进一步,属于旗舰级平台。
●软件与算法:为不同的VR/AR设备提供大量的核心算法和技术支持。
●参考设计:将芯片以及软件技术融合,打造参考设计,并提供给OEM厂商,加快产品开发速度。
●生态系统:推出一系列生态系统发展计划,包括针对硬件端、企业软件端,以及关注产品兼容性的适配计划。
高通认为,推动XR产业的发展仅仅依靠高通一家企业是不够的,还需要众多合作伙伴的支持,包括OEM厂商、企业级解决方案供应商、组件和技术供应商、运营商等等。这其中也包括很多中国企业,比如爱奇艺智能、Pico、大朋VR、3Glasses、歌尔以及影创科技等等。
针对未来的发展趋势,司宏国表示,XR设备目前主要分为两大类,第一类为XR一体机,高通认为在未来1-4年内,VR和AR一体机会更加轻量化且体积更小,或将支持5G并具备更强大的功能;另一类为XR眼镜,它拥有纤薄、轻量化的产品外形,可以通过与PC和智能手机等主要计算单元协同工作,这类设备也将在未来1-4年内不断演进。
目前,上述设备都是通过有线的方式与主要计算单元连接。在不远的将来,无线连接将代替有线连接,部分处理工作在头显设备中进行,而大部分处理工作由智能手机或PC完成。
更进一步来看,VR和AR眼镜主要分为两大类,第一类是相对简易的AR眼镜,这类产品在去年已经实现了商用,Nreal的产品就是一个很好的例子。对于简易的AR眼镜,眼镜端进行的处理工作较少,大部分的处理工作都在智能手机或者PC上进行。简易的AR眼镜由于具有轻量化的流线型设计,并且可以完美支持流传输,因此能够实现不错的效果,用户可以把手机上的2D应用投射到眼镜所呈现的虚拟屏幕上。
基于目前简易的AR眼镜,高通预测并正在重点投入的下一代产品是AR智能眼镜。这里所讲的AR智能眼镜指的是搭载骁龙XR平台的眼镜,并支持与搭载骁龙移动平台的终端(比如智能手机)相连接。这样一来头戴设备和移动终端能够同时处理计算任务。
相对于简易的AR眼镜,AR智能眼镜有诸多优势:首先,AR智能眼镜能够同时查看并运行多个程序和任务;其次,能够保证低时延和低功耗;最后,AR智能眼镜能够完美支持流传输和沉浸式协作。
由此,高通打造了骁龙XR1 AR智能眼镜参考设计。和简易的AR眼镜相比,该参考设计系统整体功耗降低30%,并能够同时支持包括手势追踪、头部追踪、平面检测、防抖、六自由度以及丰富图形等在内的多个先进特性。基于该参考设计的AR智能眼镜能够与不同品类的主机设备相连,包括5G智能手机或PC,搭配搭载骁龙888的移动终端和骁龙本使用时,能够实现最佳的性能表现。
值得一提的是,针对骁龙XR1 AR智能眼镜参考设计,高通与中国合作伙伴紧密合作——京东方是显示屏合作伙伴,歌尔则是ODM合作伙伴。
骁龙XR1 AR智能眼镜参考设计适用于不同类型的应用场景,比如远程协作,通过沉浸式图形实现远程协助,或将手机上2D应用画面以多个虚拟屏幕的形式锁定在用户当前所处的物理环境中。
司宏国总结了高通这些年来在XR领域取得的成果:“得益于过去十多年在XR领域的技术和产品投入,高通已经成为XR行业的领导者。目前市场上有超过40款搭载骁龙XR平台的设备已经发布。我们的努力也得到业界的广泛认可,《Fast Company》将高通公司评选为「AR/VR领域最具创新力公司Top 5」。同时,高通公司还荣获AIXR第四届年度VR大奖「2020年度创新VR公司」。”
在中国,高通除了与OEM厂商、组件及配件供应商开展合作,还与越来越多内容生态系统合作伙伴开展合作。在去年的第二届Qualcomm XR创新应用挑战赛上,共收到超过240个参赛作品,其中超过210个优秀参赛作品入围,超过30个作品入选Qualcomm XR企业计划(XEP),最终有18个作品获奖。今年,2021 Qualcomm XR创新应用挑战赛已经于3月19日正式启动,并吸引了包括OPPO、XRSPACE等一批新合作伙伴的加入。
在沟通会的最后,司宏国回答了参会媒体们所关心的产业问题。
针对高通的AR/VR芯片出货量,司宏国并没有提供具体的数据,但表示目前市面上的XR设备大多数采用了高通的芯片,并给出了相对细致XR设备的年度出货量数据:2017和2018年出货量大约在几十万至一百万出头,2019年出货量大约在小几百万,2020年出货量约为700万台。
同时,司宏国透露,目前整个VR/AR产业的发展势头非常喜人,不仅仅是在硬件制造商方面快速发展,在内容开发方面也有非常出众的发展潜力。
这种强劲发展势头在下面两个产品类别上都有所体现:第一类是XR一体机,代表产品是Oculus Quest 2;第二类是搭配智能手机使用的XR眼镜,这一品类的发展势头也十分出色,其代表是Nreal旗下的产品此外,运营商也非常积极地投入XR发展,比如韩国LG Uplus、日本KDDI以及德国沃达丰和德国电信,都公开宣布已经商用支持搭配5G智能手机使用的眼镜类产品。
而在大家普遍关心的骁龙XR2 AR参考设计推出时间上,司宏国表示目前暂时还不方便透露具体的时间点,但并不会太久,因为骁龙XR2平台于2019年12月推出,3个月后,也就是2020年2月,XR2参考设计就已经上市。也就是说,骁龙XR平台和参考设计总是相伴而行的。当然,这并不意味着参考设计就只有一个。
高通会根据不同的市场和不同的产品形态需求,在初版参考设计的基础之上打造新的参考设计。对于OEM厂商来说,高通的参考设计就像是一纸蓝图,厂商可以根据其需求自由参考蓝图上的所有设计。当然,如果厂商更多的使用参考设计所提供的设计方案,其产品上市的速度就会更快。
高通希望为厂商提供全方位的支持,确保他们能够更好地使用我们的芯片来开发产品。具体而言,如果OEM厂商想在屏幕显示方面做出一些调整,比如有些厂商想采用波导方式,有些想采用Birdbath的光学技术,高通的参考设计都可以轻松配合厂商进行调整。
至于高通是否会基于最新的骁龙888芯片升级XR2平台(即XR3),司宏国是这样回答的:“首先,根据我们的观察,与智能手机这种发展较为成熟的行业相比,XR市场对于芯片迭代速度的要求相对没有那么高。就特性而言,我们也在不断丰富骁龙XR1和XR2平台的特性,并实现性能提升。例如,混合现实(MR),也就是视频透视(Video See Through)功能加入到骁龙XR2平台。具有上述功能的XR设备可以通过摄像头直接捕捉现实世界的情况,并将画面直接锁定在虚拟屏幕上,这样用户佩戴时便可以直接观赏现实世界的相应情况。与此同时,我们也有针对骁龙XR1和XR2平台的软件发展路线图。”
这可能意味着短期内高通并不会考虑围绕骁龙888芯片打造新一代XR平台,而是会继续完善现有的骁龙XR1和XR2平台。
大家还十分关心骁龙XR1 AR智能眼镜参考设计在成本和售价上是否相比直连手机的方案要高,司宏国从XR设备的成本构成上做出了解答。对于AR眼镜、甚至是VR设备,最主要的成本实际上是来自于显示屏。当然处理器和内存也会占据一定的成本,但显示器仍是占据了主要成本,尤其是在AR的领域。
新技术在不断演进和部署的过程中,初期价格通常都是较高的,但随着设备体量的增加,价格也会不断下探。目前市场上的一些设备,既有Nreal这样售价几百美元的AR产品,也有功能更加复杂、价格也更高的企业级产品。但权衡来看,尤其是在成本方面做权衡的话,更多的工作应该是放在显示屏上面。
被问到AR设备是否能够像VR设备一样通过游戏来带动消费市场时,司宏国首先表示,没有人能够真正的知道XR拥有哪些潜力,并以智能手机做了举例:大约二十年前,智能手机刚刚开始使用的时候,大家都难以预测智能手机上可以有成千上万,甚至说百万量级不同类型的应用程序。人们现在几乎可以在智能手机完成任何事情,无论是拼车、支付,还是导航、拍摄。这些功能都是二十年前完全无法想象的,但是现在一切都成为现实了。
高通希望通过XR技术打造一个拥有全新体验的世界。这一新体验的一大重心是社交,也就是人与人之间的沟通。如果回看智能手机的发展历史,也可以从中窥见一斑。无论是VR还是AR,他们关注的都是如何能够提供一种新的沟通方式。
举例来说,人们可以在虚拟环境中打造自己的虚拟形象(Avatar),它看上去就像我们的真人一样。因此即使我们没有出现在这个真实场景中,但是这种实境感就使得我们即使身在异处,也能在共同的虚拟场景产生联系。另外,大家在电影里也会看到有瞬时移动的功能,我们也把它叫作全息远程呈现。基于此,我相信AR或者XR在未来的应用潜力非常巨大。
此外,越来越多社交APP都会加入更多一些新特性,高通拥有眼球追踪、面部表情追踪,甚至是全身追踪等技术,这些技术可以让社交APP中的虚拟人物形象(human-like avatar)能够以更加自然的方式呈现,并且也更接近用户的真实相貌。
智能手表也可以作为一种配件与智能眼镜进行连接。智能手表主要起到的作用是信息输入、信息传递的功能。这是因为智能手表上会有一些传统的传感器,可以帮助我们监控心率、动作,这些信息都可以传输到智能眼镜中。甚至说可以通过智能手表,能够更好地追踪的一些手势、姿势,也可以将这些信息有效体现在智能眼镜中。
司宏国还就XR2对于5G高速网络的支持能够带来哪些新的应用场景和领域发表了自己的观点。5G能够提供超高速率的连接,这种高速率不仅体现在数据吞吐量上面,而且还可以体现在超低时延。在时延足够低的时候,它就使得部分原来在本地进行的工作负载,可以放到云端或者边缘云来处理,这也是高通所倡导的无界XR(Boundless XR)。
一款支持非常丰富视觉体验的XR设备,可能需要300W的功率才能够确保这个体验有效提供给消费者。但是现在我们可以通过分布式计算的方式,将其中一部分的处理放在边缘云上面,而头显只要做其中一小部分的处理就可以了。比如XR设备可以负责追踪,追踪之后把相应信息通过5G发送到云端,云端处理之后同样通过5G连接将它再发回到XR设备。当眼镜接收了信息之后,可以根据收到的信息,在显示内容上面进行一些微小的调整,从而确保给用户提供非常出色的视觉体验。
来源:93913虚拟现实