Facebook在2019年3月首次展示了超逼真头像Codec Avatars的制作过程,当时生成Codec Avatar需要用到一个名为MUGSY的专用捕捉设备和171个高分辨率摄像机。
图源:Meta
不过Meta的最新研究极大降低了这一门槛,用户可以通过带有前置深度传感器的智能手机(比如搭载Face ID的iPhone)扫描脸部以生成头像。
在使用的时候,你需要将手机靠近脸部,然后按照引导做出65种面部表情动作。不过,当前系统只能用于处理面部,眼镜或长发等特征还无法很好还原。
图源:Meta
Meta研究人员指出,整个扫描过程仅需花费三分半钟。不过后续头像的渲染工作需要依赖一台配备4个高端GPU的机器,总耗时长达6小时。如果未来Meta的Codec Avatars正式对外推出,渲染工作可能会部署在云端进行。
曾经需要多达171个摄像机才能完成的工作,如今通过一部手机就能完成,它背后用到了一个名为“hypernetwork”的通用先验模型,研究人员曾使用先进的捕捉设备(类似于MUGSY,但用到的摄像头为90个)扫描255个不同的面部特征以此训练这个模型。
通过智能手机扫描生成头像并非什么新鲜技术,但Meta表示它的头像生成质量要更优。
图源:网络
如果该功能要实现交付,未来还有很长一段的路要走。 受到设备算力等因素影响,目前Meta的Avatars只有卡通风格形象。此前扎克伯格接受Lex Fridman采访时表示,未来你可能会在游戏中使用表现主义(卡通)化身,而在工作会议中使用现实主义化身。