尽管混合现实头戴设备的制造商每年都在致力于推出功能更先进的设备，以使用户感受到真实世界与数字世界的融合，但是输入方式（在VR或AR环境中进行交互的能力）仍然具有挑战性，因为大多数设备在交互时仍然需要控制器。本周，美国亚利桑那州立大学（ASU）的研究人员展示了一种名为FMKit的潜在替代产品，它使头显能够精确跟踪单个手指的运动，并识别空中手写。

ASU的工作超出了Leap Motion配件和Oculus Quest VR头显中的手部追踪功能，可以将单个手指的路径记录在3D空间中，并与四个手写样本数据集进行比较。指尖书写可用于识别单个用户，通过密码安全地对用户进行身份验证以及创建文本输入，以替代使用手持控制器键入，说出或选择单词的方式。

该系统的价值不仅仅在于将空中书写的英语或汉语单词转换为文本（研究人员正在关注的功能），还具有潜在的商业应用前景。包括可以在空中绘制独特的签名，以解锁受保护的XR头显或单独受保护的应用，从而使公司能够高度个性化保护数字内容。或者，公司可以让团队共享一个通用的密码系统，该系统不仅可以识别数字或字母，还可以识别五角星或其他独特标记等符号。

FMKit当前支持两种类型的输入设备-每秒运动110次的Leap Motion控制器和每秒运动50次的自定义惯性测量数据手套-使用Python模块来收集，预处理和可视化扫描信号。作为用户识别系统，FMKit搭配Leap Motion精度可达到93％以上，搭配手套的精度可达到96％以上。但是对于手写识别来说，使用Leap Motion的效果更好，而且该系统最多只能在87.4％的时间内准确识别单词。这还不足以取代语音输入来进行听写，但这对于只能与手指和头戴式传感器一起使用的系统来说是一个好的开始。

ASU的Duo Lu，Linzhen Luo，Dijiang Huang和Yeye Yang已在GitHub上发布了FMKit的源代码，这是一个开放源代码项目，其中包括库和数据集，希望其他研究人员能够扩展他们的工作。作者将在本周作为CVPR 2020计算机视觉增强和虚拟现实研讨会的一部分介绍他们的研究。

来源： VR陀螺