目前在VR/AR的人机交互场景中，人们迫切希望看到自己的真手，并使用自己的双手和VR/AR中的虚拟物体进行自然地直接互动。
三维手势交互首先需要骨骼的三维深度信息，可以直接使用这些信息驱动物理模型，直接和虚拟物体产生捏取、抓握等各种自然交互；也可以选取多帧三维数据，提取模式，定义为手势，达到手势识别的效果。手势识别分二维手势识别和三维手势识别。相比二维手势识别技术三维手势识别需要使用多个摄像头，因为单个普通摄像头无法提供深度信息。双目摄像头实际上就是在模拟人眼工作的原理，只有使用两台摄像机对当前环境进行拍摄，才能得到两幅针对同一物体的不同视角照片。
例如，我们拍一片枫叶，两台摄像机的各项参数以及它们之间相对位置的关系是已知的，只要找出相同物体（枫叶）在不同画面中的位置，我们就能通过算法计算出这个物体（枫叶）距离摄像头的深度了。
如何取得手部骨骼的三维坐标，是三维交互技术的核心 uSens凌感人机三维手势交互技术以3D骨架模型为手势分析对象，通过22个手部关节点、26个自由度的识别和跟踪，辨别单双手的各种手部姿态包括点击、滑动、抓取、抚摸、翻转、握拳、鼓掌、赞、OK手势等。
