定义：待完善
多模态融合、多通道的人机交互技术尚处于实验室的研究阶段，主要研究范围仅限于触、听、视的交互应用，许多研究人员在研究过程中提出了自己的研究观点、方式和方法，但并没有统一、规范的模式存在，因此对该前沿问题中的技术思想仅做框架性的表述。
技术表述：随着VR时代的来临，计算机技术向三维空间拓展。传统的WIMP（Window，icon，Menu， Pointing Device）人机交互模式尽管在二维系统应用中可圈可点，但局限性也逐步显现。例如，输入输出不平衡，用户的输入带宽远远低于输出带宽，用户输入的语义层次很低；文本的输入和直接操纵这两种交互使得人手在鼠标和键盘之间频繁切换；屏幕空间资源大量被界面构件而非应用工作区所占据；输入输出方式单一，一些通道负荷很重，如视觉，而另一些通道几乎完全没有被利用，如听觉和触觉。其次，传统交互方式难以满足虚拟现实、三维CAD与多媒体等方面的发展对交互提出的更高需求。再次，鼠标、键盘对于今天的台式机尚可适用，但却不适用于掌上机、计算机微型化设备对交互方式提出的新要求。更令人难堪的是，它阻碍了计算机走向普通用户走进日常生活的大趋势。而计算机性能的提高，也为多通道界面做了相应的技术准备。
目前人们力求最佳的人机交互方式的需求已经成了计算机学科的重要课题摆到了研究人员的面前。多通道（Multimodal）人机界面旨在充分利用一个以上感觉和动作通道（如语音、手势或视线等）的互补特性来捕捉用户的意向，从根本上改变了当前人机之间的不平衡通信；对于人们力图实现从精确向非精确交互、二维向三维交互的转变，从而扩大用户输入的带宽，提高用户输入的效率，增进人机交互的自然性；促使普通用户能按其熟悉的感觉技能进行人机通信，将对计算机的广泛应用和社会发展起到不可估量的促进作用。
