基于图形与图像的混合建模最初主要是针对几何领域内的相关技术，它能集合上述两种方法的优点，在应用中扬长避短。混合建模技术的基本思想是：利用基于图像法构造虚拟场景的环境来获得逼真的视觉效果同时对虚拟环境中用户要与之交互的对象利用建模法来进行实体构建，即把握虚实结合尺度，对于不需要操作的实体，如场景背景或远距离物体，采用图像建立虚拟环境，对需要操作的实体采用实体建模，然后将三维模型嵌入由基于图像的方法建立的虚拟环境，形成既有实时性又有真实感的虚实结合的虚拟场景。这样既增加了场景真实感，又能保证实时性与交互性，提高用户的沉浸感。
虽然混合建模具有各种优点，但是其实现也带来很多技术上的困难和人机交互的难度。首先是空间关系和透视匹配，是指无论用户走近或走远，虚拟环境中的实体模型的尺寸和视角都应与图像建立的虚拟环境保持一致。其次是运动一致性，即平移或旋转时，虚拟环境中的实体模型的尺寸和视角都应与静止的图像建立的虚拟环境保持一致。最后是光学效果一致性，即实体模型产生的光学效果，如阴影、高光等应与图像建立的虚拟环境保持一致。因此，混合建模技术现在还处于探索研究阶段，没有得到广泛应用。
内容来源：张泊平《虚拟现实理论与实践》
