视频融合技术是虚拟现实技术的一个分支，也可以说是虚拟现实的一个发展阶段。视频融合技术指将一个或多个由视频采集设备采集的关于某场景或模型的图像序列视频与一个与之相关的虚拟场景加以融合，以生成一个新的关于此场景的虚拟场景或模型。

这个模型中因为视频的加入得到一个无论是虚拟场景还是视频本身都无法单独完成的信息结合体。视频融合的目的是增加虚拟场景与现实的互动性，减小计算机模型中信息不确定因素，增加虚拟模型的信息承载量，为现实与虚拟之间架起一座桥梁，拓展虚拟现实技术的应用领域。

视频融合的基本流程如图2.1所示：

视频融合技术一般可以分为三个层次，即预处理、信息融合与应用层。如图2.1所示，预处理技术主要用来对视频图像进行几何校正、噪声消除、色彩；亮度调整及配准等等。视频图像配准是指找到视频图像与三维虚拟场景的最大相关，以消除图像在空间、相位和分辨率等方向的信息差异，达到融合更真实，信息更准确的目的。信息融合层即视频图像的融合。视频图像融合由智能度由低向高可以分为像素级、特征级、决策级融合等。像素级融合指基于图像像素进行拼接融合，是两个或两个以上的图像融合成为一个整体。特征级融合以图形的明显特征，如线条、建筑等特征为基础进行图像的拼接与融合。决策级融合使用贝叶斯法、D-S证据法等数学算法进行概率决策，依此进行视频或图像融合，更适应于主观要求。

综合评估及应用即视频与三维模型融合后可以从视频与客观两个方面进行评估，对融合结果给出评价并将融合后的信息体进行实践应用。