中文名称：图像匹配

定义：通过对影像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析，寻求相似影像目标的方法

图像匹配即通过一定的匹配算法在两幅或多幅影像之间识别同名点的过程。

图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。其实质是在基元相似性的条件下，运用匹配准则的最佳搜索问题。

图像匹配主要可分为以灰度为基础的匹配和以特征为基础的匹配。

灰度匹配的基本思想:以统计的观点将图像看成是二维信号，采用统计相关的方法寻找信号间的相关匹配。利用两个信号的相关函数，评价它们的相似性以确定同名点。

灰度匹配通过利用某种相似性度量，如相关函数、协方差函数、差平方和、差绝对值和等测度极值，判定两幅图像中的对应关系。

最经典的灰度匹配法是归一化的灰度匹配 法，其基本原理是逐像素的把一个以一定大小的实时图像窗口的灰度矩阵，与参考图像的所有可能的窗口灰度阵列，按某种相似性度量方法进行搜索比较的匹配方法，从理论上说就是采用图像相关技术。

利用灰度信息匹配方法的主要缺陷是计算量太大，因为使用场合一般都有一定的速度要求，所以这些方法很少被使用。现在已经提出了一些相关的快速算法，如幅度排序相关算法，FFT相关算法和分层搜索的序列判断算法等。

特征匹配是指通过分别提取两个或多个图像的特征（点、线、面等特征），对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。

基于特征的匹配所处理的图像一般包含的特征有颜色特征、纹理特征、形状特征、空间位置特征等。

特征匹配首先对图像进行预处理来提取其高层次的特征，然后建立两幅图像之间特征的匹配对应关系，通常使用的特征基元有点特征、边缘特征和区域特征。 特征匹配需要用到许多诸如矩阵的运算、梯度的求解、还有傅立叶变换和泰勒展开等数学运算。

常用的特征提取与匹配方法有：统计方法、几何法、模型法、信号处理法、边界特征法、傅氏形状描述法、几何参数法、形状不变矩法等。

基于图像特征的匹配方法可以克服利用图象灰度信息进行匹配的缺点，由于图像的特征点比较像素点要少很多，大大减少了匹配过程的计算量;同时，特征点的匹配度量值对位置的变化比较敏感，可以大大提高匹配的精确程度;而且，特征点的提取过程可以减少噪声的影响，对灰度变化，图像形变以及遮挡等都有较好的适应能力。所以基于图像特征的匹配在实际中的应用越来越广泛。所使用的特征基元有点特征(明显点，角点，边缘点等)，边缘线段等。

特征匹配与灰度匹配的区别：灰度匹配是基于像素的，特征匹配则是基于区域的，特征匹配在考虑像素灰度的同时还应考虑诸如空间整体特征、空间关系等因素。

特征是图像内容最抽象的描述，与基于灰度的匹配方法相比，特征相对于几何图像和辐射度影响来说更不易变化，但特征提取方法的计算代价通常较大，并且需要一些自由参数和事先按照经验选取的阀值，因而不便于实时应用。同时，在纹理较少的图像区域提取的特征的密度通常比较稀少，使局部特征的提取比较困难。另外，基于特征的匹配方法的相似性度量也比较复杂，往往要以特征属性、启发式方法及阀方法的结合来确定度量方法。

同一场景在不同条件下投影所得到的二维图像会有很大的差异，这主要是由如下原因引起的：传感器噪声、成像过程中视角改变引起的图像变化、目标移动和变形、光照或者环境的改变带来的图像变化以及多种传感器的使用等。为解决上述图像畸变带来的匹配困难，人们提出了许多匹配算法，而它们都是由如下四个要素组合而成：

（1）特征空间

特征空间是由参与匹配的图像特征构成的，选择好的特征可以提高匹配性能、降低搜索空间、减小噪声等不确定性因素对匹配算法的影响。匹配过程可以使用全局特征或者局部特征以及两者的结合。

（2）相似性度量

相似性度量指用什么度量来确定待匹配特征之间的相似性，它通常定义为某种代价函数或者是距离函数的形式。经典的相似性度量包括相关函数和 Minkowski 距离，近年来人们提出了 Hausdorff 距离、互信息作为匹配度量。Hausdorff 距离对于噪声非常敏感，分数 Hausdorff 距离能处理当目标存在遮挡和出格点的情况，但计算费时；基于互信息的方法因其对于照明的改变不敏感已在医学等图像的匹配中得到了广泛应用，它也存在计算量大的问题，而且要求图像之间有较大的重叠区域。

（3）图像匹配变换类型

图像几何变换用来解决两幅图像之间的几何位置差别，它包括刚体变换、仿射变换、投影变换、多项式变换等。

（4）变换参数的搜索

搜索策略是用合适的搜索方法在搜索空间中找出平移、旋转等变换参数的最优估计，使得图像之间经过变换后的相似性最大。搜索策略有穷尽搜索、分层搜索、模拟退火算法、Powell方向加速法、动态规划法、遗传算法和神经网络等。遗传算法采用非遍历寻优搜索策略，可以保证寻优搜索的结果具有全局最优性，所需的计算量较之遍历式搜索小得很多；神经网络具有分布式存储和并行处理方式、自组织和自学习的功能以及很强的容错性和鲁棒性，因此这两种方法在图像匹配中得到了更为广泛的使用。

在成像过程中，由于噪声及遮挡等原因，导致一幅图像中的特征基元在另一幅图像中有几个候选特征基元或者无对应基元，这些都是初级视觉中的“不适定问题”，通常在正则化框架下用各种约束条件来解决。常用的约束有唯一性约束、连续性约束、相容性约束和顺序一致性约束。首先提取左右图像对中的线段，用对应线段满足的全局约束、相容性约束、邻域约束等表示 HopfieIk 神经网络的能量函数，通过最小化能量函数得到两幅图像中的对应线段，提高了匹配的可靠性。同时人们还采用最小平方中值法和投票算法等后处理来有效地消除假配点和误配点。

迄今为止，人们已经提出了各种各样的图像匹配算法，但从总体上讲，这些匹配算法可以分成关系结构匹配方法、结合特定理论工具的匹配方法、基于灰度信息的匹配方法、基于亚像元匹配方法、基于内容特征的匹配方法五大类型

所谓关系结构主要是指语义网络。这种方法是把计算机中的模型同外部世界中的物体或现象建立起对应关系，即利用图像的结构特征或关系特征之间的关系，把物体和物体间的关系表示成结构，通过沿图中的弧作关联搜索，建立图中结点之间的关系，借助语义网络、框架理论和图论方法寻求匹配问题的解决。进一步讲，这种方法是人工智能技术在图像匹配领域的应用，在这个意义上，景物可用知识和规则来描述，利用知识和规则实质上是给景物赋予了一种解释，故这种方法也称为基于解释的匹配。这种方法在实现时，为了减少计算量而使结构与点之间关系的描述常常是不完全的，并且它们缺乏一种有效的衡量点集之间是否相同的手段，所以这种方法的研究至今尚未取得突破性进展。

近年来，随着各学科许多新理论和方法的提出，人们也提出了许多与特定理论、方法和工具相结合的匹配技术，比如基于神经网络的匹配技术 151141、基于小波分析和变换的匹配技术 151101171 等等。由于神经网络的并行分布处理等特点，神经网络匹配方法理所当然地引起了人们的重视，利用神经网络进行图像匹配的基本方法是:首先利用某种特征提取算法也可以是神经网络算法对图像进行预理，并按要求提取一定数量的特征点接着根据构造的某种神经网络算法的要求，选取并输入网络需要的一些初始状态，同时也将选取的特征点作为基本输入参数然后启动神经网络算法的迭代过程，可能还要有学习过程最后给出迭代结果，并对其进行分析评价。神经网络匹配方法的这种匹配过程有以下缺陷:l 特征点的选取还无法自动实现，目前的研究仅限于一些边缘棱角突出的匹配识别实验等2网络需要的初始状态的选择对网络迭代过程影响较大，选择不当还会造成不收敛或陷于某一极值而不能自拔3特征提取的预处理，神经网络的学习和迭代过程都是计算代价比较昂贵的过程。由此可见，虽然神经网络匹配方法取得了一些初步进展，但由于收敛性、通用性不够理想，还无法用于灰度变化平缓、特征不突出的图像匹配，与实用性和实时性要求相差甚远。小波变换作为一种新的数学工具，由于其良好的时频局部化和多分辨分析特点，因而能有效地从信号中提取信息，通过伸缩和平移等运算功能对函数或武汉理工大学硕士学位论文信号进行多尺度分析，解决了傅立叶变换不能解决的许多问题。基于小波变换的匹配技术首先对匹配图和模板图同时进行小波变换:然后分别在不同尺度上，将匹配图和模板图的低频图像利用前面叙述的匹配算法进行匹配运算，通过设置门限等选择一些位置点作为最终可信点最后对匹配图和模板图的原始图像进行匹配。不足之处是小波基的选取给匹配带来了一定的困难。总之，基于小波变换的匹配技术利用它多分辨分析的思想，构造图像的塔式分解，可由粗到精的分析图像数据，在图像匹配中，先在低分辨率下对图像进行全局匹配，然后在高分辨率下对图像的细部进行匹配，其结果减少了迭代时落入局部最优点的可能性，又提高了匹配运算速度和精度，因此成为目前的前沿课题之一。

基于灰度的匹配就是逐像素地把一个以一定大小的匹配图像窗口的灰度矩阵与模板图像的所有可能的窗口灰度阵列按某种相似性度量方法进行搜索比较的匹配方法，从理论上说就是采用图像相关技术。图像相关技术近二十年来得到了迅猛发展，并形成了一门新的学科。由于它与其它方法相比具有计算量小，易于硬件实现等优点，围绕减少搜索空间和减少匹配时间的问题，人们相继提出了序贯相似性检测算法、两级模板匹配算法、分层序贯匹配算法、多子区域相关匹配算法等各种快速匹配算法围绕抗噪声干扰和抗几何失真问题，人们相继提出了随机符号变化准则、不变矩等算法同时，人们对与提高匹配精度和匹配速度有关的各种问题，比如定位精度、噪声、灰度电平偏差、量化误差等误差因素对匹配性能的影响，各种预处理技术等都进行了比较系统的研究151。在早期的图像匹配算法研究中，主要是对两幅图像空间域上的灰度值进行相关运算，根据相关系数的峰值，求出匹配位置。其中，常用的方法有:规一化互相关、统计相关、平均绝对差、平均平方差、基于 FFT 频率域的频域相关，包括相位相关和功率谱相关、不变矩。利用灰度信息匹配方法的主要缺陷是计算量太大，由于实际工作中一般都有一定的速度要求，所以这些方法很少被使用。现在己经提出了一些相关的快速算法，如幅度排序相关算法，FFT 相关算法和分层搜索的序列判断算法等。

刃模式识别中的目标匹配和定位是一个传统问题，已经提出许多经典算法，但是大多数定位精度都是象素级。由于大规模集成电路制造、摄影测量、工业检测和目标检测等应用对精度要求不断提高，象素级的精度已经不能满足要求了，而亚像元匹配可以突破物理分辨率的限制，提高匹配和定位精度，从而产生了亚像元匹配的算法研究，即:在己知待匹配图像信息、粗匹配点坐标、匹配模板信息的情况下，计算图像匹配的亚像元级偏移。亚像元定位一般有 4 种方法:l 基于图像高分辨率重采样的方法2基于曲面拟合的方法3微分法:勺基于 Fourier 分析的相位法等。在实际应用中，经常使用重采样和拟合方法。由于重采样方法在实现插值时需花费大量的时间，而曲面拟合方法所能达到的精度是有限的，但所需时间极少，因此将这两种方法相结合，既能达到所要求的精度，又减少所需时间，是图像模板亚像元定位的一种新方法。

基于内容特征的匹配首先提取反映图像重要信息的特征，而后以这些特征为模型进行匹配。局部特征有点、边缘、线条和小的区域，全局特征包括多边形和称为结构的复杂的图像内容描述。特征提取的结果是一个含有特征的表和对图像的描述，每一个特征由一组属性表示，对属性的进一步描述包括边缘的定向和弧度，边与线的长度和曲率，区域的大小等。除了局部特征的属性外，还用这些局部特征之间的关系描述全局特征，这些关系可以是几何关系，例如两个相邻的三角形之间的边，或两个边之间的距离可以是辐射度量关系，例如灰度值差别，或两个相邻区域之间的灰度值方差或拓扑关系，例如一个特征受限于另一个特征。人们一般提到的基于特征的匹配绝大多数都是指基于点、线和边缘的局部特征匹配，而具有全局特征的匹配实质上是我们上面提到的关系结构匹配方法。特征是图像内容最抽象的描述，与基于灰度的匹配方法比，特相对于几何图像和辐射影响来说更不易变化，但特征提取方法的计算代价通常较，并且需要一些自由参数和事先按照经验选取的闭值，因而不便于实时应用同时，在纹理较少的图像区域提取的特征的密度通常比较稀少，使局部特征的提 取比较困难。另外，基于特征的匹配方法的相似性度量也比较复杂，往往要以特征属性、启发式方法及闭方法的结合来确定度量方法。基于图像特征的匹配方法可以克服利用图像灰度信息进行匹配的缺点，由于图像的特征点比象素点要少很多，因而可以大大减少匹配过程的计算量同时，特征点的匹配度量值对位置的变化比较敏感，可以大大提高匹配的精确程度而且，特征点的提取过程可以减少噪声的影响，对灰度变化，图像形变以及遮挡等都有较好的适应能力。所以基于图像特征的匹配在实际中的应用越来越广-泛。所使用的特征基元有点特征明显点、角点、边缘点等、边缘线段等。

图像匹配在遥感（制图更新），以及计算机视觉应用程序。由于广泛的应用到图像匹配可以应用，这是不可能开发出的各种用途最优化的一般方法。

医疗用图像注册（对于同一患者在不同的时间点获取的数据，例如变化的检测或监测肿瘤）往往还包括弹性（也称为非刚性）注册，以应付这个问题的变形（由于呼吸，解剖学上的变化，等）。医学图像的非刚性注册也可以用于注册的患者数据，以解剖图谱，如塔莱拉什图谱用于神经成像。

它也被用在天文对齐截取的空间图像。上的一个图像使用控制点（自动或手动输入），所述计算机执行变换以使主要特征对准的第二图像。

图像匹配是全景影像创作的重要组成部分。还有，可以实时地执行，运行在诸如相机和照相手机的嵌入式设备的许多不同的技术。

有一定程度的不确定性与登记有任何时空差异的图像相关联。一个自信的登记与不确定性的度量，是许多重要的变化检测应用，如医疗诊断。

在遥感应用中的数字图像的像素可以表示几公里的空间距离（如NASA的陆地卫星图像），一个不确定的图像匹配可意指一个解决办法可以是从地面实况几公里。几个显着的论文都试图量化在图像匹配中的不确定性，以便比较结果。然而，许多方法来量化的不确定性或推定的变形是计算密集的，或只适用于有限集的空间变换的。