视觉伺服（visual servo）的概念，常见于机器人技术方面的研究，是由hill和park于1979年提出的。“伺服”—词源于希腊语“奴隶”的意思 。人们想把“伺服机构”当个得心应手的驯服工具，服从控制信号的要求而动作。在讯号来到之前，转子静止不动；讯号来到之后，转子立即转动；当讯号消失，转子能即时自行停转。由于它的“伺服”性能，因此而得名—伺服系统。 视觉伺服，一般指的是，通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，通过图像反馈的信息，来让机器系统对机器做进一步控制或相应的自适应调整的行为。

上个世纪60年代，由于机器人和计算机技术的发展，人们开始研究具有视觉功能的机器人。但在这些研究中，机器人的视觉与机器人的动作，严格上讲是开环的。机器人的视觉系统通过图像处理，得到目标位姿，然后根据目标位姿，计算出机器运动的位姿，在整个过程中，视觉系统一次性地“提供”信息，然后就不参与过程了。在1973年，有人将视觉系统应用于机器人控制系统，在这一时期把这一过程称作视觉反馈(visual feedback)。直到1979年，hill和park提出了“视觉伺服”(visual servo)概念。很明显，视觉反馈的含义只是从视觉信息中提取反馈信号，而视觉伺服则是包括了从视觉信号处理，到机器人控制的全过程，所以视觉伺服比视觉反馈能更全面地反映机器人视觉和控制的有关研究内容。

上个世纪80年以来，随着计算机技术和摄像设备的发展，机器人视觉伺服系统的技术问题吸引了众多研究人员的注意。到了90 年代，随着计算机能力的增强和价格下降，以及图像处理硬件和 CCD 摄像机的快速发展，机器视觉系统吸引了众多研究人员的注意。去的几年里，机器人视觉伺服无论是在理论上还是在应用方面都取得了很大进展。在许多学术会议上，视觉伺服技术经常列为会议的一个专题。视觉伺服已逐渐发展为跨机器人、自动控制和图像处理等技术领域的一门独立技术。

最早基于视觉的机器人系统, 采用的是静态look and move 形式。即先由视觉系统采集图像并进行相应处理， 然后通过计算估计目标的位置来控制机器人运动。这种操作精度直接与视觉传感器、机械手及控制器的性能有关，这使得机器人很难跟踪运动物体。到80年代，计算机及图像处理硬件得到发展，使得视觉信息可用于连续反馈，于是人们提出了基于视觉的伺服( v isual servoing ) 控制形式。这种方式可以克服模型( 包括机器人、视觉系统、环境) 中存在的不确定性，提高视觉定位或跟踪的精度。

机器人视觉伺服控制系统有以下几种分类方式：

●按照摄像机的数目的不同，可分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统

●按照摄像机放置位置的不同，可以分为手眼系统(eye in hand)和固定摄像机系统(eye to hand或stand alone)

●按照机器人的空间位置或图像特征，视觉伺服系统分为基于位置的视觉伺服系统和基于图像的视觉伺服系统

视觉伺服所面临的主要问题

视觉伺服的研究已有近20年的历史，但是由于视觉伺服所涉及的学科众多，所以其发展有赖于这些学科的发展，在视觉伺服的研究中仍然有很多问题没有很好地解决。

●图像处理的方法在理论和实际计算处理速度上都是图像伺服最大的难点；

●在图像处理完成后，图像特征与机器人关节运动之间模型的建立是图像伺服的另一难点；

●许多控制方法都不能保证系统在工作时是大范围稳定的，所以对有关控制方法的研究也是必要的。

视觉伺服的性能依赖于控制回路中所用的图像特征。特征包括几何特征和非几何特征，机械手视觉伺服中常见的是采用几何特征。早期视觉伺服中用到的多是简单的局部几何特征，如点、线、圆圈、矩形、区域面积等以及它们的组合特征，其中点特征应用最多。局部特征虽然得到了广泛应用，而且在特征选取恰当的情况下可以实现精确定位，但当特征超出视域时则很难做出准确的操作。特别是对于真实世界中的物体，其形状、纹理、遮挡情况、噪声、光照条件等都会影响特征的可见性。所以单独利用局部特征会影响机器人可操作的任务范围。近来有人在视觉控制中利用全局的图像特征，如特征向量，几何矩，图像到直线上的投影，随机变换, Fourier描述子等。全局特征可以避免局部特征超出视域所带来的问题, 也不需要在参考特征与观察特征之间进行匹配，适用范围较广，但定位精度比用局部特征低。总之，特征的选取没有通用的方法，必须针对任务、环境、系统的软硬件性能，在时间、复杂性和系统的稳定性之间进行权衡。

值得提出的是, 伺服控制用的特征与图像识别用的特征，其选择指标有一定的差别。从图像识别角度看，特征应具有鲁棒性和唯一性；但是从伺服的观点看，特征又必须对物体姿态的变化具有敏感性，即如果物体的位置和姿态发生变化，图像的特征必须变化。另一方面特征必须可控，即通过一系列的控制行为能够得到所选择的图像特征。

机器人视觉应在以下几个方面进一步加强研究：

1) 图像特征的选择问题。视觉伺服的性能密切依赖于所用的图像特征，特征的选择不仅要考虑识别的指标，还要考虑控制指标。从控制的观点看，用冗余特征可抑制噪声的影响，提高视觉伺服的性能，但又会给图像处理增加难度。因此如何选择性能最优的特征，如何处理特征以及如何评价特征，都是需要进一步研究的问题。针对任务有时可能需要从一套特征切换到另一套，可以考虑把全局特征与局部特征结合起来。

2) 结合计算机视觉及图像处理的研究成果，建立机器人视觉系统的专用软件库。在视觉伺服中，需要进行图像采集、图像处理、特征抽取及由二维信息重构三维信息等，要处理的数据量较大，算法复杂多样。如果有这样的软件平台，在进行视觉伺服任务时，就可以少走弯路。当然更希望生产出性能价格比较高的相关硬件。

3) 加强系统的动态性能研究。研究多集中于根据图像信息确定期望的机器人运动这一环节上，而对整个视觉伺服系统的动态性能缺乏研究。

4) 利用智能技术的成果。虽然神经网络在机器人视觉伺服中已得到应用，但多数都是针对具体物体的具体特征，或只进行了仿真实验，还有待于进一步的研究。考虑到人类看到并拿起某个物体时，事先并没有在数字上准确计算物体的位置，而是通过不断地观察、判断和推理，其中包含学习和模糊推理的内容，由此可以考虑用模糊神经技术解决机器人视觉伺服问题。

5) 利用主动视觉的成果。主动视觉是当今计算机视觉和机器视觉研究领域中的一个热门课题。它强调的是视觉系统与其所处环境之间的交互作用能力，因而有可能使被动感知方式下一些病态问题转化为良态问题，使非线性问题转化为线性问题。

6) 多传感器融合问题。视觉传感器具有一定的使用范围, 如能有效地结合其它传感器，利用它们之间性能互补的优势，便可以消除不确定性, 取得更加可靠、准确的结果。