增强现实(Augmented Reality,AR)技术是借助光电显示技术、交互技术、多种传感器技术和计算机图形与多媒体技术将计算机生成的虚拟环境与用户周围的现实环境融为一体，使用户从感官效果上确信虚拟环境是其周围真实环境的组成部分。增强现实具有虚实结合、实时交互、三维注册的新特点。

增强现实是一种将虚拟景物或信息与现实物理环境叠加融合起来，交互呈现在用户面前，从而营造出虚拟与现实共享同一空间的技术。本质上，增强现实是一种集定位、呈现、交互等软硬件技术于一体的新型界面技术，其目的是让用户在感官上感觉到虚实空间的时空关联和融合，来增强用户对现实环境的感知和认知。

增强现实技术拥有三个基本要素，即虚实空间的融合呈现、实时在线的交互以及虚实空间的三维注册。虚实空间的融合呈现，强调虚拟元素与真实元素的并存，这是用户对现实环境的感知得以增强的关键；实时在线的交互，强调用户和虚实物体之间互动响应计算的实时性，以满足用户感官对时间维度的响应需求；而虚实空间的三维注册，强调用户对空间感知的精确性和智能性，体现了虚实融合呈现的时空一致性。这三个要素是实现现实环境增强感知的关键所在，由于这种增强感知是空间方位依赖的，因此，增强现实系统通常借助头盔等特制设备来呈现虚实融合的效果。

增强现实技术的发展离不开虚实融合呈现装置的研发，其历史可以追溯到20世纪60年代。1968年，计算机图形学之父Ivan Sutherland提出了终极显示器(The UltimateDisplay)的设想，设计实现了第一个头戴式增强现实显示器达摩克利斯之剑，该设施实现的透射显示只能在视野前方叠加简单的线框模型。

1974年，Myrib Krueger发明了Videoplace系统，可以通过用户自己的剪影实现与投影画面的交互。

1990年，波音公司的工程师Tom Caudell和David Mizell研发穿透式头戴显示装置，让飞机装配工人实时查看线缆的装配图，并正式提出增强现实(augment reality)一词。

1993年，美国空军研究实验室的Louis Rosenberg开发首个沉浸式远程增强现实系统Virtual Fixture。Feiner提出著名的知识驱动的增强现实系统KARMA。

1994年，JulieMartin在舞台剧Dancing in Cyberspace中实现了舞者与虚拟景物的同台表演。

1998年，Sportsvision公司在美国NFL联赛实况转播中运用视频增强技术。

2000年，Hirokazu Kato研发了ARToolkit，称为国际上首个发布的计算机增强现实程序库。ARToolkit的出现让众多程序员有了简单易用的增强现实开发工具，有力促进了增强现实技术的应用普及。

2017年，苹果和谷歌先后将增强现实系统内嵌到各自的移动终端上，分别推出了增强现实软件开发平台ARKit和ARCore。我国的商汤科技、网易等公司也随后推出了自主增强现实软件开发平台SenseAR和洞见AR。增强现实逐渐成为服务社会和大众的新型技术。

增强现实需要在三维空间中完成视觉的虚实融合，因此需要特殊的显示装置满足视觉融合感知的需求。目前，增强现实的显示装置按使用方法可以分为三大类: 可穿戴式设备、移动手持显示设备和空间增强设备。

可穿戴设备一般包括佩戴在头部的头盔显示器、投影仪、AR眼镜、隐形眼镜等，应用最广泛的是头盔显示器。根据真实环境的显示模型，增强现实的头盔显示器分为光学穿透式头盔显示器和视频穿透式头盔显示器。光学穿透式头盔通过用户眼镜前端的透明镜片，在透过来自现实世界光线的同时反射光线，将虚景反射进入人眼，从而形成虚实融合的景象。视频穿透式头盔通过眼睛前端的双目摄像头实时捕捉场景影响，并将虚景叠加在视频画面后，呈现在用户眼睛前端配置的双目显示器中。

移动手持类显示设备，即智能手机、平板电脑等带有摄像头和一定计算和绘制能力的移动终端，利用内置摄像头捕捉现实世界，然后与自身绘制的虚拟世界融合在一起，呈现在用户面前。

空间增强现实技术利用光学原理或特殊器材直接将虚拟世界投影到现实世界中，其一般将虚拟影像投射到固定的空间中，如投射影像于物体表明，或成虚像于三维空间。

除了一些视觉显示装置，听觉装置同样逐渐成为增强现实的研究内容之一。南方科技大学陈霏老师研究的虚拟听觉空间(Virtual Auditory Space)通过音频信号处理技术，将按照空间分布的扬声器，基于人耳的一些特殊声学效应，通过声学相关算法计算模拟，将声源重建在3D空间中的任意位置从而实现声源方位的重现，产生逼真的虚拟听觉感知。

同时，部分增强现实配有触觉装置，例如通过偏心旋转质量(ERM,eccentric rotating mass)振动马达的机械动作器产生的振动感觉。偏心旋转质量马达有不同的尺寸和振动力规格，从而产生不同的触感。同时，可以通过机械刺激使人体感官受体将小的电脉冲沿着传入神经传送到中枢神经系统。如Tesla Studios公司(苏格兰圣安德鲁)开发的TeslaSuit DK1系统。

(1)三维注册技术

三维注册是解决如何将虚拟场景与现实场景联系起来的关键技术。三维注册技术将虚拟场景绑定到现实场景的坐标系中，随着用户的移动和视角的变化，计算出虚拟场景在该视角下的投影信息，融合到真实场景的影像上，保证了虚拟场景与现实场景共享同一空间。当二者相对静止时，虚拟场景和真实场景的位置关系和尺度关系随着相机的位姿变化保持一致；当二者相对运动时，需要借助三维注册技术精确求解出三维运动场景的几何信息和相机的运动轨迹。由于人眼对画面的感知非常敏感，如果三维注册结果不够准确，会导致呈现给用户的画面产生抖动和场景的漂移，严重影响用户的沉浸感体验。

(2)真实感绘制

在三维注册技术的基础上，还需要将虚拟景物或信息进行视觉呈现与融合。增强现实系统中，一般有两类视觉融合呈现方式，一类将文字数字或其他信息以恰当的可视化方式叠加在现实景物上，实现知识的主动推送和高效呈现；另一类强调虚拟景物在现实环境中的真实存在感，通过在统一的光照条件下，绘制出逼真的虚拟景物。一般采用全局光照明模型使得高保真模拟光在虚拟环境中传递，该种方式相对耗时。随着CPU和GPU性能不断提升，借助一些采样逼近和与计算方法，虚拟场景或景物的实时全局光照明绘制逐渐成为可能。

(3)人机交互

人机交互的目标是以用户为中心，利用各种设备或界面，与虚拟或现实的目标进行互动，通过信息交换完成确定的交互任务。增强现实系统允许用户在虚实融合的三维空间种进行交互，通过信息交换完成确定的交互任务。增强现实系统允许用户在虚实融合的三维空间种进行交互，并通过连接其他设备对虚拟对象进行操作，因此交互系统的涉及应避免在信息注册或呈现过程中产生混淆，以提升用户的互动体验。

由于在增强现实的交互中，没有单一、固定的输入和输出方式，也不是在显示器上呈现二维图像的输出，因此很难有固定的、具有普遍意义的交互设计。增强现实主要采用三维交互，其拥有更高的自由度，更多的交互方式，更庞大的交互任务，更复杂的三维用户界面定义，目前的交互情况主要包括 （1）触控交互 （2）手势交互 （3）语音交互 （4）实物交互

增强现实系统在功能上主要包括四个关键部分，其中，图像采集处理模块是采集真实环境的视频，然后对图像进行预处理;而注册跟踪定位系统是对现实场景中的目标进行跟踪，根据目标的位置变化来实时求取相机的位姿变化，从而为将虚拟物体按照正确的空间透视关系叠加到真实场景中提供保障;虚拟信息渲染系统是在清楚虚拟物体在真实环境中的正确放置位置后，对虚拟信息进行渲染；虚实融合显示系统是将渲染后的虚拟信息叠加到真实环境中再进行显示。

一个完整的增强现实（AR）系统是由一组紧密联结、实时工作的硬件部件与相关软件系统协同实现的，有以下三种常用的组成形式。

（1）基于计算机显示器

在基于计算机显示器的增强现实（AR）实现方案中，摄像机摄取的真实世界图像输入到计算机中，与计算机图形系统产生的虚拟景象合成，并输出到计算机屏幕显示器。用户从屏幕上看到最终的增强场景图片。这种实现方案简单。

（2）视频透视式

视频透视式增强现实（AR）系统采用的基于视频合成技术的穿透式HMD（Video See-through HMD）。

（3）光学透视式

头盔式显示器（Head-mounted displays，简称HMD）被广泛应用于增强现实（AR）系统中，用以增强用户的视觉沉浸感。根据具体实现原理又可以划分为两大类，分别是基于光学原理的穿透式HMD（Optical See-through HMD）和基于视频合成技术的穿透式HMD（Video See-throughHMD）。

光学透视式增强现实（AR）系统具有简单、分辨率高、没有视觉偏差等优点，但它同时也存在着定位精度要求高、延迟匹配难、视野相对较窄和价格高等问题。

虚拟现实技术简称为VR技术，是一种采用3D交互逻辑的成像技术类别。虚拟现实技术应用时间较短，所以核心结构主要以环境模拟系统、环境感知系统及环境传感系统构成。虚拟现实技术顾名思义，是将使用者代入预设完成的虚拟空间，通过虚拟空间体验实视觉的图像刺激，从而达到三维成像技术应用的目的。现代虚拟现实技术应用虽然总体较为成熟，但不具备独立环境预设功能。需要通过与计算机的连接实现对成像内容的控制，并有计算机成为虚拟空间设计，因此虚拟实现技术应用主要起到视觉传导及视觉信息传播的实际作用，使图像信息从二维空间结构向三维空间结构过渡，以此形成完善的图像处理体系，使使用者达到最佳的图像观感体验。

VR用户基数较小，移动性较差，具有隔离的沉浸感，因此主要集中在娱乐用途上。娱乐收入可能会占据整个行业收入的三分之二，硬件占比约四分之一。虽然VR也会有企业用途，但是相对于AR和智能眼镜而言少得多。VR电子商务和广告收入会增长，但目前用户群的规模和分散性限制了其发展。

与VR相比，AR会触及到更多的人，因为它是对人们日常生活的无缝补充。AR是将计算机生成的虚拟世界叠加在现实世界上，医药、教育、工业上的各种实际应用，已经佐证了AR作为工具，对人类的影响更为深远。而不是像VR那样在现实世界之外营造出一个完全虚拟的世界。国外分析师也认为“AR”将会成为“更加日常化的移动设备应用的一部分”。同时，移动AR的普及和低成本也有助于企业从采用AR技术，企业AR可以稳定增长，到2021年左右增强现实技术将在制造/资源、TMT、政府（包括军事）、零售、建筑/房地产、医疗保健、教育、交通运输、金融服务、公用事业方面都得到应用。

随着增强现实技术的不断发展，其展现出了广阔的应用前景。目前已经在数字娱乐、文化教育、医学诊疗、工业生产、城市运维、电子商务等多个领域实现了应用。

（1）数字娱乐

数字娱乐是目前增强现实技术应用最为广泛的领域，产生了大量的增强现实相关的电影、电视和游戏内容。例如活跃在各大舞台的虚拟偶像，在技术和运营团队的操控下，像真实艺人一样既能在线上和线下场景中进行多种才艺表演活动，也在现实社会中成长和生活，与粉丝互动。同时，大量的移动增强现实游戏，如火爆全球的Pokeman Go吸引了大量的游戏玩家，极大地推动了增强现实技术的普及。

（2）文化教育

在教育方面增强现实技术也得到了广泛的应用。一方面，增强现实可以增强学生与教师之间的互动和课堂趣味性。教师可以借助实物道具和增强现实技术，动态形象地呈现各知识点所关联地性质和现象，以增强学生对所学知识的理解和感悟。另一方面，增强现实技术可以将各种可视媒体与书籍的内容关联起来，通过书籍自动呈现相应的融合媒体信息。同时让同学们在教室中体验真实的相关场景。

（3）医学诊疗

医学诊疗领域是增强现实技术最早开展应用和最具挑战性的领域之一。增强现实技术可以为用户展示医疗相关知识或检查结果，辅助医生完成高精度的治疗操作。增强现实技术在医学诊疗领域应用的最大挑战在于如何提升识别和临场定位的精度，使得医护人员更精准地感知复杂的疾病部位，避免误操作。

（4）工业生产

在已高度数字化、信息化的工业界，增强现实技术可以借助虚拟环境和现实环境的交互融合原理，在设计研发、产品生产和维修服务等多个阶段发挥作用，展现了非常广阔的应用前景。航空工业是最早引入增强现实技术的行业。由于数字化的西悉尼过于庞大，难以单靠人脑的记忆力来掌握数字化信息，而数字化信息与现实景物分离，也不利于临场操作者的理解、判断、执行忙着降低了数字化信息的效能。飞机中的复杂管路和长达数百千米的缆线和连接器安装，是目前增强现实技术在航空工业的应用主战场，增强现实系统通过强大的交互虚实融合显示界面，一步步指导施工人员准确地执行复杂操作，实现高质量装配。

（5）电子商务

对电子商务而言，增强现实可以创造全新的购物方式，增强消费者的购物体验。用户可以远距离对商品进行体验，做出更满意的选择。近年来，天猫商城推出了“AR-GO”，消费者不仅可以在天猫APP中将看中的商品以1:1的效果摆放在自己家中，而且可以在房间中任意走动，从不同角度、不同距离进行观察。