高效视频编码(HEVC),也称为H.265和MPEG-H part 2,是
视频压缩标准,是广泛使用的AVC(H.264或MPEG-4第10部分)的几个潜在后继者之一。 与AVC相比,HEVC在相同的视频质量水平下提供大约两倍的
数据压缩比,或者以相同的比特率显著提高视频质量。 它支持高达8192×4320的分辨率,包括8K UHD。
简介
在大多数方面,HEVC是H.264/MPEG-4 AVC中概念的扩展。两者都通过比较视频帧的不同部分来找到冗余的区域,包括单帧和后续帧。然后用简短描述代替原始像素替换这些冗余区域。 HEVC的主要变化包括将模式比较和差分编码区域扩展到16×16像素到大小达64×64,改进的可变块大小分割,改进了同一图像内的“帧内”预测,改进了运动矢量预测和运动区域合并,改进的运动补偿滤波,以及称为采样自适应偏移滤波的附加滤波步骤。有效地使用这些改进需要更多的信号处理能力来压缩视频,但对解压缩所需的计算量的影响较小。
HEVC由视频编码联合协作小组(JCT-VC)开发,这是ISO / IEC MPEG和ITU-T VCEG之间的合作。 ISO/IEC组将其称为MPEG-H第2部分,将ITU-T称为H.265。 HEVC标准的第一个版本于2013年1月批准并于2013年6月发布。第二个版本具有多视图扩展(MV-HEVC),范围扩展(RExt)和可扩展性扩展(SHVC),于2014年完成并获得批准2015年初完成了3D视频扩展(3D-HEVC),并于2016年初完成了屏幕内容编码(SCC)的扩展,并于2017年初发布,涵盖了包含渲染图形,文本或视频的视频。动画以及(或代替)相机捕捉的视频场景。 2017年10月,该标准被Primetime艾美工程奖认可为对电视技术产生重大影响。
HEVC包含参与JCT-VC的组织拥有的专利所涵盖的技术。实施使用HEVC的设备或软件应用程序可能需要HEVC专利持有者的许可。 ISO/IEC和ITU要求属于其组织的公司以合理和非歧视性许可(RAND)条款提供其专利。专利许可可以直接从每个专利持有人处获得,或通过专利许可机构获得,例如MPEG LA,HEVC Advance和Velos Media。当前所有专利许可机构提供的综合许可费用高于AVC。许可费是网络上HEVC采用率低的主要原因之一,也是一些最大的科技公司(亚马逊,AMD,Apple,ARM,思科,谷歌,英特尔,微软,Mozilla,Netflix,Nvidia和更多)已加入开放媒体联盟,旨在于2017年底完成免版税替代视频编码格式AV1。AV1规范的初始版本最终于2018年3月28日发布。
历史
先前工作
2004年,ITU-T视频编码专家组(VCEG)开始对技术进步进行重大研究,以便能够创建新的视频压缩标准(或H.264/MPEG-4 AVC标准的大量面向压缩的增强)。 2004年10月,调查了各种可能增强H.264/MPEG-4 AVC标准的技术。 2005年1月,在VCEG的下次会议上,VCEG开始将某些主题指定为“关键技术领域”(KTA)以供进一步调查。建立了一个名为KTA代码库的软件代码库来评估此类提案。KTA软件基于联合模型(JM)参考软件,该软件由MPEG和VCEG联合视频团队为H.264 / MPEG-4 AVC开发。其他提议的技术已整合到KTA软件中,并在未来四年的实验评估中进行了测试。MPEG和VCEG建立了视频编码联合协作小组(JCT-VC)来开发HEVC标准。
考虑了两种标准化增强压缩技术的方法:创建新标准或创建H.264 / MPEG-4 AVC的扩展。该项目暂定名称为H.265和H.NGVC(下一代视频编码),并且是VCEG工作的主要部分,直到2010年它与MPEG进入HEVC联合项目。
与H.264 / MPEG-4 AVC高配置文件相比,NGVC的初步要求是能够在相同的主观图像质量下降低50%的比特率,并且计算复杂度是该设备的1/2到3倍。高调。NGVC能够在与高分辨率相同的视频质量下提供25%的比特率降低和50%的复杂性降低,或者提供更高的比特率降低,同时具有更高的复杂度。
ISO/IEC运动图像专家组(MPEG)于2007年启动了一个类似的项目,暂定名为高性能视频编码。在2007年7月之前,已经决定将比特率降低50%的协议作为该项目的目标。通过对VCEG开发的KTA参考软件编码器的修改进行早期评估。到2009年7月,实验结果显示,与AVC High Profile相比,平均比特减少约20%;这些结果促使MPEG与VCEG合作启动其标准化工作。
标准化
VCEG和MPEG于2010年1月发布了关于视频压缩技术的正式联合征集提案,并在4月举行的MPEG&VCEG视频编码联合协作组(JCT-VC)第一次会议上对提案进行了评估。2010年。共提交了27份完整提案。评估表明,在许多测试案例中,一些提案可以达到与AVC相同的视觉质量,只有一半的比特率,计算复杂度增加了2-10倍,并且一些提议获得了良好的主观质量和比特率结果具有比参考AVC高轮廓编码更低的计算复杂度。在那次会议上,联合项目采用了高效视频编码(HEVC)这一名称。从那次会议开始,JCT-VC将一些最佳建议的特征集成到单个软件代码库和“正在考虑的测试模型”中,并进行了进一步的实验以评估各种提议的特征。HEVC的第一个工作草案规范是在2010年10月的第三次JCT-VC会议上制定的。在后来的JCT-VC会议中,HEVC的编码工具和配置发生了许多变化。
2013年1月25日,国际电联宣布HEVC已获得ITU-T替代批准程序(AAP)的第一阶段批准(同意)同一天,MPEG宣布HEVC已经在MPEG标准化过程中被提升为国际标准最终草案(FDIS)。
2013年4月13日,HEVC/H.265被批准为ITU-T标准。该标准由ITU-T于2013年6月7日正式发布,ISO/IEC于2013年11月25日正式发布。
2014年7月11日,MPEG宣布第二版HEVC将包含三个最近完成的扩展,即多视图扩展(MV-HEVC),范围扩展(RExt)和可扩展性扩展(SHVC)。
2014年10月29日,HEVC/H.265第2版被批准为ITU-T标准。它于2015年1月12日正式发布。
2015年4月29日,HEVC/H.265第3版被批准为ITU-T标准。
2016年6月3日,HEVC/H.265第4版在ITU-T中获得同意,并在2016年10月的投票中未获批准。
2016年12月22日,HEVC/H.265第4版被批准为ITU-T标准。
专利
2014年9月29日,MPEG LA宣布其HEVC许可证,涵盖23家公司的重要专利。首批100,000个“设备”(包括软件实施)是免版税的,之后每台设备的费用为0.20美元,而年度上限为2500万美元。这比AVC的费用要贵得多,每台设备的费用为0.10美元,相同的100,000豁免,年度上限为650万美元。 MPEG LA对内容本身不收取任何费用,这是他们最初授权AVC时所尝试的内容,但随后在内容制作者拒绝支付时被撤销。该许可证已经扩展到包括HEVC标准第2版中的配置文件。
当MPEG LA条款公布时,评论者指出,一些知名玩家不属于该组。其中包括AT&T,微软,诺基亚和摩托罗拉。当时的猜测是,这些公司将形成自己的许可池,以与MPEG LA池竞争或增加。这样一个小组于2015年3月26日正式宣布为HEVC Advance。这些条款涵盖500项重要专利,于2015年7月22日公布,其费率取决于销售国家,设备类型,HEVC配置文件,HEVC扩展和HEVC可选功能。与MPEG LA条款不同,HEVC Advance通过收益分享费用重新引入了使用HEVC编码的内容的许可费。
最初的HEVC Advance许可证对于1区国家/地区的每台设备的最高使用费率为2.60美元,内容使用费率为HEVC视频服务产生的收入的0.5%。 HEVC Advance许可证中的1区国家包括美国,加拿大,欧盟,日本,韩国,澳大利亚,新西兰等。 2区国家/地区是未列入1区国家/地区列表的国家/地区。 HEVC Advance许可证对于2区国家/地区的每台设备的最高使用费率为1.30美元。与MPEG LA不同,没有年度上限。除此之外,HEVC Advance还收取了HEVC中视频服务编码内容产生的收入的0.5%的特权使用费率。
当它们被宣布时,行业观察者对设备的“不合理和贪婪”费用产生了相当大的反响,这些费用大约是MPEG LA费用的七倍。一起添加,设备需要的许可证价格为2.80美元,是AVC的28倍,以及内容的许可费用。这导致要求“内容所有者团结起来并同意不同意HEVC Advance”。其他人认为,这些费率可能会导致公司转向Daala和VP9等竞争标准。
2015年12月18日,HEVC Advance宣布了专利费率的变化。这些变化包括将1区国家的最高专利费率降至每台设备2.03美元,创建年度专利费上限,以及免除最终用户免费内容的版税。一家公司的年度特权使用费上限为4000万美元,内容为500万美元,可选功能为200万美元。
2016年2月3日,Technicolor SA宣布他们已退出HEVC Advance专利池,并将直接授权他们的HEVC专利。
2016年11月22日,HEVC Advance宣布了一项重大举措,修订了他们的政策,允许HEVC的软件实施直接分发给消费者移动设备和个人计算机免版税,无需专利许可。
2017年3月31日,Velos Media宣布其HEVC许可证涵盖爱立信,松下,高通公司,夏普和索尼的必要专利。
编码效率
大多数视频编码标准的设计主要旨在获得最高的编码效率。编码效率是能够以尽可能低的比特率对视频进行编码,同时保持一定的视频质量水平。有两种标准方法来测量视频编码标准的编码效率,即使用客观度量,例如
峰值信噪比(PSNR),或使用视频质量的主观评估。视频质量的主观评估被认为是衡量视频编码标准的最重要方式,因为人类主观地感知视频质量。
HEVC受益于使用更大的编码树单元(CTU)大小。这已经在使用HM-8.0 HEVC编码器的PSNR测试中显示,其中它被迫使用逐渐变小的CTU尺寸。对于所有测试序列,当与64×64 CTU大小相比时,显示当强制使用32×32 CTU大小时HEVC比特率增加2.2%,并且当被迫使用16×时增加11.0% 16 CTU尺寸。在A类测试序列中,视频的分辨率为2560×1600,与64×64 CTU大小相比,显示当强制使用32×32 CTU大小时,HEVC比特率增加了5.7% ,当被迫使用16×16 CTU尺寸时,增加了28.2%。测试表明,大CTU尺寸可提高编码效率,同时还可缩短解码时间。
HEVC Main Profile(MP)在编码效率方面与H.264 / MPEG-4 AVC High Profile(HP),MPEG-4 Advanced Simple Profile(ASP),H.263 High Latency Profile(HLP)和H进行了比较.262 / MPEG-2主要配置文件(MP)。视频编码是为娱乐应用完成的,并且使用HM-8.0 HEVC编码器为9个视频测试序列制作了12个不同的比特率。在九个视频测试序列中,五个处于HD分辨率,而四个处于WVGA(800×480)分辨率。 HEVC的比特率降低基于PSNR确定,HEVC与H.264 / MPEG-4 AVC HP相比具有35.4%的比特率降低,与MPEG-4 ASP相比降低63.7%,与H.263 HLP相比降低65.1% ,与H.262 / MPEG-2 MP相比,有70.8%。
HEVC MP还与H.264 / MPEG-4 AVC HP进行了比较,以获得主观视频质量。视频编码是针对娱乐应用进行的,并且对于使用HM-5.0 HEVC编码器的九个视频测试序列进行了四种不同的比特率。主观评估是在早于PSNR比较的日期进行的,因此它使用了性能略低的HEVC编码器的早期版本。使用平均意见得分值基于主观评估确定比特率降低。与H.264 / MPEG-4 AVC HP相比,HEVC MP的整体主观比特率降低为49.3%。
ÉcolePolytechniqueFédéraledeLausanne(EPFL)做了一项研究,以高于HDTV的分辨率评估HEVC的主观视频质量。这项研究是用三个视频完成的,分辨率为3840×1744(24 fps),3840×2048(30 fps),3840×2160(30 fps)。五秒钟的视频序列显示了人们在街头,交通和开源计算机动画电影Sintel的场景。使用HM-6.1.1 HEVC编码器和JM-18.3 H.264 / MPEG-4 AVC编码器以五种不同的比特率对视频序列进行编码。使用平均意见得分值基于主观评估确定主观比特率降低。该研究将HEVC MP与H.264 / MPEG-4 AVC HP进行了比较,结果表明,对于HEVC MP,基于PSNR的平均比特率降低为44.4%,而基于主观视频质量的平均比特率降低为66.5%。
在2013年4月发布的HEVC性能比较中,使用3840×2160视频序列将HEVC MP和Main 10 Profile(M10P)与H.264 / MPEG-4 AVC HP和High 10 Profile(H10P)进行比较。使用HM-10.0 HEVC编码器和JM-18.4 H.264 / MPEG-4 AVC编码器对视频序列进行编码。对于帧间视频,基于PSNR的平均比特率降低为45%。
在2013年12月发布的
视频编码器比较中,将HM-10.0 HEVC编码器与x264编码器(版本r2334)和VP9编码器(版本v1.2.0-3088-ga81bd12)进行了比较。该比较使用Bjøntegaard-Delta比特率(BD-BR)测量方法,其中负值表示比特率降低多少,正值表示相同PSNR的比特率增加多少。在比较中,HM-10.0 HEVC编码器具有最高的编码效率,并且平均而言,为了获得相同的客观质量,x264编码器需要将比特率提高66.4%,而VP9编码器需要提高比特率减少79.4%。
在2014年5月发布的主观视频性能比较中,JCT-VC将HEVC Main配置文件与H.264 / MPEG-4 AVC High配置文件进行了比较。该比较使用平均意见得分值,由BBC和苏格兰西部大学进行。使用HM-12.1 HEVC编码器和JM-18.5 H.264/MPEG-4 AVC编码器对视频序列进行编码。该比较使用一系列分辨率,HEVC的平均比特率降低为59%。 HEVC的平均比特率降低为480p为52%,720p为56%,1080p为62%,4K UHD为64%。
在EPFL于2014年8月发布的主观视频编解码器比较中,将HM-15.0 HEVC编码器与VP9 1.2.0-5183编码器和JM-18.8 H.264/MPEG-4 AVC编码器进行了比较。四个
4K分辨率序列以五种不同的比特率编码,编码器设置为使用一秒的内部周期。在比较中,HM-15.0 HEVC编码器具有最高的编码效率,并且平均而言,对于相同的主观质量,与VP9 1.2.0-5183编码器相比,比特率可以降低49.4%,并且可以降低与JM-18.8 H.264 / MPEG-4 AVC编码器相比,增加了52.6%。
2016年8月,Netflix公布了一项大型研究的结果,该研究将领先的开源HEVC编码器x265与领先的开源AVC编码器x264和参考VP9编码器libvpx进行了比较。Netflix使用先进的视频多方法评估融合(VMAF)视频质量测量工具,发现x265的比特率相同,质量比x264低35.4%至53.3%,比VP9低17.8%至21.8%。
特点
与H.264 / MPEG-4 AVC HP相比,HEVC旨在显著提高编码效率,即以可比较的图像质量将比特率要求降低一半,但代价是计算复杂度增加。HEVC的设计目标是允许视频内容的
数据压缩比高达1000:1。根据应用要求,HEVC编码器可以牺牲计算复杂性,压缩率,对错误的鲁棒性和编码延迟时间。与H.264 / MPEG-4 AVC相比,改进HEVC的两个关键特性是支持更高分辨率的视频和改进的并行处理方法。
HEVC针对下一代HDTV显示器和内容捕获系统,具有逐行扫描帧速率和QVGA(320x240)至4320p(7680x4320)的显示分辨率,以及在噪声级别,色彩空间和动态方面的改善图像质量范围。