交换级
子集的交换装置
在交换机中构成交换网络的一个子集的交换装置。交换级的设计就是为了弥补自身内存空间的不足通过扩展SSD作为缓存空间缓Hadoop集群中的数据。
定义
交换级SSD通过对Hadoop相关数据的缓存来减少网络中数据交换量和重复的任务操作,有效的提高整个集群 的运行效率,起到对数据并行优化的作用。当然对于整个体系,无论是OpenFlow对整个网络的控制,还是Hadoop数据缓存使得反应速度的提升与网络数据交换量的减少,每一项技术都实现都与国内外的相关研究密不可分的。
交换级及相关技术
交换级使用SSD扩展OpenFlow交换机存储空间,通过SSD读写数据块容量大的特点满足交换级的缓存或者存储要求,利用OpenFlow技术的智能型技术来对网络中的数据进行要选择性的存储或者缓存,达到缩减传输距离和减少计算量作用。与传统交换机扩展SSD作为缓存空间不同,交换级能够智能的选取网络中所需数据,而传统交换机只能无差别的缓存所有数据报,如果针对需要缓存的数据进行修改将使得传统的交换机更加不堪重负。
交换级SSD的核心是OpenFlow技术,通过OpenFlow技术可以有效的选取网络中的特定数据进行缓存同时可以控制交换机使缓存数据在交换设备处进行转发,省去到各个服务的请求和计算操作。
OpenFlow技术
面对数据量的迅速增长,各种大型的集群和数据中心的建立,网络的规模也急剧膨胀,同时网络的结构和功能日趋复杂,管控能力日趋减弱,尤其对于Hadoop这类对于大数据进行处理的技术,需要在分布式集群中进行大量的数据交换和存储。
交换级设计
交换级SSD主要通过在交换节点缓存方式对于Hadoop集群中数据并行操作进行优化。交换级SSD缓存分别针
对MapReduce和HDFS进行优化,主要体现在几个方面:
(1)MapReduce依赖于HDFS必须存储才能计算,而Reduce阶段需要接收Map阶段产生大量的中间数据,将使得网络数据交换量急剧增加造成网络阻塞。
(2)HDFS针对小文件和实时性要求较高的请求上不具备优势,通过HDFS工作流程可知,每一读写操作,客户端必然会与Namenode交互,对于小文件来说交互的通信时间已经足以从Datanode将数据返回到客户端了,也正是因为要与Namenode间通信,造成了一定的延时,牺牲读取文件的实时性。
(3)交换级缓存还有一点就是减轻了主节点的负担。Hadoop集群中MapReduce数据并行处理依赖于主节点的对各个从节点的任务分配与调度,同时HDFS的文件读写也需要主节点中元数据的支持,所以Hadoop的工作离不开与主节点的通信。
交换级的结构
交换级对Hadoop集群并行数据优化,主要通过交换级SSD在交换节点处对Hadoop集群中相关数据进行缓存,通过减少MapReduce重复计算,减少集群间数据交换,解决小文件访问延时问题来提高数据并行效率。交换级在Hadoop集群中起到交换设备和分布式缓存设备的作用。
为了协调与管理交换设备上的数据交换与数据缓存,引入OpenFlow技术。OpenFlow交换机相比传统交换机有几个优势:
(1)在控制器的帮助下,OpenFlow交换机被传统的交换机更加容易的从网络数据报中提取出所需的数据信息。
(2)控制器可以在OpenFlow交换机运行的时候下达最新的命名,指示交换机进行最新的操作。
(3)OpenFlow的可以Hadoop集群消息制定流表,更加有效的协调数据交换和数据缓存。
最新修订时间:2024-11-22 14:29
目录
概述
定义
交换级及相关技术
参考资料