自主研发:集群存储,欢迎致电咨询。 010-82965297/82965361

自主研发

自主研发

LanHaiStore集群存储系统(一)

2014-03-24 08:37:38

1.LanHaiStore简介

1.1 LanHaiStore系统架构图

LanHaiStore拓扑图如下:

1.jpg

图表1 LanHaiStore拓扑图
 

LanHaiStore存储系统主要由应用服务器集群、元数据服务器集群、智能存储服务器集群三大部分组成。

应用服务器集群运行客户应用程序的服务器集群。

元数据服务器集群管理文件系统的元数据(包括文件目录树组织、属性维护、文件操作日志记录、授权访问等),管理整个存储系统的命名空间,对外提供单一的系统映像。

智能存储服务器集群存储用户的实际数据,是整个存储系统的存储资源提供者。

1.2 系统软件构成

1.2.1负载均衡软件

         LanHaiStore负载均衡软件是专门针对存储扩展性需求较高的应用环境而提供。当存储系统按需在线动态扩展容量之后,该功能将数据在存储服务器之间迁移,直到数据分布较为均衡时停止。通过LanHaiStore负载均衡软件的数据迁移工作,LanHaiStore集群存储系统的性能能够随着容量的增长而线性增长。

1.2.2多副本软件

         LanHaiStore的多副本软件是一种高效的数据保护方式,通过将数据同时存放到不同的存储服务器上来对数据进行保护,不但消除了单点故障,还能够提高数据并发访问性能。

1.2.3故障自动恢复软件

         LanHaiStore的故障自动恢复软件具有一整套完整的故障恢复流程,该软件将会自动的探测集群存储系统内的各类可能出现的故障,如磁盘损坏、系统宕机、网络中断等各类数据中心常见的故障。集群存储系统内一旦发现了该类故障,该软件就会立刻启动相应的故障处理恢复流程对数据进行相应的恢复保护,确保数据的完整性,并且整个恢复过程完全不影响业务连续运行。而且由于LanHaiStore故障自动恢复软件能够提供的是整个集群全局的数据恢复,充分的利用了集群内的空闲资源进行相应的处理,能够提供高出RAID技术五倍的数据恢复速度,能够最大程度的确保数据完整性,为业务长期稳定运行打下基础。

1.2.4大目录支持软件

         传统的存储方案(如NAS)都存在着文件数量、单目录下文件数量等诸多限制,并且当存储系统内文件数量达到一定数量时,文件的检索效率就会急剧下降,从而影响了业务的运行效率。

LanHaiStore的大目录支持软件打破了存储系统在面向海量小文件时的种种限制,提供了几乎无限的单目录文件数量支持、高效的文件检索效率支持,帮助企业解决海量小文件存储带来的烦恼。

2. LanHaiStore存储方案亮点

2.1全局共享 

         在系统中,所有应用服务器看到的是同一个文件系统视图,这样所有的服务器都可以访问到同样的数据,可以方便的利用负载均衡器把互联网用户的访问请求分布到各个应用服务器上。这样提高了系统的对外服务的整体能力,也消除了应用服务器这一层的单点故障,任何一个应用服务器的损坏都不影响系统对外服务的持续性,提高了整个网络电视平台的可靠性。

2.2 海量文件高效检索

当数据量不断增长,存储系统里面的文件数量也会快速增长。在传统的DASNAS方案中,当存储系统内的文件数量增长到数千万以上时,文件的检索查找等操作将会给文件系统带来巨大的压力,特别是一个目录下面存放的文件超过一定数量甚至会造成文件查找效率急剧下降。

LanHaiStore的元数据集群技术可以高效的管理上百亿个文件,单目录可以高效支持千万级的文件数量,能够高效支持海量文件的高并发访问。

2.3高效数据读写

本方案实际应用中,多台应用服务器需要共享访问数据,并发访问的程度较高,这给存储系统带来较大的IO压力。LanHaiStore集群存储系统通过多台存储服务器提供同时数据存取服务的方法以满足大量应用服务器的并发访问需求。在应用服务器端,当应用程序往存储系统上写文件时,文件将会被根据一定大小进行分片存放到多台存储服务器上;在应用程序读文件时,则并发的从多个服务器上读取数据。由于大量的数据IO请求都被分散到多台存储服务器上,使得所有的存储服务器上的磁盘性能和网络带宽都可以同时得到充分的利用,这样LanHaiStore集群存储系统的聚合带宽由多台的存储服务器上的IO带宽相加而成,从而克服了NAS的单一出口点所造成性能瓶颈,可以满足多台应用节点并发访问的带宽需求。

通过实现多存储服务器的并发数据访问支持,消除了传统存储系统中常见的负载不均导致的热点数据问题。LanHaiStore通过数据在存储服务器集群中的分布式存储实现高效、全面的负载均衡功能,充分利用硬件和网络的性能,发挥出最高IO吞吐量。

2.4扩展性强,满足平台不断增加的容量和性能需求

在传统DASNAS方案中,由于DAS磁盘阵列和NAS服务器容量基本无法进行扩展,导致整个系统扩展困难,只能不断的增加DAS磁盘阵列或者NAS服务器的数量来对系统的存储容量进行扩展。如下图所示,在网络电视台应用中存在大量的热点文件,其访问非常频繁,而其他的数据访问量则相对较少,在DASNAS方案中会导致热点数据集中在某个设备上,从而导致平台整体服务能力受限于单个设备的性能,在系统中形成了单点瓶颈。

                                  

2.jpg

图表 2 NAS&DAS负载不均衡

LanHaiStore集群存储系统可以支持动态的扩展存储容量,而无需中断应用的运行。用户可以通过LanHaiStore的配置工具动态添加存储服务器以扩大系统的容量和规模,扩展的容量即扩即用,web服务器看到的现象就是挂载目录的容量变大了。而且随着存储服务器数据的增多,整套系统的聚合带宽也会线性的增长,完全可以满足业务不断发展所产生的容量和性能需求。

                                 

3.jpg

图表3 LanHaiStore负载均衡

当系统扩容后可以自动的将原有存储服务器上的数据均衡到新添加的存储服务器中,达到如上图所示状态,数据均衡的过程对前端web服务器是完全透明的,在数据均衡的过程中也完成了热点数据的分布,从而在扩容的同时也提高了网络电视平台的服务能力。

2.5高可靠性,保护数据安全

无论是DASSAN还是NAS,都是基于磁盘阵列和RAID的技术, 其数据安全性都依赖于RAID技术。而RAID有一个很致命的缺点,当RAID中有一块硬盘失效时,必须马上Rebuild进行恢复,在Rebuild过程中如果再有硬盘失效使得失效硬盘数量超过RAID界别所允许的硬盘失效数量将导致整个磁盘阵列的崩溃。而且在Rebuild过程中,磁盘阵列的性能将会变得很低。对NAS系统来说,将会使得系统的IO带宽急剧降低,从而使得整个系统基本上无法使用。对DAS/SAN系统来说,将会使得某些使用到这个磁盘的阵列的存储卷性能降低。在Rebuild过程中web服务器继续保持高负载的访问,则会使得RAID Rebuild失败的可能性大大增加,一旦Rebuild失败则会导致这个存储卷中的数据完全丢失。这对网络电视台是完全无法容忍的。

LanHaiStore存储系统可以对不同的数据设置不同的安全等级,选择将数据和校验数据分别存放在不同的存储服务器上。LanHaiStore存储系统可以同时使用多条高速数据通道,可消除网络层的单点故障,进一步提高系统的高可用性。在这样的情况下,即使出现存储服务器宕机、网络中断、磁盘损坏时,仍然能够保障数据完整性和数据服务的持续运行。例如,在运行中存储服务器由于磁盘损坏而丢失了该磁盘上的部分数据,LanHaiStore集群存储系统将会立刻发现该异常并自发的启动数据恢复流程,利用存放于其它存储服务器中该部分数据的校验数据重新生成一份以保证数据仍有一定的冗余度。由于LanHaiStore的数据恢复是基于真实丢失的数据,并且数据恢复是通过整个存储集群同时并发进行,所以相对于传统的RAID技术具备更快的数据重建速度,这也能够有效提升数据的安全性。

通过将数据和校验数据存放在不同存储服务器的方法,LanHaiStore存储系统可以对一系列的软硬件故障(网络、主机、磁盘等)进行自动的隔离,消除了存储系统的任何单点故障,而且也无需配置任何复杂的配置。

2.6系统可维护性

LanHaiStore存储系统配有简单易用的图形化管理和监控界面,支持通过专用的安全通道进行远程配置和全系统监控,能够智能的发现各类软硬件故障并进行处理,减少了网络电视台管理员的工作量。

2.7与现有环境无缝兼容

LanHaiStore存储系统的设计是面向通用的硬件和软件环境,使用通用的以太网络作为数据传输通道可以确保充分利用现有的环境,并且可以无需对环境做出任何修改。另外LanHaiStore能够直接支持LinuxWindowMacOS等常用的操作系统之间进行数据共享,无需对操作系统和Web应用进行任何修改,直接把数据目录指向LanHaiStore即可,能够无缝的接入到网络电视台的软硬件环境。