J9九游会AG

J9九游会AG首页  > 新闻资讯

企业云存储架构设计

时间:2014/03/10 作者:admin

 在企业内部服务平台中,首先需要实现云存储功能,以提供各部门用户数据的存储功能,方便用户获取各自需要的数据,包括GPS、视频、语音等模拟和数字信息等数据。其次需要接入消息与通讯系统,如350兆集群呼叫,手机、移动终端、 固话,及Mail,MSN、QQ、微信等即时通讯(IM Instant Messenger),以实现动态消息推送和位置服务。第三是实现业务功能开发与运行,如在线播放云存储中的视频监控图像、照片及相关资料,以及各业务子系统的运行,为一线用户和领导提供分析和指挥决策依据。为此需要相应的基础软硬件资源,如服务器、存储和网络设备、操作系统和数据库等商用软件。企业云架构示意见图1。

云存储、通讯及消息、业务运行系统和软硬件基础资源这四个基本要素构成了一个面向终端用户的操作系统平台,或称为企业云,其能够通过各种浏览器或手机App及PC机随时访问,满足用户在任意时刻、任意地点查看信息的需求。

作为企业云的核心是存储和计算,其它都构建在存储和计算之上的基础服务和用户运用。企业云主要涉及数据存储架构和用户访问优化等两方面的技术,下面分别予以简述。

云存储架构设计

云存储主要是为了存储数据,方便用户访问,同时也是为了解决信息共享问题。在云存储建立之前,各业务部门均是自建专用系统,网络虽然相通,但由于数据分散存储在各自系统中,导致信息在业务协同时关联、互查和引用不流畅。以前各系统间的数据整合和共享主要靠交换接口标准化等SOA方式来实现[4],对于非结构化数据几乎无法实现,且改造各子系统的工作量巨大和繁琐。

采(cai)用云(yun)存储技术(shu)就可以克服(fu)(fu)上(shang)述(shu)问题,本文采(cai)用HDFS(Hadoop Distributed File System)分布式文件(jian)系(xi)统的存储方式,原各业(ye)务(wu)(wu)(wu)(wu)信息管理系(xi)统的数(shu)据(ju)(ju)通过Sqoop工具导入(ru),HDFS实(shi)现数(shu)据(ju)(ju)层面的共享(xiang)。HDFS包括主(zhu)控服(fu)(fu)务(wu)(wu)(wu)(wu)器(同时配(pei)置(zhi)备用主(zhu)控服(fu)(fu)务(wu)(wu)(wu)(wu)器以便在故障时接管服(fu)(fu)务(wu)(wu)(wu)(wu)),多个数(shu)据(ju)(ju)服(fu)(fu)务(wu)(wu)(wu)(wu)器(存储节点),前端(duan)接入(ru)终(zhong)端(duan)服(fu)(fu)务(wu)(wu)(wu)(wu)消息平台及(ji)各业(ye)务(wu)(wu)(wu)(wu)子系(xi)统数(shu)据(ju)(ju)库服(fu)(fu)务(wu)(wu)(wu)(wu)器。

图2 分布式文件系统示意图

主控服务器Master负责维护整个文件系统的命名空间与路由,以提供用户使用。该分布式系统架构最大的缺点是主控服务器为单点结构,一旦出现故障将造成全系统瘫痪,故在实际应用中采用HA、UCARP等容灾备份,以便在故障时接管服务。主控服务器的命名空间结构采用目录树结构,建立元数据到数据服务器的映射关系,文件之间的关系等。为了提高检索效率,可以采取元数据内存化管理方式。主控服务器通过心跳线方式轮询数据服务器(DS),当发现有DS宕机时,对一些副本数不足的文件(块)执行复制计划,也可根据DS数量增减需要执行副本迁移任务。

数据服务器主要解决海量数据的低成本存储和快速检索,提高数据存储的安全性问题。其解决方案是将大块数据划分为小数据块,然后均匀分布到多台数据服务器上,每个数据服务器存储的文件数量就少了,对于大文件数据的处理方法是将大文件划分成多个相对较小的片段存储在多个数据服务器上,把单个数据服务器上存储的文件数降到单机能解决的规模,以此降低存储设备成本和提高效率,并通过多副本复制来提高数据安全性。

终端服务平台

企业协同作业的终端服务平台又称为“永远在线推送平台”(AOI Always Online Infrastructure),该平台是以协同作业应用为导向,以指挥中心的“推送”技术为基础,为一线人员提供统一的消息推送服务,实现了将消息和内容实时推送到终端的全新体验。

永远在(zai)线(xian)推送(song)平台(AOI)包括终(zhong)(zhong)端(duan)中间(jian)件和(he)在(zai)线(xian)服(fu)务(wu)器,终(zhong)(zhong)端(duan)中间(jian)件提供各类移动和(he)固(gu)定终(zhong)(zhong)端(duan)的接入以及各终(zhong)(zhong)端(duan)间(jian)的通信路(lu)由功能;在(zai)线(xian)服(fu)务(wu)器提供统一的永远在(zai)线(xian)连接安全认证、消息缓存服(fu)务(wu)、在(zai)线(xian)业务(wu)处理子系统。终(zhong)(zhong)端(duan)服(fu)务(wu)消息平台示意图如下(xia):

图3 终端服务消息平台示意图

其中,SIP(Session Initiation Protocol)网主要实现会话功能,这些会话可以是Internet多媒体会议、IP电话或多媒体分发,会话的参与者可以通过组播(multicast)、网状单播(unicast)或两者的混合体进行通信。

XMPP(The Extensible Messaging and Presence Protocol)网主要用于服务类实时通讯,即时消息(IM)及在线现场探测[2]。XMPP的核心是XML流传输协议,借助于XML易于解析和阅读的特性,使得XMPP的协议能够允许网络用户简便和流畅地向其他用户发送信息。

终端服务消息平台采用软交换技术(SS Software Switching)吸取了IP、ATM、IN、TDM等技术的优点,采用开放的分层体系结构,不但实现了各种通讯协议的兼容,更重要的是实现了业务系统的融合,为终端用户提供了统一的消息和内容服务接口。