aboutbanner
您的位置:首页 - 解决方案 - 大数据归档查询解决方案 大数据归档查询解决方案

XX移动清单云数据归档查询解决方案

发布人:  发布时间:2015年09月14日  点击次数:1131次

一、清单云现状

    XX移动公司清单云系统采用Hadoop软件,基于X86硬件架构,引入分布式数据库,构建新技术架构的清单查询云,替换现网传统清单查     询系统,满足系统技术架构横向扩展需求;根据业务变化所带来的清单数据量增长变化,满足系统数据容量增长需求。
二、清单云现存问题
    清单云的应用满足了清单查询的基本需要。同时也凸显出了一些问题,主要包括:
    1)  历史清单数据长期保留问题
        随着系统的运行,清单数据在持续增长。系统总的存储容量终究有限在计算能力充裕的情况下,通过扩充节点来满足不断膨胀的
    数据存储需要, 并不最经济的选择。
        另外,从数据的生命周期来看,最近三个月的清单属于活跃数据,而三个月以上的不活跃数据则很少被查询,这些不活跃的历史         数据如果长期驻留在清单云系统中,在对系统存储空间造成浪费的同时,也将给清单云系统的运行性能带来负面影响。然而,如果清
    单云只保留最近三个月的数据,则将导致三个月以上历史清单无法查询,并且相关的审计类法规遵从要求也将不能得到满足。
        综上,历史清单数据如何合理、有效长期保存,是当前清单云数据管理中迄需解决的问题。
    2)  历史清单数据查询效率问题
        备份和归档是实现数据安全和数据长期保留的有效方法,通过归档将不活跃的历史清单数据从生产系统中归档出来,从而释放生
    产系统的存储空间。通过归档也实现了历史清单的长期保留,从而满足客户查询需要和法规规遵从要求。
        但是,现有的主流备份软件如Networker、NBU等,不能对Hadoop数据进行自动备份和归档。另外,在对Hadoop归档数据进行恢复
    时,现有备份软件只能对数据进行表级恢复,即使用户查询一条清单也需要恢复整个表。这种恢复方式使得历史清单数据恢复、查询
    过程繁琐,耗时长,不能满足历史清单数据的快速按需查询要求。
        实现归档清单数据的按需快速恢复和查询,是清单云应用和管理最现实的需要。
三、清单云数据归档与查询解决方案
    为满足清单云数据的长期归档保留和快速查询需要,XX移动公司在清单云中引入了北京泰利思诺自主研发的HArchive大数据管理解决
方案。
    HArchive是专业实现Hadoop数据自动备份、归档与快速查询的解决方案。HArchive不仅实现了Hadoop数据的策略化自动备份与归档,     更为重要的是实现了归档数据的按需细粒度恢复,满足了归档清单的快速查询需要。
     HArchive在实现Hadoop数据备份的同时,也支持传统的结构化数据的备份与归档,从而以大数据平台的架构实现传统数据的合规存储,并支持便捷的恢复与查询。
 
四、清单云数据归档查询平台应用效果
    HArchive在清单云的数据备份、归档与恢复查询应用中,产生了良好的效果,达到了预期目标。
1) 实现了清单云数据的按需长期归档保留
    通过HArchive的应用,福建移动实现了清单云数据的按需自动备份归档保存,从而满足了历史清单数据的长期保留、查询需要和审计
要求。通过归档也释放了清单云的存储空间,使清单云的存储空间得以为生产系统充分利用。
2) 灵活、快速的清单云归档数据查询
    HArchive按需恢复归档清单数据的能力,弥补了现有备份软件只能实现表级恢复的不足,从而大大缩短了归档清单的恢复查询时间,
满足了清单云历史数据快速查询的要求。
3) 自动化备份与归档,提升管理效率
    HArchive实现了策略化的清单云数据自动备份与归档,管理员只需在管理界面中制定备份和归档策略即可,无需再手动导出所需要备
份的数据。从而提升了运维管理效率,也避免了过多的人为干预所造成的数据混乱和丢失的风险。
4) NAS功能
    在实现清单云数据备份、归档和灵活恢复查询功能的基础上,HArchive的NAS存储功能,不仅实现了清单云备份和归档数据数据的存
储,同时,也为其他应用提供了NAS存储空间,从而使满足了相关应用的存储需求。