某国有大型电网公司全业务数据中心项目

项目背景

  全业务数据库中心建设的贴原层系统，是大数据中心类典型系统，存储并同步全部线上业务系统数据，并支撑业务模型数据抽取与业务场景构建。客户主要痛点包括：数十万张热点表、数百TB的存量结构化数据存储；数十万张表的ogg实时增量变更同步；高速的全量数百TB历史业务数据导入；按需横向纵向扩展；全国网省部署运维支持。

建设方案

 数据分析域基于企业级大数据平台构建，从应用方面可划分为“两区”（应用区和探索区），其中应用区包括数据接入、数据存储计算和统一分析服务，探索区包括开放实验环境和临时工作环境。

在本项目中，GreatDB数据库主要用于支撑贴源历史区和数据集市层的数据存储与计算支撑。

核心亮点

• 全国27个网省约250台x86服务器搭建行式事务数据库集群
• 存储上游数十个业务系统数百TB数据，数据压缩比高达7:1
• 集成基于zabbix的集群监控管理平台，按需扩展集群
• 高度兼容上下游增量同步工具与ETL工具
• 实时抓取同步数十个源端系统数十万张表的所有变更事务同步
• 集群对外提供业务标准SQL数据查询访问
• 通过跨节点join功能满足业务轻量AP需求
• 通过分布式并行查询满足ETL数据大批量抽取需求