【CSDN现场报道】第四届中国云计较大会将于2012年5月23-25日在北京国度集会会议中心谨慎进行。本次大会由中国电子学会主办，北京市经济和信息化委员会协办，中国云计较技能与财富同盟、中国电子学会云计较专家委员会承办，CSDN与《措施员》杂志协办。在2012海内民众云全面着花、云计较实践元年之际，本次大会云集云计较焦点专家，就海表里云计较焦点技能以及行业应用创新实践举办了深入探讨。

付出宝数据平台架构师代志远为各人带来了题为“HBase系统妨碍规复的优化实践分享”的出色演讲，他阐明白付出宝海量数据在线处理惩罚的近况，以HBase办理方案代替传统MySQL办理方案的技能过程，并详尽分享了Region Server的宕机规复流程。

付出宝数据平台架构师 代志远

以下为文字实录：

很是兴奋来到这个平台能和各人一起分享我们本身所做过技能上的研究和优化。适才听过列位架构师和司理的演讲，大部门提到了是来自离线方面的计较和存储，我们公司的业务代价最直接的浮现其实来自于在线方面，我们海量数据它的存储和计较本领，假如可以或许表此刻在线平台傍边，将会给公司业务代价带来很是大的晋升。

在Hadoop的体系傍边，支持及时的一条线，HBase，支持海量数据库初志的时候，设计为了设计万一级及时数据库，HBase这个对象颠末这几年的成长，已经逐渐成为此刻业界傍边主要的及时数据库，漫衍式数据库，像我们公司一样做一些系统，直接上HBase等系统，思量到HBase它的先进架构，可以或许辅佐我们完成此刻许多的海量数据的存储在线随机读写高机能的会见和存储。像HBase这种当前成长试图正使劲得系统，Hadoop作为技能体系在每一个阶段，数据巨细阶段有各类差异的问题，从几十台到几百台，到上万台，每个阶段遇到一些问题，从几台到上百台，包罗数据量的增长，城市遇到这样的问题，我们本日的分享主要先容HBase在付出宝的系统傍边的妨碍规复，这方面我们所做的优化实践。

在HBase的系统傍边，浮现它的可用性有几个风险。第一个是HBase自己在底层依赖的HDFS，加载了独一一块数据，单台呆板担保一致性，HDFS保持了冗余。第二点，规复进程傍边，Failover进程很是巨大，这个时间耗损越长，作为在线系统，这种时间越长大概会影响到在线会见用户体验。第三点它依赖的HDFS，HBase作为在线数据库依赖HDFS有妨碍的，颠末几小时规复提供生财富务，对业务方没有直接感觉，作为在线系统假如挂掉，我们颠末近小时规复恐怕直接来自于付出宝外部的用户投诉付出宝了。HBase今朝它本身的监控体系尚不完善，今朝的监控力度很是得粗，只能监控到单台的Region Server的环境，看不到当前用户表有几多读写比例，看不到当前处事结点写作量几多，读出量几多。

本日演讲主题纲要是这样几块内容，付出宝这边消费记录这个项目作为一个配景，切入到所做的优化进程。第二个，提到Region Server规复进程中有哪些要害流程。第三个，优化架构怎么样。第四对监控方面做了哪些共享？

付出宝消费记录在2011年筹划上线，选择HBase的版本0.90X版本，开始呈现了0.92、0.94、0.96，每个版本推出了本身差异的特性，作为不变的版原来说0.90X系列，初中选择了0.090X相对不变的版本，我们今朝打算傍边消费记录这个项目还可以规划利用HBase0.92，它的新的特性Coprocessors。我们付出宝消费记录这张表，数据量很是复杂，保存了所有用户利用付出宝的记录，这张表具有数百亿条，存储空间不算在HDFS的冗余，有近百T照旧颠末压缩之后，假如不压缩存储空间长短常可骇的，我们索引表就已经到达数千亿条，这恐怕也是业内很难遇到的大表，这种是真正意义上的大表。

到今朝来说，付出宝业务跟着电子付出这块行业的高速膨胀，它的业务增长量很是大增长速度很是得高，增长速度直接表此刻整个系统存储，每年翻番的增长量增加存储，我们原有的系统很难支持海量数据的增长，因为拓展本领没有步伐很是动态自主举办扩张，我们HBase恰恰满意了这种环境。当我们在回想付出宝查询进程傍边查询记录都是时间段的查询，时间的特性可以看出来，我们时间为排序的都是业务的要求，我们作为在线用户查询，想要本身的消费记录，必定要有一点响应很是高，必定不是离线，几秒钟，几分钟之后查出来，对用户来说这种要求是不行接管的。我们作为在线数据必需满意高效的响应。