分布式存储hbase和hive数据库数据恢复案例

分布式存储环境：

Dell PowerEdge机架式服务器；

数据库类型：Hbase、Hive；

16台物理服务器。

故障：

16台服务器节点，在每台物理服务器上平均有3台虚拟机，在虚拟机上配置分布式，上层部署的hbase数据库和hive数据库。数据库底层文件被误删除，导致数据库不可用。管理员联系北亚数据恢复中心恢复hbase和hive数据库的数据。

分布式存储数据恢复过程：

经过现场对环境的简单检测，北亚数据恢复工程师发现虚拟机还可以正常启动，但是虚拟机上部署的数据库块文件丢失。块文件丢失之后整个集群环境没有新的数据写入，底层数据损坏可能性比较小，具有较大的可恢复性。由于还没有对底层结构进行分析，再加上hbase和hive的算法和底层结构十分复杂，恢复概率无法准确判断。

1、备份：

A、将存储设备断电、关机，对物理服务器底层做备份。

B、从虚拟机层面备份，通过 络直接备份虚拟机底层磁盘文件。

C、北亚数据恢复工程师准备了一台数据恢复服务器，在这台数据恢复服务器上以只读方式挂载原服务器的硬盘，使用北亚磁盘备份工具进行完整的扇区对扇区的备份。

D、备份完成后，由北亚数据恢复工程师提供详细 告，然后将原服务器硬盘交还给管理员。

北亚数据恢复-hbase数据恢复和hive数据恢复

2、块文件结构分析：

A、对每个虚拟机磁盘的块文件进行分析；

B、分析文件底层的聚合方式；

C、分析每个磁盘中数据的分布情况。

3、Block文件key分析：

A、定位数据库文件中的key信息；

B、提取并解析数据库文件中key信息；

C、整合数据库文件key信息。

4、Block文件拼接：

A、根据Block文件的key信息提取文件片段；

B、对Block文件的片段进行拼接；

C、校验拼接后的Block文件的正确性。

5、Block文件导入：

A、校验提取出的Block文件完整性及正确性；

B、把提取出来的Block文件导入到hbase和hive数据库中。

6、数据验证：

A、由管理员对恢复出来的数据进行详细验证；

B、如发现新问题，则复盘数据恢复过程查找问题原因并加以解决。

北亚数据恢复服务：

1、整个过程不会对原盘有任何的写操作，以确保原盘的数据安全；

2、尽最大可能保证服务的操作可逆，确保人力可控范围内操作可回溯；

3、提供后期数据保管和服务跟踪；

4、以上所有操作在有备份的情况下进行，若不成功不影响其他数据恢复方案的进行。

本次数据恢复周期：

北亚数据恢复-hbase数据恢复和hive数据恢复