XL-LightHouse
新一代实时计算底座

数据备份与恢复

作者:admin
最后编辑:2024-12-14 17:48:49

前言

该数据备份和恢复方案面向直接使用默认存储引擎的用户,使用自定义存储引擎或使用外置独立维护的HBase和MySQL的用户请不要使用该备份方案!

该备份方案可手动执行或配置Crontab定时任务,一般建议每天备份数据1~2次。数据备份过程中会对集群产生一定压力,具体取决于所存储的数据量和集群资源状况。如果集群资源较为充沛可适当增加备份频率,比如每小时备份一次。

该备份方案会同时备份ldp_cmdb数据库(包括Web模块所有的配置数据)和ldp_warehouse数据库(包括所有统计项的统计结果数据和维度信息数据)。

该备份方案无法保证数据零丢失,在使用数据恢复时只能恢复至快照时间点的数据状态。

数据备份

配置备份任务

使用系统部署账号(默认为:work账号),添加以下定时任务,注意如果是集群模式,只需要在“操作节点”一台服务器上配置即可:


# 建议对以下配置进行修改,改为固定时间点的执行方式,参考Web模块首页流量低点设置执行时间

0 */12 * * * source ~/.bashrc && /bin/bash -c '${LDP_HOME}/bin/tools/snapshot/snapshot.sh > ${LDP_HOME}/bin/log/snapshot.log.$(date +"\%Y\%m\%d\%H\%M") 2>&1'

数据导出路径

备份任务实行后,快照数据存储在LDPDATADIR/lighthouse/snapshot目录下,默认为:{LDP_DATA_DIR}/lighthouse/snapshot目录下,默认为:{LDP_HOME}/data/lighthouse/snapshot目录下。

备份任务自动将快照数据同步到集群前3个节点的相同目录下,每个节点所存储的数据完全一样。

为防止磁盘写满,建议自行增加清理任务。

数据恢复

数据恢复是将快照数据同步到一个新集群中,一般在集群迁移或故障恢复时使用。

数据恢复不支持将两个不同集群的数据合并,如果新集群中已经包含部分数据,在执行恢复操作时会被清空!

数据恢复请首先保证新集群处于正常运行状态,操作步骤如下:

1、使用部署账号(默认:work)登录系统,上传快照数据包文件ldp-snapshot-y39bfadd_20240425084500.tar.gz到新集群某个目录下。

2、执行以下恢复命令

考虑到部分用户数据量较大,恢复时间可能较长,所以该任务为后台执行,输出日志为:${LDP_HOME}/bin/log/restore.log

${LDP_HOME}/bin/tools/snapshot/restore.sh  /your_path/ldp-snapshot-y39bfadd_20240425084500.tar.gz    

如果您有任何问题,请您及时联系开发者~