1. 数据备份与恢复

HENGSHI SENSE运行过程中,需要对数据进行备份,当数据出现问题时,可以使用备份数据进行恢复,避免数据丢失和损坏的情况发生,减少损失。

本文介绍如何对衡石内部业务数据库metadb、衡石内部加速引擎、衡石内部对象存储Minio服务的数据进行备份和恢复操作。

1.1. 数据备份命令

用户可以通过'bin/dbbackup.sh'对metadb、engine、minio的数据进行备份,备份文件可以存储在本地,也可以存储到远程机器上。

Usage: bin/dbbackup.sh -m [metadb|engine|minio]
                -l local backup root, absolute path, default ${PWD}/backup
                -k keep history backup number, default 3
                -h remote ip
                -r remote path root, default is ${backup_root}

参数说明:

  • -m 参数必选,指数据备份类型,枚举类型,选项为 metadb 、engine 、minio。
  • -l 参数可选,指本地备份时备份文件的绝对路径。
  • -k 参数可选,保留备份文件的数量, 默认为3,指保留最近3次备份的数据。
  • -h 参数可选,指远程备份时的ip地址。
  • -r 参数可选,指远程备份时备份文件的绝对路径,默认与 -l 参数指定的本地路径相同。

1.2. 数据恢复命令

用户可以通过'bin/dbrestore.sh'对metadb、engine、minio进行数据恢复,可以用本地备份数据进行数据恢复,也可以用远程备份数据进行数据恢复。

Usage: bin/dbrestore.sh -m [metadb|engine|minio]
                -l local backup root, absolute path, default ${PWD}/backup
                -t backup tar only file name
                -h remote ip
                -r remote path root, default is ${backup_root}

参数说明:

  • -m 参数必选,指数据备份类型,枚举类型,选项为 metadb 、engine 、minio。
  • -l 参数可选,使用本地备份数据恢复时的绝对路径。
  • -h 参数可选,使用远程备份数据恢复时的ip地址。
  • -r 参数可选,使用远程备份数据恢复时的绝对路径, 默认与-l参数指定的本地绝对路径相同。
  • -t 参数必选,指待恢复的数据包的文件名。

1.3. 数据库metadb的备份和恢复

数据库metadb是衡石业务数据库,建议用户每日定时备份,防止数据丢失和损坏。

1.3.1. 备份数据

备份数据根据备份文件存储位置分为本地备份和远程备份。

本地备份

首先设置变量PATH_TO_BACKUP_FOLDER存放备份数据的绝对路径,然后执行备份命令。此时在$PATH_TO_BACKUP_FOLDER下生成 metadb_backup.xx-xx-xx_xx-xx-xx.tar.gz 的备份文件,默认会保留最近3次备份的文件。参考示例如下。

PATH_TO_BACKUP_FOLDER=/xxx
bin/dbbackup.sh -m metadb -l $PATH_TO_BACKUP_FOLDER

远程备份

远程备份需要设置REMOTE_IP和PATH_TO_BACKUP_FOLDER两个变量,其中REMOTE_IP用于存放远程设备的ip地址,PATH_TO_BACKUP_FOLDER存放备份数据的绝对路径。然后执行远程备份命令后,在远程设备REMOTE_IP的PATH_TO_BACKUP_FOLDER下生成备份文件。参考示例如下。

PATH_TO_BACKUP_FOLDER=/xxx
bin/dbbackup.sh -m metadb -l $PATH_TO_BACKUP_FOLDER -h $REMOTE_IP -r $PATH_TO_BACKUP_FOLDER

说明
远程备份数据时需要对远程设备有ssh访问权限,备份时需要使用scp进行复制。

1.3.2. 恢复数据

根据备份文件存放的地址,分为本地数据恢复和远程数据恢复。

本地数据恢复

使用本地备份的数据进行数据恢复时,请按照如下步骤进行操作。

  1. 设置存放备份数据的绝对路径的变量PATH_TO_BACKUP_FOLDER。
     PATH_TO_BACKUP_FOLDER=/xxx
    
  2. 停止HENGSHI服务,并移除HENGSHI系统中旧的数据库。
     bin/hengshi-sense-bin stop all
     mv pg_data pg_data.old
    
  3. 初始化并启动metadb。
     bin/hengshi-sense-bin init metadb  
     bin/hengshi-sense-bin start metadb
    
  4. 使用本地存储的备份文件,进行metadb的数据恢复。
     bin/dbrestore.sh -m metadb -l $PATH_TO_BACKUP_FOLDER -t metadb_backup.xx-xx-xx_xx:xx:xx.tar.gz
    
  5. 停止metadb,启动HENGSHI服务,完成数据恢复操作。
     bin/hengshi-sense-bin stop metadb
     bin/hengshi-sense-bin start all
    

远程数据恢复

当备份数据存在远程设备上时,请先确认是否对远程设备拥有SSH访问权限,如果没有请先获取SSH访问权限,然后按照下面指导进行数据恢复操作。

  1. 设置远程设备的ip地址变量REMOTE_IP 和存放备份数据的绝对路径的变量PATH_TO_BACKUP_FOLDER。
     PATH_TO_BACKUP_FOLDER=/xxx
     REMOTE_IP=/xxx
    
  2. 停止HENGSHI服务,并移除HENGSHI系统中旧的数据库。
     bin/hengshi-sense-bin stop all
     mv pg_data pg_data.old
    
  3. 初始化并启动metadb。
     bin/hengshi-sense-bin init metadb  
     bin/hengshi-sense-bin start metadb
    
  4. 使用远程设备上存储的备份文件,进行metadb的数据恢复。
     bin/dbrestore.sh -m metadb -l $PATH_TO_BACKUP_FOLDER -t metadb_backup.xx-xx-xx_xx:xx:xx.tar.gz -h $REMOTE_IP -r $PATH_TO_BACKUP_FOLDER
    
  5. 停止metadb,启动HENGSHI服务,完成数据恢复操作。
     bin/hengshi-sense-bin stop metadb
     bin/hengshi-sense-bin start all
    

说明
远程数据恢复时需要对远程设备有 ssh 访问权限,需要通过 scp 进行复制。

1.4. 引擎的数据备份和恢复

引擎是衡石内部加速引擎,一般情况下不需要备份engine数据,当确定需要备份时可以按照下面的操作指导进行。

1.4.1. 备份engine

备份数据根据备份文件存储位置分为本地备份和远程备份。

本地备份engine

首先设置存放备份数据的绝对路径的变量PATH_TO_BACKUP_FOLDER,然后执行备份命令,此时在 $PATH_TO_BACKUP_FOLDER 下生成 engine_backup.xx-xx-xx_xx-xx-xx.tar.gz 的备份文件,默认会保留最近3次备份的文件。参考示例如下。

PATH_TO_BACKUP_FOLDER=/xxx
bin/dbbackup.sh -m engine -l $PATH_TO_BACKUP_FOLDER

远程备份engine

远程备份需要设置REMOTE_IP和PATH_TO_BACKUP_FOLDER两个变量,其中REMOTE_IP用于存放远程设备的ip地址,PATH_TO_BACKUP_FOLDER存放备份数据的绝对路径。然后执行远程备份命令后,在远程设备REMOTE_IP的PATH_TO_BACKUP_FOLDER下生成备份文件。参考示例如下。

PATH_TO_BACKUP_FOLDER=/xxx
bin/dbbackup.sh -m engine -l $PATH_TO_BACKUP_FOLDER -h $REMOTE_IP -r $PATH_TO_BACKUP_FOLDER

说明
远程备份数据时需要对远程设备有 ssh 访问权限,备份时需要使用 scp 进行复制。

1.4.2. 恢复engine

根据备份文件存放的地址,分为本地数据恢复和远程数据恢复。

本地数据恢复engine

使用本地备份的数据进行数据恢复时,请按照如下步骤进行操作。

  1. 设置存放备份数据的绝对路径的变量PATH_TO_BACKUP_FOLDER。
     PATH_TO_BACKUP_FOLDER=/xxx
    
  2. 停止HENGSHI服务,并移除HENGSHI系统中旧的数据库。
     bin/hengshi-sense-bin stop all
     mv engine-cluster engine-cluster.old
    
  3. 初始化并启动engine。
     bin/hengshi-sense-bin init engine  
     bin/hengshi-sense-bin start engine
    
  4. 使用本地存储的备份文件,进行engine的数据恢复。
     bin/dbrestore.sh -m engine -l $PATH_TO_BACKUP_FOLDER -t engine_backup.xx-xx-xx_xx:xx:xx.tar.gz
    
  5. 停止engine,启动HENGSHI服务,完成数据恢复操作。
     bin/hengshi-sense-bin stop engine
     bin/hengshi-sense-bin start all
    

远程数据恢复engine

当备份数据存在远程设备上时,请先确认是否对远程设备拥有SSH访问权限,如果没有请先获取SSH访问权限,然后按照下面指导进行数据恢复操作。

  1. 设置远程设备的ip地址变量REMOTE_IP和存放备份数据的绝对路径的变量PATH_TO_BACKUP_FOLDER。
     PATH_TO_BACKUP_FOLDER=/xxx
     REMOTE_IP=/xxx
    
  2. 停止HENGSHI服务,并移动HENGSHI系统中旧的engine数据库。
     bin/hengshi-sense-bin stop all
     mv engine-cluster engine-cluster.old
    
  3. 初始化并启动engine。
     bin/hengshi-sense-bin init engine  
     bin/hengshi-sense-bin start engine
    
  4. 使用远程设备上存储的备份文件,进行engine的数据恢复。
     bin/dbrestore.sh -m engine -l $PATH_TO_BACKUP_FOLDER -t engine_backup.xx-xx-xx_xx:xx:xx.tar.gz -h $REMOTE_IP -r $PATH_TO_BACKUP_FOLDER
    
  5. 停止engine,启动HENGSHI服务,完成数据恢复操作。
     bin/hengshi-sense-bin stop engineb
     bin/hengshi-sense-bin start all
    

说明
远程数据恢复时需要对远程设备有 ssh 访问权限,需要通过 scp 进行复制。

1.5. 数据库客户端环境变量配置

当您使用自己团队的metadb时,那么metadb的升级、备份和恢复过程中可能会发生客户端版本不一致问题,这种情况下请先配置 EXTERNAL_DB_PG_PATH环境变量指定客户端路径。请参考下面示例进行配置。每次版本升级、备份和数据恢复都需要配置。

## 临时生效 每次升级 备份 恢复 需执行一次
$ export EXTERNAL_DB_PG_PATH=/user/lib/pgsql-version/

1.6. 对象存储 Minio的备份和恢复

对象存储Minio服务是衡石内部图片存储服务。

1.6.1. 备份数据

备份数据根据备份文件存储位置分为本地备份和远程备份。

本地备份

首先设置变量PATH_TO_BACKUP_FOLDER存放备份数据的绝对路径,然后执行备份命令。此时在$PATH_TO_BACKUP_FOLDER下生成 minio_backup.xx-xx-xx_xx-xx-xx.tar.gz 的备份文件,默认会保留最近3次备份的文件。参考示例如下。

PATH_TO_BACKUP_FOLDER=/xxx
bin/dbbackup.sh -m minio -l $PATH_TO_BACKUP_FOLDER

远程备份

远程备份需要设置REMOTE_IP和PATH_TO_BACKUP_FOLDER两个变量,其中REMOTE_IP用于存放远程设备的ip地址,PATH_TO_BACKUP_FOLDER存放备份数据的绝对路径。然后执行远程备份命令后,在远程设备REMOTE_IP的PATH_TO_BACKUP_FOLDER下生成备份文件。参考示例如下。

PATH_TO_BACKUP_FOLDER=/xxx
bin/dbbackup.sh -m minio -l $PATH_TO_BACKUP_FOLDER -h $REMOTE_IP -r $PATH_TO_BACKUP_FOLDER

说明
远程备份数据时需要对远程设备有ssh访问权限,备份时需要使用scp进行复制。

1.6.2. 恢复数据

根据备份文件存放的地址,分为本地数据恢复和远程数据恢复。

本地数据恢复

使用本地备份的数据进行数据恢复时,请按照如下步骤进行操作。

  1. 设置存放备份数据的绝对路径的变量PATH_TO_BACKUP_FOLDER。
     PATH_TO_BACKUP_FOLDER=/xxx
    
  2. 停止HENGSHI服务,并移除HENGSHI系统中旧的数据存储目录。
bin/hengshi-sense-bin stop all
mv minio-data minio-data.old
  1. 使用本地存储的备份文件,进行metadb的数据恢复。
     bin/dbrestore.sh -m minio -l $PATH_TO_BACKUP_FOLDER -t minio_backup.xx-xx-xx_xx:xx:xx.tar.gz
    
  2. 启动HENGSHI服务,完成数据恢复操作。
     bin/hengshi-sense-bin start all
    

远程数据恢复

当备份数据存在远程设备上时,请先确认是否对远程设备拥有SSH访问权限,如果没有请先获取SSH访问权限,然后按照下面指导进行数据恢复操作。

  1. 设置远程设备的ip地址变量REMOTE_IP 和存放备份数据的绝对路径的变量PATH_TO_BACKUP_FOLDER。
     PATH_TO_BACKUP_FOLDER=/xxx
     REMOTE_IP=/xxx
    
  2. 停止HENGSHI服务,并移除HENGSHI系统中旧的数据库。
bin/hengshi-sense-bin stop all
mv minio-data minio-data.old
  1. 使用远程设备上存储的备份文件,进行metadb的数据恢复。
     bin/dbrestore.sh -m minio -l $PATH_TO_BACKUP_FOLDER -t metadb_backup.xx-xx-xx_xx:xx:xx.tar.gz -h $REMOTE_IP -r $PATH_TO_BACKUP_FOLDER
    
  2. 启动HENGSHI服务,完成数据恢复操作。
     bin/hengshi-sense-bin start all
    

说明
远程数据恢复时需要对远程设备有 ssh 访问权限,需要通过 scp 进行复制。

results matching ""

    No results matching ""

    容器环境备份与恢复