1.1. 引擎说明

衡石可以配置一个内置引擎，用于对数据集进行加速，适用于客户没有计算能力较强的查询引擎的场景。在数据集管理页面打开开关就能获得加速效果。衡石安装包包含了Postgresql引擎、GreenplumDB引擎、Doris引擎。 客户还可以自己提供其他类型的引擎，包括Aws Athena，Aws Redshift，阿里云Hologres，自建Postgresql，自建GreenplumDB，自建MySQL，自建达梦数据库等。另外，如果选择使用衡石安装的 Postgresql或者GreenplumDB作为引擎，还同时支持配置这个服务作为数仓，给数据集成作为输出节点使用。 默认衡石使用GreenplumDB作为内置的引擎和数仓，支持数据集导入引擎，同时支持作为数据集成的输出目的地。这种情况下不需要做高级配置。

引擎表名和表清理机制

为了避免读写冲突，全量导入的表名是随机生成的，表名中有创建时间。再次全量导入，则生成新的表，旧表不再使用。复制数据集时，两个数据集会重用一个表。删除数据集的时候，不删除表。这里引入了一个 垃圾回收的机制，清理任务定期扫描引擎表列表，发现没有被数据集引用的表，就删除。

引擎相关配置

引擎的配置需要在启动前在安装跟目录下的conf/hengshi-sense-env.sh文件中配置，需要在变量前面加上export关键字。相关字段说明如下：

引擎类型说明

样例1：使用衡石提供的GreenplumDB作为引擎，并使用它作为数仓

• shell config文件不用配置，这个是提供数仓的版本的脚本默认配置的，不需要做任何设置

• java config文件

  ENGINE_TYPE=greenplum
  ENGINE_DB=jdbc:postgresql://192.168.211.4:15432/postgres?user=hengshi&password=xxx&charSet=UTF-8
  ENGINE_QUERY_USER=hengshi_query
  ENGINE_QUERY_PASSWORD=xxx
  ENGINE_QUERY_QUEUE=hengshi_query_queue
  ENGINE_ETL_USER=hengshi_etl
  ENGINE_ETL_PASSWORD=xxx
  ENGINE_ETL_QUEUE=hengshi_etl_queue
  OPEN_DW_TYPE=greenplum
  OPEN_DW_USER=dwguest
  OPEN_DW_DB=hengshi_hs_dw
  

样例2：使用衡石提供的Postgresql作为引擎，并使用它作为数仓

• shell config文件, postgresql 数仓 url 也会自动配置, 只需修改 HS_ENGINE_TYPE 类型

  HS_ENGINE_TYPE="postgresql"
  export OPEN_DW_TYPE="postgresql"
  export OPEN_DW_USER="dwguest"
  export OPEN_DW_DB="hengshi_hs_dw"
  

• java config文件

  ENGINE_TYPE=postgresql
  ENGINE_DB=jdbc:postgresql://192.168.211.4:45433/engine?user=hengshi&password=xxx&charSet=UTF-8
  OPEN_DW_TYPE=postgresql
  OPEN_DW_USER=dwguest
  OPEN_DW_DB=hengshi_hs_dw
  

样例3：使用外部的Postgresql作为引擎

• shell config文件

  HS_ENGINE_TYPE="postgresql"
  IS_ENGINE_EMBEDDED=false
  export SYSTEM_ENGINE_URL="jdbc:postgresql://192.168.211.4:45433/engine?user=hengshi&password=xxx&charSet=UTF-8"
  export INTERNAL_ENGINE_DATASET_PATH="public"
  export INTERNAL_ENGINE_TMP_PATH="hengshi_internal_engine_tmp_schema"
  export INTERNAL_ENGINE_OUTPUT_PATH="common"
  

• java config文件

  ENGINE_TYPE=postgresql
  SYSTEM_ENGINE_URL=jdbc:postgresql://192.168.211.4:45433/engine?user=hengshi&password=xxx&charSet=UTF-8
  INTERNAL_ENGINE_DATASET_PATH=public
  INTERNAL_ENGINE_TMP_PATH=hengshi_internal_engine_tmp_schema
  INTERNAL_ENGINE_OUTPUT_PATH=common
  

样例4：使用外部的GreenplumDB作为引擎

• shell config文件

  HS_ENGINE_TYPE="client_greenplum"
  IS_ENGINE_EMBEDDED=false
  export SYSTEM_ENGINE_URL="jdbc:postgresql://192.168.211.4:45433/engine?user=hengshi&password=xxx&charSet=UTF-8"
  export INTERNAL_ENGINE_DATASET_PATH="public"
  export INTERNAL_ENGINE_TMP_PATH="hengshi_internal_engine_tmp_schema"
  export INTERNAL_ENGINE_OUTPUT_PATH="common"
  

• java config文件

  ENGINE_TYPE=client_greenplum
  SYSTEM_ENGINE_URL=jdbc:postgresql://192.168.211.4:45433/engine?user=hengshi&password=xxx&charSet=UTF-8
  INTERNAL_ENGINE_DATASET_PATH=public
  INTERNAL_ENGINE_TMP_PATH=hengshi_internal_engine_tmp_schema
  INTERNAL_ENGINE_OUTPUT_PATH=common
  

样例5：使用Aws Athena作为引擎

• shell config文件

  HS_ENGINE_TYPE="athena"
  IS_ENGINE_EMBEDDED=false
  export SYSTEM_ENGINE_URL="jdbc:awsathena://AwsRegion=cn-north-1;User=user;Password=pass;Catalog=AwsDataCatalog;Schema=default;S3OutputLocation=s3://wss-athena-result/result/;S3DataStorageLocation=s3://wss-athena/0-storage/"
  export INTERNAL_ENGINE_DATASET_PATH="AwsDataCatalog,enginedb"
  export INTERNAL_ENGINE_TMP_PATH="AwsDataCatalog,enginetmp"
  export INTERNAL_ENGINE_OUTPUT_PATH="AwsDataCatalog,enginecommon"
  

• java config文件

  ENGINE_TYPE=athena
  SYSTEM_ENGINE_URL=jdbc:awsathena://AwsRegion=cn-north-1;User=user;Password=pass;Catalog=AwsDataCatalog;Schema=default;S3OutputLocation=s3://wss-athena-result/result/;S3DataStorageLocation=s3://wss-athena/0-storage/
  INTERNAL_ENGINE_DATASET_PATH=AwsDataCatalog,enginedb
  INTERNAL_ENGINE_TMP_PATH=AwsDataCatalog,enginetmp
  INTERNAL_ENGINE_OUTPUT_PATH=AwsDataCatalog,enginecommon
  

样例6：使用Aws Redshift作为引擎

• shell config文件

  HS_ENGINE_TYPE="redshift"
  IS_ENGINE_EMBEDDED=false
  export SYSTEM_ENGINE_URL="jdbc:redshift://test.ccveezprunlx.cn-north-1.redshift.amazonaws.com.cn:5439/engine?user=user&password=pass"
  export INTERNAL_ENGINE_DATASET_PATH="enginedb"
  export INTERNAL_ENGINE_TMP_PATH="enginetmp"
  export INTERNAL_ENGINE_OUTPUT_PATH="enginecommon"
  

• java config文件

  ENGINE_TYPE=redshift
  SYSTEM_ENGINE_URL=jdbc:redshift://test.ccveezprunlx.cn-north-1.redshift.amazonaws.com.cn:5439/engine?user=user&password=pass
  INTERNAL_ENGINE_DATASET_PATH=enginedb
  INTERNAL_ENGINE_TMP_PATH=enginetmp
  INTERNAL_ENGINE_OUTPUT_PATH=enginecommon
  

样例7：使用MySQL作为引擎

• shell config文件

  HS_ENGINE_TYPE="mysql"
  IS_ENGINE_EMBEDDED=false
  export SYSTEM_ENGINE_URL="jdbc:mysql://192.168.211.4:3306/testdb?user=root&password=Test123@"
  export INTERNAL_ENGINE_DATASET_PATH="enginedb"
  export INTERNAL_ENGINE_TMP_PATH="enginetmp"
  export INTERNAL_ENGINE_OUTPUT_PATH="enginecommon"
  

• java config文件

  ENGINE_TYPE=mysql
  SYSTEM_ENGINE_URL=jdbc:mysql://192.168.211.4:3306/testdb?user=root&password=Test123@
  INTERNAL_ENGINE_DATASET_PATH=enginedb
  INTERNAL_ENGINE_TMP_PATH=enginetmp
  INTERNAL_ENGINE_OUTPUT_PATH=enginecommon
  

样例8：使用doris作为引擎

• shell config文件

  export HS_ENGINE_TYPE="other"
  export IS_ENGINE_EMBEDDED=false
  export SYSTEM_ENGINE_URL="jdbc:doris://10.10.10.251:9030/hengshidb?user=hengshi&password=hengshi"
  export INTERNAL_ENGINE_DATASET_PATH="enginedb"
  export INTERNAL_ENGINE_TMP_PATH="enginetmp"
  export INTERNAL_ENGINE_OUTPUT_PATH="enginecommon"
  

• java config文件

  ENGINE_TYPE=other
  SYSTEM_ENGINE_URL=jdbc:doris://10.10.10.251:9030/hengshidb?user=hengshi&password=hengshi
  INTERNAL_ENGINE_DATASET_PATH=enginedb
  INTERNAL_ENGINE_TMP_PATH=enginetmp
  INTERNAL_ENGINE_OUTPUT_PATH=enginecommon
  

样例9：使用clickhouse作为引擎

• shell config文件

  export HS_ENGINE_TYPE="other"
  export IS_ENGINE_EMBEDDED=false
  export SYSTEM_ENGINE_URL="jdbc:clickhouse://192.168.2.250:8123/hengshi?user=default&password=hengshipwd&cluster=hengshi_cluster"
  export INTERNAL_ENGINE_DATASET_PATH="enginedb"
  export INTERNAL_ENGINE_TMP_PATH="enginetmp"
  export INTERNAL_ENGINE_OUTPUT_PATH="enginecommon"
  

• java config文件

  ENGINE_TYPE=other
  SYSTEM_ENGINE_URL=jdbc:clickhouse://192.168.2.250:8123/hengshi?user=default&password=hengshipwd
  INTERNAL_ENGINE_DATASET_PATH=enginedb
  INTERNAL_ENGINE_TMP_PATH=enginetmp
  INTERNAL_ENGINE_OUTPUT_PATH=enginecommon