集群部署-自定义存储引擎
XL-LightHouse运行需要依赖两个数据库:一是元数据库,用于存储统计工程、统计组、统计项配置信息以及lighthouse-insights模块运行所需要的数据;二是统计存储库,用于存储统计结果和维度信息。这两个数据库都可以根据实际需要进行自定义。
自定义元数据库
1、配置/opt/soft/lighthouse-x.x.x/bin/templates/lighthouse/conf/ldp-site.xml,将如下信息修改为外置数据库的配置信息
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://10.206.6.16:3906/cluster_04a570bf_ldp_mysqldb?useUnicode=true&characterEncoding=UTF-8&useCursorFetch=true&defaultFetchSize=100&serverTimezone=Asia/Shanghai</value>
</property>
<property>
<name>javax.jdo.option.driverClassName</name>
<value>com.mysql.cj.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>lighthouse</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>cXvsaGWExxG0082sZ</value>
</property>
2、修改bin/config/sourcelist文件,注释掉mysql配置
#mysql=https://ldp-soft-1300542249.cos.accelerate.myqcloud.com/mysql-8.0.30-linux-glibc2.12-x86_64.tar.xz
3、执行部署程序,自动连接所配置的数据库,并进行初始化!
# 执行一键部署命令
> /usr/soft/lighthouse-x.x.x/bin/easy-deploy.sh
自定义统计存储库
1、配置/opt/soft/lighthouse-x.x.x/bin/templates/lighthouse/conf/ldp-site.xml,将如下信息修改为外置数据库的配置信息 注意:如果您希望将统计存储库替换为外置HBase存储,则只需要修改hbase集群的zookeeper配置,并确保xl-lighthouse机器可以通过主机名访问hbase集群(建议与推荐hbase版本保持一致,如果版本不一致,需自行替换相关jar包,并测试兼容性等问题); 如果您希望使用外置其他存储引擎,则需要在ldp-site.xml中增加自定义参数配置,然后扩展实现StorageEngine接口,请参考:自定义存储引擎接口;
<property>
<name>hbase.zookeeper.quorum</name>
<value>10.206.6.16,10.206.6.31,10.206.6.45</value>
</property>
<property>
<name>hbase.zookeeper.quorum.port</name>
<value>2181</value>
</property>
2、修改bin/config/sourcelist文件,注释掉hadoop和hbase的配置
#hadoop=https://ldp-soft-1300542249.cos.accelerate.myqcloud.com/hadoop-3.3.5.tar.gz
#hbase=https://ldp-soft-1300542249.cos.accelerate.myqcloud.com/hbase-2.5.4-hadoop3-bin.tar.gz
3、执行部署程序,自动连接所配置的数据库,并进行初始化!
# 执行一键部署命令
> /usr/soft/lighthouse-x.x.x/bin/easy-deploy.sh