创建第一个数据指标
创建统计工程
XL-LightHouse使用"统计工程 - 统计组 - 统计项"的三层结构管理所有的数据指标。
- 一个统计工程可以包含若干个统计项，基于同一份元数据的多个统计项叫做一个统计组。
- 在系统中可以创建无限数量的统计工程、统计组和统计项。
- 每个统计组都有自己的字段结构定义，类似数据库中的表，但是它与数据库中的表不同，统计组是一个虚拟的、轻量级的概念，对于一类问题，如果一个统计组不容易解决所有的问题，可以拆分成多个统计组来解决。比如实际业务逻辑中有很多"一对多"、"多对多"的关系， 就像订单和每个订单中的商品，如果要实现订单量、订单金额数据指标以及每个商品的购买量、每个商品的下单用户数就可以拆分成两个统计组来完成。
- 统计组没有必要与接入方自己的业务表结构保持相同，您只需要创建与统计指标相关的字段即可。
- 每个数据指标叫做一个统计项。
创建统计工程需要指定的信息：
- 工程名称
- 所在部门
- 描述信息
创建统计组
创建统计组需要指定的信息：
1、Token
- 格式为: （NEC:order_stat），其中NEC为系统部署时随机生成的域前缀，order_stat为统计组标识，限定输入英文、数字和下划线；
2、字段信息
- 字段名称请使用英文、数字和下划线表示；
- 字段类型分为String和Number两种类型，务必注意：对于需要进行sum、max、min、seq、avg等相关运算的字段，必须指定为number类型，比如本案例中的订单金额 amount字段）；
- 已经在统计项中使用的字段不能进行修改，如需要修改，请先将相关统计项删除后再操作（删除统计项会使该统计项之前的统计数据失效，请谨慎操作）；
3、描述信息
创建统计项
创建统计项需要指定的信息：
1、Template
- 统计模板信息，请您参考XL-Formula标准定义参考；
2、统计周期
- 分为分钟级、小时级和天级等粒度的数据指标；
3、数据过期时间
- 统计结果的过期时间设置
4、描述信息
JavaSDK数据上报方式
完成以上创建，即可上报原始数据。
在统计工程管理页面可以查看相关的统计组和统计项信息以及统计组的秘钥信息。
- 为了测试方便，您可以直接在工程单元测试的基础上修改，然后运行即可；
- 数据指标查看约有1分钟左右的延迟；
请参考：com.dtstep.lighthouse.core.test.api单元测试。
package com.dtstep.lighthouse.core.test.api;
import com.dtstep.lighthouse.client.LightHouse;
import com.dtstep.lighthouse.common.random.RandomID;
import org.junit.Test;
import java.util.HashMap;
import java.util.concurrent.ThreadLocalRandom;
public class RpcAPITest {
static {
try{
//修改rpc服务注册中心地址,集群模式为一主一从，默认为部署集群的前两个节点IP,使用逗号分割，单机模式为当前节点IP
//LightHouse.init("10.206.6.11:4061,10.206.6.12:4061");//集群模式初始化
LightHouse.init("10.206.6.31:4061");//单机模式初始化
}catch (Exception ex){
ex.printStackTrace();
}
}
@Test
public void orderStat() throws Exception {
long t = System.currentTimeMillis();
for(int i=0;i<81657;i++){
HashMap<String,Object> paramMap = new HashMap<>();
paramMap.put("order_id", RandomID.id(6));
paramMap.put("biz", RandomID.id(2));
paramMap.put("user_id", RandomID.id(6));
Double d = ThreadLocalRandom.current().nextDouble(1000);
paramMap.put("amount",String.format("%.3f", d));//防止上面随机数出现科学计数法
LightHouse.stat("N4C:order_stat","mfbWuKc17e8hGNwGRlR2JGSfS2GgvqD0wIxjMuqm",paramMap,t);
}
System.out.println("send ok!");
Thread.sleep(30000);//client为异步发送，防止进程结束时内存中部分消息没有发送出去
}
}
Http数据上报方式
Http受限于数据传输的特性，它的数据上报效率相对于JavaRPC要低，对于大批量的原始数据上报推荐您选择JavaSDK（后续xl-lighthouse会提供c语言和go语言版本的sdk）。Http上报方案的优势在于接入比较简单灵活，适合中小业务接入（一般来说每秒上报3~5万条原始消息内的业务,Http请求方式都足以支撑）， 如果您选择Http，建议您使用Http批量上报接口。
- 单条消息上报接口: http://10.206.6.31:18101/api/rpc/v1/stat
- 批量消息上报接口：http://10.206.6.31:18101/api/rpc/v1/stats
- 请求参数请使用JSON格式放入到请求包体中，只允许POST请求方式。
- 请优先选用批量上报接口，批量上报接口一般每次http请求传输数据量在50k~100k之间较为适中，如果您每条消息平均约为100Byte，则建议您每次请求上报约500~1000条原始记录。每次传输数据量太大，容易导致网络阻塞，传输太小则会频繁建立Http连接，影响上报效率，您可以根据自身情况进行调整。
单条消息上报（不建议使用）
包体参数格式如下：
{
"params": {
"amount": "235.954",
"biz": "Ac",
"order_id": "O64fA6",
"user_id": "CaKXwO"
},
"secretKey": "YEWU3tGjNQL1AevvC9FjNj9SCuvzpYPmLY5akKYz",
"timestamp": 1729334972612,
"token": "N4C:order_stat"
}
以下使用Java代码模拟Http单条消息上报接口的调用
请参考：com.dtstep.lighthouse.core.test.api单元测试。
@Test
public void testStat() throws Exception {
String apiUrl = "http://10.206.6.31:18101/api/rpc/v1/stat";
long t = System.currentTimeMillis();
for(int i=0;i<1676;i++){
Map<String,Object> requestMap = new HashMap<>();
requestMap.put("token","N4C:order_stat");
requestMap.put("secretKey","YEWU3tGjNQL1AevvC9FjNj9SCuvzpYPmLY5akKYz");
requestMap.put("timestamp",t);
Map<String,Object> paramsMap = new HashMap<>();
paramsMap.put("order_id", RandomID.id(6));
paramsMap.put("biz", RandomID.id(2));
paramsMap.put("user_id", RandomID.id(6));
Double d = ThreadLocalRandom.current().nextDouble(1000);
paramsMap.put("amount",String.format("%.3f", d));//防止上面随机数出现科学计数法
requestMap.put("params",paramsMap);
String requestParams = JsonUtil.toJSONString(requestMap);
System.out.println("Send Params:" + JsonUtil.toJSONString(requestParams));
String response = OkHttpUtil.post(apiUrl,requestParams);
System.out.println("Send Index:" + i + ",response:" + response);
}
System.out.println("Send OK!");
}
批量消息上报（推荐使用）
包体参数格式如下：
[{
"params": {
"amount": "959.589",
"biz": "eR",
"order_id": "ZqrGWY",
"user_id": "f2ZWg3"
},
"secretKey": "YEWU3tGjNQL1AevvC9FjNj9SCuvzpYPmLY5akKYz",
"timestamp": 1729335961033,
"token": "N4C:order_stat"
}, {
"params": {
"amount": "96.575",
"biz": "91",
"order_id": "KlPtEZ",
"user_id": "yqTv7t"
},
"secretKey": "YEWU3tGjNQL1AevvC9FjNj9SCuvzpYPmLY5akKYz",
"timestamp": 1729335961033,
"token": "N4C:order_stat"
}, {
"params": {
"amount": "868.763",
"biz": "G6",
"order_id": "A1tqqe",
"user_id": "td6s5I"
},
"secretKey": "YEWU3tGjNQL1AevvC9FjNj9SCuvzpYPmLY5akKYz",
"timestamp": 1729335961033,
"token": "N4C:order_stat"
}]
以下使用Java代码模拟Http批量接口的调用
@Test
public void testStats() throws Exception{
long t = System.currentTimeMillis();
String apiUrl = "http://10.206.6.31:18101/api/rpc/v1/stats";
for(int m=0;m<100;m++){
List<Map<String,Object>> requestList = new ArrayList<>();
for(int n=0;n<300;n++){
Map<String,Object> requestMap = new HashMap<>();
requestMap.put("token","N4C:order_stat");
requestMap.put("secretKey","YEWU3tGjNQL1AevvC9FjNj9SCuvzpYPmLY5akKYz");
requestMap.put("timestamp",t);
Map<String,Object> paramsMap = new HashMap<>();
paramsMap.put("order_id", RandomID.id(6));
paramsMap.put("biz", RandomID.id(2));
paramsMap.put("user_id", RandomID.id(6));
Double d = ThreadLocalRandom.current().nextDouble(1000);
paramsMap.put("amount",String.format("%.3f", d));//防止上面随机数出现科学计数法
requestMap.put("params",paramsMap);
requestList.add(requestMap);
}
String requestParams = JsonUtil.toJSONString(requestList);
System.out.println("Send Params:" + JsonUtil.toJSONString(requestParams));
String response = OkHttpUtil.post(apiUrl,requestParams);
System.out.println("Send Index:" + m + ",response:" + response);
}
System.out.println("Send OK!");
}
使用Postman模拟调用
