XL-LightHouse
新一代实时计算底座

即时通讯场景使用演示

作者:admin
最后编辑:2024-12-14 14:46:11

为减少不必要的篇幅,本文缩减了一些具体细节描述,在阅读本文前建议您首先阅读: 创建第一个数据指标ICON图标点击数据统计 以及 移动支付订单数据统计,以便于您对XL-LightHouse的使用有初步了解。

XL-LightHouse的运算依赖业务方接入主动上报的原始统计消息,XL-LightHouse自身的功能不涉及相关埋点数据采集环节。

序言

社交类APP是移动互联网领域的高频应用,它以即时通讯为切入点进行业务拓展。社交类产品呈现多元化发展,不同的产品之间有很大的差异,很多社交产品其实已不再是单纯满足用户即时通讯的需求了,比如微信,它通过小程序、支付、生活服务、公众号、视频号、朋友圈等功能极大的拓展了它的功能边界。本文选择社交类APP的常见业务场景为大家演示一下XL-LightHouse在该类业务中的使用。文中的案例是根据主流的社交类APP的产品表象进行的主观猜测并进行了适当简化,旨在于阐述XL-LightHouse的适用场景和使用方式,其中的描述或许会与企业实际的业务现状有一定差异,请大家在使用时根据自己的实际情况灵活配置。

DAU数据统计

DAU是所有APP运营最基本最核心的数据指标之一,下面使用XL-LightHouse实时统计DAU数据。假如我们有如下数据指标:

统计需求梳理

APP访问用户数:
1、每分钟_APP访问用户数
2、每小时_APP访问用户数
3、每天_APP访问用户数
4、每天_各年龄段人群_APP访问用户数
5、每天_各性别人群_APP访问用户数
6、每天_各手机系统_APP访问用户数
7、每天_各打开渠道_APP访问用户数
8、每天_各APP版本_APP访问用户数
9、每天_各省份_APP访问用户数
10、每天_各城市_APP访问用户数

元数据结构

字段字段类型说明
imeistring用户设备标识
agestring用户年龄段
sexstring用户性别
provincestring用户省份
citystring用户城市
fromstring打开渠道1、用户主动打开,2:Push调起,3:外部分享调起...
osstring用户手机系统android、ios
versionstring用户APP版本

聊天消息数据统计

通讯类产品的聊天记录属于用户隐私数据,虽然很多社交产品都会宣称相关的统计分析都是基于脱敏或加密之后的数据进行的,但这仍不能避免用户隐私的泄漏。用户聊天内容属于隐私,两个ID之间对话的频率和时间段也同样属于隐私。一般来说只要涉及到聊天消息相关数据的存储,就不太可能完全规避侵犯用户隐私的风险,此外聊天记录的数量级往往较为庞大也会给数据存储和分析带来很大成本。而聊天消息相关指标的统计对于社交产品的优化迭代具有极大的业务价值,在这种背景下XL-LightHouse非常适合这种场景。XL-LightHouse的功能只做流式统计,不涉及也不依赖任何原始消息的存储。在聊天数据流转的过程当中既可完成庞大数量级、多维度的数据统计。既能满足企业对数据指标的需要,又不会触碰用户隐私的红线。现在我们以微信私聊场景为例阐述如何使用XL-LightHouse统计各类型消息的发送数据。 微信私聊消息类型种类比较多,大概有如下几种:文字消息、表情消息、语音消息、文件消息(图片、音频文件、视频文件、文档文件、压缩文件等等)、语音通话、视频通话、红包消息、转账消息、内链分享(文章分享、视频分享、公众号分享等)、外链分享(文章分享、视频分享等等)、位置消息等等。假如我们有如下数据需求:

统计需求梳理

发送消息量统计:
1、每分钟_发送消息量
2、每小时_发送消息量
3、每天_发送消息量
4、每天_各消息类型_发送消息量
5、每天_各省份_发送消息量
6、每天_各城市_发送消息量
7、每天_各性别人群_发送消息量
8、每天_各学历人群_发送消息量
9、每天_各年龄段_发送消息量
10、每天_各APP版本_发送消息量
11、每天_各操作系统_发送消息量

消息发送用户数统计:
1、每分钟_发送UV
2、每小时_发送UV
3、每天_发送UV
4、每天_各消息类型_发送UV
5、每天_各省份_发送UV
6、每天_各城市_发送UV
7、每天_各性别人群_发送UV
8、每天_各学历人群_发送UV
9、每天_各年龄段_发送UV
10、每天_各APP版本_发送消息量
11、每天_各操作系统_发送消息量

人均发送消息量:
1、每天_人均发送消息数量
2、每天_各消息类型_人均发送数量
3、每天_各学历人群_人均发送数量
4、每天_各年龄段人群_人均发送数量

元数据结构

字段字段类型说明
userIdstring消息发送方ID
typestring消息类型文字消息、表情消息、语音消息、文件消息、语音通话、视频通话、红包消息、转账消息、内链分享、外链分享、位置消息...
provincestring省份
citystring城市
sexstring性别
agestring年龄段0:未知,1:50后,2:60后,3:70后,4:80后,5:90后,6:00后,7:10后
educationstring学历0:未知,1:小学,2:初中,3:高中,4:大专,5:本科,6:硕士,7:博士
osstring用户手机系统android、ios
versionstringAPP版本

外链分享数据统计

上面的例子是对私聊场景下整体消息量的数据统计,在实际业务需求中针对于不同的消息类型往往还会有不同的、更细粒度的关注指标。比如我们可以通过统计用户外链分享的数据来了解给其他APP的导流情况。假如有如下数据需求:

统计需求梳理

分享次数:
1、每分钟_分享次数
2、每小时_分享次数
3、每天_分享次数
4、每天_各省份_分享次数
5、每天_各城市_分享次数
6、每天_各内容源_分享次数
7、每天_各性别人群_分享次数
8、每天_各学历人群_分享次数
9、每天_各年龄段_分享次数

分享人数:
1、每分钟_分享人数
2、每小时_分享人数
3、每天_分享人数
4、每天_各省份_分享人数
5、每天_各城市_分享人数
6、每天_各内容源_分享人数
7、每天_各性别人群_分享人数
8、每天_各学历人群_分享人数
9、每天_各年龄段_分享人数

分享点击次数:
1、每分钟_分享点击次数
2、每小时_分享点击次数
3、每天_分享点击次数
4、每天_各省份_分享点击次数
5、每天_各城市_分享点击次数
6、每天_各内容源_分享点击次数
7、每天_各性别人群_分享点击次数
8、每天_各学历人群_分享点击次数
9、每天_各年龄段_分享点击次数

分享点击人数:
1、每分钟_分享点击人数
2、每小时_分享点击人数
3、每天_分享点击人数
4、每天_各内容源_分享点击人数

分享点击率:
1、每天_分享点击率
2、每天_各内容源_分享点击率

元数据结构

字段字段类型说明
userIdstring消息分享用户ID
sexstring分享人性别
agestring分享人年龄段0:未知,1:60后,2:70后,3:80后,4:90后,5:00后,6:10后
educationstring学历0:未知,1:小学,2:初中,3:高中,4:大专,5:本科,6:硕士,7:博士
sourcestring外链内容源比如:抖音、头条、知乎、京东、美团、豆瓣、淘宝、天猫、小红书、网易新闻、新浪微博、王者荣耀...
actionstring用户操作1:分享,2:点击

普通红包发送和接收数据统计

红包是微信里面比较重要的一个场景,它提升了用户活跃度也推动了微信支付的迅速推广,下面我们看下如何使用XL-LightHouse实时统计私聊场景下红包的发送和接收数据。假如我们有如下数据指标:

统计需求梳理

红包发送量:
1、每分钟_红包发送量
2、每小时_红包发送量
3、每天_红包发送量
4、每天_各金额区间_红包发送量
5、每天_各省份_红包发送量
6、每天_各城市_红包发送量
7、每天_各性别人群_红包发送量
8、每天_各年龄人群_红包发送量
9、每天_各学历人群_红包发送量

红包发送人数:
1、每分钟_红包发送人数
2、每小时_红包发送人数
3、每天_红包发送人数
4、每天_各金额区间_红包发送人数
5、每天_各省份_红包发送人数
6、每天_各城市_红包发送人数
7、每天_各性别人群_红包发送人数
8、每天_各年龄人群_红包发送人数
9、每天_各学历人群_红包发送人数

红包发送总金额:
1、每分钟_发送总金额
2、每小时_发送总金额
3、每天_发送总金额
4、每天_各金额区间_红包发送总金额
5、每天_各省份_红包发送总金额
6、每天_各城市_红包发送总金额
7、每天_各性别人群_红包发送总金额
8、每天_各年龄人群_红包发送总金额
9、每天_各学历人群_红包发送总金额

红包平均金额:
3、每天_红包平均金额
5、每天_各省份_红包平均金额
6、每天_各城市_红包平均金额
7、每天_各性别人群_红包平均金额
8、每天_各年龄人群_红包平均金额
9、每天_各学历人群_红包平均金额

红包接受率:
1、每天_红包接受率
2、每天_各性别人群_红包接受率
3、每天_各年龄人群_红包接受率
4、每天_各学历人群_红包接受率

元数据结构

字段字段类型说明
envelopeIdstring红包ID
eventTypestring消息事件类型1:发送红包,2:接受红包 ,3:拒收红包,4:超时退回
amountnumberic金额
senderstring发送人ID
receiverstring接收人ID
provincestring发送人省份
citystring发送人城市
agestring发送人年龄段
sexstring发送人性别
educationstring发送人学历

音视频通话质量监控

各类互联网产品对于用户体验都是非常看重的,尤其是在音视频通话这种对实时性要求比较高的场景当中。下面我们可以使用XL-LightHouse实时监控音视频通话中的丢包与卡顿情况。假如我们有如下数据需求:

统计需求梳理

丢帧数量:
每十分钟_音频丢帧数量
每十分钟_视频丢帧数量

丢帧率:
每十分钟_平均音频丢帧率
每十分钟_平均视频丢帧率

丢帧率各区间通话数量:
每十分钟_音频丢帧率各区间_通话数量
每十分钟_视频丢帧率各区间_通话数量

卡顿次数:
每十分钟_上行卡顿次数
每十分钟_下行卡顿次数

单位时间卡顿次数:
每十分钟_平均单位时间上行卡顿次数
每十分钟_平均单位时间下行卡顿次数

单位时间卡顿次数各区间通话数量:
每十分钟_上行单位时间卡顿次数各区间_通话数量
每十分钟_下行单位时间卡顿次数各区间_通话数量
每天_上行单位时间卡顿次数各区间_通话数量
每天_下行单位时间卡顿次数各区间_通话数量

元数据结构

字段字段类型字段说明
callIdstring通话ID
afcntnumberic音频帧数
adropnumberic音频丢帧数量
adropratenumberic音频丢帧率
vfcntnumberic视频帧数
vdropnumberic视频丢帧数量
vdropratenumberic视频丢帧率
ublocknumberic上行卡顿次数
ublockutimenumberic单位时间上行卡顿次数
dblocknumberic下行卡顿次数
dblockutimenumberic单位时间下行卡顿次数

音视频通话流量数据监控

国内的带宽成本是较高于国外的,对于国内的互联网企业来说带宽成本是比较主要的开支之一。所以针对于一些流量耗费比较大的场景比如:视频播放、直播、音视频通话、云存储、文件传输等业务有必要增加流量数据监控。下面以音视频通话场景为例看下如何使用XL-LightHouse实时监控流量传输数据。假如我们有如下数据需求:

统计需求梳理

流量统计:
1、每分钟_上行总流量
2、每分钟_下行总流量
3、每分钟_各省份_上行总流量
4、每分钟_各省份_下行总流量
5、每分钟_各城市_上行总流量
6、每分钟_各城市_下行总流量
7、每分钟_各网络环境_上行总流量
8、每分钟_各网络环境_下行总流量
流量压缩率统计:
1、每十分钟_各消息类型_平均压缩率
2、每天_各消息类型_平均压缩率
压缩算法耗时统计:
1、每分钟_各消息类型_平均压缩耗时
2、每天_各消息类型_平均压缩耗时

元数据结构

字段字段类型字段说明
messageIdstring消息ID
eventTypestring传输类型1:上行流量,2:下行流量
msgTypestring消息类型音频通话、视频通话
provincestring省份
citystring城市
netstring用户网络环境1:wifi,2:2G,3:3G,4:4G,5:5G
b_bytesnumberic压缩前字节数
a_bytesnumberic压缩后字节数
comp_ratenumberic压缩率
costnumberic流量压缩耗时

聊天表情发送数据统计

对于即时通信类APP来说,表情增加了用户互动的趣味性,提高了用户活跃度,是社交生态不可缺少的一个功能。微信的表情除了内置的系统表情之外还有第三方创作者制作的表情。下面我们可以使用XL-LightHouse实时统计表情发送的相关指标。假如我们有如下数据需求:

统计需求梳理

表情发送量:
1、每分钟_总发送量
2、每小时_总发送量
3、每天_总发送量
4、每天_各年龄段人群_表情发送量
5、每天_各性别人群_表情发送量
6、每天_各表情专辑_表情发送量
7、每天_各内容创作者_表情发送量

表情发送用户数:
1、每分钟_发送用户数
2、每小时_发送用户数
3、每天_发送用户数
4、每天_各年龄段人群_发送用户数
5、每天_各性别人群_发送用户数
6、每天_各表情专辑_发送用户数
7、每天_各内容创作者_发送用户数

元数据结构

字段字段类型字段说明
userIdstring发送方ID
emojiIdstring表情ID
seriesIdstring表情专辑ID
authorIdstring创作者ID
agestring发送人年龄段
sexstring发送人性别

表情专辑下载和移除数据统计

统计需求梳理

专辑下载量:
1、每分钟_专辑下载量
2、每小时_专辑下载量
3、每天_专辑下载量
4、每天_各专辑_专辑下载量
5、每天_各年龄段人群_专辑下载量
6、每天_各学历人群_专辑下载量
7、每天_各内容创作者_专辑下载量(Top50)

专辑下载用户数:
1、每分钟_专辑下载用户数
2、每小时_专辑下载用户数
3、每天_专辑下载用户数
4、每天_各专辑_专辑下载用户数
5、每天_各年龄段人群_专辑下载用户数
6、每天_各学历人群_专辑下载用户数
7、每天_各内容创作者_专辑下载用户数(Top50)

专辑移除量:
1、每分钟_专辑移除量
2、每小时_专辑移除量
3、每天_专辑移除量
4、每天_各专辑_专辑移除量

元数据结构

字段字段类型字段说明
userIdstring用户ID
seriesIdstring表情专辑ID
authorIdstring创作者ID
agestring发送人年龄段
sexstring发送人性别
eventTypestring事件类型1:下载专辑,2:移除专辑

移动端支付数据统计

统计需求梳理

付费/收款金额:
1、每分钟_总支付金额
2、每小时_总支付金额
3、每天_总支付金额
4、每天_各商户_总收款金额(Top500)
5、每天_各消费场景_总支付金额
6、每天_各省份_总支付金额
7、每天_各城市_总支付金额
8、每天_各APP版本_总支付金额
9、每天_各支付方式_总支付金额
10、每天_各支付银行_总支付金额

付费用户数:
1、每分钟_付款用户数
2、每小时_付款用户数
3、每天_付款用户数
4、每天_各商户_付款用户数
5、每天_各消费场景_付款用户数
6、每天_各省份_付款用户数
7、每天_各城市_付款用户数
8、每天_各APP版本_付款用户数
9、每天_各支付方式_付款用户数
9、每天_各支付银行_付款用户数

元数据结构

字段字段类型字段说明
userIdstring付款方用户ID
supplierIdstring商户ID
scenestring消费场景餐饮、服饰、亲子、宠物、出行、酒店、休闲娱乐、文体教育、生活日用、医疗保健、生活缴费、汽车保养、家居家装、房租房贷、保险、信用卡还款、游戏充值、虚拟商品、其他
scencestring实物交易/虚拟交易
paymodestring付款方式1:零钱,2:储蓄卡,3:信用卡,4:亲属卡,5:其他
bankstring付款方银行工商银行、建设银行、农业银行、中国银行...
agestring付款人年龄段
sexstring付款人性别
provincestring付款人省份
citystring付款人城市
osstring用户手机系统android、ios
versionstringAPP版本