为减少不必要的篇幅,本文缩减了一些具体细节描述,在阅读本文前建议您首先阅读: 创建第一个数据指标、ICON图标点击数据统计 以及 移动支付订单数据统计,以便于您对XL-LightHouse的使用有初步了解。
XL-LightHouse的运算依赖业务方接入主动上报的原始统计消息,XL-LightHouse自身的功能不涉及相关埋点数据采集环节。
序言
社交类APP是移动互联网领域的高频应用,它以即时通讯为切入点进行业务拓展。社交类产品呈现多元化发展,不同的产品之间有很大的差异,很多社交产品其实已不再是单纯满足用户即时通讯的需求了,比如微信,它通过小程序、支付、生活服务、公众号、视频号、朋友圈等功能极大的拓展了它的功能边界。本文选择社交类APP的常见业务场景为大家演示一下XL-LightHouse在该类业务中的使用。文中的案例是根据主流的社交类APP的产品表象进行的主观猜测并进行了适当简化,旨在于阐述XL-LightHouse的适用场景和使用方式,其中的描述或许会与企业实际的业务现状有一定差异,请大家在使用时根据自己的实际情况灵活配置。
DAU数据统计
DAU是所有APP运营最基本最核心的数据指标之一,下面使用XL-LightHouse实时统计DAU数据。假如我们有如下数据指标:
统计需求梳理
APP访问用户数:
1、每分钟_APP访问用户数
2、每小时_APP访问用户数
3、每天_APP访问用户数
4、每天_各年龄段人群_APP访问用户数
5、每天_各性别人群_APP访问用户数
6、每天_各手机系统_APP访问用户数
7、每天_各打开渠道_APP访问用户数
8、每天_各APP版本_APP访问用户数
9、每天_各省份_APP访问用户数
10、每天_各城市_APP访问用户数
元数据结构
字段 | 字段类型 | 说明 | |
---|---|---|---|
imei | string | 用户设备标识 | |
age | string | 用户年龄段 | |
sex | string | 用户性别 | |
province | string | 用户省份 | |
city | string | 用户城市 | |
from | string | 打开渠道 | 1、用户主动打开,2:Push调起,3:外部分享调起... |
os | string | 用户手机系统 | android、ios |
version | string | 用户APP版本 |
聊天消息数据统计
通讯类产品的聊天记录属于用户隐私数据,虽然很多社交产品都会宣称相关的统计分析都是基于脱敏或加密之后的数据进行的,但这仍不能避免用户隐私的泄漏。用户聊天内容属于隐私,两个ID之间对话的频率和时间段也同样属于隐私。一般来说只要涉及到聊天消息相关数据的存储,就不太可能完全规避侵犯用户隐私的风险,此外聊天记录的数量级往往较为庞大也会给数据存储和分析带来很大成本。而聊天消息相关指标的统计对于社交产品的优化迭代具有极大的业务价值,在这种背景下XL-LightHouse非常适合这种场景。XL-LightHouse的功能只做流式统计,不涉及也不依赖任何原始消息的存储。在聊天数据流转的过程当中既可完成庞大数量级、多维度的数据统计。既能满足企业对数据指标的需要,又不会触碰用户隐私的红线。现在我们以微信私聊场景为例阐述如何使用XL-LightHouse统计各类型消息的发送数据。 微信私聊消息类型种类比较多,大概有如下几种:文字消息、表情消息、语音消息、文件消息(图片、音频文件、视频文件、文档文件、压缩文件等等)、语音通话、视频通话、红包消息、转账消息、内链分享(文章分享、视频分享、公众号分享等)、外链分享(文章分享、视频分享等等)、位置消息等等。假如我们有如下数据需求:
统计需求梳理
发送消息量统计:
1、每分钟_发送消息量
2、每小时_发送消息量
3、每天_发送消息量
4、每天_各消息类型_发送消息量
5、每天_各省份_发送消息量
6、每天_各城市_发送消息量
7、每天_各性别人群_发送消息量
8、每天_各学历人群_发送消息量
9、每天_各年龄段_发送消息量
10、每天_各APP版本_发送消息量
11、每天_各操作系统_发送消息量
消息发送用户数统计:
1、每分钟_发送UV
2、每小时_发送UV
3、每天_发送UV
4、每天_各消息类型_发送UV
5、每天_各省份_发送UV
6、每天_各城市_发送UV
7、每天_各性别人群_发送UV
8、每天_各学历人群_发送UV
9、每天_各年龄段_发送UV
10、每天_各APP版本_发送消息量
11、每天_各操作系统_发送消息量
人均发送消息量:
1、每天_人均发送消息数量
2、每天_各消息类型_人均发送数量
3、每天_各学历人群_人均发送数量
4、每天_各年龄段人群_人均发送数量
元数据结构
字段 | 字段类型 | 说明 | |
---|---|---|---|
userId | string | 消息发送方ID | |
type | string | 消息类型 | 文字消息、表情消息、语音消息、文件消息、语音通话、视频通话、红包消息、转账消息、内链分享、外链分享、位置消息... |
province | string | 省份 | |
city | string | 城市 | |
sex | string | 性别 | |
age | string | 年龄段 | 0:未知,1:50后,2:60后,3:70后,4:80后,5:90后,6:00后,7:10后 |
education | string | 学历 | 0:未知,1:小学,2:初中,3:高中,4:大专,5:本科,6:硕士,7:博士 |
os | string | 用户手机系统 | android、ios |
version | string | APP版本 |
外链分享数据统计
上面的例子是对私聊场景下整体消息量的数据统计,在实际业务需求中针对于不同的消息类型往往还会有不同的、更细粒度的关注指标。比如我们可以通过统计用户外链分享的数据来了解给其他APP的导流情况。假如有如下数据需求:
统计需求梳理
分享次数:
1、每分钟_分享次数
2、每小时_分享次数
3、每天_分享次数
4、每天_各省份_分享次数
5、每天_各城市_分享次数
6、每天_各内容源_分享次数
7、每天_各性别人群_分享次数
8、每天_各学历人群_分享次数
9、每天_各年龄段_分享次数
分享人数:
1、每分钟_分享人数
2、每小时_分享人数
3、每天_分享人数
4、每天_各省份_分享人数
5、每天_各城市_分享人数
6、每天_各内容源_分享人数
7、每天_各性别人群_分享人数
8、每天_各学历人群_分享人数
9、每天_各年龄段_分享人数
分享点击次数:
1、每分钟_分享点击次数
2、每小时_分享点击次数
3、每天_分享点击次数
4、每天_各省份_分享点击次数
5、每天_各城市_分享点击次数
6、每天_各内容源_分享点击次数
7、每天_各性别人群_分享点击次数
8、每天_各学历人群_分享点击次数
9、每天_各年龄段_分享点击次数
分享点击人数:
1、每分钟_分享点击人数
2、每小时_分享点击人数
3、每天_分享点击人数
4、每天_各内容源_分享点击人数
分享点击率:
1、每天_分享点击率
2、每天_各内容源_分享点击率
元数据结构
字段 | 字段类型 | 说明 | |
---|---|---|---|
userId | string | 消息分享用户ID | |
sex | string | 分享人性别 | |
age | string | 分享人年龄段 | 0:未知,1:60后,2:70后,3:80后,4:90后,5:00后,6:10后 |
education | string | 学历 | 0:未知,1:小学,2:初中,3:高中,4:大专,5:本科,6:硕士,7:博士 |
source | string | 外链内容源 | 比如:抖音、头条、知乎、京东、美团、豆瓣、淘宝、天猫、小红书、网易新闻、新浪微博、王者荣耀... |
action | string | 用户操作 | 1:分享,2:点击 |
普通红包发送和接收数据统计
红包是微信里面比较重要的一个场景,它提升了用户活跃度也推动了微信支付的迅速推广,下面我们看下如何使用XL-LightHouse实时统计私聊场景下红包的发送和接收数据。假如我们有如下数据指标:
统计需求梳理
红包发送量:
1、每分钟_红包发送量
2、每小时_红包发送量
3、每天_红包发送量
4、每天_各金额区间_红包发送量
5、每天_各省份_红包发送量
6、每天_各城市_红包发送量
7、每天_各性别人群_红包发送量
8、每天_各年龄人群_红包发送量
9、每天_各学历人群_红包发送量
红包发送人数:
1、每分钟_红包发送人数
2、每小时_红包发送人数
3、每天_红包发送人数
4、每天_各金额区间_红包发送人数
5、每天_各省份_红包发送人数
6、每天_各城市_红包发送人数
7、每天_各性别人群_红包发送人数
8、每天_各年龄人群_红包发送人数
9、每天_各学历人群_红包发送人数
红包发送总金额:
1、每分钟_发送总金额
2、每小时_发送总金额
3、每天_发送总金额
4、每天_各金额区间_红包发送总金额
5、每天_各省份_红包发送总金额
6、每天_各城市_红包发送总金额
7、每天_各性别人群_红包发送总金额
8、每天_各年龄人群_红包发送总金额
9、每天_各学历人群_红包发送总金额
红包平均金额:
3、每天_红包平均金额
5、每天_各省份_红包平均金额
6、每天_各城市_红包平均金额
7、每天_各性别人群_红包平均金额
8、每天_各年龄人群_红包平均金额
9、每天_各学历人群_红包平均金额
红包接受率:
1、每天_红包接受率
2、每天_各性别人群_红包接受率
3、每天_各年龄人群_红包接受率
4、每天_各学历人群_红包接受率
元数据结构
字段 | 字段类型 | 说明 | |
---|---|---|---|
envelopeId | string | 红包ID | |
eventType | string | 消息事件类型 | 1:发送红包,2:接受红包 ,3:拒收红包,4:超时退回 |
amount | numberic | 金额 | |
sender | string | 发送人ID | |
receiver | string | 接收人ID | |
province | string | 发送人省份 | |
city | string | 发送人城市 | |
age | string | 发送人年龄段 | |
sex | string | 发送人性别 | |
education | string | 发送人学历 |
音视频通话质量监控
各类互联网产品对于用户体验都是非常看重的,尤其是在音视频通话这种对实时性要求比较高的场景当中。下面我们可以使用XL-LightHouse实时监控音视频通话中的丢包与卡顿情况。假如我们有如下数据需求:
统计需求梳理
丢帧数量:
每十分钟_音频丢帧数量
每十分钟_视频丢帧数量
丢帧率:
每十分钟_平均音频丢帧率
每十分钟_平均视频丢帧率
丢帧率各区间通话数量:
每十分钟_音频丢帧率各区间_通话数量
每十分钟_视频丢帧率各区间_通话数量
卡顿次数:
每十分钟_上行卡顿次数
每十分钟_下行卡顿次数
单位时间卡顿次数:
每十分钟_平均单位时间上行卡顿次数
每十分钟_平均单位时间下行卡顿次数
单位时间卡顿次数各区间通话数量:
每十分钟_上行单位时间卡顿次数各区间_通话数量
每十分钟_下行单位时间卡顿次数各区间_通话数量
每天_上行单位时间卡顿次数各区间_通话数量
每天_下行单位时间卡顿次数各区间_通话数量
元数据结构
字段 | 字段类型 | 字段说明 | |
---|---|---|---|
callId | string | 通话ID | |
afcnt | numberic | 音频帧数 | |
adrop | numberic | 音频丢帧数量 | |
adroprate | numberic | 音频丢帧率 | |
vfcnt | numberic | 视频帧数 | |
vdrop | numberic | 视频丢帧数量 | |
vdroprate | numberic | 视频丢帧率 | |
ublock | numberic | 上行卡顿次数 | |
ublockutime | numberic | 单位时间上行卡顿次数 | |
dblock | numberic | 下行卡顿次数 | |
dblockutime | numberic | 单位时间下行卡顿次数 |
音视频通话流量数据监控
国内的带宽成本是较高于国外的,对于国内的互联网企业来说带宽成本是比较主要的开支之一。所以针对于一些流量耗费比较大的场景比如:视频播放、直播、音视频通话、云存储、文件传输等业务有必要增加流量数据监控。下面以音视频通话场景为例看下如何使用XL-LightHouse实时监控流量传输数据。假如我们有如下数据需求:
统计需求梳理
流量统计:
1、每分钟_上行总流量
2、每分钟_下行总流量
3、每分钟_各省份_上行总流量
4、每分钟_各省份_下行总流量
5、每分钟_各城市_上行总流量
6、每分钟_各城市_下行总流量
7、每分钟_各网络环境_上行总流量
8、每分钟_各网络环境_下行总流量
流量压缩率统计:
1、每十分钟_各消息类型_平均压缩率
2、每天_各消息类型_平均压缩率
压缩算法耗时统计:
1、每分钟_各消息类型_平均压缩耗时
2、每天_各消息类型_平均压缩耗时
元数据结构
字段 | 字段类型 | 字段说明 | |
---|---|---|---|
messageId | string | 消息ID | |
eventType | string | 传输类型 | 1:上行流量,2:下行流量 |
msgType | string | 消息类型 | 音频通话、视频通话 |
province | string | 省份 | |
city | string | 城市 | |
net | string | 用户网络环境 | 1:wifi,2:2G,3:3G,4:4G,5:5G |
b_bytes | numberic | 压缩前字节数 | |
a_bytes | numberic | 压缩后字节数 | |
comp_rate | numberic | 压缩率 | |
cost | numberic | 流量压缩耗时 |
聊天表情发送数据统计
对于即时通信类APP来说,表情增加了用户互动的趣味性,提高了用户活跃度,是社交生态不可缺少的一个功能。微信的表情除了内置的系统表情之外还有第三方创作者制作的表情。下面我们可以使用XL-LightHouse实时统计表情发送的相关指标。假如我们有如下数据需求:
统计需求梳理
表情发送量:
1、每分钟_总发送量
2、每小时_总发送量
3、每天_总发送量
4、每天_各年龄段人群_表情发送量
5、每天_各性别人群_表情发送量
6、每天_各表情专辑_表情发送量
7、每天_各内容创作者_表情发送量
表情发送用户数:
1、每分钟_发送用户数
2、每小时_发送用户数
3、每天_发送用户数
4、每天_各年龄段人群_发送用户数
5、每天_各性别人群_发送用户数
6、每天_各表情专辑_发送用户数
7、每天_各内容创作者_发送用户数
元数据结构
字段 | 字段类型 | 字段说明 | |
---|---|---|---|
userId | string | 发送方ID | |
emojiId | string | 表情ID | |
seriesId | string | 表情专辑ID | |
authorId | string | 创作者ID | |
age | string | 发送人年龄段 | |
sex | string | 发送人性别 |
表情专辑下载和移除数据统计
统计需求梳理
专辑下载量:
1、每分钟_专辑下载量
2、每小时_专辑下载量
3、每天_专辑下载量
4、每天_各专辑_专辑下载量
5、每天_各年龄段人群_专辑下载量
6、每天_各学历人群_专辑下载量
7、每天_各内容创作者_专辑下载量(Top50)
专辑下载用户数:
1、每分钟_专辑下载用户数
2、每小时_专辑下载用户数
3、每天_专辑下载用户数
4、每天_各专辑_专辑下载用户数
5、每天_各年龄段人群_专辑下载用户数
6、每天_各学历人群_专辑下载用户数
7、每天_各内容创作者_专辑下载用户数(Top50)
专辑移除量:
1、每分钟_专辑移除量
2、每小时_专辑移除量
3、每天_专辑移除量
4、每天_各专辑_专辑移除量
元数据结构
字段 | 字段类型 | 字段说明 | |
---|---|---|---|
userId | string | 用户ID | |
seriesId | string | 表情专辑ID | |
authorId | string | 创作者ID | |
age | string | 发送人年龄段 | |
sex | string | 发送人性别 | |
eventType | string | 事件类型 | 1:下载专辑,2:移除专辑 |
移动端支付数据统计
统计需求梳理
付费/收款金额:
1、每分钟_总支付金额
2、每小时_总支付金额
3、每天_总支付金额
4、每天_各商户_总收款金额(Top500)
5、每天_各消费场景_总支付金额
6、每天_各省份_总支付金额
7、每天_各城市_总支付金额
8、每天_各APP版本_总支付金额
9、每天_各支付方式_总支付金额
10、每天_各支付银行_总支付金额
付费用户数:
1、每分钟_付款用户数
2、每小时_付款用户数
3、每天_付款用户数
4、每天_各商户_付款用户数
5、每天_各消费场景_付款用户数
6、每天_各省份_付款用户数
7、每天_各城市_付款用户数
8、每天_各APP版本_付款用户数
9、每天_各支付方式_付款用户数
9、每天_各支付银行_付款用户数
元数据结构
字段 | 字段类型 | 字段说明 | |
---|---|---|---|
userId | string | 付款方用户ID | |
supplierId | string | 商户ID | |
scene | string | 消费场景 | 餐饮、服饰、亲子、宠物、出行、酒店、休闲娱乐、文体教育、生活日用、医疗保健、生活缴费、汽车保养、家居家装、房租房贷、保险、信用卡还款、游戏充值、虚拟商品、其他 |
scence | string | 实物交易/虚拟交易 | |
paymode | string | 付款方式 | 1:零钱,2:储蓄卡,3:信用卡,4:亲属卡,5:其他 |
bank | string | 付款方银行 | 工商银行、建设银行、农业银行、中国银行... |
age | string | 付款人年龄段 | |
sex | string | 付款人性别 | |
province | string | 付款人省份 | |
city | string | 付款人城市 | |
os | string | 用户手机系统 | android、ios |
version | string | APP版本 |