实验指标报表¶

AB实验最终是以提升业务的指标为目的。上线实验后，我们期望可以可视化的看到实验效果及指标数据。本文介绍的实验指标系统包括3部分，指标数据源的接入，指标的定义，实验指标的可视化展示。

整体架构¶

PAI-Rec 引擎是我们的推荐服务，里面集成了配置中心的 SDK，实验信息从配置中心获取到。在推荐服务返回接口中，会记录实验id exp_id, 以及请求的标识 reqid 等。这些数据会埋点在服务的 APP 上。

当用户产生行为时，最终数据会回流到系统中，我们现在支持数据源在 ODPS 中。当配置中心配置了若干个指标后，我们会动态组装 SQL，然后对 ODPS 的数据进行计算、统计，并把结果存到 Hologres 中。在报表页面，可以实时查询到指标数据。

数据源包含两部分，数据来源表，以及数据结果表。来源表是 ODPS 表，结果表是 Hologres 表。并且需要遵循一定的 schema 规范。

字段名称	字段含义	是否必填	说明
user_id	用户id	是	用户标识，可以是用户的 uid, 也可以是设备 devcie_id, imei 等
exp_id	实验id	是	ab 服务返回的实验id, 通过埋点回流。如果是用户的自己的推荐服务，设置自定义的标识即可。exp_id:ER1_L1#EG1#E1_L2#EG2#E2
维度字段	比如操作系统 os	否	可以根据此维度字段过滤对应的指标
计算字段	比如曝光， show_count, 点击，click_count	是	计算字段是用户填写的数值类型，比如曝光数，点击数，观看时长等
dt	日期分区	是	格式：yyyyMMdd
hh	小时分区	否	24小时制， 00 ~ 23
mm	分钟分区	否	00 ~ 59

来源表可以离线产出，也可以实时产出，主要看客户的业务系统。如果是离线产出， user_id, exp_id, dt 是必须的。如果是实时的，user_id, exp_id, dt， hh 是必须的，mm 分区不是必须的。

指标也分为离线和实时。如果是实时产出的数据源，离线、实时指标可以共用一个数据源。如果是离线产出的数据源，只能创建离线指标，无法创建实时指标。

上面的维度字段也不是必须的，加上维度字段可以对指标进行维度分析。比如常见的维度字段有性别、操作系统（IOS，安卓）等。这样报表的数据可以分男女，ios 和安卓进行查看。

字段名称	字段含义	是否必填	说明
exp_id	实验id	是	ab 服务返回的实验id, 通过埋点回流。如果是用户的自己的推荐服务，设置自定义的标识即可。如果是ab 服务的实验id， exp_id 是拆分开的，具体到某一个实验上。比如 L1#EG1#E1， L2#EG2#E2
维度字段	比如操作系统 os	否	可以根据此维度字段过滤对应的指标
metric_name	指标的名称，比如 pv, uv, ctr 等	是
metric_value	指标的值	是	float64 值
dt	日期字段	是	格式：yyyyMMdd
hh	小时字段	否	24小时制， 00 ~ 23
mm	分钟字段	否	00 ~ 59