什么是實驗的異質(zhì)性

1. 如何理解實驗結(jié)果中的指標(biāo)變化

當(dāng)我們看到如下試金石實驗指標(biāo)結(jié)果時

在進行分析前，可能我們的第一直覺是這樣的

經(jīng)過異質(zhì)性分析后，可能會發(fā)現(xiàn)實際情況是這樣的

2. 概念解析與定義

實驗的異質(zhì)性，一般被稱為HTE（即Heterogeneous Treatment Effects），意為實驗中同一個treatment對不同的實驗樣本，得到的策略效果可能是不一樣的。另外還有一些重要的概念需要大家理解

* 此處采用Donald Rubin提出的潛在因果框架（Potencial outcome）來對實驗效果進行統(tǒng)計公式上的描述 [1]

* 由于業(yè)內(nèi)并沒有統(tǒng)一的定義，HTE、CATE、ITE概念在一定程度上會有混用的情況，讀者需要參考描述以及上下文綜合判斷名詞的含義

3. 異質(zhì)性分析對于業(yè)務(wù)的意義

1.了解策略對于不同用戶的不同效果，協(xié)助挖掘背后的業(yè)務(wù)邏輯，輔助迭代、進行新一輪的實驗

2.嘗試尋找策略最優(yōu)子人群，讓整體無效的策略，有機會進行部分先推全；反之依然，讓部分負向的策略，減少損失

3.對實驗結(jié)果建模后預(yù)測，對線上提供動態(tài)的最優(yōu)人群支持

根據(jù)試金石測算，以某產(chǎn)品線下6月運行中的35個實驗為例，僅23%左右的實驗沒有在實驗人群視角發(fā)現(xiàn)異質(zhì)性

異質(zhì)性分析方法概述

1. 異質(zhì)性分析的維度選擇

1. 對于分流單元的維度X，當(dāng)X滿足以下條件時，可以作為異質(zhì)性的維度進行后續(xù)分析

??

T⊥XT⊥X

?，即分析維度與實驗分流無關(guān) (Unconfoundedness)

?分析工具化的常見簡化方式：對于一個分流ID，選取他在首次進入實驗前一天的標(biāo)簽取值

?簡單推導(dǎo)：

T是隨機化的，

T⊥Y,T⊥XT⊥Y,T⊥X

，所以

E[Yi(1)∣x∈X]=E[Yi(1)｜Ti=1,x∈X]E[Yi?(1)∣x∈X]=E[Yi?(1)｜Ti?=1,x∈X]

，所以（3）成立

2. 異質(zhì)性分析的維度分析bad case舉例

假設(shè)我們需要分析的實驗策略為：根據(jù)用戶的活躍度標(biāo)簽，低、中、高頻用戶的優(yōu)惠券策略分別做了新/老策略迭代

2. 異質(zhì)性分析的方法選擇

* CATE、ITE建模方法的細節(jié)可參考Appendix

CATE下鉆探索工具MVP版邏輯介紹

項目地址：http://xingyun.jd.com/codingRoot/abtest_ds/CATE_model?

模型邏輯：多維度的維度下鉆 + Decision Tree Interpreter

快速開始：

from CATE_model.utils.workflow import CateWorkFlow
yaml_path = 'config.yaml'                # 按分析要求配置YAML文件
cate_workflow = CateWorkFlow(yaml_path)  # 初始化CATE對象
cate_workflow.prepare_analysis()         # 初始化ABTestAnalyzer
cate_workflow.execute_cate_auto()        # 自動執(zhí)行所有環(huán)節(jié)
cate_workflow.df_out.styler              # 輸出CATE差異最大子人群目標(biāo)指標(biāo)統(tǒng)計

項目基本流程

YAML配置方法：第一次可以先根據(jù)項目demo修改，并參考YAML配置說明.md?

項目MVP功能說明

1.通過填寫YAML配置，自動生成實驗分析SQL，并執(zhí)行取數(shù)，目前包括

?自動獲取試金石實驗分流信息

?自動獲取試金石實驗指標(biāo)信息

?解析實驗CATE研究使用的用戶標(biāo)簽表

?自動生成所有數(shù)據(jù)源的關(guān)聯(lián)關(guān)系

2.為實驗CATE研究提供自動化工具，目前包括

?自動化生成實驗?zāi)繕?biāo)指標(biāo)的CATE差異最大化子人群

?提供調(diào)參接口，高級用戶可自定義模型參數(shù)

?提供可視化的模型結(jié)果輸出，高級用戶可根據(jù)輸出調(diào)節(jié)模型表現(xiàn)

3.為實驗的下鉆分析提供探索、分析功能，目前包括

?CATE人群的實驗效果統(tǒng)計檢驗

?CATE人群的多指標(biāo)拆解

?CATE人群的特征描述

?

實驗異質(zhì)性分析show case

針對近期某頻道重點改版實驗，此項目整體實驗指標(biāo)為負向不顯著，但通過運行分析工具后發(fā)現(xiàn)，有兩類子人群分別具有正向和負向的顯著效果

實驗HTE人群統(tǒng)計

?

對于這些子人群，我們發(fā)現(xiàn)他們在業(yè)務(wù)漏斗上的變化并不一樣，那么下次對于頻道進行迭代時，產(chǎn)品經(jīng)理可以整理有針對性的選擇對負向人群進行針對性的優(yōu)化

?

未來展望

1.自定義分流表

2.自定義畫像表 & 經(jīng)海路畫像表

3.CATE模型迭代

4.通用維度配置模版 & 業(yè)務(wù)場景模版

5.圖形化交互界面，簡化輸入配置

Appendix & 參考資料

【1】因果分析框架 & Donald Rubin的Potencial Outcome

?Potencial Outcome

?設(shè)

TiTi?

?代表第i個樣本是否收到了處理（treatment，策略影響），是為1，否為0

??

YiYi?

?代表個體i的結(jié)果，另外記

{Yi(1),Yi(0)}{Yi?(1),Yi?(0)}

?為個體i接受處理、對照的潛在結(jié)果

?每個個體通常只會有1個狀態(tài)，個體因果作用無法直接觀測，我們只有

Yi=Ti?Yi(1)+(1?Ti)?Yi(0)Yi?=Ti??Yi?(1)+(1?Ti?)?Yi?(0)

?在隨機化實驗的場景下，我們可以得到

其中最重要的邏輯為：

T是隨機化的，

T⊥YT⊥Y

，所以

E[Yi(1)]=E[Yi(1)｜Ti=1]E[Yi?(1)]=E[Yi?(1)｜Ti?=1]

，所以（3）成立

?因果推斷（一）：因果推斷兩大框架及因果效應(yīng)：https://zhuanlan.zhihu.com/p/652174282?

?因果推斷簡介之二：Rubin Causal Model (RCM) 和隨機化試驗：https://cosx.org/2012/03/causality2-rcm/?

?

【2】ANOVA與CATE的交互效應(yīng)分析

當(dāng)需要進行異質(zhì)性分析的維度為X時，我們可以通過構(gòu)建下列回歸方程去描述X在實驗中是否存在顯著的異質(zhì)性，當(dāng)

β3β3?

對應(yīng)的F-test顯著時，我們就可以認為實驗在維度X上存在顯著的異質(zhì)性

Y=β0+β1?T+β2?X+β3?X?TY=β0?+β1??T+β2??X+β3??X?T

當(dāng)

X∈{0,1}X∈{0,1}

時，我們可以用下圖來進行異質(zhì)性的理解

【3】CATE & ITE估計

idea1：對于每個參與實驗的對象i，如果能得到

Yi(1)Yi?(1)

?和

Yi(0)Yi?(0)

?的合理估計，那么ITE就可求了 idea2：對于實驗人群X，如果能找到一種觀測方式，求得

E[Yx(1)?Yx(0)∣x∈X]E[Yx?(1)?Yx?(0)∣x∈X]

?，那么CATE就有了

?Meta Learner的極簡介紹

?S-Learner

?stage1: 利用模型估計

μ(x,t)=E[Y∣X=x,T=t]μ(x,t)=E[Y∣X=x,T=t]

?stage2: 定義CATE結(jié)果如下

τ^(x)=μ^(x,T=1)?μ^(x,T=0)τ^(x)=μ^?(x,T=1)?μ^?(x,T=0)

?T-Learner

?stage1: 利用兩個模型，分別估計

μ0(x)=E[Y(0)∣X=x]μ0?(x)=E[Y(0)∣X=x]

μ1(x)=E[Y(1)∣X=x]μ1?(x)=E[Y(1)∣X=x]

?stage2: 定義CATE結(jié)果如下

τ^(x)=μ1^(x)?μ0^(x)τ^(x)=μ1?^?(x)?μ0?^?(x)

?X-Learner

?stage1：利用兩個模型，分別估計

μ0(x)=E[Y(0)∣X=x]μ0?(x)=E[Y(0)∣X=x]

μ1(x)=E[Y(1)∣X=x]μ1?(x)=E[Y(1)∣X=x]

?stage2：實驗組、對照組數(shù)據(jù)交叉擬合構(gòu)造

Di1=Yi1?μ0^(Xi1),τ1(x)=E[D1∣X=x]Di1?=Yi1??μ0?^?(Xi1?),τ1?(x)=E[D1∣X=x]

Di0=μ1^(Xi0)?Yi0,τ0(x)=E[D0∣X=x]Di0?=μ1?^?(Xi0?)?Yi0?,τ0?(x)=E[D0∣X=x]

?stage3：定義CATE為模型估計值的加權(quán)平均，權(quán)重來自于在condition x下實驗組、對照組的樣本比例

τ(x)=g(x)τ0(x)+(1?g(x))τ1(x)τ(x)=g(x)τ0?(x)+(1?g(x))τ1?(x)

?更多資料參考uber的causalML項目：https://causalml.readthedocs.io/en/latest/methodology.html?

?Causal Forest的極簡介紹

?如果將普通決策樹算法的葉子分裂準(zhǔn)則從最小化整體

Y^Y^

?的MSE，替換為最大化葉子結(jié)點的CATE差異，那么根據(jù)貪心算法，我們可以得到一個拆解CATE的Causal Tree（還有很多保證樣本平衡、估計可靠的weighting和honest的方法細節(jié)沒有介紹）

?為了克服一棵樹帶來的high variance，仿照random forest，構(gòu)建由Causal Tree組成的森林，并且我們可以通過觀察在不同樹中樣本是否被多次劃入一個葉子結(jié)點來調(diào)節(jié)本樣本對當(dāng)前葉子估計的權(quán)重，最終得道一個可以產(chǎn)出ITE估計的森林模型

?DML的極簡介紹

?我們定義

θ(x)θ(x)

?為CATE，那么構(gòu)建下列函數(shù)

Y=θ(x)?T+g(X)+?,E[?∣T,X]=0Y=θ(x)?T+g(X)+?,E[?∣T,X]=0

T=f(X)+η,E[η,X]=0T=f(X)+η,E[η,X]=0

?stage1: 擬合g、f函數(shù)，求得殘差

ω=Y?E[Y∣X]ω=Y?E[Y∣X]

υ=T?E[T∣X]υ=T?E[T∣X]

?stage2: 擬合殘差，求得CATE估計

ω=θ(x)?υ+?ω=θ(x)?υ+?

?如果我們將上述double ML的過程用GMM的方式寫成矩函數(shù)，

E[((Y?E[Y∣X])?(T?E[T∣X])θ(x))(T?E[T∣X])]=0E[((Y?E[Y∣X])?(T?E[T∣X])θ(x))(T?E[T∣X])]=0

那么根據(jù)Neyman orthogonality condition，我們可以證明此過程估計的

θ(x)θ(x)

在大樣本下具備無偏一致性，此特性與

ω,υω,υ

在一定程度上沒有關(guān)系

?關(guān)于doubly robust，R-learner，CausalForestDML等方法呢？是否有理論框架能總結(jié)這一類利用殘差進行推斷的方法呢？參考：Orthogonal Statistical Learning Arxiv:1901.09036V3

?更多關(guān)于DML、CausalForest資料請參考微軟的EconML項目：https://www.pywhy.org/EconML/spec/overview.html

審核編輯 黃宇