营销是发明或挖掘准消费者和浩瀚商家需求，通过对自身商品和处事的优化和定制，进而推广、流传和销售产物，实现最大化好处的进程。譬喻，银行可通过免息卡或贬价对处在分期意愿边沿的用户举办营销，促使其分期进而晋升整体利润；选择最优机缘和所在对用户举办告白投放晋升转化。

在大数据和“千人千面”的配景下，营销进级为“精准营销”，对每个用户的需求举办越发风雅的本性化阐明与投放，进而实现用户满足，告白主僻静台获益的多赢排场。营销算法的步调一般为：1) 圈人，2) 召回和排序 3) 在预算约束下，通过最大化ROI或利润uplift确定最终计策。

营销算法与传统的推荐召回的评估要领不尽沟通，昆山软件开发，推荐召回等可通过CTR，精确率，AUC等方法举办评估。但营销的评估会更巨大，有以下四方面的困难：

1) 要以晋升整体利润和用户满足度为方针，甚至还要思量久远收益，不是简朴的二分类或回归问题
2) 营销凡是包括有多种决定，且比推荐更巨大的计策流程，其最终结果取决于计策和整体流程的最优化
3) 营销一般有预算限制，并要思量投入产出比
3) 基础原因是：对比于分类等问题，知道当前决定对付任何个别是否是最优的险些是不行能的，因为其响应在特定决定下是不行视察的。譬喻发放免息券，我们只能对某个个别在单一时间发放某一类特定的免息券，但无法在事先就知道这种决定就是最优的。反复尝试在个别上是不行能实现的。因此，纵然是从随机试验中获取的数据，在概率视角上也是unlabeled，因为纵然在练习集上，在最优决定下试图预测的真实值（如响应率等）都是未知的。

由于本钱原因，不行能做大量的随机尝试。然而在做A/B test时，依然需要雷同AUC等明晰且容易表明的业务指标来评估营销算法模子优劣。可是，是否有较精确的评估营销算法机能的要领？

在此配景下，我们实现了multiple treatment（多决定评估）算法，其思路来自于论文《Uplift Modeling with Multiple Treatments and General Response Types》，该算法实现简朴，理论完备，具有雷同AUC一样优良的直观和可比拟性。同时model-free，与详细所用的算法和计策无关。

我们会给出其容易领略的业务表明，增补其利用须要条件，完善理论推导。

多treatment的简朴图例说明

我们先给出最简朴的一个营销方案，来图示讲授该算法的道理。

对所有用户，有两种计策：原价/贬价，在举办算法尝试前，昆山软件开发，先举办了一轮小流量随机投放尝试，两种计策投放比例各占50%。我们提出一种最简朴的阈值计策：“低响应用户贬价，高响应用户原价”，之后需要评估该计策的线上利润率。

如上图所示，纵轴为响应率轴，横轴为随机轴。随机尝试与计策有两块重叠部门，即图3。由于重叠部门是汗青已知可视察的，因此评估其重叠部门的利润率，即可代表整体计策的利润率。

仔细思考整个要领，思路很是简朴，纵然用无偏的部门样本的特性和统计量去代表整体，这险些是初中数学的常识。只要样本足够多，其汗青回测完全可以靠近真实线上的结果。

该要领固然想法很朴素，但必需留意一些很容易被忽略的条件：
1) 随机样本的数量即各块的面积要足够大，从而制止异常或非凡样本对整体评估结果的影响。
2) 随机尝试必需随机且差异treatment的投放比例需一致，但真实投放时各treatment不需平均分派。下图表明白其原因：

3) 各treatment需要离散且数量远小于样本数，且各自独立（不外很难想象各treatment之间不独立的景象）
4) 需要利用最近的汗青数据才气相瞄精确，要求情况必需有必然的平稳性，不然基于汗青数据的回测就没有了意义。

再将其扩展为的多种treatment的巨大景象。若针对响应率举办多分段决定，则不需证明就能担保各决定在图中必然是直线且相互平行，与随机轴正交（不然计策就有揣摩随机的本领），如下图所示：

若计策不只需要思量响应率，还需思量其他指标如职业，则可以增加一条坐标轴代表职业，也必然与随机轴正交，组成高维线性空间，掷中部门变为空间中的小区块，对区块的汇总依然能代表整体计策的利润率。值得留意的是，职业不必然需要需要响应率正交。

理论推导