小红书广告机制案例解析

今天接着给大家讲解大厂案例下的策略产品能力——小红书创意优选策略，核心内容主要围绕怎么做创意高效的优选、深度优选模型如何提升泛化、计算规模能力等问题。

一、高效的创意优选策略

优选示意图说明

投放平台智能创意功能展示

上图1是小红书中博主上传多张图片素材之后，针对不同的笔记用户优选展示不同的素材主图的最优逻辑展示，图2则是小红书聚光平台投放设置创意信息的时候的投放样式展示。

我们可知，高效的优选策略，是这些创意素材集合能够发挥作用体现价值的关键。优选策略的好坏体现在两个方面：

1. 选得好不好？能否选出来用户最喜欢的创意，是提升广告投放效率CTR的关键。
2. 选得快不快？能否尽快把好的创意选出来，是客户及用户感知效果的关键。

前面在<阿里妈妈创意优选策略> 一文就给大家介绍到了，在没有先验知识的前提下，从一个广告笔记的多个创意id中选最最好的那个，其实是一个MAB（Multi-Armed Bandit，多臂赌博机）的问题。

“多臂赌博机问题 (MAB)：老虎机有一条摇杆（类似于一条手臂），摇动摇杆即会按照一定概率吐出一定量的钱，一个赌徒面对多台老虎机，在不知道老虎机吐钱概率分布的情况下，如何最大化收益？”

这类问题业界常用的算法策略其实在冷启动章节中给大家也有介绍过有epsilon 贪心 (ɛ-greedy)、汤普森采样 (Tompson sampling)、UCB (Upper confidence bound)等。通过综合分析各算法的收敛速度、对反馈数据的敏感程度等因素，小红书平台选择采用了 UCB 策略，这里我们详细展开讲解。

1. UCB 策略简介

UCB 策略解决 MAB 问题的思路是使用置信区间：给每台老虎机一个置信区间，区间的中间值为该机器的平均收益（吐出钱的平均值），宽度与玩的总次数的对数值成正比，与在该机器上玩的次数成反比。面对多台老虎机，每次都选择有最大上界的那个机器。

在创意素材优选的场景中：对于每个素材，使用多次曝光该素材的收益 (Reward)+该素材置信区间宽度 (Bonus) 计算出区间上界 (Score)，每次曝光 Score 最高的那个素材。

其中，Reward 为某个素材累计曝光的综合收益（例如 ctr 的增幅、收入的涨幅，也可以联合起来），Bonus 的计算与该素材的曝光次数 (Imp) 及所有素材的曝光次数 (totalImp) 有关，公式如下：

最后的结果就是经过一定量的探索之后，置信区间的宽度会变得越来越小，Reward也会趋于稳定，将曝光和优选的结果倾向给到pCTR即收益更大的素材，如果素材曝光少，会伴随曝光次数的增加，素材Bonus变大，Socore变大，同样有一定的曝光概率进行探索。

2. 如何兼顾用户体验与优选效果CTR

我们都知道创意优选是为了提高单个笔记主体创意的的点击率，但是一旦对创意进行优化，小红书平台也担心影响到用户体验问题，所以需要追求商业化的同时兼顾点击率效果指标。

为此，小红书平台制定了用户停留时长 (avgViewTime) 作为衡量服务质量 (QoS，Quality of Service) 的一个综合指标，如何通过 QoS 来计算得出用户体验 (QoE，Quality of Experience）呢？

QoE 的相关研究指出：当 QoS 较低时，用户的 QoE 已经很低了，即使 QoS 继续恶化，QoE 也不会再降低很多了。同理，当 QoS 较高时，用户的 QoE 已经很高了，QoS 的进一步提升也不会再增加 QoE，如下图所示：

所以，我们得到的 QoE 的表达式为：

其中w3 为可以动态调整的加强系数。最终我们将 UCB 中的 Reward 设置为：

其中，w1为ctr的权重，w2用来调节停留时长部分的量纲，w3为平均停留时长的权重。实验表明：这种 Reward 的设计，可以在保证在用户侧指标不降的约束下，广告 ctr 指标有较大幅度提升。

3. 帮助广告主节约成本

经过数据分析，使用UCB策略优选素材的时候，素材的CTR会在比较端的时候内达到一个稳定的状态，并且最优的素材稳定性比其他素材更好，因此会设计素材退场机制，减少探索的成本。

退场机制：考虑对于达到某一条件（足够的曝光、点击，或 ctr 稳定在一个区间）的笔记，只曝光 Reward 最高的图片。同时在一个滑动窗口时间内，选取一个阈值，保障每个图片都有一定的曝光。退场机制的实现逻辑如下：

实验表明，有退场机制的 UCB 优选策略，可以减少探索次数，节约广告主优选成本，并且对平台收益有正向作用。

（注意：退场机制只适用于静态素材，且需要素材间 Reward 差异较明显）

4. 浏览深度对优选的影响

通过广告埋点行为发现，搜索场景下用户搜索信息目的强，对于浏览深度增加，用户的物料笔记点击需求就会变得越低。因此，当一个广告曝光在不同位置时，其 ctr 的差异很大，这会对 Reward 中的 ctr 部分产生较大影响。这种情况下，我们考虑对 ctr 进行基于广告坑位的纠偏。

工业界常用 COEC (Click on Expected Click) 来衡量两个物料的优劣，进一步地，可以衡量两个有不同曝光坑位的优选元素差异，其计算方法如下：

其中 In表示第 n 坑位的曝光量， Cn表示第 n 坑位的点击量，CTRn表示第 n 坑位的点击率。

在对应的场景汇总希望把这种差异归类ctr上，方便UCB策略进行Reward计算，这就需要添加额外的超参，将COEC的值映射到ctr上，并且保证其分布近似，这增加了一定的不可控性。

因此，基于业务现状，小红书团队创新性地提出了一种对于 ctr 进行坑位纠偏的方法，命名为 ECOI (Expected Click on Impression)。借鉴 COEC 的思想（根据不同坑位的平均 ctr，计算期望点击数量），将所有位置的点击都与首位进行校准对齐，其计算方法如下：

优点：使用 ECOI 的实验组效果略好于使用 COEC 的效果，并且远好于不进行坑位纠偏的效果。相比 COEC，其含义和取值范围基本与实际 ctr 一致，方便直接替换模型中的ctr，也不用引入超参去寻找和ctr的映射关系。

缺点：但看某一个坑位上点击数校准的值，可能点击数比曝光数还大。（出现几率偏小，广告系统中的点击数是远小于曝光数的，所以可以忽略这个问题）

二、 深度优选模型

UCB 依赖后验数据的反馈，但是创意素材（包括封面图和标题）有大量都是分布在长尾上，无法在有限的时间内搜集到足够多的反馈数据得到置信的结果。所以小红书平台构建了大规模离散值 DNN 模型来补充创意上的泛化能力。

另外，针对热门创意的素材，在模型中将用户的个性化也考虑进来，使系统具有了千人千面的优选能力，从而进一步提升优选效果。

1. 如何提升泛化能力

特征是大规模离散值 DNN 的学习基础，在项目一期，对创意素材和用户进行了精细的刻画，构建了具有较强泛化能力和个性化能力的模型。

• 创意素材泛化：挖掘基础的创意泛化特征，如图片的类目，OCR 结果，文本的分词，实体词等。一方面防止模型在自解释特征上过拟合，另一方面对于冷启动阶段的新创意，自解释特征还未完全收敛时，泛化特征可以提供相应的信息从而提高预估效果。
• 用户个性化刻画：用创意侧特征去刻画用户兴趣，以用户历史点击过的笔记的图片 id 构造点击行为序列，并以图片 id 的泛化特征去扩展用户行为序列，包括 OCR 序列、图片类目序列、实体词序列等。此外，基于用户在图片各个特征维度的泛化特征序列，我们通过取每个序列里 top3 出现的特征，来作为对用户最感兴趣的特征的刻画。
• 创意侧特征交叉：将用户侧特征与当前创意特征做交叉，来刻画用户对当前创意的偏好，通过特征交叉，可以增强模型在个性化预估下对候选创意的区分度。在 query 上，将当前 query 和候选图片 OCR 识别出来的文字以及创意标题做字粒度、词粒度以及实体词的匹配。在用户行为上，将当前候选图片与用户历史点击行为序列里的图片类目、OCR 序列做匹配。

2. 如何解决计算规模的问题

深度模型的推理粒度是比笔记更深一层的素材级别，即一个笔记会有多个候选的候选的标题和图片，为了提高模型预估的准确性，我们在标题和图片的笛卡尔积上进行推理，使模型可以直接选出最优的标题图片组合。但这也使模型推理的计算量提高了一个数量级。

为了在这个计算量级上进行模型推理，小红书凭条设计了一个级联双塔结构来保证模型的预估效果，具体如下：

双塔模型中左侧塔是一个完整的点击率模型结构，输入层只接收广告特征的 embedding，模型结构上相比右侧复杂度和参数量都要大很多。

右侧是一个浅层 DNN 网络，输入层加入创意侧特征的 embedding。同时，我们将左侧广告塔的输出和上层的隐层向量传递到右侧塔，来指导创意特征对 点击率的学习。

在训练时，右侧塔接收左侧塔的信息，并融合创意特征共同学习。右侧创意塔的梯度不回传给左侧塔，保证左侧塔学习的是广告整体的表现，在特征和训练上都不包括创意特征的信息。

线上推理时，每个广告对左侧广告塔仅计算一次，右侧创意塔计算 N 个创意的点击率。相比于点击率模型，仅增加了 N 个创意塔的计算量，避免了创意展开导致的计算量爆炸。

由于创意侧特征较少，容易在 id 类特征上过拟合，在创意侧的网络结构上进行了精细化的设计：

• 创意特征通过 SENet 来学习每个特征的嵌入向量的权重。
• 对于图片 id 特征额外在 SENet 上加入正则化，并添加自适应 dropout 来减弱 id 类特征的影响。
• 对于泛化特征，我们增加 user_id、query 以及广告侧传过来的 embedding 合并到一起，与创意侧泛化特征的 embedding 通过 DeepNet 来增强创意特征与广告特征的交叉能力。

由于具有泛化能力和个性化的能力，深度优选模型使广告创意的优选效果得到了进一步的提升。