指标的应用和运营活动的量化

“数据化运营”，提这个概念的人越来越多。以我个人的理解，“数据化运营”指的就是从对业务数据的认知中，抽象出运营策略，以数据追踪运营策略的执行过程，最终由数据来评价运营策略的执行效果。
我们在运营当中所指的“数据”，是狭义的数据，其实就是各种各样的指标。

• 指标是什么？

  我觉得将“指标”这个词对应于英文的indicator，是比较准确的。它是一种指示器，是将某件事情量化而成的一串数字。
  其实大家在工作中，都会有意无意地应用指标。能用就好，又何必去管它定义是什么呢？重要的是怎么用好它。
  就运营而言，我觉得使用指标时，一定先区分清楚过程型指标和结果型指标。

  例子1：我们是一家电商，要做一次促销活动，目的是提升A产品的销售业绩。A产品页的流量、点击量、收藏量、购买数、客单价、销售额，哪些是过程型指标，哪些是结果型指标？流量、点击量、收藏量显然是过程型指标，销售额显然是结果型指标，那么购买数和客单价呢？他们其实是客户购买过程当中的指标，属于整个转化漏斗，那么首先，它们就是过程型指标；而“购买数×客单价=销售额”，它们其实也是结果型指标。

所以，过程型指标与结果型指标并不是割裂开的，关键在于你的运营目的。过程型指标一般需要高频的跟踪，根据指标的变化，及时做出调整；而结果型指标一般从活动目的中抽象而来，因此适用于运营活动的评价。

• 如何设计高质量的指标

  一个指标的好坏，我们需要从信度和效度两个方面去衡量。
  所谓信度，指某指标衡量某事物的准确性、精确性和稳定性。所谓效度，指某指标所衡量获得的信息，确实是研究者所期望获得的信息。

  例子2：把指标比作一把尺子；刻度准确（1毫米就真的是1毫米，而不是1.2毫米），精确性高（能量到毫米，而不是衡量到分米或者厘米），结果稳定（反复测量的结果是一致的，而不是尺子一会儿长一会儿短），这三点都表现优秀，那么这就是一把好尺子，也就是一个信度高的指标。
  例子3：尺子是用来衡量长度的；一把再好的尺子（信度很高），若我们的目的是衡量重量，那么尺子再好（信度再高），也不能满足我们的需求（效度不足）；要衡量重量，我们得用秤（效度高）。

经过上面两个例子，你应该能明白，一个好指标应该怎么去构建了。除了信度和效度，好指标的特征还需要：计算简单快速、易理解、泛化性（不同运营活动都通用，可横向对比），可持续性（口径稳定，长期可用）等特征。

• 指标组合应用——综合指数

  在许多业务场景中，我们需要盯住的指标不止一个。以我们目前的业务场景为例，衡量一个城市运营团队的综合实力，我们需要从运力规模、接单能力、客户评价、团队稳定性、配送成本等多角度出发，若每个角度都引申出1-2个指标，你将陷入混乱。
  因此，多于多维度综合衡量，我们推荐使用综合指数。最常用的就是加权综合指数：
  团队综合实力=运力规模×p1+接单能力×p2+客户评价×p3+团队稳定性×p4+配送成本×p5
  需要注意的是，综合指数计算时，里面各个指标都先需要标准化，转化为统一单位的数字后，才可以进行加总。而p1-p5即权重，哪方面更重要，就给予更高的权重，p1至p5的和必须始终为1。

• 我们需要关注哪些核心指标？

  针对目前我们的业务，我觉得大家需要关注的核心指标是：
  接单率、单均成本、好评率和评价率
  这些也是结果型指标。仅此而已，真的没有那么复杂。从这三个核心指标，结合两条维度的组合：
  1.城市→网格→人/店
  2.月→周→天→高峰→小时
  足已帮助我们发现问题并定位问题。目前我们尤其关注午高峰的核心指标。数据积累也就能帮你到这里了，不要期待数据库告诉你一切，不可能的。
  发现并定位问题后怎么办？调查、走访、问卷，各种方式你都可以用，找到问题的根源，然后，制定运营动作去解决问题。
  当然，数据支持组会不断地产出研究成果，让大家更容易更准确地去制定运营策略并更好的执行。

• 运营活动的量化

  在之前的篇幅中，我们将指标的相关知识进行了梳理，有了这个基础，我们可以开始讨论运营活动的量化了。

  • 一个优秀的运营活动所应具备哪些要素？
    以我的理解，一个优秀的运营活动至少要有：
    1.明确的活动目标和预算
    2.清晰的响应关系和执行流程
    3.可靠的过程型指标
    4.准确地结果型指标
    5.科学合理的效果评价方式
    6.知识的沉淀
    7.一个聪明的负责人
  • 我们需要哪些过程型和结果型指标？
    以我们目前的O2O配送业务的运营为例，如果我们做的是一个短期的活动，我们所要追踪的过程型指标，至少需要：预算、活动覆盖人数、活动响应人数、活动规则达标人数、支出百分比（已支出金额占预算的比例）。
    对于一个长期的活动或策略，我建议只追踪结果型指标的变化，而结果型指标就是我们要关注的核心指标。
  • 运营活动如何评价？
    这或许是本篇文章中最核心的部分了，以我的角度，运营活动的评价，只是回答两个个问题：明确的活动目标是否达成？预算是否超支？
    活动目标达成且预算控制住，那就是个好的运营活动！
  • 如何判定活动目标是否达成？
    活动目标一定是围绕核心结果指标来制定的。那么判断活动的效果如何，就是衡量核心结果指标是否有质变。如何展开评价？
    首先，对核心业务指标做1-2层的拆解。为什么这么做呢？因为核心业务指标往往受多重因素的影响，我们尽量拆解到我们的运营动作能够直接影响，同时与核心指标的关系又比较近的一层。

    例子4：比如我们做某个活动，目的是提高午高峰的接单率，那接单率就是我们的核心结果指标；在评价时，我们根据运营动作的响应关系，将接单率拆为推单数和活跃运力数，我们所直接影响的是活跃运力数。若我们活动的目标群体是近1个月注册的活跃运力，那么活跃运力指标还需拆解一层，统计近1个月注册的活跃运力和非近1个月注册的活跃运力。

    其次，要从时间维度对结果型指标进行对比，也就是活动前后的对比。需要注意，活动前后的数据对比，一定要跨满一个业务周期,比如，我们的业务有明显的7天的周期波动，那么运营活动一定要跨满七天。同时采用均值的方式，对比平均水平的变化。这点大家尤其要重视！

    例子5：承接例子4，活动开始后，我们至少要统计满7天的数据，才可以开始做评价。评价时，我们计算活动后7天的平均接单率，然后与活动前的7天平均接单率进行对比。如果条件允许，我建议取活动前的均值数据跨2个周期，也就是14天，但要保证在这14天中没有相似的活动在进行，且政策上没有大的变化。

    那么，活动前后对比数字差别达到多大，算是有区别而不是随机波动呢？粗略的估计方式是5%，即活动前后的数据差别达到5%以上，才能说活动有显著的效果。精细的方式需要拉长时间后，对活动前后两段数据做方差分析，这里不累述了。
    另外，对于结果型指标，其实并没有必要在活动期间天天追踪。真正重要的是，活动的跨度必须超过一个业务周期，在超过一个业务周期后，对结果型指标进行汇总，与活动前对比。
    最后补充一点，如果条件允许，建议在活动施行的时候，找一个参照系，横向对比活动的效果。这样能排除掉系统性的影响。比如，全国各地的接单率都在涨，在某地上了一个活动，发现接单率涨了，说是活动带来的效果，就很牵强了。我们已经做了城市的分群，在同群组里面的城市，可以寻找规模相似的，最为参照系。

  • 一定要注意预算控制，盯紧活动的投入产出比
    任何运营，都不能脱离对预算的考虑，这也是我们目前最薄弱的环节。活动前，估计好预算总额，在活动执行的过程中，时时关注预算的消耗情况（每天统计），这是非常有必要的。
    关注预算总额是否超支以外，我们需要计算ROI，即投入产出比。不同的活动，投入产出比的计算方式一定不同。

    例子6：比如我们唤起运力的活动，花了多少钱cost，唤起多少运力rider，这部分运力送掉多少单order，我们就需要计算cost/rider+平均每运力一天的补贴，cost/order+平均每单补贴。

    除了计算ROI，我们还需要关注在执行活动时，整个城市的成本情况，是否符合我们的宏观的预算限制。最好的情况是，活动执行的同时，整体成本并没有上升，或者在下降。即我们要把钱挪到该用的地方。

  • 活动结束后，后续影响的衡量
    一个短期活动做完后，我们还有必要追踪活动结束后的结果型指标如何变化。最理想的情况是，一个活动结束后，结果型指标依然保持在活动时的优秀水准，也就意味着，一个短期活动带来了长期的正向效益。
    我们不能忽视有些运营活动带来的滞后效应和连带效应。
  • 相似活动间效果的对比，总结经验
    不同时期进行的相似活动甚至是相同活动，我们要做好活动数据的存档，来观察活动间的对比。许多探索性的活动，我们是有必要计划成系列活动以达到我们的实验目的的，比如价格探底测试，我们应该分阶段，分地域类型，进行系列测试，从各次的数据存档中，去总结规律。
    随着运营的逐步精细化，我们需要具备系列活动的策划和执行能力！

• 小结

  写了那么多字，实非我愿。但无奈要表达的东西太多，简单总结为以下几点：

  1. 指标的设计需要关注信度和效度
  2. 关注3-5个核心指标，结合地域和时间两个维度
  3. 运营活动的量化需分清过程型指标和结果型指标
  4. 运营效果的评价需要计算跨业务周期的均值，差别在5%以上才值得说道
  5. 一定要注意预算和投入产出比
  6. 活动要做好数据和经验的存档，做活动间效果的对比

文中提到的信息，希望能帮助大家在未来的运营工作中，思路更清晰，执行更高效，效果更显著！~