如何做改版效果评估？(转载：阿里巴巴_B2B_UED 晚风)

一、背景

互联网产品的节奏特点就是小步快跑，不断迭代优化，因此产品改版是很常见的情况。设计师和产品同学等也都意识到可以借助调研帮助实现业务目标和更好满足用户需求。但是在实际工作中，笔者经常会遇到设计师在改版前会来讨论要调研的内容，表示不太清楚从何入手，或者改版后过来咨询“我们想看看改版后的效果，但是不知道该用哪些指标，看哪些数据？” 鉴于以上情况，笔者结合项目实践，归纳出一些通用型的经验和流程来帮助设计师自行开展改版项目的调研工作，由于篇幅的问题，本文先只介绍改版后的效果评估部分，总结起来，可以从3个意识，5个环节入手，具体请看下文。

二、改版效果评估要具备的3个“意识”

在介绍具体的实操流程前，先把个人认为非常重要的三个“意识”分享如下：

Tips1: 评估工作要提早开始准备，改版结束才想起来需要收集分析数据可能就来不及了；

Tips2:改版目标要清晰、具体、可量化；

Tips3:关注数据，更要重视和分析引起数据变化的原因（设计，功能等），以作为后续工作的指导。

三、效果评估流程的5个环节

笔者通常把效果评估流程分为以下几个环节，根据大家集中集中反馈的问题情况，本文重点介绍制定指标和对比分析两个环节。

1、明确改版目标

具体，可量化，可实现（目标数据合理；改版内容与目标相关较大）的改版目标是制定评估指标的前提。

【反例】改版目标：通过改版xx页面，提升用户体验，促进用户再次购买

【解读】

1）不够具体：用户体验包含的范围太大了，具体指哪方面？效率，满意度？如果不能清晰的定义，当然也就无法衡量。与之对应的，“促进再次购买”就可以通过“复购率”等指标进行解读和评估。

2)不能量化：即使促进再次购买，那么计划是提升多少？有了具体的目标数字，才能评估目标的完成程度，当然，如果目标是提升了就好，不在乎具体数字，那另当别论。

3)不容易实现：在本案例中，经过与设计师的沟通，发现改版的页面是订单列表页，本次改版重点是解决收集到的的用户体验问题，减少操作失误等，且改版内容也主要是信息布局等。可见，这些改版内容并不太能“促进再次购买”因此，制定这个目标并不太合适。

【修改后的目标】：通过改版XX页面，用户的一次操作成功率提升5%，解决体验问题10个。

所以：如果下次苦于找不到改版效果评估的指标，可以先回头检查一下改版目标制定的是否具体，可量化，可实现。

2、根据改版目标制定衡量指标

当然，清晰的目标还是依赖于对目标的拆解能力的，不排除有些童鞋表示“我就是不知道如何从比较宏大的目标变成具体的小目标，该用哪些指标来表达呢”？或者之前就定的比较模糊，现在都改版完了，也没办法完善目标了。那么，笔者先介绍一个从改版目标推导到衡量指标的思考模型，再介绍一个自身实践总结的常用评估模型供参考。

1)从目标到指标的思考模型

当确定了比较宏观的目标后，还需要找到能量化、细化目标的指标，这个推导的思路可以借鉴Google的GSM模型

2)评估模型参考

各个产品不同，当然改版目标也不同，但根据笔者的经验，这些目标基本可分为两类：体验目标（如：提升用户满意度）和商业目标（如：提升付费用户规模）。所以，评估模型也按照体验和商业两类分别介绍。

① 用户体验评估模型

由于用户体验是指用户在使用产品/服务时的主观感受，这个概念包含的内容比较多，且比较宏观，必须找到合适的切入点（能较好解释用户体验的一些细分维度）和量化手段（可以观察，收集到数据的指标）才能有效评估体验的质量。在用户体验领域，评估体验的模型，比较知名的有Google的HEART模型，但是由于国内外产品、文化的差异性，导致该模型的适用性受限。1688UED的同学以用户接触和使用产品的路径为主线，提出了用户体验的五度模型，从吸引度、完成度、满意度、忠诚度和推荐度五个维度来评估和量化用户体验质量。

用户体验质量评价的“5度”模型

资料来源：《设计的理性之光数据在互联网产品设计中的应用》戴均开余代军

根据实践发现，在B2B的业务中，由于竞争、商业隐私的问题，B类用户即使觉得产品体验不错，也未必愿意推荐给他人,因此推荐度未必适应于B类业务。而且根据NPS（净推荐系统）的概念，推荐度/推荐意愿能较好的衡量忠诚度，所以笔者认为，不论是B类C类产品，吸引度、完成度、满意度，忠诚度四个维度就好较好的评估用户体验。

另外，根据产品类型不同，在评估用户体验质量时，以上四个维度的权重也是可以有区分的。比如，产品类型可根据目的分为信息型（以展示，引流，介绍为目的的，比如首页）和工具型（需要用户操作较多的，如开通流程，商品发布页面等）。相应的，信息型产品会需要更关注吸引度的目标是否达成，工具型的产品更强调完成度。

② 商业价值评估模型

一般而言，业务目标一般都比较容易量化，也会更具体，不难制定出相应的衡量指标。但为了便于后续的解读和分析，可以考虑补充一些“解释型”指标，以常用的业务目标：GMV（成交金额，收入等）为例，可以从影响GMV的因素入手，得到用户规模/用户量，客单价，转化率等指标。

GMV=用户规模X客单价X转化率

此处的用户规模、转化率等可以根据产品和改版目的的不同具体定义，比如活跃用户，B类用户，购买转化率，点击率等。

③ 评估模型和指标参考示例

以下是笔者在五度模型的基础上，结合在电商网站的实践经验总结的较为常用的模型和指标，具体使用时还是要从自身产品特点（信息型VS工具型），改版目的入手来选择适合的指标。

3) 关于指标使用的建议

指标的制定除了是衡量目标是否达成外，还有个重要的作用在于帮助解读分析改版结果，从而为目标达成提供佐证和为后续的工作提供指导，因此，对于指标的的数量和结构的建议是

① 数量：每个目标对应的衡量指标尽量2个及以上，方便不同的指标相互佐证，提高结论的可信度

② 结构：指标分成结果型和原因型，这样就能既监测结果，又能提供解读，原因型指标更好能与本次改版的内容（设计方案，功能等）相关，便于回顾分析改版内容。

3、指标数据的收集

此部分工作与调研和数据分析相关联大，考虑到已有资料较多和本文篇幅问题，就不再具体介绍实际操作的技巧了，提供一条经验分享，由于需要比较改版前后的数据，因此指标收集的工作尽量在新版上线前就开始准备和开始，毕竟有些数据，尤其是老版本用户评价的收集（问卷投放和回收等）本身就需要一定时间，且新版本上线后也不适合再收集了，缺失了改版前的数据，自然无法比较和衡量效果了。

4、指标的对比

在拿到指标的数据后，对于设计师或产品经理，就可以通过改版指标数据的的变化来分析本次设计、功能的优化的效果了。但是，需要提醒，产品并不是处在真空环境里，除了设计、功能的改变，同期还有很多因素在变化，因此改版前后数据的变化还会来自页面上内容/促销活动、全站流量变化（淡旺季，假期、所处生命周期阶段，即如果产品处于快速成长期，用户规模等都是呈快速增加的趋势的），用户差异、用户的适应度（即：用户使用新版初期，由于觉得新鲜需要探索从而产生了更多使用/点击，这种情况主要出现在信息型产品里，如首页等；或者由于不习惯，一时找不到功能入口，造成短期内效率，满意度等指标下降。）等诸多因素。需注意不同类型的产品（信息型、工具型）所受的影响及大小也会有差异。

为了相对更科学、客观的了解设计、功能的改变带来的效果，就需要把其他因素的作用尽量去除或减少。由于当前改版的对比方式主要有两种， A/B测试（新老版本同时在线）和前后对比测试，所以下文就分别针对两种不同对比方式介绍一些对策。必须指出，由于一些因素本身就难以区分开，比如某个页面上的功能和内容（如新功能才有的新内容/促销活动/商品）所以笔者目前也没有很好的对策能区分开这种因素对改版效果带来的影响。