一、背景

互聯(lián)網(wǎng)產(chǎn)品的節(jié)奏特點(diǎn)就是小步快跑，不斷迭代優(yōu)化，因此產(chǎn)品改版是很常見的情況。設(shè)計(jì)師和產(chǎn)品同學(xué)等也都意識(shí)到可以借助調(diào)研幫助實(shí)現(xiàn)業(yè)務(wù)目標(biāo)和更好滿足用戶需求。但是在實(shí)際工作中，筆者經(jīng)常會(huì)遇到設(shè)計(jì)師在改版前會(huì)來討論要調(diào)研的內(nèi)容，表示不太清楚從何入手，或者改版后過來咨詢“我們想看看改版后的效果，但是不知道該用哪些指標(biāo)，看哪些數(shù)據(jù)？” 鑒于以上情況，筆者結(jié)合項(xiàng)目實(shí)踐，歸納出一些通用型的經(jīng)驗(yàn)和流程來幫助設(shè)計(jì)師自行開展改版項(xiàng)目的調(diào)研工作，由于篇幅的問題，本文先只介紹改版后的效果評(píng)估部分，總結(jié)起來，可以從3個(gè)意識(shí)，5個(gè)環(huán)節(jié)入手，具體請(qǐng)看下文。

二、改版效果評(píng)估要具備的3個(gè)“意識(shí)”

在介紹具體的實(shí)操流程前，先把個(gè)人認(rèn)為非常重要的三個(gè)“意識(shí)”分享如下：

Tips1: 評(píng)估工作要提早開始準(zhǔn)備，改版結(jié)束才想起來需要收集分析數(shù)據(jù)可能就來不及了；

Tips2:改版目標(biāo)要清晰、具體、可量化 ；

Tips3:關(guān)注數(shù)據(jù)，更要重視和分析引起數(shù)據(jù)變化的原因（設(shè)計(jì)，功能等），以作為后續(xù)工作的指導(dǎo)。

三、效果評(píng)估流程的5個(gè)環(huán)節(jié)

筆者通常把效果評(píng)估流程分為以下幾個(gè)環(huán)節(jié)，根據(jù)大家集中集中反饋的問題情況，本文重點(diǎn)介紹制定指標(biāo)和對(duì)比分析兩個(gè)環(huán)節(jié)。 

1、明確改版目標(biāo)

具體，可量化，可實(shí)現(xiàn)（目標(biāo)數(shù)據(jù)合理；改版內(nèi)容與目標(biāo)相關(guān)較大）的改版目標(biāo)是制定評(píng)估指標(biāo)的前提。

【反例】改版目標(biāo)：通過改版xx頁面，提升用戶體驗(yàn)，促進(jìn)用戶再次購買

【解讀】

1）不夠具體：用戶體驗(yàn)包含的范圍太大了，具體指哪方面？效率，滿意度？如果不能清晰的定義，當(dāng)然也就無法衡量。與之對(duì)應(yīng)的，“促進(jìn)再次購買”就可以通過“復(fù)購率”等指標(biāo)進(jìn)行解讀和評(píng)估。

2)不能量化：即使促進(jìn)再次購買，那么計(jì)劃是提升多少？有了具體的目標(biāo)數(shù)字，才能評(píng)估目標(biāo)的完成程度，當(dāng)然，如果目標(biāo)是提升了就好，不在乎具體數(shù)字，那另當(dāng)別論。

3)不容易實(shí)現(xiàn)：在本案例中，經(jīng)過與設(shè)計(jì)師的溝通，發(fā)現(xiàn)改版的頁面是訂單列表頁，本次改版重點(diǎn)是解決收集到的的用戶體驗(yàn)問題，減少操作失誤等，且改版內(nèi)容也主要是信息布局等。可見，這些改版內(nèi)容并不太能“促進(jìn)再次購買”因此，制定這個(gè)目標(biāo)并不太合適。

【修改后的目標(biāo)】：通過改版XX頁面，用戶的一次操作成功率提升5%，解決體驗(yàn)問題10個(gè)。

所以：如果下次苦于找不到改版效果評(píng)估的指標(biāo)，可以先回頭檢查一下改版目標(biāo)制定的是否具體，可量化，可實(shí)現(xiàn)。

2、根據(jù)改版目標(biāo)制定衡量指標(biāo)

當(dāng)然，清晰的目標(biāo)還是依賴于對(duì)目標(biāo)的拆解能力的，不排除有些童鞋表示“我就是不知道如何從比較宏大的目標(biāo)變成具體的小目標(biāo)，該用哪些指標(biāo)來表達(dá)呢”？ 或者之前就定的比較模糊，現(xiàn)在都改版完了，也沒辦法完善目標(biāo)了。那么，筆者先介紹一個(gè)從改版目標(biāo)推導(dǎo)到衡量指標(biāo)的思考模型，再介紹一個(gè)自身實(shí)踐總結(jié)的常用評(píng)估模型供參考。

1)從目標(biāo)到指標(biāo)的思考模型

當(dāng)確定了比較宏觀的目標(biāo)后，還需要找到能量化、細(xì)化目標(biāo)的指標(biāo)，這個(gè)推導(dǎo)的思路可以借鑒Google的GSM模型

2)評(píng)估模型參考

各個(gè)產(chǎn)品不同，當(dāng)然改版目標(biāo)也不同，但根據(jù)筆者的經(jīng)驗(yàn)，這些目標(biāo)基本可分為兩類：體驗(yàn)?zāi)繕?biāo)（如：提升用戶滿意度）和商業(yè)目標(biāo)（如：提升付費(fèi)用戶規(guī)模）。所以，評(píng)估模型也按照體驗(yàn)和商業(yè)兩類分別介紹。

① 用戶體驗(yàn)評(píng)估模型

由于用戶體驗(yàn)是指用戶在使用產(chǎn)品/服務(wù)時(shí)的主觀感受，這個(gè)概念包含的內(nèi)容比較多，且比較宏觀，必須找到合適的切入點(diǎn)（能較好解釋用戶體驗(yàn)的一些細(xì)分維度）和量化手段（可以觀察，收集到數(shù)據(jù)的指標(biāo)）才能有效評(píng)估體驗(yàn)的質(zhì)量。 在用戶體驗(yàn)領(lǐng)域，評(píng)估體驗(yàn)的模型，比較知名的有Google的HEART模型，但是由于國(guó)內(nèi)外產(chǎn)品、文化的差異性，導(dǎo)致該模型的適用性受限。1688UED的同學(xué)以用戶接觸和使用產(chǎn)品的路徑為主線，提出了用戶體驗(yàn)的五度模型，從吸引度、完成度、滿意度、忠誠(chéng)度和推薦度五個(gè)維度來評(píng)估和量化用戶體驗(yàn)質(zhì)量。

用戶體驗(yàn)質(zhì)量評(píng)價(jià)的“5度”模型

資料來源：《設(shè)計(jì)的理性之光 數(shù)據(jù)在互聯(lián)網(wǎng)產(chǎn)品設(shè)計(jì)中的應(yīng)用》戴均開 余代軍

根據(jù)實(shí)踐發(fā)現(xiàn)，在B2B的業(yè)務(wù)中，由于競(jìng)爭(zhēng)、商業(yè)隱私的問題，B類用戶即使覺得產(chǎn)品體驗(yàn)不錯(cuò)，也未必愿意推薦給他人,因此推薦度未必適應(yīng)于B類業(yè)務(wù)。而且根據(jù)NPS（凈推薦系統(tǒng)）的概念，推薦度/推薦意愿能較好的衡量忠誠(chéng)度，所以筆者認(rèn)為，不論是B類C類產(chǎn)品，吸引度、完成度、滿意度，忠誠(chéng)度四個(gè)維度就好較好的評(píng)估用戶體驗(yàn)。

另外，根據(jù)產(chǎn)品類型不同，在評(píng)估用戶體驗(yàn)質(zhì)量時(shí)，以上四個(gè)維度的權(quán)重也是可以有區(qū)分的。比如，產(chǎn)品類型可根據(jù)目的分為信息型（以展示，引流，介紹為目的的，比如首頁）和工具型（需要用戶操作較多的，如開通流程，商品發(fā)布頁面等）。相應(yīng)的，信息型產(chǎn)品會(huì)需要更關(guān)注吸引度的目標(biāo)是否達(dá)成，工具型的產(chǎn)品更強(qiáng)調(diào)完成度。

② 商業(yè)價(jià)值評(píng)估模型

一般而言，業(yè)務(wù)目標(biāo)一般都比較容易量化，也會(huì)更具體，不難制定出相應(yīng)的衡量指標(biāo)。但為了便于后續(xù)的解讀和分析，可以考慮補(bǔ)充一些“解釋型”指標(biāo)，以常用的業(yè)務(wù)目標(biāo)：GMV（成交金額，收入等）為例，可以從影響GMV的因素入手，得到用戶規(guī)模/用戶量，客單價(jià)，轉(zhuǎn)化率等指標(biāo)。

GMV=用戶規(guī)模X客單價(jià)X轉(zhuǎn)化率

此處的用戶規(guī)模、轉(zhuǎn)化率等可以根據(jù)產(chǎn)品和改版目的的不同具體定義，比如活躍用戶，B類用戶，購買轉(zhuǎn)化率，點(diǎn)擊率等。

③ 評(píng)估模型和指標(biāo)參考示例

以下是筆者在五度模型的基礎(chǔ)上，結(jié)合在電商網(wǎng)站的實(shí)踐經(jīng)驗(yàn)總結(jié)的較為常用的模型和指標(biāo)，具體使用時(shí)還是要從自身產(chǎn)品特點(diǎn)（信息型VS工具型），改版目的入手來選擇適合的指標(biāo)。 

3) 關(guān)于指標(biāo)使用的建議

指標(biāo)的制定除了是衡量目標(biāo)是否達(dá)成外，還有個(gè)重要的作用在于幫助解讀分析改版結(jié)果，從而為目標(biāo)達(dá)成提供佐證和為后續(xù)的工作提供指導(dǎo)，因此，對(duì)于指標(biāo)的的數(shù)量和結(jié)構(gòu)的建議是

① 數(shù)量：每個(gè)目標(biāo)對(duì)應(yīng)的衡量指標(biāo)盡量2個(gè)及以上，方便不同的指標(biāo)相互佐證，提高結(jié)論的可信度

② 結(jié)構(gòu)：指標(biāo)分成結(jié)果型和原因型，這樣就能既監(jiān)測(cè)結(jié)果，又能提供解讀，原因型指標(biāo)更好 能與本次改版的內(nèi)容（設(shè)計(jì)方案，功能等）相關(guān)，便于回顧分析改版內(nèi)容。

3、指標(biāo)數(shù)據(jù)的收集

此部分工作與調(diào)研和數(shù)據(jù)分析相關(guān)聯(lián)大，考慮到已有資料較多和本文篇幅問題，就不再具體介紹實(shí)際操作的技巧了，提供一條經(jīng)驗(yàn)分享，由于需要比較改版前后的數(shù)據(jù)，因此指標(biāo)收集的工作盡量在新版上線前就開始準(zhǔn)備和開始，畢竟有些數(shù)據(jù)，尤其是老版本用戶評(píng)價(jià)的收集（問卷投放和回收等）本身就需要一定時(shí)間，且新版本上線后也不適合再收集了，缺失了改版前的數(shù)據(jù)，自然無法比較和衡量效果了。

4、指標(biāo)的對(duì)比

在拿到指標(biāo)的數(shù)據(jù)后，對(duì)于設(shè)計(jì)師或產(chǎn)品經(jīng)理，就可以通過改版指標(biāo)數(shù)據(jù)的的變化來分析本次設(shè)計(jì)、功能的優(yōu)化的效果了。但是，需要提醒，產(chǎn)品并不是處在真空環(huán)境里，除了設(shè)計(jì)、功能的改變，同期還有很多因素在變化，因此改版前后數(shù)據(jù)的變化還會(huì)來自頁面上內(nèi)容/促銷活動(dòng)、全站流量變化（淡旺季，假期、所處生命周期階段，即如果產(chǎn)品處于快速成長(zhǎng)期，用戶規(guī)模等都是呈快速增加的趨勢(shì)的），用戶差異、用戶的適應(yīng)度（即：用戶使用新版初期，由于覺得新鮮需要探索從而產(chǎn)生了更多使用/點(diǎn)擊，這種情況主要出現(xiàn)在信息型產(chǎn)品里，如首頁等；或者由于不習(xí)慣，一時(shí)找不到功能入口，造成短期內(nèi)效率，滿意度等指標(biāo)下降。）等諸多因素。需注意不同類型的產(chǎn)品（信息型、工具型）所受的影響及大小也會(huì)有差異。

為了相對(duì)更科學(xué)、客觀的了解設(shè)計(jì)、功能的改變帶來的效果，就需要把其他因素的作用盡量去除或減少。由于當(dāng)前改版的對(duì)比方式主要有兩種， A/B測(cè)試（新老版本同時(shí)在線）和前后對(duì)比測(cè)試，所以下文就分別針對(duì)兩種不同對(duì)比方式介紹一些對(duì)策。 必須指出，由于一些因素本身就難以區(qū)分開，比如某個(gè)頁面上的功能和內(nèi)容（如新功能才有的新內(nèi)容/促銷活動(dòng)/商品）所以筆者目前也沒有很好的對(duì)策能區(qū)分開這種因素對(duì)改版效果帶來的影響。

趨勢(shì)對(duì)比法：

【原理】：網(wǎng)站在不同的生命周期階段（成長(zhǎng)，衰退等），全站流量（包含改版頁面）與流量結(jié)構(gòu)的也都是動(dòng)態(tài)變化的，因此，如果改版頁面前后的變化幅度大于全站的變化幅度，則說明改版有效果

【操作】：

step 1:改版后與去年同期流量對(duì)比，得到該頁面改版前后變化幅度

step 2:提取今年與去年同期全站的流量，得到網(wǎng)站年度變化幅度

step 3:如果改版前后變化幅度>網(wǎng)站年度變化幅度，則為改版帶來的作用

如果對(duì)改版效果的精準(zhǔn)性沒有那么高的要求，一般主要注意取數(shù)時(shí)避開淡旺季、假期，等新版本上線一段時(shí)間再分析即可，如果條件允許，盡量使用A/B測(cè)試的同時(shí)對(duì)比方法。

5、指標(biāo)數(shù)據(jù)的解讀

在拿到改版前后的數(shù)據(jù)后，數(shù)據(jù)的解讀一般就容易開展了，關(guān)于這個(gè)環(huán)節(jié)，有兩個(gè)小建議：

Tips 1: 多個(gè)指標(biāo)（如滿意度，用戶對(duì)某功能的點(diǎn)擊率）等配合使用，能彼此佐證和更好的解讀效果。

Tips 2: 改版前后數(shù)據(jù)的變化不僅能評(píng)估改版目標(biāo)是否達(dá)到，更是對(duì)設(shè)計(jì)、產(chǎn)品等相關(guān)項(xiàng)目組成員工作的反饋，值得根據(jù)指標(biāo)數(shù)據(jù)分析原因，更好指導(dǎo)以后的工作。

四、效果評(píng)估的2個(gè)擴(kuò)展

結(jié)合以上內(nèi)容可以發(fā)現(xiàn)，單次的效果評(píng)估需要投入的時(shí)間和人力資源較多，而且產(chǎn)生的價(jià)值也有限。其實(shí)，改版分析中收集到的這些數(shù)據(jù)還可以發(fā)揮更多用途，也可以采用工具化的方式提升效率。

1、從單次效果評(píng)估到體驗(yàn)摸底與監(jiān)測(cè)

對(duì)于經(jīng)常處于優(yōu)化迭代期的產(chǎn)品，本次改版后的數(shù)據(jù)和用戶反饋其實(shí)就可以作為下次改版前的參考；也能作為業(yè)務(wù)和體驗(yàn)水平的基準(zhǔn)數(shù)據(jù)，通過定期收集這種指標(biāo)數(shù)據(jù)，了解產(chǎn)品是否有異動(dòng)，從而起到體驗(yàn)監(jiān)測(cè)的作用。 而且，即使產(chǎn)品最近暫不改版，也可以參考評(píng)估模型的指標(biāo)對(duì)現(xiàn)有的體驗(yàn)水平進(jìn)行摸底，更好的了解用戶體驗(yàn)現(xiàn)狀。

2、工具化

為了提升效率，可以在數(shù)據(jù)收集環(huán)節(jié)多采用工具的方式來解決，比如，對(duì)于長(zhǎng)期，經(jīng)常觀察的后臺(tái)數(shù)據(jù)通過報(bào)表等方式展示，對(duì)于用戶反饋（如滿意度，忠誠(chéng)度）等體驗(yàn)指標(biāo)，也可以在產(chǎn)品內(nèi)長(zhǎng)期收集和監(jiān)測(cè)，既能提高取數(shù)的效率，也能避免忘記改版前收集數(shù)據(jù)，改版后無數(shù)可看的風(fēng)險(xiǎn)。

五、小結(jié)

綜上，改版效果評(píng)估的調(diào)研工作可以歸納為：三個(gè)意識(shí)，五個(gè)環(huán)節(jié)，兩個(gè)擴(kuò)展。