「A/B測試」中必須避免的三個基本錯誤

解聰文
師大國文研究所博士及台大企管碩士,曾任職於奧地利駐台商務代表辦事處;目前是格博品牌行銷公司合夥人,同時擔任品牌國際化及數位行銷資深顧問。

現在,幾乎每個主要的商務網站都會做「A/B測試」,原因很簡單,因為他們知道每一家競爭對手都在做;而且網路上也可能有人寫文章說過,如果把首頁上的那個藍色按鈕改成紅色,轉換率可以多出258%之類的理論。

不過實際上並不一定如此,有些人就照著這類指示去做,但效果並沒有多好;即使是15年前就開始做A/B測試的偉大Google,測試結果都可能會失準。

以下這些,就是A/B測試初學者常犯的錯誤:

網站流量原本就不夠

在開始做A/B測試之前,原本就要有一定的網站流量,否則統計的信賴區間測試結果會有太高的誤差;換言之,網站的流量越高、而且/或是轉換率越高,就能越快獲得良好的信心水準。

也就是說,網站流量越高,在測試中獲得的轉換率提升幅度,就會越接近A/B測試之後,正式採用版本獲得的實際結果。以目標為消費者的「B2C」網站為例,實務上我們會建議最好有每月100,000不重複訪客的流量;如果是目標為企業的「B2B」網站,則最好有至少每月35,000名的不重複訪客。

除非您的網站每個月都固定有數百萬以上的訪客,否則最好挑流量最大的時候來進行測試。

此外,您網站的每個版本必須有至少50次轉換、而且時間最好能持續一星期以上;因為訪客的行為隨時可能隨著天氣、時間是週末與否、是假日與否等條件而有所改變。

所以在測試時,請留夠長的時間來容納這些變數、並且確保測試期間沒有特別的事件或活動。

一開始就做太複雜的測試

在做第一次測試的時候,請先從簡單的部分開始;要進行有效的A/B測試,必須要保持有效的過程。

您必須從使用者會在網頁上做的各種動作開始,並且觀察「實際因素」進入「理論設計」之後的結果,再看看哪些手法有用、哪些沒用;並一一分析執行過程中的問題出在哪裡,然後記下新的想法,最後分析測試結果。

接下來,可以思考一下測試規模是否有擴大的彈性、是否需要增加更多資源等等;從某些角度來說,做A/B測試有點像是在做重量訓練:不要一開始就舉最重的重量、也不要做太複雜的練習動作。

最適合先列入A/B測試的項目,是將重要頁面簡化之後的效果。

同樣的道理,A/B測試要從簡單的項目開始,把焦點集中在流程中的每個步驟,設定安全停損點、並隨時調整測試內容,以免測試中發生任何意料之外的狀況。

這樣做的好處,在於可以更快看到初步的結果;太早遭遇失敗(即使是最有經驗的專家來操作,也很容易發生),是許多人放棄測試、甚至主張測試無用的原因之一。

一開始就有好的結果,可以讓相關人員更有繼續動機、也更願意鼓勵同事參與。

最適合先列入測試的項目,是將重要頁面簡化之後的效果:滑動幻燈秀真的必要嗎?如果把那些按鈕拿掉會不會更好一點?除了自己觀察之外,有經驗的A/B測試專家應該也能提供很好的建議。

忽略其實很重要的細節

有些人對於網路行銷活動的觀念,是「要玩就要玩大的」;當然,效果大的地方很重要,但小地方也不能就這樣忽視。因為,魔鬼就藏在數字裡。

舉個簡單的例子:如果A/B測試中表現較好的版本,能增加5%的轉換率、而且每個月都有差不多的結果,那麼每年總共就有高達80%的成長;即使是小小的改變,累積起來也是一筆不小的資產。

不過,如果您持續改進網站設計,就比較不容易看到瞬間的大幅變動;如果一直都只看到小幅成長,也不用難過,因為這樣表示您的網站表現已經很好。一般來說,已經相當成熟的網站,是很不容易看到大幅變動的。

所以,即使是小小的改進,也可能代表:1. 網站的體質原本就相當不錯,2. 如果能長時間持續,一段時間之後您將會得到令人驚喜的回報。

參考閱讀:

「A/B測試」在網路行銷上的妙用

 


喜歡我們的文章嗎?按讚立即加入粉絲團 :)

IDEAS Night

當越來越多毛小孩在家中佔有一席之地,隨之而來的龐大需求也帶來商機。全國擁有75家分店的萬達寵物集團旗下有寵物公園、凱朵寵物美容沙龍、貓狗隊長等品牌通路,本次邀請到其執行董事與法務及採購長來分享集團化的點滴與注意事項。

立即搶位



推薦您也參考

獎勵作者

歡迎您以點數獎勵作者:

關於點數的獲得與使用方式,請參閱說明