價值上億的線上實驗

2012年，微軟（Microsoft）一名在搜尋引擎Bing任職的員工，對廣告標題呈現的方式，有新的構想。開發這個新做法並不需要很多資源，只需要花一名工程師幾天的時間，但它只是員工提出的數百個構想之一，專案經理認為不必優先處理。於是，這個構想被擱置超過六個月，直到一名工程師發現，那個構想要寫的程式碼成本不高，於是展開一個簡單的線上對照實驗，也就是AB測試，來評估這個構想的影響。新標題呈現形式才推出數小時，就產生異常高的收入，觸發「好得難以置信」的警報。這種警報通常意味著實驗出錯，但這一次不是。分析顯示，這個構想提高營收的幅度達到驚人的12％，等於光是在美國，一年便可以增加一億美元的收入，而且，還不會損害關鍵的使用者體驗指標。它是歷來替Bing創造最多收入的構想，但在測試之前，價值一直遭低估。

這真是教人謙卑的經驗！這個例子顯示，新構想的潛力可能很難評估。同樣重要的是，它說明了一件事：以相當低的成本同時執行多項測試，對公司大有好處。如今，已有愈...