刻意犯錯拚學習

在AT&T 的貝爾電話網路系統（Bell System）拆解之前，美國的電話公司受到強制要求，無論顧客的信用評等如何，都必須對負責區域內的所有家庭提供服務。當時美國每年約有1,200萬名新用戶，年度壞帳金額超過4.5億美元。為了防範這種信用風險，並防止顧客竊取與濫用設備，在法律允許下，電信公司得要求一小部分用戶提供押金。貝爾旗下的每家公司，都各自發展出專屬的複雜統計模型，來找出哪些顧客的風險最高，因此應向他們索取押金。但各家公司從來也不知道自己的模型是否正確。最後，它們決定刻意犯下代價可能達數百萬美元的錯誤，來測試模型的正確性。

那些公司有將近一年的時間，從歸類為高度風險的名單中隨機挑選出近10萬名新顧客，而對這近10萬名的新顧客都不要求付押金。這麼做顯然是錯的，因為其中有部分顧客一定不會支付帳單，或是會帶著設備一起跑掉，造成電信業者數百萬美元的損失。但因為這些公司更想了解自己不知道的事情，因此決定用這個方法來研究這群顧客與其他客群的差異。