領導人為何要了解公司的演算法

人工智慧最讓人焦慮的事情之一，不是擔心它會轉而對抗我們，而是我們根本無法理解它是怎麼運作的。有一些系統很惡劣，例如在信用申請過程中歧視女性，或是在刑事判決中做出種族主義的建議，或是減少經確診需要額外醫療照護的黑人病患人數等，而針對這種惡劣系統的解決方案，看來可能是「可解釋的人工智慧」。但有些時候，與知道「為什麼」演算法做了某個決定一樣重要的是，要能夠在一開始就詢問，它經過優化是為了做「什麼」？
機器學習演算法常被稱為黑盒子，因為它們很類似一個封閉的系統，接收了投入要素之後就產出某樣東西，而沒有解釋為什麼。知道「為什麼」對許多產業很重要，尤其是承擔受託義務的產業（例如消費金融），或是攸關脆弱生命的產業（例如健康照護和教育），或是必須能向選民合理化說明自身決策的領域（軍事或政府的應用）。
可惜，對於深度學習平台，可解釋性是有問題的。在許多情況下，機器學習的吸引力，在於它能發現違反邏輯或直覺的形態。如果你能夠用簡單的方式去描繪投入和產出之間的關係，以解釋這種關係，那麼你在這種情境下可能根本不需要機器學習。這與手寫程式碼的系統不同，你不能只看看神經網路內部，就了解它是怎麼運作的。神經網路是由上千個