演算法經過優化是為了做「什麼」，應該會受到股東、顧客，以及主管機關的質疑。可能有人要領導人揭露，人工智慧系統的設計背後有哪些人為決定、考量了人們關切的哪些道德和社會問題、獲得訓練資料的來源與方法，以及監控那些系統產生的結果是否存在偏見或歧視。領導人應仔細記錄決策，而且一定要了解業務核心的演算法流程。
人工智慧最讓人焦慮的事情之一，不是擔心它會轉而對抗我們，而是我們根本無法理解它是怎麼運作的。有一些系統很惡劣，例如在信用申請過程中歧視女性，或是在刑事判決中做出種族主義的建議，或是減少經確診需要額外醫療照護的黑人病患人數等，而針對這種惡劣系統的解決方案，看來可能是「可解釋的人工智慧」。但有些時候，與知道「為什麼」演算法做了某個決定一樣重要的是，要能夠在一開始就詢問，它經過優化是為了做「什麼」？
機器學習演算法常被稱為黑盒子，因為它們很類似一個封閉的系統，接收了投入要素之後就產出某樣東西，而沒有解釋為什麼。知道「為什麼」對許多產業很重要，尤其是承擔受託義務的產業（例如消費金融），或是攸關脆弱生命的產業（例如健康照護和教育），或是必須能向選民合理化說明自身決策的領域（軍事或政府的應用）。
可惜，對於深度學習平台，可解釋性是有問題的。在許多情況下，機器學習的吸引力，在於它能發現違反邏輯或直覺的形態。如果你能夠用簡單的方式去描繪投入和產出之間的關係，以解釋這種關係，那麼你在這種情境下可能根本不需要機器學習。這與手寫程式碼的系統不同，你不能只看看神經網路內部，就了解它是怎麼運作的。神經網路是由上千個
機器學習演算法常被稱為黑盒子，因為它們很類似一個封閉的系統，接收了投入要素之後就產出某樣東西，而沒有解釋為什麼。知道「為什麼」對許多產業很重要，尤其是承擔受託義務的產業（例如消費金融），或是攸關脆弱生命的產業（例如健康照護和教育），或是必須能向選民合理化說明自身決策的領域（軍事或政府的應用）。
可惜，對於深度學習平台，可解釋性是有問題的。在許多情況下，機器學習的吸引力，在於它能發現違反邏輯或直覺的形態。如果你能夠用簡單的方式去描繪投入和產出之間的關係，以解釋這種關係，那麼你在這種情境下可能根本不需要機器學習。這與手寫程式碼的系統不同，你不能只看看神經網路內部，就了解它是怎麼運作的。神經網路是由上千個