沒有人真的知道先進的機器學習算法是如何工作的，而這恐將成為日后的一大隱憂。

去年，一輛奇怪的無人駕駛汽車出現在新澤西州蒙茅斯縣的道路上。這輛由芯片制造商Nvidia開發的實驗車和通用公司、Google和特斯拉所展示的自動駕駛汽車有所不同，該車的 AI 技術能力得到了大幅的提升。其中，最出彩的一點是它沒有遵循由工程師或程序員所提供的指令，與之相反，它完全依賴一種通過觀察人類行為來訓練自己如何駕駛的算法。

從技術上來講，無人駕駛是一項創舉。但令人不安的是人類并不完全清楚汽車是怎么做出決策的。簡單而言，來自車身上傳感器的信息直接進入一個巨大的人工神經網絡，然后這個神經網絡處理數據，最后發出類似轉動方向盤、踩剎車等命令。

這一結果似乎與人類駕駛員的動作反應一樣。然而，如果有一天它做了一些意想不到的事情呢？例如失去控制撞上了一棵樹，或者當紅燈亮時卻猛踩油門。

當然，我們現在還很難給出結論。因為這個系統太復雜了，即使是設計它的工程師可能也無法分析出它發出某一指令的原因。當然，你也不能強求這個神經網絡能夠給出它下達每一個指令的原因：因為目前為止還沒有一套能夠讓AI自己解釋自己行為的系統。

不過，Nvidia的這輛車卻說明汽車的底層AI技術（也就是深度學習）近年來已經被證明是一項非常厲害并且高效的技術，它如今被廣泛應用于圖像字幕、語音識別和語言翻譯等工作。現在，這項技術甚至被寄予厚望用于診斷致命的疾病，做出大宗貿易的決策等事情，徹底改變了各行各業原本的運作方式。

這種翻天覆地般的改變真的會發生嗎？不會，或者說不應該發生。除非我們找到方法讓深度學習進行自我解釋，并且能夠讓它對它的用戶負責。否則我們將很難保證基于深度學習的產品永遠保持一個穩定的狀態，這也就是 Nvidia 的這輛車仍然還是試驗品的一個原因。

一直以來，數學模型已被用來幫助確定究竟誰可以被假釋、誰可以被給予貸款以及誰可以被聘用。當然前提是你可以接觸到這些數學模型，并了解它們的推理原因才行。但是銀行、軍方、雇主和其他人正在將注意力轉向更復雜的機器學習，畢竟這樣可以讓他們作出的決策變得更加精準。

作為機器學習中最普遍采用的方法，深度學習代表了一個完全不同的計算機編程方式。麻省理工學院教授 Tommi Jaakkola 說：“邏輯解釋已經是一個重要的問題，未來只會變得更加重要。因為無論是投資決策、醫療決策還是軍事決策，用戶都不希望只依靠‘黑匣子’，而想知道為什么神經網絡會作出這一決策。”

目前已經有一種論點：審查人工智能系統如何作出相應的決策應該是一項基本的法律權利。從 2018 年夏天開始，歐盟可能要求公司能夠向用戶解釋他們所使用的人工智能作出的決策。

然而，這并不現實，即使是使用深度學習來投放廣告或是推薦歌曲那些相對簡單的系統，對于我們人類來說，其背后的運行方式也難以理解。就算是創造出這些系統的程序員也沒辦法完全解釋這些機器的行為。

那么問題來了，隨著 AI 的進步，我們是否可以掌控它的發展節奏？但轉念一想，人類其實也不能真正地理解并解釋我們自己的思維過程，可這并不影響我們直觀地信任并觀察對方。那么，對于與我們思維方式不同的機器來說是不是也同樣有這種可能？

歷史上，人類從來沒有創造過一個連創造者都不能完全理解的機器。但如今我們卻在與這些難以預測的人工智能機器交流與相處中遇到了問題。這些問題讓我走上了 AI 算法的極具挑戰的前沿研究之路，從 Google 到 Apple 以及其他公司都是這條路的一部分，當然也包括當今世上偉大的哲學家們關于科技倫理的各種會議。

藝術家Adam Ferriss使用Google Deep Dream創作的圖像

2015年，紐約西奈山醫院的一個研究小組受到啟發，將深度學習應用于醫院龐大的患者記錄數據庫管理。在該數據集中，每個患者擁有上百個特征變量，包括醫療測試結果、醫生訪查等等。被研究人員命名為 Deep Patient 的這個程序使用來自約70萬個人的數據進行訓練，在新患者資料上進行測試時，它顯示出極強的疾病預測能力。

沒有任何醫療專家的指導，Deep Patient 發現了隱藏在數據中的規律，這些數據規律顯示出人類會在什么時間段會逐漸得病。該研究小組的負責人Joel Dudley表示，目前有很多方法可以根據患者醫療數據進行很準確疾病預測。但他補充說：“相比起來，深度學習是一種更好的方法。”

同時，Deep Patient得出的結論有點令人費解——它似乎在預測精神分裂癥等精神類疾病上表現尤其出色。眾所周知，處理精神分裂癥對于醫生來說是非常困難的，所以 Dudley 很想知道為什么 Deep Patient 在這方便這么厲害，然而至今他也還不知道原因。

對于它是如何進行預測的，這個新工具并沒有表現出任何的技術原理。如果像 Deep Patient 這樣的工具確實能幫助到醫生，那么理想的情況就是給出它預測的理由，讓醫生確信它是準確的。“我們可以建立這些模型”，Dudley說，“但我們不知道他們是如何運作的”。

但人工智能并不是生來就帶有神秘感。從一開始，對于理解和解釋AI就有兩派說法。一些人認為應該根據規則和邏輯推理的來建造人工智能，這種機器的內部工作原理對任何關心它的人都應該是透明的。

另一些人認為，如果機器可以從生物學中獲得靈感，通過觀察和體驗學習，“智能”就會更容易出現。這意味著程序員不用編寫命令來解決問題，而程序會根據示例數據和期望輸出生成自己的算法。后來演變成當今最強大的AI系統，機器學習技術遵循的是后一條路徑：機器本質上是自己對自己進行編程。

起初，深度學習的實際應用是有限的。在20世紀60年代和70年代，它仍主要局限于相關領域的邊緣。后來，許多行業的辦公自動化和大數據的出現又引起了人們對它的興趣。這激發了更強大的機器學習技術發展，特別是人工神經網絡。到 20 世紀 90 年代，神經網絡已經可以自動將手寫字符轉換成數字化的字符。

但是直到近 10 年，經過幾次巧妙的調整和改進，深度神經網絡在自動感知方面出現了顯著提升。深度學習造就了如今紅爆半邊天的AI。它賦予了計算機非凡的力量，使得計算機可以像人類一樣識別出我們口中的各種語言。深度學習徹底改變了計算機視覺，大大提高了機器翻譯的準確度。如今它正用于指導醫藥、金融、制造業等方方面面的各種關鍵決策。

藝術家Adam Ferriss使用谷歌 Deep Dream 創作的圖像

任何機器學習技術的工作本質都比手工編碼系統更不透明，甚至對計算機科學家來說也是這樣。這并不是說，所有未來的AI技術也將同樣如此。但是由于它的本質，深度學習就是一個特別不透明的黑匣子。

你不能只是看一下神經網絡的內部就可以知道它是如何工作的。神經網絡是由成千上萬個神經元的構成，它們排列成數十甚至上百個錯綜復雜的互連層。第一層中的神經元各自接收輸入信號，例如圖像中像素的強度，然后在輸出新信號之前進行計算。這些輸出在復雜網絡中被當做輸入傳入下一層中的神經元，就這樣一層一層傳遞，直到產生總體輸出。

此外，還有一個被稱為“反向傳播”的過程，這是一種通過反饋調整單個神經元，使得網絡可以產生期望輸出的算法。

深度神經網絡中的許多層可以識別出不同抽象層次的特征。舉例來說，在一個識別狗狗的系統中，較低的幾層通常識別出簡單的特征，例如輪廓或顏色；更高的層可以識別更復雜的特質，例如毛皮或眼睛；輸出層將其全部標識為狗。簡單來講，同樣的方法可以有不同的應用：自然語言處理或是自動駕駛。

現在研究人員已經使用各種巧妙的策略來更詳細地解釋這樣的系統內部到底是怎么運作的。2015 年，Google的研究人員修改了基于深度學習的圖像識別算法，使它根據這些每層學習到的特征生成原始輸入圖片，而不是把識別到的物體在圖片中標注出來。通過運行這樣的逆向算法，他們發現了程序用來識別的特征，比如鳥和建筑物。

由一個名為 Deep Dream 的程序產生的圖像顯示，由云和植物等特征生成的原始圖片竟然是一些奇形怪狀像外星生物的動物，森林和山脈的特征最終生成的是幻像塔。這些圖像證明，深度學習不一定是完全不可解釋的。

研究人員透露，這個算法主要歸功于熟悉的視覺特征，例如鳥的喙和羽毛。但是，這些圖像也暗示了人類與機器學習的不同之處，因為深度學習可以注意到一些我們人類容易忽略的特征。Google 研究人員指出，當這個算法生成啞鈴的圖像時，它也同時生成了一個舉著它的人類手臂。顯然機器得出了一個結論：手臂是這個啞鈴的一部分。

神經科學和認知科學的思想使得研究 AI 內部運作原理取得了進一步的進展。由懷俄明大學助理教授 Jeff Clune 領導的一個團隊，采用等同于光學幻覺的 AI 來測試深度神經網絡。在 2015 年，Clune的小組展示了某些圖像可以愚弄一個神經網絡，讓它感知到了實際不存在的東西，因為這些圖像利用了系統搜索的低級模式。

Clune的合作者之一，Jason Yosinski也制作了一個工具：類似一枚插在大腦中的探針。這個工具的目標對象是網絡中間任何一個神經元，找到使它激活最顯著的那幅圖像。最終顯示的這幅圖像是抽象的（想象一幅印象派的畫作），這也突出了機器感知能力的神秘性質。

早期人造神經網絡

我們需要特別地關注 AI 的思維模式，然而目前并沒有一個簡單的解決方案。深度神經網絡中計算的相互作用對于更高層次的模式識別和復雜的決策是至關重要的，但是這些復雜的計算正是我們理解它的困難之處。“如果你有一個非常小的神經網絡，你也許可以理解它”，Jaakkola說。“但是，一旦它變得非常大，它每層有數千個神經元，然后一共有數百層，那么這樣的神經網絡是完全無法理解的。”

在 Jaakkola 辦公室旁邊的是麻省理工學院教授 Regina Barzilay，她決心將機器學習應用到醫學場景。幾年前，在43歲時她被診斷患有乳腺癌。診斷本身讓她非常震驚，但是令Barzilay同樣感到失望的是，前瞻性的統計學和機器學習方法沒有被用來幫助腫瘤研究和指導病人進行治療。

她說，AI 具有巨大的醫學革命潛力，但要實現這一潛力則需要除了醫療記錄以外更多的數據。她設法使用更多的原始數據，但圖像數據、病理數據以及其他各種信息目前并不容易搞到。

去年完成癌癥治療后，Barzilay和她的學生開始與馬薩諸塞州總醫院的醫生合作開發出一個數據挖掘系統，通過分析患者的病理報告來確定研究人員想要研究的特定臨床特征。然而，Barzilay心里明白，這個系統需要解釋它的推理過程。

所以，她與Jaakkola和一名學生增加了一個步驟：系統提取并標注出一個文本片段，這個文本片段代表著機器挖掘出的一種模式。

Barzilay和她的學生們也在開發一種能夠在乳房X光照片圖像中發現乳腺癌早期癥狀的深度學習算法，并且給予這個系統一些“解釋其如何推理”的能力。“人類真的需要和機器不斷地合作”，Barzilay說。

美國軍方向使用機器學習的項目投資了數十億美金，這些項目包括為車輛和飛行器導航、確定攻擊目標并幫助分析人員篩選大量情報數據。然而，這些項目所用到的機器學習同樣不能解釋作出決策的推理過程，美國國防部已將機器學習的不可解釋性定性為“關鍵的絆腳石”。

國防高級研究計劃署（DARPA）的項目經理 David Gunning 正在監督一個名為“可解釋的人工智能”計劃。作為這個部門的資深工程師，Gunning曾經監督過一個 DARPA 項目，而這個項目最終創造了Siri。

Gunning表示，自動化決策正在進入各種軍事領域。情報分析員正在測試一個機器學習項目，作為識別與分析大量監控數據的模式。軍方也正在開發與測試許多無人駕駛的地面車輛和飛機。然而，士兵們可能會對機器人坦克感到不太舒服，因為這些機器人坦克并不能向士兵們解釋自己的作戰行為，分析人士也不愿意在沒有推理過程的情況下采取行動。

“這些機器學習系統的性質通常會產生大量的虛假警報，所以 Intel 的分析師真的需要作出額外的努力，來幫助人們理解這些機器的決策是如何作出的。”Gunning說。

今年 3 月，DARPA 為 Gunning 的這個“可解釋的人工智能”計劃挑選了 13 個來自學術界和行業的項目。這些項目中的一些人可以在華盛頓大學教授Carlos Guestrin領導下繼續開展工作。

Adam Ferriss受啟發后的作品

Guestrin教授和他的同事們為機器學習系統研發了一種能夠解釋其決策的算法。在這種方法下，計算機會自動從數據集中找到幾個示例并簡短地解釋它們。例如，篩選電子郵件中來自恐怖分子的郵件。這個系統可能會在其訓練和決策過程中使用數百萬條消息。但是運用華盛頓大學團隊的方法，它可以高亮顯示某條電子郵件中的某些關鍵字。

Guestrin團隊還設計了一套圖像識別系統，其可以高亮顯示出原始圖像中對神經網絡最后做決策時影響最大的部分。

然而，這種方法的一個缺點是神經網絡所提供的解釋將始終是簡化的，這意味著一些重要的信息可能會丟失。“我們還沒有實現完整的目標，也就是 AI 可以與人類進行交流，并且能夠解釋它的決策行為”，Guestrin說，“我們距離真正能夠完全解釋AI還有一段很長的路要走”。

目前，“AI的可解釋性”問題并非只存在于高風險的情景（像癌癥診斷或是軍事演習）。如果日后AI成為我們日常生活中密不可分的一部分，那么了解它的決策原因也將是至關重要的。領導蘋果Siri團隊的Tom Gruber說，可解釋性是他的團隊的一個關鍵考慮因素，因為它試圖使Siri成為一個更聰明，更有能力的虛擬助手。

Gruber 沒有討論 Siri 未來的具體計劃，但是我們可以很容易想像，如果用戶收到 Siri 的餐廳推薦，用戶想知道為什么 Siri 這么推薦。Apple 的 AI 研究總監和卡內基梅隆大學的副教授Ruslan Salakhutdinov認為，AI的可解釋性是人與智能機器關系發展的核心，可解釋性將會帶來信任。

其實，很多的人類行為也是不能夠被詳細解釋的，因此我們更不能期望AI可以解釋它所做的一切。懷俄明大學的Clune教授說：“即使有人可以給你一個合理的解釋（對于他或她的行為），這個解釋也可能是不完整的，對于AI同樣如此。它的智力本質和人類相似，只有其中的一部分才能被理性地解釋。另一部分只是本能反應，或者是潛意識。”

如果是這樣，那么在某些階段我們可能要么簡單地信任 AI 的判斷，要么就不使用它。同樣這一判斷將必須納入社會情報。正如社會的建立與運行是基于對人類行為的規范束縛，今后的AI系統需要尊重和符合我們的社會規范。如果我們要創造機器人坦克和其他殺戮機器，那么它們所做的決策應該與我們的道德判斷相一致。

為了探索這些形而上學的概念，DT君的美國同事 Will Knight 去了塔夫茨大學，與著名哲學家和認知科學家 Daniel Dennett 會面，他主要研究意識和心靈。

Daniel Dennett 最新的一本書《從細菌到巴赫》（From Bacteria to Bach and Back）表明，智力進化的一個本質特征是進化到一個系統，這個系統中即使創造者都無法解釋它某些行為的原因。Dennett 表示：“我們做事情一定要保持明智，我們對人工智能有什么標準？對我們人類自己又是什么標準？”

同時，他還有一個關于追求 AI 可解釋性的警告。他說：“我認為，如果我們要使用 AI 技術并依靠它們，那么我們還是要盡可能地理解AI作出決策的原因和過程。”但由于可能沒有完美的答案，我們則應該像人類對彼此那樣謹慎來對待AI——無論機器看起來有多聰明。

“如果在解釋 AI 的行為上，AI自己都不如我們解釋得好的話，那就不要信任它了。”

來源：DeepTech深科技