美國(guó)科學(xué)雜志nautil．us《鸚鵡螺》作家Aaron M． Bornstein發(fā)表了針對(duì)人工智能時(shí)代下神經(jīng)網(wǎng)絡(luò)模型的深度報(bào)道。從語(yǔ)音識(shí)別到語(yǔ)言翻譯，從下圍棋的機(jī)器人到自動(dòng)駕駛汽車(chē)，各行各業(yè)都在該人工智能的驅(qū)動(dòng)下出現(xiàn)了新的突破。雖然現(xiàn)代神經(jīng)網(wǎng)絡(luò)的表現(xiàn)令人激動(dòng)，但也面臨一個(gè)棘手的問(wèn)題：沒(méi)人理解它們的運(yùn)行機(jī)制，這也就意味著，沒(méi)人能預(yù)測(cè)它們何時(shí)可能失靈。正因?yàn)槿绱�，許多人遲疑不前、不敢對(duì)神秘莫測(cè)的神經(jīng)網(wǎng)絡(luò)下注。

在神經(jīng)網(wǎng)絡(luò)中，數(shù)據(jù)從一層傳遞到另一層，每一步都經(jīng)歷一些簡(jiǎn)單的轉(zhuǎn)變。在輸入層和輸出層之間還隱藏著若干層，以及眾多節(jié)點(diǎn)組和連接。其中往往找不出可被人類(lèi)解讀的規(guī)律，與輸入或輸出也沒(méi)有明顯的聯(lián)系�！吧疃取本W(wǎng)絡(luò)便是隱藏層數(shù)量較多的神經(jīng)網(wǎng)絡(luò)

以下為文章全文：

作為IBM的一名研究科學(xué)家，迪米特里·馬里奧托夫其實(shí)不太說(shuō)得上來(lái)自己究竟打造了什么。他的部分工作內(nèi)容是打造機(jī)器學(xué)習(xí)系統(tǒng)、解決IBM公司客戶面臨的棘手問(wèn)題。例如，他曾為一家大型保險(xiǎn)公司編寫(xiě)了一套程序。這項(xiàng)任務(wù)極具挑戰(zhàn)性，要用到一套十分復(fù)雜的算法。在向客戶解釋項(xiàng)目結(jié)果時(shí)，馬里奧托夫更是大傷腦筋。“我們沒(méi)辦法向他們解釋這套模型，因?yàn)樗麄儧](méi)受過(guò)機(jī)器學(xué)習(xí)方面的培訓(xùn)�！�

其實(shí)，就算這些客戶都是機(jī)器學(xué)習(xí)專家，可能也于事無(wú)補(bǔ)。因?yàn)轳R里奧托夫打造的模型為人工神經(jīng)網(wǎng)絡(luò)，要從特定類(lèi)型的數(shù)據(jù)中尋找規(guī)律。在上文提到的例子中，這些數(shù)據(jù)就是保險(xiǎn)公司的客戶記錄。此類(lèi)網(wǎng)絡(luò)投入實(shí)際應(yīng)用已有半個(gè)世紀(jì)之久，但近年來(lái)又有愈演愈烈之勢(shì)。從語(yǔ)音識(shí)別到語(yǔ)言翻譯，從下圍棋的機(jī)器人到自動(dòng)駕駛汽車(chē)，各行各業(yè)都在該技術(shù)的驅(qū)動(dòng)下出現(xiàn)了新的突破。

雖然現(xiàn)代神經(jīng)網(wǎng)絡(luò)的表現(xiàn)令人激動(dòng)，但也面臨一個(gè)棘手的問(wèn)題：沒(méi)人理解它們的運(yùn)行機(jī)制，這也就意味著，沒(méi)人能預(yù)測(cè)它們何時(shí)可能失靈。

以機(jī)器學(xué)習(xí)專家里奇·卡魯阿納和同事們前幾年報(bào)告的一起事件為例：匹茲堡大學(xué)醫(yī)學(xué)中心的一支研究團(tuán)隊(duì)曾利用機(jī)器學(xué)習(xí)技術(shù)預(yù)測(cè)肺炎患者是否會(huì)出現(xiàn)嚴(yán)重并發(fā)癥。他們希望將并發(fā)癥風(fēng)險(xiǎn)較低的患者轉(zhuǎn)移到門(mén)診進(jìn)行治療，好騰出更多床位和人手。該團(tuán)隊(duì)試了幾種不同的方法，包括各種各樣的神經(jīng)網(wǎng)絡(luò)，以及由軟件生成的決策樹(shù)，后者可總結(jié)出清晰易懂、能被人類(lèi)理解的規(guī)則。

在現(xiàn)代機(jī)器學(xué)習(xí)算法中，可解釋性與精確度難以兩全其美。深度學(xué)習(xí)精確度最高，同時(shí)可解釋性最低

神經(jīng)網(wǎng)絡(luò)的正確率比其它方法都要高。但當(dāng)研究人員和醫(yī)生們分析決策樹(shù)提出的規(guī)則時(shí)，卻發(fā)現(xiàn)了一些令人不安的結(jié)果：按照其中一條規(guī)則，醫(yī)生應(yīng)當(dāng)讓已患有哮喘的肺炎病人出院，而醫(yī)生們都知道，哮喘患者極易出現(xiàn)并發(fā)癥。

這套模型完全遵從了指令：

從數(shù)據(jù)中找出規(guī)律。它之所以給出了如此差勁的建議，其實(shí)是由數(shù)據(jù)中的一個(gè)巧合導(dǎo)致的。按照醫(yī)院政策，身患哮喘的肺炎患者需接受強(qiáng)化護(hù)理。而這項(xiàng)政策效果極佳，哮喘患者幾乎從不會(huì)產(chǎn)生嚴(yán)重并發(fā)癥。由于這些額外護(hù)理改變了該醫(yī)院的患者記錄，算法預(yù)測(cè)的結(jié)果也就截然不同了。

這項(xiàng)研究充分體現(xiàn)了算法“可解釋性”的價(jià)值所在�？�魯阿納解釋道：“如果這套以規(guī)則為基礎(chǔ)的系統(tǒng)學(xué)到了‘哮喘會(huì)降低并發(fā)癥風(fēng)險(xiǎn)’這一規(guī)則，神經(jīng)網(wǎng)絡(luò)自然也會(huì)學(xué)到這一點(diǎn)�！钡�人類(lèi)讀不懂神經(jīng)網(wǎng)絡(luò)，因此很難預(yù)知其結(jié)果。馬里奧托夫指出，若不是有一套可解釋的模型，“這套系統(tǒng)可能真的會(huì)害死人�！�

正因?yàn)槿绱�，許多人遲疑不前、不敢對(duì)神秘莫測(cè)的神經(jīng)網(wǎng)絡(luò)下注。馬里奧托夫?yàn)榭蛻籼峁┝藘商啄Ｐ停阂惶资巧窠?jīng)網(wǎng)絡(luò)模型，雖然精確，但難以理解；另一套則是以規(guī)則為基礎(chǔ)的模型，能夠用大白話向客戶解釋運(yùn)作原理。盡管保險(xiǎn)公司對(duì)精確度要求極高，每個(gè)百分點(diǎn)都十分重要，但客戶仍選擇了精確度稍遜的第二套模型�！八麄冇X(jué)得第二套模型更容易理解，”馬里奧托夫表示，“他們非常看重直觀性。”

隨著神秘難解的神經(jīng)網(wǎng)絡(luò)影響力與日俱增，就連政府都開(kāi)始對(duì)其表示關(guān)注。歐盟兩年前提出，應(yīng)給予公民“要求解釋”的權(quán)利，算法決策需公開(kāi)透明。但這項(xiàng)立法或許難以實(shí)施，因?yàn)榱⒎ㄕ卟⑽搓U明“透明”的含義。也不清楚這一省略是由于立法者忽略了這一問(wèn)題、還是覺(jué)得其太過(guò)復(fù)雜導(dǎo)致。

事實(shí)上，有些人認(rèn)為這個(gè)詞根本無(wú)法定義。目前我們雖然知道神經(jīng)網(wǎng)絡(luò)在做什么（畢竟它們歸根到底只是電腦程序），但我們對(duì)“怎么做、為何做”幾乎一無(wú)所知。神經(jīng)網(wǎng)絡(luò)由成百上千萬(wàn)的獨(dú)立單位、即神經(jīng)元構(gòu)成。每個(gè)神經(jīng)元都可將大量數(shù)字輸入轉(zhuǎn)化為單個(gè)數(shù)字輸出，再傳遞給另一個(gè)、或多個(gè)神經(jīng)元。就像在人腦中一樣，這些神經(jīng)元也分成若干“層”。一組細(xì)胞接收下一層細(xì)胞的輸入，再將輸出結(jié)果傳遞給上一層。

神經(jīng)網(wǎng)絡(luò)可通過(guò)輸入大量數(shù)據(jù)進(jìn)行訓(xùn)練，同時(shí)不斷調(diào)整各層之間的聯(lián)系，直到該網(wǎng)絡(luò)計(jì)算后輸出的結(jié)果盡可能接近已知結(jié)果（通常分為若干類(lèi)別）。近年來(lái)該領(lǐng)域之所以發(fā)展迅猛，還要?dú)w功于幾項(xiàng)可快速訓(xùn)練深度網(wǎng)絡(luò)的新技術(shù)。在深度網(wǎng)絡(luò)中，初始輸入和最終輸出之間相隔多層。有一套叫AlexNet的著名深度網(wǎng)絡(luò)，可對(duì)照片進(jìn)行歸類(lèi)，根據(jù)照片的細(xì)微差別將其劃入不同類(lèi)別。該網(wǎng)絡(luò)含有超過(guò)6000萬(wàn)個(gè)“權(quán)重”，根據(jù)不同權(quán)重，神經(jīng)元會(huì)對(duì)每項(xiàng)輸入給予不同程度的關(guān)注。隸屬于康奈爾大學(xué)和AI初創(chuàng)公司Geometric Intelligence的計(jì)算機(jī)科學(xué)家杰森·尤辛斯基指出：“要想理解這個(gè)神經(jīng)網(wǎng)絡(luò)，你就要對(duì)這6000萬(wàn)個(gè)權(quán)重都有一定的了解。”

而就算能夠?qū)崿F(xiàn)這種可解讀性，也未必是件好事。對(duì)可解讀性的要求相當(dāng)于制約了系統(tǒng)的能力，使模型無(wú)法僅關(guān)注輸入輸出數(shù)據(jù)、提供“純粹”的解決方案，從而有降低精確度之嫌。美國(guó)國(guó)防部高級(jí)研究計(jì)劃局項(xiàng)目主管戴維·甘寧曾在一次會(huì)議上對(duì)此進(jìn)行了總結(jié)。在他展示的圖表中，深度神經(jīng)網(wǎng)絡(luò)是現(xiàn)代機(jī)器學(xué)習(xí)方法中最難以理解的一種，而以規(guī)則為基礎(chǔ)、重視可解釋性勝過(guò)效率的決策樹(shù)則是最容易理解的一種。