隨著神經(jīng)網(wǎng)絡(luò)領(lǐng)域新成果的不斷發(fā)展，需要解決的問題也有相應(yīng)的，能夠解釋決策的方法包括建立對真實(shí)世界行為的信心、偏差檢測模型和科學(xué)好奇心。為了做到這一點(diǎn)，我們需要構(gòu)造抽象的深度。豐富的接口修改(或?qū)嵗??？梢哉f，除了極少數(shù)例外，現(xiàn)有的研究對這一點(diǎn)的解釋有多大，并沒有任何貢獻(xiàn)。機(jī)器學(xué)習(xí)社區(qū)致力于開發(fā)強(qiáng)大的方法，如視覺特征、屬性和維度約簡，用于解釋和理解神經(jīng)網(wǎng)絡(luò)。

        然而，這些技術(shù)被認(rèn)為是孤立研究的線索，對其改性的研究也被忽視。另一方面，社區(qū)對開放界面進(jìn)行了初步探索，豐富的神經(jīng)網(wǎng)絡(luò)用戶界面，但它們也沒有這些抽象概念有待進(jìn)一步研究。使用這些抽象的概念，它已經(jīng)在相當(dāng)標(biāo)準(zhǔn)的方式。因此，我們留下了很多不實(shí)用的界面(如突出圖或相關(guān)摘要)，神經(jīng)元將是一些有價值的東西。

        更糟糕的是，許多解釋技術(shù)還沒有完全應(yīng)用到抽象中，因?yàn)闆]有這樣的壓力，所以它們可以擴(kuò)展或合并。在本文中，我們將闡述現(xiàn)有的方法，作為豐富用戶界面的基礎(chǔ)和構(gòu)建塊的組合。我們發(fā)現(xiàn)，這些不同的技術(shù)現(xiàn)在集中在一個統(tǒng)一的語法中，實(shí)現(xiàn)了在最終接口中的互補(bǔ)作用。此外，這種語言方法使我們能夠系統(tǒng)地解釋空間探索的界面，以便我們能夠評估它們是否符合具體目標(biāo)。

        我們將展示一些接口，它們顯示網(wǎng)絡(luò)信息檢測到的信息，并說明網(wǎng)絡(luò)是如何理解發(fā)展的，同時保持了大量的人類信息的規(guī)模。例如，我們將看到一個拉布拉多獵犬觀察網(wǎng)絡(luò)是如何檢測它的軟耳朵，以及它是如何影響分類。在本文中，我們在表示概念的界面上使用了圖像分類模型Google LeNet，因?yàn)樗谏窠?jīng)元中看起來很不尋常。雖然本文對任務(wù)和網(wǎng)絡(luò)的語義進(jìn)行了具體的選擇，但我們提出了它們的基本抽象和組合模式，仍然可以應(yīng)用于其他A型神經(jīng)網(wǎng)絡(luò)的領(lǐng)域。

 了解隱層最新研究解釋涉及到神經(jīng)網(wǎng)絡(luò)的輸入，輸出層?？梢哉f，結(jié)果主要是由于這些層的清晰含義：在計算機(jī)視覺中，輸入層代表輸入圖像中每個像素的紅色、綠色和藍(lán)色通道值，而輸出層由類標(biāo)簽及其相關(guān)的概率組成。在網(wǎng)絡(luò)上找到新的輸入表示形式。在計算機(jī)視覺中，我們使用神經(jīng)網(wǎng)絡(luò)在圖像中的每個位置運(yùn)行相同的特征檢測器。我們可以把每個層的學(xué)習(xí)表示看作是一個三維立方體。多維數(shù)據(jù)集中的每個單元都是一個激活。

        或神經(jīng)元的數(shù)目。x軸和y軸對應(yīng)于圖像中的位置。z軸是計算機(jī)視覺中神經(jīng)網(wǎng)絡(luò)各隱含層上的活動立方體。多維數(shù)據(jù)集的不同片段允許我們針對單個神經(jīng)元、空間位置或通道的激活。理解這些激活是困難的，因?yàn)槲覀兺ǔ０阉鼈儺?dāng)作抽象的向量來對待。

        然而，通過特征可視化，我們可以把這個抽象的向量轉(zhuǎn)換成更有意義的語義詞典。為了創(chuàng)建語義詞典，我們將每個神經(jīng)元的激活與該神經(jīng)元的可視化相結(jié)合。并根據(jù)激活的大小對它們排序。激活和特征可視化的結(jié)合改變了我們和底層數(shù)學(xué)對象之間的關(guān)系。激活現(xiàn)在映射到圖標(biāo)的表示，而不是抽象索引。

        其中許多類似于人類的創(chuàng)造力，如“軟耳朵”、“狗鼻子”或“毛皮”。語義詞典的力量不僅僅在于它們擺脫了無意義的索引。因?yàn)樗鼈兇砹说湫蜆颖旧窠?jīng)網(wǎng)絡(luò)的學(xué)習(xí)抽象。通過對圖像進(jìn)行分類，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)了一系列視覺抽象，因此圖像是用來表示它們的最自然的符號。如果我們使用音頻，那么更自然的符號可能是音頻剪輯。

        這很重要，因?yàn)楫?dāng)神經(jīng)元看起來適合人類的思維時，它們很容易被簡化成單詞。

        但這樣做是一個有損的操作，甚至對于類似的抽象，網(wǎng)絡(luò)可能已經(jīng)學(xué)到了更深層次的細(xì)微差別。例如，谷歌lenet有多軟耳檢測器檢測耳朵的凹陷。長度和周圍環(huán)境的細(xì)微差別。也可能有視覺上相似的抽象，但我們對它們沒有很好的自然語言描述：例如，當(dāng)陽光照射到水面時，就會拍攝到一個特定的閃光柱。網(wǎng)絡(luò)可以學(xué)習(xí)我們不尋常的新抽象概念，自然語言可以使我們完全失?。。。∫话銇碚f，一個典型的例子是一個更自然的方式來表示外國的抽象，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)比人類語言，給隱含層的意義。

        語義詞典解釋我們現(xiàn)有技術(shù)提供依據(jù)，使它們的組合積木。就像它們的基本向量一樣，我們可以減少它們的維數(shù)。在其他情況下，語義詞典允許我們進(jìn)一步開發(fā)這些技術(shù)。例如，除了當(dāng)前在輸入和輸出級別使用的單向?qū)傩酝猓Z義詞典還允許特定隱層的屬性轉(zhuǎn)換。

        原則上，這項(xiàng)研究可以不用語義詞典來完成，但是結(jié)果意味著什么還不清楚。網(wǎng)絡(luò)看到了什么？一種用來探測軟耳朵、狗鼻子、貓頭、毛茸茸的腿和草的探測器。語義詞典提供了一個細(xì)粒度的激活視圖：每個單個神經(jīng)元都能檢測到什么？在此基礎(chǔ)上，我們還可以考慮激活向量作為一個整體。我們可以想象在給定空間位置發(fā)射的神經(jīng)元的組合，而不是可視化單個神經(jīng)元。

        我們優(yōu)化圖像以使激活點(diǎn)和原始激活向量之間的點(diǎn)積最大化。）將此技術(shù)應(yīng)用于所有激活向量，以便我們不僅能看到網(wǎng)絡(luò)在每個位置檢測到的信息。我們也可以了解網(wǎng)絡(luò)了解整個輸入圖像，并通過跨層（如“mixed3a”、“mixed4d”），我們可以看到網(wǎng)絡(luò)的理解的發(fā)展：從早期的層邊緣檢測。對于后者的形狀和對象的更復(fù)雜的部分。

        然而，這些可視化忽略了一個關(guān)鍵信息：激活的大小，根據(jù)激活向量的大小對每個單元的面積進(jìn)行縮放，我們可以指出網(wǎng)絡(luò)在這個位置檢測到的特征強(qiáng)度：。

        如何組裝概念？特性可視化幫助我們回答網(wǎng)絡(luò)檢測到的內(nèi)容，但它不回答網(wǎng)絡(luò)如何將這些單獨(dú)的部分組合起來做出最終決定?；蛘邽槭裁匆龀鲞@些決定。歸因是一套通過解釋神經(jīng)元之間的關(guān)系來回答這些問題的技術(shù)。有許多歸因方法，但到目前為止，似乎還沒有明確和正確的答案。事實(shí)上，我們有理由認(rèn)為，到目前為止，我們的答案沒有一個是完全正確的。我們認(rèn)為對歸因方法的研究很多，但就本文而言，準(zhǔn)確的歸因方法并不重要。我們使用了一種相當(dāng)簡單的方法，關(guān)系的線性近似，可以很容易地被任何其他技術(shù)所取代。

        最常見的屬性界面與突出地圖稱為顯著圖，一個簡單的熱圖。高亮顯示導(dǎo)致輸出分類的輸入圖像的像素。我們發(fā)現(xiàn)目前的方法有兩個缺點(diǎn)。目前還不清楚單個像素是否是屬性的基本單位。每個像素的含義與其他像素糾纏在一起，對簡單的視覺轉(zhuǎn)換(如亮度、對比度等)不具有魯棒性。第二，傳統(tǒng)的顯著圖是一種非常有限的接口類型，每次只顯示一個類的屬性。

        也不允許你深入研究個別的觀點(diǎn)。由于它們沒有明確地處理隱藏層，因此很難充分探索它們的設(shè)計空間。通道屬性通道屬性：通過將屬性應(yīng)用于隱藏層的空間位置，另一種方法是通過通道而不是空間位置來裁剪我們的活動立方體。這允許我們執(zhí)行信道屬性：每個檢測器對最終輸出有多大的貢獻(xiàn)？該方法與Kim等人的同時代工作相似，該方法將歸因與學(xué)習(xí)渠道組合結(jié)合起來。

        本文提出的接口思想結(jié)合了特征可視化和屬性化等構(gòu)建模塊。將這些片段組合在一起并不是一個任意的過程，而是遵循基于接口目標(biāo)的結(jié)構(gòu)。例如，如果接口強(qiáng)調(diào)網(wǎng)絡(luò)可以識別什么，那么它就會優(yōu)先考慮它的理解是如何進(jìn)化的，或者關(guān)注事物是如何在人類的范圍內(nèi)進(jìn)化的...為了評估這些目標(biāo)和理解權(quán)衡，我們需要能夠系統(tǒng)地考慮可能的替代方案。我們可以將接口看作是元素的組合。這些接口的可信度如何？為了使可解釋的接口更有效，我們必須相信它們告訴我們的故事。

        我們認(rèn)為目前使用的一系列建筑模塊存在兩個問題。首先，在不同的輸入圖像中，神經(jīng)元是否具有相對一致的意義，它們是否通過特征可視化來準(zhǔn)確地表示？語義詞典和基于它們的接口是以問題的真實(shí)性為前提的。第二，歸因是否有意義，我們能相信現(xiàn)有的任何歸因方法嗎？模型行為非常復(fù)雜，我們當(dāng)前的構(gòu)建塊只允許我們演示它的具體方面。未來可解釋研究的一個重要方向是開發(fā)能夠更廣泛地涵蓋模型行為的技術(shù)。

        然而，即使有了這些改進(jìn)，我們相信，可靠度的關(guān)鍵指標(biāo)將是一個不誤導(dǎo)的接口。與顯示信息的交互不應(yīng)導(dǎo)致用戶隱式繪制模型的不正確評估。我們在本文中介紹的接口在這方面仍然有很大的改進(jìn)余地。在機(jī)器學(xué)習(xí)與人機(jī)交互交叉研究中，有必要解決這些問題.。

        有一個豐富的設(shè)計空間，與枚舉算法交互，我們認(rèn)為，也有很大的空間與神經(jīng)網(wǎng)絡(luò)的互動。我們還有很多研究工作要做。若要創(chuàng)建強(qiáng)大且可信任的可解釋接口，請執(zhí)行以下操作。如果我們?nèi)〉贸晒?，可解釋性將是一個強(qiáng)有力的工具，將使我們能夠?qū)崿F(xiàn)有意義的人的監(jiān)督，并創(chuàng)造公平、安全和一致的人工智能系統(tǒng)。