人工智能的開展從前閱歷過幾回起崎嶇伏，近來在深度學(xué)習(xí)技能的推進下又迎來了一波新的史無前例的高潮。近來，IBM 官網(wǎng)宣布了一篇概述文章，對人工智能技能的開展進程進行了簡略整理，一起還圖文并茂地介紹了感知器、聚類算法、依據(jù)規(guī)矩的體系、機器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等技能的概念和原理。

人類對怎么發(fā)明智能機器的考慮從來沒有中斷過。期間，人工智能的開展起崎嶇伏，有成功，也有失利，以及其間躲藏的潛力。今日，有太多的新聞報道是關(guān)于機器學(xué)習(xí)算法的運用問題，從癌癥查看猜測到圖畫了解、天然言語處理，人工智能正在賦能并改動著這個國際。
現(xiàn)代人工智能的前史具有成為一部巨大戲曲的全部元素。在最開端的 1950 時代，人工智能的開展緊緊圍繞著考慮機器和焦點人物比方艾倫·圖靈、馮·諾伊曼，迎來了其第一次春天。通過數(shù)十年的昌盛與衰落，以及難以置信的高期望，人工智能及其前驅(qū)們再次攜手來到一個新境地?，F(xiàn)在，人工智能正展現(xiàn)著其真實的潛力，深度學(xué)習(xí)、認(rèn)知核算等新技能不斷涌現(xiàn)，且不乏運用指向。

本文探討了人工智能及其子范疇的一些重要方面。下面就先從人工智能開展的時刻線開端，并逐個剖析其間的全部元素。

現(xiàn)代人工智能的時刻線

1950 時代初期，人工智能聚集在所謂的強人工智能，期望機器可以像人相同完結(jié)任何智力使命。強人工智能的開展止步不前，導(dǎo)致了弱人工智能的呈現(xiàn)，即把人工智能技能運用于更窄范疇的問題。1980 時代之前，人工智能的研討一向被這兩種范式切割著，兩營相對。可是，1980 年左右，機器學(xué)習(xí)開端成為干流，它的意圖是讓核算機具有學(xué)習(xí)和構(gòu)建模型的才能，然后它們可在特定范疇做出猜測等行為。


圖 1：現(xiàn)代人工智能開展的時刻線

在人工智能和機器學(xué)習(xí)研討的根底之上，深度學(xué)習(xí)在 2000 年左右應(yīng)運而生。核算機科學(xué)家在多層神經(jīng)網(wǎng)絡(luò)之中運用了新的拓撲學(xué)和學(xué)習(xí)方法。終究，神經(jīng)網(wǎng)絡(luò)的進化成功處理了多個范疇的扎手問題。

在曩昔的十年中，認(rèn)知核算（Cognitive computing）也呈現(xiàn)了，其方針是打造可以學(xué)習(xí)并與人類天然交互的體系。通過成功地打敗 Jeopardy 游戲的國際級選手，IBM Watson 證明晰認(rèn)知核算的價值。

在本文中，我將逐個探究上述的全部范疇，并對一些要害算法作出解說。

根底性人工智能

1950 年之前的研討提出了大腦是由電脈沖網(wǎng)絡(luò)組成的主意，正是脈沖之間的交互產(chǎn)生了人類思維與認(rèn)識。艾倫·圖靈標(biāo)明全部核算皆是數(shù)字，那么，打造一臺可以仿照人腦的機器也就并非遙不行及。

上文說過，前期的研討許多是強人工智能，可是也提出了一些根本概念，被機器學(xué)習(xí)和深度學(xué)習(xí)沿用至今。

圖 2：1950 - 1980 年間人工智能方法的時刻線

人工智能查找引擎

人工智能中的許多問題可以通過強力查找（brute-force search）得到處理?？墒?，考慮到中等問題的查找空間，根本查找很快就受影響。人工智能查找的最前期比方之一是跳棋程序的開發(fā)。亞瑟·塞繆爾（Arthur Samuel）在 IBM 701 電子數(shù)據(jù)處理機器上打造了第一款跳棋程序，完成了對查找樹（alpha-beta 剪枝）的優(yōu)化；這個程序也記載并獎賞詳細舉動，答應(yīng)運用學(xué)習(xí)每一個玩過的游戲（這是首個自我學(xué)習(xí)的程序）。為了提高程序的學(xué)習(xí)率，塞繆爾將其編程為自我游戲，以提高其游戲和學(xué)習(xí)的才能。

盡管你可以成功地把查找運用到許多簡略問題上，可是當(dāng)挑選的數(shù)量增加時，這一方法很快就會失效。以簡略的一字棋游戲為例，游戲一開端，有 9 步可能的走棋，每 1 個走棋有 8 個可能的相反走棋，順次類推。一字棋的完好走棋樹包含 362,880 個節(jié)點。假如你持續(xù)將這一主意擴展到國際象棋或許圍棋，很快你就會開展查找的下風(fēng)。

感知器

感知器是單層神經(jīng)網(wǎng)絡(luò)的一個前期監(jiān)督學(xué)習(xí)算法。給定一個輸入特征向量，感知器可對輸入進行詳細分類。通過運用練習(xí)集，網(wǎng)絡(luò)的權(quán)重和差錯可為線性分類而更新。感知器的初次完成是 IBM 704，接著在自定義硬件上用于圖畫辨認(rèn)。


圖 3：感知器與線性分類 
作為一個線性分類器，感知器有才能處理線性別離問題。感知器局限性的典型實例是它無法學(xué)習(xí)專屬的 OR (XOR) 函數(shù)。多層感知器處理了這一問題，并為更雜亂的算法、網(wǎng)絡(luò)拓撲學(xué)、深度學(xué)習(xí)奠定了根底。

聚類算法

運用感知器的方法是有監(jiān)督的。用戶供給數(shù)據(jù)來練習(xí)網(wǎng)絡(luò)，然后在新數(shù)據(jù)上對該網(wǎng)絡(luò)進行測驗。聚類算法則是一種無監(jiān)督學(xué)習(xí)（unsupervised learning）方法。在這種模型中，算法會依據(jù)數(shù)據(jù)的一個或多個特點將一組特征向量安排成聚類。


圖 4：在一個二維特征空間中的聚類

你可以運用少數(shù)代碼就能完成的最簡略的聚類算法是 k-均值（k-means）。其間，k 表明你為樣本分配的聚類的數(shù)量。你可以運用一個隨機特征向量來對一個聚類進行初始化，然后將其它樣本增加到其最近鄰的聚類（假定每個樣本都能表明一個特征向量，而且可以運用 Euclidean distance 來斷定「間隔」）。跟著你往一個聚類增加的樣本越來越多，其形心（centroid，即聚類的中心）就會從頭核算。然后該算法會從頭查看一次樣本，以保證它們都在最近鄰的聚類中，終究直到?jīng)]有樣本需求改動所屬聚類。

盡管 k-均值聚類相對有用，但你有必要事前斷定 k 的巨細。依據(jù)數(shù)據(jù)的不同，其它方法可能會愈加有用，比方分層聚類（hierarchical clustering）或依據(jù)散布的聚類（distribution-based clustering）。

決議計劃樹

決議計劃樹和聚類很附近。決議計劃樹是一種關(guān)于調(diào)查（observation）的猜測模型，可以得到一些定論。定論在決議計劃樹上被表明成樹葉，而節(jié)點則是調(diào)查分叉的決議計劃點。決議計劃樹來自決議計劃樹學(xué)習(xí)算法，其間數(shù)據(jù)聚會依據(jù)特點值測驗（attribute value tests）而被分紅不同的子集，這個切割進程被稱為遞歸分區(qū)（recursive partitioning）。

考慮下圖中的示例。在這個數(shù)據(jù)會集，我可以依據(jù)三個要素調(diào)查到或人是否有生產(chǎn)力。運用一個決議計劃樹學(xué)習(xí)算法，我可以通過一個方針來辨認(rèn)特點（其間一個比方是信息增益）。在這個比方中，心境（mood）是生產(chǎn)力的首要影響要素，所以我依據(jù) Good Mood 一項是 Yes 或 No 而對這個數(shù)據(jù)集進行了切割?？墒?，在 Yes 這邊，還需求我依據(jù)其它兩個特點再次對該數(shù)據(jù)集進行切分。表中不同的色彩對應(yīng)右側(cè)中不同色彩的葉節(jié)點。


圖 5：一個簡略的數(shù)據(jù)集及其得到的決議計劃樹

決議計劃樹的一個重要性質(zhì)在于它們的內(nèi)涵的安排才能，這能讓你輕松地（圖形化地）解說你分類一個項的方法。盛行的決議計劃樹學(xué)習(xí)算法包含 C4.5 以及分類與回歸樹（Classification and Regression Tree）。

依據(jù)規(guī)矩的體系

最早的依據(jù)規(guī)矩和推理的體系是 Dendral，于 1965 年被開發(fā)出來，但直到 1970 時代，所謂的專家體系（expert systems）才開端大行其道。依據(jù)規(guī)矩的體系會一起存有所需的常識的規(guī)矩，并會運用一個推理體系（reasoning system）來得出定論。

依據(jù)規(guī)矩的體系一般由一個規(guī)矩調(diào)集、一個常識庫、一個推理引擎（運用前向或反向規(guī)矩鏈）和一個用戶接口組成。下圖中，我運用了常識「蘇格拉底是人」、規(guī)矩「假如是人，就會死」以及一個交互「誰會死？」


圖 6：依據(jù)規(guī)矩的體系

依據(jù)規(guī)矩的體系現(xiàn)已在語音辨認(rèn)、規(guī)劃和操控以及疾病辨認(rèn)等范疇得到了運用。上世紀(jì) 90 時代人們開發(fā)的一個監(jiān)控和確診大壩穩(wěn)定性的體系 Kaleidos 至今仍在運用。

機器學(xué)習(xí)

機器學(xué)習(xí)是人工智能和核算機科學(xué)的一個子范疇，也有統(tǒng)計學(xué)和數(shù)學(xué)優(yōu)化方面的根基。機器學(xué)習(xí)涵蓋了有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)范疇的技能，可用于猜測、剖析和數(shù)據(jù)發(fā)掘。機器學(xué)習(xí)不限于深度學(xué)習(xí)這一種。但在這一節(jié)，我會介紹幾種使得深度學(xué)習(xí)變得如此高效的算法。


圖 7：機器學(xué)習(xí)方法的時刻線

反向傳達

神經(jīng)網(wǎng)絡(luò)的強壯力氣源于其多層的結(jié)構(gòu)。單層感知器的練習(xí)是很直接的，但得到的網(wǎng)絡(luò)并不強壯。那問題就來了：咱們怎么練習(xí)多層網(wǎng)絡(luò)呢？這就是反向傳達的用武之地。

反向傳達是一種用于練習(xí)多層神經(jīng)網(wǎng)絡(luò)的算法。它的作業(yè)進程分為兩個階段。第一階段是將輸入傳達通過整個神經(jīng)網(wǎng)絡(luò)直到終究一層（稱為前饋）。第二階段，該算法會核算一個差錯，然后從終究一層到第一層反向傳達該差錯（調(diào)整權(quán)重）。


圖 8：反向傳達示意圖

在練習(xí)進程中，該網(wǎng)絡(luò)的中間層會自己進行安排，將輸入空間的部分映射到輸出空間。反向傳達，運用監(jiān)督學(xué)習(xí)，可以辨認(rèn)出輸入到輸出映射的差錯，然后可以據(jù)此調(diào)整權(quán)重（運用一個學(xué)習(xí)率）來糾正這個差錯。反向傳達現(xiàn)在依然是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的一個重要方面。跟著核算資源越來越快、越來越廉價，它還將持續(xù)在更大和更密布的網(wǎng)絡(luò)中得到運用。

卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是受動物視覺皮層啟示的多層神經(jīng)網(wǎng)絡(luò)。這種架構(gòu)在包含圖畫處理的許多運用中都有用。第一個 CNN 是由 Yann LeCun 創(chuàng)立的，其時 CNN 架構(gòu)首要用于手寫字符辨認(rèn)使命，例如讀取郵政編碼。

LeNet CNN 由好幾層可以別離完成特征提取和分類的神經(jīng)網(wǎng)絡(luò)組成。圖畫被分為多個可以被承受的區(qū)域，這些子區(qū)域進入到一個可以從輸入圖畫提取特征的卷積層。下一步就是池化，這個進程降低了卷積層提取到的特征的維度（通過下采樣的方法），一起保留了最重要的信息（一般通過最大池化的方法）。然后這個算法又履行另一次卷積和池化，池化之后便進入一個全銜接的多層感知器。卷積神經(jīng)網(wǎng)絡(luò)的終究輸出是一組可以辨認(rèn)圖畫特征的節(jié)點（在這個比方中，每個被辨認(rèn)的數(shù)字都是一個節(jié)點）。運用者可以通過反向傳達的方法來練習(xí)網(wǎng)絡(luò)。


圖 9.LeNet 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

對深層處理、卷積、池化以及全銜接分類層的運用打開了神經(jīng)網(wǎng)絡(luò)的各種新式運用的大門。除了圖畫處理之外，卷積神經(jīng)網(wǎng)絡(luò)現(xiàn)已被成功地運用在了視頻辨認(rèn)以及天然言語處理等多種使命中。卷積神經(jīng)網(wǎng)絡(luò)也現(xiàn)已在 GPU 上被有用地完成，這極大地提高了卷積神經(jīng)網(wǎng)絡(luò)的功能。

長短期回憶（LSTM）

記住前面反向傳達中的評論嗎？網(wǎng)絡(luò)是前饋式的練習(xí)的。在這種架構(gòu)中，咱們將輸入送到網(wǎng)絡(luò)而且通過躲藏層將它們向前傳達到輸出層?？墒牵€存在其他的拓撲結(jié)構(gòu)。我在這里要研討的一個架構(gòu)答應(yīng)節(jié)點之間構(gòu)成直接的回路。這些神經(jīng)網(wǎng)絡(luò)被稱為循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），它們可以向前面的層或許同一層的后續(xù)節(jié)點饋送內(nèi)容。這一特性使得這些網(wǎng)絡(luò)對時序數(shù)據(jù)而言是理想化的。

在 1997 年，一種叫做長短期回憶（LSTM）的特別的循環(huán)網(wǎng)絡(luò)被發(fā)明晰。LSTM 包含網(wǎng)絡(luò)中可以長期或許短時刻回憶數(shù)值的回憶單元。


圖 10. 長短期回憶網(wǎng)絡(luò)和回憶單元

回憶單元包含了可以操控信息流入或許流出該單元的一些門。輸入門（input gate）操控什么時分新的信息可以流入回憶單元。忘記門（forget gate）操控一段信息在回憶單元中存留的時刻。終究，輸出門（output gate）操控輸出何時運用回憶單元中包含的信息?；貞泦卧€包含操控每一個門的權(quán)重。練習(xí)算法（一般是通過時刻的反向傳達（backpropagation-through-time），反向傳達算法的一種變體）依據(jù)所得到的差錯來優(yōu)化這些權(quán)重。

LSTM 現(xiàn)已被運用在語音辨認(rèn)、手寫辨認(rèn)、語音組成、圖畫描繪等各種使命中。下面我還會談到 LSTM。

深度學(xué)習(xí)

深度學(xué)習(xí)是一組相對新穎的方法調(diào)集，它們從根本上改動了機器學(xué)習(xí)。深度學(xué)習(xí)自身不是一種算法，可是它是一系列可以用無監(jiān)督學(xué)習(xí)完成深度網(wǎng)絡(luò)的算法。這些網(wǎng)絡(luò)是十分深層的，所以需求新的核算方法來構(gòu)建它們，例如 GPU，除此之外還有核算機集群。

本文現(xiàn)在現(xiàn)已介紹了兩種深度學(xué)習(xí)的算法：卷積神經(jīng)網(wǎng)絡(luò)和長短期回憶網(wǎng)絡(luò)。這些算法現(xiàn)已被結(jié)合起來完成了一些令人驚奇的智能使命。如下圖所示，卷積神經(jīng)網(wǎng)絡(luò)和長短期回憶現(xiàn)已被用來辨認(rèn)并用天然言語描繪圖片或許視頻中的物體。


圖 11. 結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和長短期回憶來進行圖畫描繪

深度學(xué)習(xí)算法也現(xiàn)已被用在了人臉辨認(rèn)中，也可以以 96% 的準(zhǔn)確率來辨認(rèn)結(jié)核病，還被用在自動駕駛和其他雜亂的問題中。

可是，盡管運用深度學(xué)習(xí)算法有著許多成果，可是依然存在問題需求咱們?nèi)ヌ幚怼Ｒ粋€最近的將深度學(xué)習(xí)用于皮膚癌檢測的運用發(fā)現(xiàn)，這個算法比通過認(rèn)證的皮膚科醫(yī)師具有更高的準(zhǔn)確率?？墒牵t(yī)師可以列舉出導(dǎo)致其確診成果的要素，卻沒有方法知道深度學(xué)習(xí)程序在分類的時分所用的要素。這被稱為深度學(xué)習(xí)的黑箱問題。

另一個被稱為 Deep Patient 的運用，在供給患者的病例時可以成功地猜測疾病。該運用被證明在疾病猜測方面比醫(yī)師還做得好——即使是眾所周知的難以猜測的精神分裂癥。所以，即使模型作用杰出，也沒人可以深化到這些大型神經(jīng)網(wǎng)絡(luò)去找到原因。

認(rèn)知核算

人工智能和機器學(xué)習(xí)充滿了生物啟示的事例。盡管前期的人工智能專心于樹立仿照人腦的機器這一宏偉方針，而現(xiàn)在，是認(rèn)知核算正在朝著這個方針跨進。

認(rèn)知核算樹立在神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)之上，運用認(rèn)知科學(xué)中的常識來構(gòu)建可以仿照人類思維進程的體系?？墒牵J(rèn)知核算覆蓋了很多學(xué)科，例如機器學(xué)習(xí)、天然言語處理、視覺以及人機交互，而不只是是聚集于某個獨自的技能。

認(rèn)知學(xué)習(xí)的一個比方就是 IBM 的 Waston，它在 Jeopardy 上展現(xiàn)了其時最先進的問答交互。IBM 現(xiàn)已將其擴展在了一系列的 web 效勞上了。這些效勞供給了用于一些列運用的編程接口來構(gòu)建強壯的虛擬署理，這些接口有：視覺辨認(rèn)、語音文本變換（語音辨認(rèn)）、文本語音變換（語音組成）、言語了解和翻譯、以及對話引擎。

持續(xù)前進

本文只是涵蓋了關(guān)于人工智能前史以及最新的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)方法的一小部分。盡管人工智能和機器學(xué)習(xí)閱歷了許多起崎嶇伏，可是像深度學(xué)習(xí)和認(rèn)知核算這樣的新方法現(xiàn)已明顯地提高了這些學(xué)科的水平。盡管可能還無法完成一個具有認(rèn)識的機器，可是今日的確有著可以改進人類日子的人工智能體系。