人工智能的開展從前閱歷過幾回起崎嶇伏，近來在深度學(xué)習(xí)技能的推進(jìn)下又迎來了一波新的史無前例的高潮。近來，IBM 官網(wǎng)宣布了一篇概述文章，對(duì)人工智能技能的開展進(jìn)程進(jìn)行了簡(jiǎn)略整理，一起還圖文并茂地介紹了感知器、聚類算法、依據(jù)規(guī)矩的體系、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等技能的概念和原理。

人類對(duì)怎么發(fā)明智能機(jī)器的考慮從來沒有中斷過。期間，人工智能的開展起崎嶇伏，有成功，也有失利，以及其間躲藏的潛力。今日，有太多的新聞報(bào)道是關(guān)于機(jī)器學(xué)習(xí)算法的運(yùn)用問題，從癌癥查看猜測(cè)到圖畫了解、天然言語處理，人工智能正在賦能并改動(dòng)著這個(gè)國(guó)際。
現(xiàn)代人工智能的前史具有成為一部巨大戲曲的全部元素。在最開端的 1950 時(shí)代，人工智能的開展緊緊圍繞著考慮機(jī)器和焦點(diǎn)人物比方艾倫·圖靈、馮·諾伊曼，迎來了其第一次春天。通過數(shù)十年的昌盛與衰落，以及難以置信的高期望，人工智能及其前驅(qū)們?cè)俅螖y手來到一個(gè)新境地?，F(xiàn)在，人工智能正展現(xiàn)著其真實(shí)的潛力，深度學(xué)習(xí)、認(rèn)知核算等新技能不斷涌現(xiàn)，且不乏運(yùn)用指向。

本文探討了人工智能及其子范疇的一些重要方面。下面就先從人工智能開展的時(shí)刻線開端，并逐個(gè)剖析其間的全部元素。

現(xiàn)代人工智能的時(shí)刻線

1950 時(shí)代初期，人工智能聚集在所謂的強(qiáng)人工智能，期望機(jī)器可以像人相同完結(jié)任何智力使命。強(qiáng)人工智能的開展止步不前，導(dǎo)致了弱人工智能的呈現(xiàn)，即把人工智能技能運(yùn)用于更窄范疇的問題。1980 時(shí)代之前，人工智能的研討一向被這兩種范式切割著，兩營(yíng)相對(duì)。可是，1980 年左右，機(jī)器學(xué)習(xí)開端成為干流，它的意圖是讓核算機(jī)具有學(xué)習(xí)和構(gòu)建模型的才能，然后它們可在特定范疇做出猜測(cè)等行為。


圖 1：現(xiàn)代人工智能開展的時(shí)刻線

在人工智能和機(jī)器學(xué)習(xí)研討的根底之上，深度學(xué)習(xí)在 2000 年左右應(yīng)運(yùn)而生。核算機(jī)科學(xué)家在多層神經(jīng)網(wǎng)絡(luò)之中運(yùn)用了新的拓?fù)鋵W(xué)和學(xué)習(xí)方法。終究，神經(jīng)網(wǎng)絡(luò)的進(jìn)化成功處理了多個(gè)范疇的扎手問題。

在曩昔的十年中，認(rèn)知核算（Cognitive computing）也呈現(xiàn)了，其方針是打造可以學(xué)習(xí)并與人類天然交互的體系。通過成功地打敗 Jeopardy 游戲的國(guó)際級(jí)選手，IBM Watson 證明晰認(rèn)知核算的價(jià)值。

在本文中，我將逐個(gè)探究上述的全部范疇，并對(duì)一些要害算法作出解說。

根底性人工智能

1950 年之前的研討提出了大腦是由電脈沖網(wǎng)絡(luò)組成的主意，正是脈沖之間的交互產(chǎn)生了人類思維與認(rèn)識(shí)。艾倫·圖靈標(biāo)明全部核算皆是數(shù)字，那么，打造一臺(tái)可以仿照人腦的機(jī)器也就并非遙不行及。

上文說過，前期的研討許多是強(qiáng)人工智能，可是也提出了一些根本概念，被機(jī)器學(xué)習(xí)和深度學(xué)習(xí)沿用至今。

圖 2：1950 - 1980 年間人工智能方法的時(shí)刻線

人工智能查找引擎

人工智能中的許多問題可以通過強(qiáng)力查找（brute-force search）得到處理?？墒?，考慮到中等問題的查找空間，根本查找很快就受影響。人工智能查找的最前期比方之一是跳棋程序的開發(fā)。亞瑟·塞繆爾（Arthur Samuel）在 IBM 701 電子數(shù)據(jù)處理機(jī)器上打造了第一款跳棋程序，完成了對(duì)查找樹（alpha-beta 剪枝）的優(yōu)化；這個(gè)程序也記載并獎(jiǎng)賞詳細(xì)舉動(dòng)，答應(yīng)運(yùn)用學(xué)習(xí)每一個(gè)玩過的游戲（這是首個(gè)自我學(xué)習(xí)的程序）。為了提高程序的學(xué)習(xí)率，塞繆爾將其編程為自我游戲，以提高其游戲和學(xué)習(xí)的才能。

盡管你可以成功地把查找運(yùn)用到許多簡(jiǎn)略問題上，可是當(dāng)挑選的數(shù)量增加時(shí)，這一方法很快就會(huì)失效。以簡(jiǎn)略的一字棋游戲?yàn)槔?，游戲一開端，有 9 步可能的走棋，每 1 個(gè)走棋有 8 個(gè)可能的相反走棋，順次類推。一字棋的完好走棋樹包含 362,880 個(gè)節(jié)點(diǎn)。假如你持續(xù)將這一主意擴(kuò)展到國(guó)際象棋或許圍棋，很快你就會(huì)開展查找的下風(fēng)。

感知器

感知器是單層神經(jīng)網(wǎng)絡(luò)的一個(gè)前期監(jiān)督學(xué)習(xí)算法。給定一個(gè)輸入特征向量，感知器可對(duì)輸入進(jìn)行詳細(xì)分類。通過運(yùn)用練習(xí)集，網(wǎng)絡(luò)的權(quán)重和差錯(cuò)可為線性分類而更新。感知器的初次完成是 IBM 704，接著在自定義硬件上用于圖畫辨認(rèn)。


圖 3：感知器與線性分類 
作為一個(gè)線性分類器，感知器有才能處理線性別離問題。感知器局限性的典型實(shí)例是它無法學(xué)習(xí)專屬的 OR (XOR) 函數(shù)。多層感知器處理了這一問題，并為更雜亂的算法、網(wǎng)絡(luò)拓?fù)鋵W(xué)、深度學(xué)習(xí)奠定了根底。

聚類算法

運(yùn)用感知器的方法是有監(jiān)督的。用戶供給數(shù)據(jù)來練習(xí)網(wǎng)絡(luò)，然后在新數(shù)據(jù)上對(duì)該網(wǎng)絡(luò)進(jìn)行測(cè)驗(yàn)。聚類算法則是一種無監(jiān)督學(xué)習(xí)（unsupervised learning）方法。在這種模型中，算法會(huì)依據(jù)數(shù)據(jù)的一個(gè)或多個(gè)特點(diǎn)將一組特征向量安排成聚類。


圖 4：在一個(gè)二維特征空間中的聚類

你可以運(yùn)用少數(shù)代碼就能完成的最簡(jiǎn)略的聚類算法是 k-均值（k-means）。其間，k 表明你為樣本分配的聚類的數(shù)量。你可以運(yùn)用一個(gè)隨機(jī)特征向量來對(duì)一個(gè)聚類進(jìn)行初始化，然后將其它樣本增加到其最近鄰的聚類（假定每個(gè)樣本都能表明一個(gè)特征向量，而且可以運(yùn)用 Euclidean distance 來斷定「間隔」）。跟著你往一個(gè)聚類增加的樣本越來越多，其形心（centroid，即聚類的中心）就會(huì)從頭核算。然后該算法會(huì)從頭查看一次樣本，以保證它們都在最近鄰的聚類中，終究直到?jīng)]有樣本需求改動(dòng)所屬聚類。

盡管 k-均值聚類相對(duì)有用，但你有必要事前斷定 k 的巨細(xì)。依據(jù)數(shù)據(jù)的不同，其它方法可能會(huì)愈加有用，比方分層聚類（hierarchical clustering）或依據(jù)散布的聚類（distribution-based clustering）。

決議計(jì)劃樹

決議計(jì)劃樹和聚類很附近。決議計(jì)劃樹是一種關(guān)于調(diào)查（observation）的猜測(cè)模型，可以得到一些定論。定論在決議計(jì)劃樹上被表明成樹葉，而節(jié)點(diǎn)則是調(diào)查分叉的決議計(jì)劃點(diǎn)。決議計(jì)劃樹來自決議計(jì)劃樹學(xué)習(xí)算法，其間數(shù)據(jù)聚會(huì)依據(jù)特點(diǎn)值測(cè)驗(yàn)（attribute value tests）而被分紅不同的子集，這個(gè)切割進(jìn)程被稱為遞歸分區(qū)（recursive partitioning）。

考慮下圖中的示例。在這個(gè)數(shù)據(jù)會(huì)集，我可以依據(jù)三個(gè)要素調(diào)查到或人是否有生產(chǎn)力。運(yùn)用一個(gè)決議計(jì)劃樹學(xué)習(xí)算法，我可以通過一個(gè)方針來辨認(rèn)特點(diǎn)（其間一個(gè)比方是信息增益）。在這個(gè)比方中，心境（mood）是生產(chǎn)力的首要影響要素，所以我依據(jù) Good Mood 一項(xiàng)是 Yes 或 No 而對(duì)這個(gè)數(shù)據(jù)集進(jìn)行了切割?？墒?，在 Yes 這邊，還需求我依據(jù)其它兩個(gè)特點(diǎn)再次對(duì)該數(shù)據(jù)集進(jìn)行切分。表中不同的色彩對(duì)應(yīng)右側(cè)中不同色彩的葉節(jié)點(diǎn)。


圖 5：一個(gè)簡(jiǎn)略的數(shù)據(jù)集及其得到的決議計(jì)劃樹

決議計(jì)劃樹的一個(gè)重要性質(zhì)在于它們的內(nèi)涵的安排才能，這能讓你輕松地（圖形化地）解說你分類一個(gè)項(xiàng)的方法。盛行的決議計(jì)劃樹學(xué)習(xí)算法包含 C4.5 以及分類與回歸樹（Classification and Regression Tree）。

依據(jù)規(guī)矩的體系

最早的依據(jù)規(guī)矩和推理的體系是 Dendral，于 1965 年被開發(fā)出來，但直到 1970 時(shí)代，所謂的專家體系（expert systems）才開端大行其道。依據(jù)規(guī)矩的體系會(huì)一起存有所需的常識(shí)的規(guī)矩，并會(huì)運(yùn)用一個(gè)推理體系（reasoning system）來得出定論。

依據(jù)規(guī)矩的體系一般由一個(gè)規(guī)矩調(diào)集、一個(gè)常識(shí)庫(kù)、一個(gè)推理引擎（運(yùn)用前向或反向規(guī)矩鏈）和一個(gè)用戶接口組成。下圖中，我運(yùn)用了常識(shí)「蘇格拉底是人」、規(guī)矩「假如是人，就會(huì)死」以及一個(gè)交互「誰會(huì)死？」


圖 6：依據(jù)規(guī)矩的體系

依據(jù)規(guī)矩的體系現(xiàn)已在語音辨認(rèn)、規(guī)劃和操控以及疾病辨認(rèn)等范疇得到了運(yùn)用。上世紀(jì) 90 時(shí)代人們開發(fā)的一個(gè)監(jiān)控和確診大壩穩(wěn)定性的體系 Kaleidos 至今仍在運(yùn)用。

機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)是人工智能和核算機(jī)科學(xué)的一個(gè)子范疇，也有統(tǒng)計(jì)學(xué)和數(shù)學(xué)優(yōu)化方面的根基。機(jī)器學(xué)習(xí)涵蓋了有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)范疇的技能，可用于猜測(cè)、剖析和數(shù)據(jù)發(fā)掘。機(jī)器學(xué)習(xí)不限于深度學(xué)習(xí)這一種。但在這一節(jié)，我會(huì)介紹幾種使得深度學(xué)習(xí)變得如此高效的算法。


圖 7：機(jī)器學(xué)習(xí)方法的時(shí)刻線

反向傳達(dá)

神經(jīng)網(wǎng)絡(luò)的強(qiáng)壯力氣源于其多層的結(jié)構(gòu)。單層感知器的練習(xí)是很直接的，但得到的網(wǎng)絡(luò)并不強(qiáng)壯。那問題就來了：咱們?cè)趺淳毩?xí)多層網(wǎng)絡(luò)呢？這就是反向傳達(dá)的用武之地。

反向傳達(dá)是一種用于練習(xí)多層神經(jīng)網(wǎng)絡(luò)的算法。它的作業(yè)進(jìn)程分為兩個(gè)階段。第一階段是將輸入傳達(dá)通過整個(gè)神經(jīng)網(wǎng)絡(luò)直到終究一層（稱為前饋）。第二階段，該算法會(huì)核算一個(gè)差錯(cuò)，然后從終究一層到第一層反向傳達(dá)該差錯(cuò)（調(diào)整權(quán)重）。


圖 8：反向傳達(dá)示意圖

在練習(xí)進(jìn)程中，該網(wǎng)絡(luò)的中間層會(huì)自己進(jìn)行安排，將輸入空間的部分映射到輸出空間。反向傳達(dá)，運(yùn)用監(jiān)督學(xué)習(xí)，可以辨認(rèn)出輸入到輸出映射的差錯(cuò)，然后可以據(jù)此調(diào)整權(quán)重（運(yùn)用一個(gè)學(xué)習(xí)率）來糾正這個(gè)差錯(cuò)。反向傳達(dá)現(xiàn)在依然是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的一個(gè)重要方面。跟著核算資源越來越快、越來越廉價(jià)，它還將持續(xù)在更大和更密布的網(wǎng)絡(luò)中得到運(yùn)用。

卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是受動(dòng)物視覺皮層啟示的多層神經(jīng)網(wǎng)絡(luò)。這種架構(gòu)在包含圖畫處理的許多運(yùn)用中都有用。第一個(gè) CNN 是由 Yann LeCun 創(chuàng)立的，其時(shí) CNN 架構(gòu)首要用于手寫字符辨認(rèn)使命，例如讀取郵政編碼。

LeNet CNN 由好幾層可以別離完成特征提取和分類的神經(jīng)網(wǎng)絡(luò)組成。圖畫被分為多個(gè)可以被承受的區(qū)域，這些子區(qū)域進(jìn)入到一個(gè)可以從輸入圖畫提取特征的卷積層。下一步就是池化，這個(gè)進(jìn)程降低了卷積層提取到的特征的維度（通過下采樣的方法），一起保留了最重要的信息（一般通過最大池化的方法）。然后這個(gè)算法又履行另一次卷積和池化，池化之后便進(jìn)入一個(gè)全銜接的多層感知器。卷積神經(jīng)網(wǎng)絡(luò)的終究輸出是一組可以辨認(rèn)圖畫特征的節(jié)點(diǎn)（在這個(gè)比方中，每個(gè)被辨認(rèn)的數(shù)字都是一個(gè)節(jié)點(diǎn)）。運(yùn)用者可以通過反向傳達(dá)的方法來練習(xí)網(wǎng)絡(luò)。


圖 9.LeNet 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

對(duì)深層處理、卷積、池化以及全銜接分類層的運(yùn)用打開了神經(jīng)網(wǎng)絡(luò)的各種新式運(yùn)用的大門。除了圖畫處理之外，卷積神經(jīng)網(wǎng)絡(luò)現(xiàn)已被成功地運(yùn)用在了視頻辨認(rèn)以及天然言語處理等多種使命中。卷積神經(jīng)網(wǎng)絡(luò)也現(xiàn)已在 GPU 上被有用地完成，這極大地提高了卷積神經(jīng)網(wǎng)絡(luò)的功能。

長(zhǎng)短期回憶（LSTM）

記住前面反向傳達(dá)中的評(píng)論嗎？網(wǎng)絡(luò)是前饋式的練習(xí)的。在這種架構(gòu)中，咱們將輸入送到網(wǎng)絡(luò)而且通過躲藏層將它們向前傳達(dá)到輸出層?？墒牵€存在其他的拓?fù)浣Y(jié)構(gòu)。我在這里要研討的一個(gè)架構(gòu)答應(yīng)節(jié)點(diǎn)之間構(gòu)成直接的回路。這些神經(jīng)網(wǎng)絡(luò)被稱為循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），它們可以向前面的層或許同一層的后續(xù)節(jié)點(diǎn)饋送內(nèi)容。這一特性使得這些網(wǎng)絡(luò)對(duì)時(shí)序數(shù)據(jù)而言是理想化的。

在 1997 年，一種叫做長(zhǎng)短期回憶（LSTM）的特別的循環(huán)網(wǎng)絡(luò)被發(fā)明晰。LSTM 包含網(wǎng)絡(luò)中可以長(zhǎng)期或許短時(shí)刻回憶數(shù)值的回憶單元。


圖 10. 長(zhǎng)短期回憶網(wǎng)絡(luò)和回憶單元

回憶單元包含了可以操控信息流入或許流出該單元的一些門。輸入門（input gate）操控什么時(shí)分新的信息可以流入回憶單元。忘記門（forget gate）操控一段信息在回憶單元中存留的時(shí)刻。終究，輸出門（output gate）操控輸出何時(shí)運(yùn)用回憶單元中包含的信息?；貞泦卧€包含操控每一個(gè)門的權(quán)重。練習(xí)算法（一般是通過時(shí)刻的反向傳達(dá)（backpropagation-through-time），反向傳達(dá)算法的一種變體）依據(jù)所得到的差錯(cuò)來優(yōu)化這些權(quán)重。

LSTM 現(xiàn)已被運(yùn)用在語音辨認(rèn)、手寫辨認(rèn)、語音組成、圖畫描繪等各種使命中。下面我還會(huì)談到 LSTM。

深度學(xué)習(xí)

深度學(xué)習(xí)是一組相對(duì)新穎的方法調(diào)集，它們從根本上改動(dòng)了機(jī)器學(xué)習(xí)。深度學(xué)習(xí)自身不是一種算法，可是它是一系列可以用無監(jiān)督學(xué)習(xí)完成深度網(wǎng)絡(luò)的算法。這些網(wǎng)絡(luò)是十分深層的，所以需求新的核算方法來構(gòu)建它們，例如 GPU，除此之外還有核算機(jī)集群。

本文現(xiàn)在現(xiàn)已介紹了兩種深度學(xué)習(xí)的算法：卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期回憶網(wǎng)絡(luò)。這些算法現(xiàn)已被結(jié)合起來完成了一些令人驚奇的智能使命。如下圖所示，卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期回憶現(xiàn)已被用來辨認(rèn)并用天然言語描繪圖片或許視頻中的物體。


圖 11. 結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期回憶來進(jìn)行圖畫描繪

深度學(xué)習(xí)算法也現(xiàn)已被用在了人臉辨認(rèn)中，也可以以 96% 的準(zhǔn)確率來辨認(rèn)結(jié)核病，還被用在自動(dòng)駕駛和其他雜亂的問題中。

可是，盡管運(yùn)用深度學(xué)習(xí)算法有著許多成果，可是依然存在問題需求咱們?nèi)ヌ幚怼Ｒ粋€(gè)最近的將深度學(xué)習(xí)用于皮膚癌檢測(cè)的運(yùn)用發(fā)現(xiàn)，這個(gè)算法比通過認(rèn)證的皮膚科醫(yī)師具有更高的準(zhǔn)確率?？墒?，醫(yī)師可以列舉出導(dǎo)致其確診成果的要素，卻沒有方法知道深度學(xué)習(xí)程序在分類的時(shí)分所用的要素。這被稱為深度學(xué)習(xí)的黑箱問題。

另一個(gè)被稱為 Deep Patient 的運(yùn)用，在供給患者的病例時(shí)可以成功地猜測(cè)疾病。該運(yùn)用被證明在疾病猜測(cè)方面比醫(yī)師還做得好——即使是眾所周知的難以猜測(cè)的精神分裂癥。所以，即使模型作用杰出，也沒人可以深化到這些大型神經(jīng)網(wǎng)絡(luò)去找到原因。

認(rèn)知核算

人工智能和機(jī)器學(xué)習(xí)充滿了生物啟示的事例。盡管前期的人工智能專心于樹立仿照人腦的機(jī)器這一宏偉方針，而現(xiàn)在，是認(rèn)知核算正在朝著這個(gè)方針跨進(jìn)。

認(rèn)知核算樹立在神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)之上，運(yùn)用認(rèn)知科學(xué)中的常識(shí)來構(gòu)建可以仿照人類思維進(jìn)程的體系。可是，認(rèn)知核算覆蓋了很多學(xué)科，例如機(jī)器學(xué)習(xí)、天然言語處理、視覺以及人機(jī)交互，而不只是是聚集于某個(gè)獨(dú)自的技能。

認(rèn)知學(xué)習(xí)的一個(gè)比方就是 IBM 的 Waston，它在 Jeopardy 上展現(xiàn)了其時(shí)最先進(jìn)的問答交互。IBM 現(xiàn)已將其擴(kuò)展在了一系列的 web 效勞上了。這些效勞供給了用于一些列運(yùn)用的編程接口來構(gòu)建強(qiáng)壯的虛擬署理，這些接口有：視覺辨認(rèn)、語音文本變換（語音辨認(rèn)）、文本語音變換（語音組成）、言語了解和翻譯、以及對(duì)話引擎。

持續(xù)前進(jìn)

本文只是涵蓋了關(guān)于人工智能前史以及最新的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)方法的一小部分。盡管人工智能和機(jī)器學(xué)習(xí)閱歷了許多起崎嶇伏，可是像深度學(xué)習(xí)和認(rèn)知核算這樣的新方法現(xiàn)已明顯地提高了這些學(xué)科的水平。盡管可能還無法完成一個(gè)具有認(rèn)識(shí)的機(jī)器，可是今日的確有著可以改進(jìn)人類日子的人工智能體系。