Facebook今年夏天宣告了其在神經(jīng)網(wǎng)絡(luò)練習(xí)上的新打破。 其研究人員能夠在一個(gè)小時(shí)內(nèi)運(yùn)用256個(gè)GPU徹底練習(xí)好圖畫處理AI。 隨后，有一群不甘示弱的大學(xué)研究人員運(yùn)用1600個(gè)Skylake處理器在32分鐘內(nèi)完結(jié)練習(xí)。 一個(gè)星期后，一個(gè)日本團(tuán)隊(duì)在15分鐘內(nèi)就完結(jié)了練習(xí)。 明顯，業(yè)界現(xiàn)已展開了劇烈的AI比賽。

    根本上，練習(xí)一個(gè)神經(jīng)網(wǎng)絡(luò)的進(jìn)程就是把盡可能多的數(shù)據(jù)以最快速度塞進(jìn)一臺(tái)核算機(jī)，讓核算機(jī)對(duì)某個(gè)事物發(fā)生根本了解。

    ImageNet是核算機(jī)將圖畫與單詞相關(guān)聯(lián)的一種方法，它答應(yīng)核算機(jī)“檢查”圖畫并通知咱們它看到的是什么。假如你想要?jiǎng)?chuàng)立一個(gè)AI來(lái)查找包括“藍(lán)色襯衫”或“爸爸的淺笑”的圖畫，ImageNet對(duì)錯(cuò)常有用的。

    現(xiàn)在，這類圖畫處理的基準(zhǔn)是一個(gè)名為Resnet50的50層神經(jīng)網(wǎng)絡(luò)。用該網(wǎng)絡(luò)在一臺(tái)非?？斓暮怂銠C(jī)上練習(xí)一個(gè)深度學(xué)習(xí)體系，大約需求兩個(gè)星期。

    為了削減練習(xí)時(shí)刻，研究人員將處理器銜接在一起，運(yùn)用它們的歸納才能。盡管這并不等同于時(shí)刻的指數(shù)級(jí)削減——兩臺(tái)核算機(jī)并不會(huì)將練習(xí)時(shí)刻從兩周縮減到一天，并且這還涉及到經(jīng)費(fèi)問(wèn)題。

    11月7日，加州大學(xué)伯克利分校、加州大學(xué)戴維斯分校和德州高檔核算中心的研究人員在32分鐘內(nèi)完結(jié)了對(duì)Resnet50模型的全面練習(xí)。這個(gè)團(tuán)隊(duì)的精確度能夠和Facebook在60分鐘內(nèi)練習(xí)出的模型相媲美。

    不到一個(gè)星期，日本人工智能公司Preferred Networks運(yùn)用自己的超級(jí)核算機(jī)（由1024個(gè)Nvidia Tesla GPU組成）在短短15分鐘內(nèi)練習(xí)出了相同的功用。


    日本公司Preferred Networks僅用了Facebook團(tuán)隊(duì)四分之一的時(shí)刻就達(dá)到了相同的AI辨認(rèn)準(zhǔn)確度，最要害的原因可能就是minibatch的規(guī)劃。 Facebook運(yùn)用了8,192個(gè)minibatch，而Preferred Networks運(yùn)用了32,768。 添加minibatch的運(yùn)用規(guī)劃并運(yùn)用了四倍GPU后，Preferred Networks達(dá)到了現(xiàn)在的最短記載時(shí)刻。

    運(yùn)用互聯(lián)網(wǎng)作為數(shù)據(jù)集，將協(xié)助咱們更快完結(jié)AI模型。 要讓機(jī)器更好地輿解人類，有必要讓它們得到一切能得到的數(shù)據(jù)。