關(guān)于許多具有應(yīng)戰(zhàn)性的現(xiàn)實(shí)問題，深度學(xué)習(xí)已經(jīng)成為最有用的處理辦法。

例如，關(guān)于方針檢測(cè)，語音辨認(rèn)和言語翻譯等問題，深度學(xué)習(xí)可以體現(xiàn)出最佳的功能。許多人以為深度神經(jīng)網(wǎng)絡(luò)(DNNs)是一種奇特的黑盒子，咱們只需求輸入一堆數(shù)據(jù)，網(wǎng)絡(luò)就可以輸出咱們所要的處理計(jì)劃！可是，在實(shí)踐中咱們往往會(huì)碰到更多、更雜亂的問題。

在規(guī)劃網(wǎng)絡(luò)模型并將DNNs運(yùn)用到一個(gè)特定的問題上，往往會(huì)遇到許多應(yīng)戰(zhàn)。關(guān)于某一特定的實(shí)踐問題，咱們需求依據(jù)實(shí)踐運(yùn)用，正確地規(guī)劃并練習(xí)網(wǎng)絡(luò)模型，一起數(shù)據(jù)的準(zhǔn)備作業(yè)也是至關(guān)重要的，這將直接影響模型的練習(xí)和推理進(jìn)程。

經(jīng)過這篇博文，我將與咱們共享7個(gè)深度學(xué)習(xí)實(shí)用技巧，教你怎么讓深度神經(jīng)網(wǎng)絡(luò)發(fā)揮最大效果。

▌1、數(shù)據(jù)！數(shù)據(jù)！數(shù)據(jù)！

眾所周知的是，假如把深度學(xué)習(xí)比作一臺(tái)大型的機(jī)器，那么數(shù)據(jù)就好比是這臺(tái)機(jī)器的燃料，一起它的數(shù)量也能決議深度學(xué)習(xí)這臺(tái)機(jī)器的功能好壞。有標(biāo)簽的數(shù)據(jù)越多，模型的功能越好。

在實(shí)踐運(yùn)用中，布置一個(gè)深度學(xué)習(xí)模型時(shí)你需求不斷地為其供給更多的數(shù)據(jù)，并經(jīng)過微調(diào)參數(shù)來進(jìn)一步進(jìn)步模型的功能。假如你想進(jìn)步模型功能的話，那就盡可能取得更多的數(shù)據(jù)吧！

添加數(shù)據(jù)量可以穩(wěn)定地進(jìn)步模型的功能

▌2、你應(yīng)該運(yùn)用哪種優(yōu)化器呢？

經(jīng)過多年的探究，研討人員開發(fā)了不同的梯度下降優(yōu)化算法(SGD)，但各有各的優(yōu)缺點(diǎn)。常被廣泛運(yùn)用的算法包含：

帶動(dòng)量的隨機(jī)梯度下降法

?Adam法

RMSprop法

Adadelta法

其間，RMSprop，Adadelta和Adam法都是一種自適應(yīng)優(yōu)化算法，由于它們會(huì)自動(dòng)更新學(xué)習(xí)速率。假如運(yùn)用一般的隨機(jī)梯度下降法，你需求手動(dòng)地挑選學(xué)習(xí)率和動(dòng)量參數(shù)，設(shè)置動(dòng)量參數(shù)是為了跟著時(shí)刻的推移來不斷地下降學(xué)習(xí)率。

在實(shí)踐中，自適應(yīng)優(yōu)化器往往比一般的梯度下降法更快地讓模型到達(dá)收斂狀況。可是，挑選這些優(yōu)化器的模型終究功能一般都不太好，而一般的梯度下降法一般可以到達(dá)更好的收斂最小值，然后取得更好的模型功能，但這可能比某些優(yōu)化程序需求更多的收斂時(shí)刻。此外，隨機(jī)梯度下降法也更依賴于有用的初始化辦法和學(xué)習(xí)速率衰減指數(shù)的設(shè)置，這在實(shí)踐中是很難斷定的。

因而，假如你只是想快速地取得一些成果，或許只是想測(cè)驗(yàn)一個(gè)新的技能，自適應(yīng)優(yōu)化器將會(huì)是不錯(cuò)的挑選。Adam是個(gè)簡(jiǎn)略上手的自適應(yīng)優(yōu)化器，由于它對(duì)初始學(xué)習(xí)率的設(shè)置沒有很嚴(yán)厲的要求，關(guān)于學(xué)習(xí)率的改動(dòng)進(jìn)程也并不是很靈敏，因而十分利于深度學(xué)習(xí)模型的布置。假如你想取得模型的最優(yōu)功能，可以測(cè)驗(yàn)挑選帶動(dòng)量的隨機(jī)梯度下降法，并經(jīng)過設(shè)置學(xué)習(xí)率，衰減率和動(dòng)量參數(shù)來最大化模型的功能。

最近的研討標(biāo)明，你可以混合地運(yùn)用兩類優(yōu)化器：由Adam優(yōu)化器過渡到隨機(jī)梯度下降法來優(yōu)化模型，可以取得最頂尖的練習(xí)模型！詳細(xì)的做法是，在練習(xí)的前期階段，往往是模型參數(shù)的初始化和調(diào)整十分靈敏的時(shí)分。因而，咱們可以運(yùn)用Adam優(yōu)化器來發(fā)動(dòng)模型的練習(xí)，這將為模型的練習(xí)節(jié)約許多參數(shù)初始化和微調(diào)的時(shí)刻。一旦模型的功能有所崎嶇，咱們就可以切換到帶動(dòng)量的隨機(jī)梯度下降法來進(jìn)一步優(yōu)化咱們的模型，以到達(dá)最佳的功能！

Adam與SGD的功能比照。

由于自適應(yīng)優(yōu)化算法可以自適應(yīng)地設(shè)置學(xué)習(xí)率，其魯棒性更好，

因而Adam在練習(xí)的初期功能更佳，

而SGD可以在練習(xí)完畢后取得更好的大局最小值。

▌3、怎么處理數(shù)據(jù)不平衡問題

在實(shí)踐運(yùn)用中，許多狀況下咱們將面臨不平衡的數(shù)據(jù)散布。舉一個(gè)簡(jiǎn)略的實(shí)踐比如：你要練習(xí)一個(gè)深度網(wǎng)絡(luò)來猜測(cè)視頻Feed流中是否有人持有喪命兵器。可是練習(xí)數(shù)據(jù)中，只要50個(gè)視頻中有拿著兵器的人以及1000個(gè)不帶兵器的視頻！假如只是用這些數(shù)據(jù)來練習(xí)深度學(xué)習(xí)網(wǎng)絡(luò)的話，那么模型的功能將不會(huì)很好，猜測(cè)的成果也將傾向于沒有兵器！這種狀況下，咱們可以經(jīng)過一些辦法來處理數(shù)據(jù)的不平衡問題：

對(duì)丟失函數(shù)運(yùn)用類別權(quán)重。簡(jiǎn)略地說，關(guān)于數(shù)據(jù)量小，代表性缺乏的類別，在丟失函數(shù)中運(yùn)用較高的權(quán)重值，這樣的話對(duì)該類的任何過錯(cuò)都將導(dǎo)致十分大的丟失值，以此來賞罰過錯(cuò)分類。

過度抽樣：關(guān)于數(shù)據(jù)量小，代表性缺乏的練習(xí)樣本，重復(fù)地進(jìn)行采樣，這有助于平衡數(shù)據(jù)類別的散布。關(guān)于一些很小的數(shù)據(jù)集來說，這是處理數(shù)據(jù)不均衡問題的最好辦法。

欠采樣：關(guān)于數(shù)據(jù)量大的類別，在模型練習(xí)進(jìn)程匯總可以簡(jiǎn)略地越過而不去挑選這些數(shù)據(jù)，這也能必定程度上緩解數(shù)據(jù)的不平衡現(xiàn)象，特別關(guān)于大數(shù)據(jù)集而言。

數(shù)據(jù)增強(qiáng)(對(duì)少樣本的類別)：可以對(duì)數(shù)據(jù)量缺乏的類別做數(shù)據(jù)增強(qiáng)操作，生成更多的練習(xí)樣本！例如，在上面檢測(cè)喪命兵器的比如中，你可以改動(dòng)那些帶喪命兵器視頻的色彩和光照條件，來生成更多的視頻數(shù)據(jù)。

▌4、搬遷學(xué)習(xí)

正如上面所說的，深度學(xué)習(xí)模型一般需求很多的數(shù)據(jù)，數(shù)據(jù)量越多，模型的功能也將越好?？墒牵P(guān)于一些運(yùn)用程序來說，大數(shù)據(jù)的獲取可能很困難，符號(hào)數(shù)據(jù)的本錢花費(fèi)也很高。假如咱們期望模型的功能到達(dá)最佳的話，那么可能至少需求數(shù)十萬級(jí)的數(shù)據(jù)來練習(xí)深度模型。不僅如此，關(guān)于不帶標(biāo)簽的數(shù)據(jù)，咱們還需求手動(dòng)地符號(hào)數(shù)據(jù)，這是項(xiàng)十分耗費(fèi)本錢的作業(yè)。

面臨這種狀況，搬遷學(xué)習(xí)將展示其強(qiáng)壯的一面。運(yùn)用搬遷學(xué)習(xí)戰(zhàn)略，在不需求太多的練習(xí)數(shù)據(jù)的狀況下就可以讓咱們的模型到達(dá)最優(yōu)的功能！舉個(gè)比如，例如在百萬級(jí)ImageNet數(shù)據(jù)庫(kù)上預(yù)練習(xí)ResNet模型。然后凍住模型的前幾層權(quán)重參數(shù)，用咱們的數(shù)據(jù)重練習(xí)模型的終究幾層并微調(diào)ResNet模型。

如此，經(jīng)過重練習(xí)ResNet模型的部分層，咱們就可以微調(diào)模型學(xué)到的圖畫特征信息，以便將其搬遷運(yùn)用于不同的使命。這是徹底有可能完成的，由于圖畫的低層特征一般都是十分類似的，而高層次的特征則會(huì)跟著運(yùn)用的不同而改動(dòng)。

搬遷學(xué)習(xí)的根本流程

▌5、數(shù)據(jù)增強(qiáng)：快速而簡(jiǎn)略地進(jìn)步模型功能

咱們重復(fù)地說到：更多的數(shù)據(jù) = 更好的模型體現(xiàn)。除了搬遷學(xué)習(xí)之外，進(jìn)步模型功能的另一種快速而簡(jiǎn)略的辦法是數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)操作是在確保數(shù)據(jù)原始類別標(biāo)簽的一起，對(duì)一些原始圖畫進(jìn)行非線性的圖畫改換，來生成/組成新的練習(xí)樣本。 常見的圖畫數(shù)據(jù)增強(qiáng)辦法包含：

水平或筆直旋轉(zhuǎn)/翻轉(zhuǎn)圖畫

隨機(jī)改動(dòng)圖畫的亮度和色彩

隨機(jī)含糊圖畫

隨機(jī)裁剪圖畫

根本上，你可以對(duì)圖畫進(jìn)行任何操作，改動(dòng)圖畫的外觀，但不能改動(dòng)全體的內(nèi)容。即關(guān)于一張狗的相片，你可以改動(dòng)它的巨細(xì)、視點(diǎn)、色彩、清晰度等，但你要確保它仍然是一張狗的相片。

豐厚的數(shù)據(jù)增強(qiáng)樣本

▌6、集成你的模型！

在機(jī)器學(xué)習(xí)中，一起練習(xí)多個(gè)模型，然后將它們組合在一起可以取得更高的全體功能。詳細(xì)地說，對(duì)弈一個(gè)特定的使命，在相同的數(shù)據(jù)集上一起練習(xí)多個(gè)深度網(wǎng)絡(luò)模型。然后，組合模型并經(jīng)過投票的辦法為每個(gè)模型分配不同的權(quán)重值。終究依據(jù)模型的全體功能決議最優(yōu)的組合計(jì)劃。

為了確保每個(gè)練習(xí)模型都有必定的差異性，咱們可以對(duì)權(quán)重進(jìn)行隨機(jī)初始化來處理練習(xí)模型，還可以經(jīng)過隨機(jī)地?cái)?shù)據(jù)增強(qiáng)來豐厚咱們的練習(xí)數(shù)據(jù)。一般說來，經(jīng)過組合多個(gè)模型得到的集成模型一般會(huì)比單個(gè)模型的功能更好，因而這也更靠近實(shí)踐運(yùn)用的需求。特別地，在一些競(jìng)賽中，取勝方一般都是選用集成模型尋求更佳的全體功能，來處理實(shí)踐問題。

集成模型

▌7、剪枝——為你的練習(xí)提速

跟著模型深度的添加，模型功能也將更好，但模型的練習(xí)速度又怎么呢？層數(shù)越深意味著參數(shù)量更多，而更多的參數(shù)意味著更多的核算和更多的內(nèi)存耗費(fèi)，練習(xí)速度也將變慢。抱負(fù)狀況下，咱們期望在進(jìn)步練習(xí)速度的一起堅(jiān)持模型的高功能。這可以經(jīng)過剪枝來完成。

剪枝的中心思維是，深度網(wǎng)絡(luò)中存在許多冗余參數(shù)，這些參數(shù)對(duì)模型的輸出沒有太大奉獻(xiàn)。咱們可以按網(wǎng)絡(luò)的輸出奉獻(xiàn)來擺放網(wǎng)絡(luò)中的神經(jīng)元，將排名低的那些神經(jīng)元移除咱們的模型，這樣就可以得到一個(gè)更小、更快的網(wǎng)絡(luò)。此外，還可以依據(jù)神經(jīng)元權(quán)重的L1/L2均值來均勻激活每個(gè)神經(jīng)元，再經(jīng)過核算神經(jīng)元在驗(yàn)證集上不為零的次數(shù)或許其他創(chuàng)造性辦法來對(duì)神經(jīng)元進(jìn)行排序。一個(gè)更快/更小的模型，關(guān)于深度學(xué)習(xí)模型在移動(dòng)設(shè)備上布置是至關(guān)重要的。

最近的一些研討標(biāo)明，只是丟掉一些卷積濾波器，就可以在不損耗模型精度的一起加快模型的練習(xí)，得到一個(gè)快而小的深度模型。在這項(xiàng)研討中，神經(jīng)元的排名辦法也是適當(dāng)簡(jiǎn)略：在每個(gè)修剪迭代中，運(yùn)用每個(gè)濾波器權(quán)重的L1范數(shù)對(duì)一切的過濾器進(jìn)行排序，然后在悉數(shù)層中修剪掉m個(gè)排名最低的過濾器，再不斷重復(fù)以上的操作直到取得咱們想要的模型。這是個(gè)十分成功的剪枝事例。

深度神經(jīng)網(wǎng)絡(luò)修剪的過程

此外，在最近的另一篇剖析ResNet模型結(jié)構(gòu)的文章中，作者提出了一種修剪過濾器的觀念。研討發(fā)現(xiàn)，在移除網(wǎng)絡(luò)層的時(shí)分，帶剩余銜接的網(wǎng)絡(luò)(如ResNets)與那些沒有運(yùn)用方便銜接的網(wǎng)絡(luò)(如VGG或AlexNet)比較，殘差網(wǎng)絡(luò)的功能愈加穩(wěn)健，在剪枝的一起也不會(huì)過多地影響模型的功能。這項(xiàng)發(fā)現(xiàn)具有重要的實(shí)踐意義，這就意味著咱們?cè)诓贾靡粋€(gè)修剪網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)規(guī)劃最好要選用殘差網(wǎng)絡(luò)結(jié)構(gòu)(如ResNets)，讓咱們的模型魯棒性更好。