關(guān)于目前深度學(xué)習(xí)所面臨的障礙，鎂客君為大家找來了斯坦福大學(xué)在讀博士Bharath Ramsundar列出的15個(gè)深度學(xué)習(xí)現(xiàn)在有的問題~

1．眾所周知，深度學(xué)習(xí)方法很難學(xué)習(xí)到輸入樣本的微小變化。當(dāng)樣本的顏色交換時(shí)，所構(gòu)建的目標(biāo)識(shí)別系統(tǒng)可能會(huì)完全崩潰。

2．基于梯度的網(wǎng)絡(luò)訓(xùn)練過程相當(dāng)緩慢。一般按照固定模式來實(shí)現(xiàn)多種梯度下降方法，但是這種方法很難用于高維數(shù)據(jù)的預(yù)測(cè)。

3．深度學(xué)習(xí)方法在處理?xiàng)l件約束方面的效果也不佳，不能像線性規(guī)劃方法那樣，能快速找到滿足約束的解決方案。

4．在訓(xùn)練復(fù)雜模型時(shí)，網(wǎng)絡(luò)相當(dāng)不穩(wěn)定。通常不能很好地訓(xùn)練神經(jīng)圖靈機(jī)和GAN網(wǎng)絡(luò)，嚴(yán)重依賴網(wǎng)絡(luò)的初始化方式。

5．深層網(wǎng)絡(luò)能較好地應(yīng)用于圖像處理和自然語言分析中，但是不適合現(xiàn)實(shí)世界的實(shí)際問題，如提取因果結(jié)構(gòu)等等。

6．在實(shí)際應(yīng)用中，要考慮關(guān)鍵影響者檢測(cè)的問題。在參議員參議員投票的數(shù)據(jù)集中，應(yīng)該如何檢測(cè)出關(guān)鍵影響者，深度神經(jīng)網(wǎng)絡(luò)DNN還不能應(yīng)用于此方面。

7．強(qiáng)化學(xué)習(xí)（Reinforcement learning）方法對(duì)輸入數(shù)據(jù)非常挑剔，實(shí)際性能主要取決于調(diào)參技巧，雖然這個(gè)特殊問題僅存在于這個(gè)方面。

8．深度學(xué)習(xí)方法不容易理解未知實(shí)體，比如說當(dāng)棒球擊球手在視頻中，深度學(xué)習(xí)不知道如何推斷出屏幕外還有個(gè)投手。

9．實(shí)時(shí)訓(xùn)練深層網(wǎng)絡(luò)幾乎不可能，因此很難進(jìn)行動(dòng)態(tài)調(diào)整，上文已經(jīng)提到網(wǎng)絡(luò)訓(xùn)練緩慢的問題。

10．一般來說，網(wǎng)絡(luò)需通過離線訓(xùn)練后才能進(jìn)行智能辨識(shí)。

11．人們經(jīng)常提出一些對(duì)深層網(wǎng)絡(luò)的理論解釋。但這可能不是一個(gè)大問題，人們才是一個(gè)真正的大問題。

12．目前很難確定深層網(wǎng)絡(luò)學(xué)習(xí)到了什么。作為工程師的我們，怎樣才能確保在網(wǎng)絡(luò)訓(xùn)練過程中不存在偏見和種族歧視？

13．深度神經(jīng)網(wǎng)絡(luò)很難用來解決邏輯問題。3SAT求解器具有很強(qiáng)的能力，但是很難應(yīng)用到深層網(wǎng)絡(luò)。

14．深度神經(jīng)網(wǎng)絡(luò)在處理大維度的特征數(shù)據(jù)方面效果不佳。這種方法與強(qiáng)大的隨機(jī)森林方法不同，在訓(xùn)練前需要大量的特征調(diào)整。

15．深度網(wǎng)絡(luò)的超參數(shù)優(yōu)化研究仍然處于起步階段。研究者需要完成大量的計(jì)算或是手動(dòng)調(diào)整許多網(wǎng)絡(luò)結(jié)構(gòu)。

總結(jié)起來是以下幾個(gè)主要問題：

1. 深度網(wǎng)絡(luò)壓縮：目的是將權(quán)值參數(shù)進(jìn)行量化或者壓縮存儲(chǔ)，進(jìn)而減少參數(shù)規(guī)模。

2. 模型加速：現(xiàn)在出現(xiàn)了更深的網(wǎng)絡(luò)，但帶來的問題是計(jì)算效率的下降。這個(gè)方向主要從網(wǎng)絡(luò)架構(gòu)和實(shí)現(xiàn)的角度對(duì)模型的計(jì)算效率進(jìn)行提升。

3. 優(yōu)化： 現(xiàn)在在ICML上邊關(guān)于DL優(yōu)化的文章很多，如何避免overfiting? 如何加速訓(xùn)練？產(chǎn)生初始參數(shù)？這些都是比較熱門的研究點(diǎn)。

4. 應(yīng)用：包括檢測(cè)、分割、人臉、NLP等，一個(gè)好的工作會(huì)綜合考慮各種各樣的因素。

5. 遷移：在CV領(lǐng)域work的模型是否可以應(yīng)用到其他領(lǐng)域？在一個(gè)新領(lǐng)域中基本想法有了，但具體做起來需要解決各種各樣的實(shí)際問題。

最后，記得關(guān)注微信公眾號(hào)：鎂客網(wǎng)（im2maker），更多干貨在等你！