關(guān)于目前深度學(xué)習(xí)所面臨的障礙，鎂客君為大家找來了斯坦福大學(xué)在讀博士Bharath Ramsundar列出的15個深度學(xué)習(xí)現(xiàn)在有的問題~

1．眾所周知，深度學(xué)習(xí)方法很難學(xué)習(xí)到輸入樣本的微小變化。當樣本的顏色交換時，所構(gòu)建的目標識別系統(tǒng)可能會完全崩潰。

2．基于梯度的網(wǎng)絡(luò)訓(xùn)練過程相當緩慢。一般按照固定模式來實現(xiàn)多種梯度下降方法，但是這種方法很難用于高維數(shù)據(jù)的預(yù)測。

3．深度學(xué)習(xí)方法在處理條件約束方面的效果也不佳，不能像線性規(guī)劃方法那樣，能快速找到滿足約束的解決方案。

4．在訓(xùn)練復(fù)雜模型時，網(wǎng)絡(luò)相當不穩(wěn)定。通常不能很好地訓(xùn)練神經(jīng)圖靈機和GAN網(wǎng)絡(luò)，嚴重依賴網(wǎng)絡(luò)的初始化方式。

5．深層網(wǎng)絡(luò)能較好地應(yīng)用于圖像處理和自然語言分析中，但是不適合現(xiàn)實世界的實際問題，如提取因果結(jié)構(gòu)等等。

6．在實際應(yīng)用中，要考慮關(guān)鍵影響者檢測的問題。在參議員參議員投票的數(shù)據(jù)集中，應(yīng)該如何檢測出關(guān)鍵影響者，深度神經(jīng)網(wǎng)絡(luò)DNN還不能應(yīng)用于此方面。

7．強化學(xué)習(xí)（Reinforcement learning）方法對輸入數(shù)據(jù)非常挑剔，實際性能主要取決于調(diào)參技巧，雖然這個特殊問題僅存在于這個方面。

8．深度學(xué)習(xí)方法不容易理解未知實體，比如說當棒球擊球手在視頻中，深度學(xué)習(xí)不知道如何推斷出屏幕外還有個投手。

9．實時訓(xùn)練深層網(wǎng)絡(luò)幾乎不可能，因此很難進行動態(tài)調(diào)整，上文已經(jīng)提到網(wǎng)絡(luò)訓(xùn)練緩慢的問題。

10．一般來說，網(wǎng)絡(luò)需通過離線訓(xùn)練后才能進行智能辨識。

11．人們經(jīng)常提出一些對深層網(wǎng)絡(luò)的理論解釋。但這可能不是一個大問題，人們才是一個真正的大問題。

12．目前很難確定深層網(wǎng)絡(luò)學(xué)習(xí)到了什么。作為工程師的我們，怎樣才能確保在網(wǎng)絡(luò)訓(xùn)練過程中不存在偏見和種族歧視？

13．深度神經(jīng)網(wǎng)絡(luò)很難用來解決邏輯問題。3SAT求解器具有很強的能力，但是很難應(yīng)用到深層網(wǎng)絡(luò)。

14．深度神經(jīng)網(wǎng)絡(luò)在處理大維度的特征數(shù)據(jù)方面效果不佳。這種方法與強大的隨機森林方法不同，在訓(xùn)練前需要大量的特征調(diào)整。

15．深度網(wǎng)絡(luò)的超參數(shù)優(yōu)化研究仍然處于起步階段。研究者需要完成大量的計算或是手動調(diào)整許多網(wǎng)絡(luò)結(jié)構(gòu)。

總結(jié)起來是以下幾個主要問題：

1. 深度網(wǎng)絡(luò)壓縮：目的是將權(quán)值參數(shù)進行量化或者壓縮存儲，進而減少參數(shù)規(guī)模。

2. 模型加速：現(xiàn)在出現(xiàn)了更深的網(wǎng)絡(luò)，但帶來的問題是計算效率的下降。這個方向主要從網(wǎng)絡(luò)架構(gòu)和實現(xiàn)的角度對模型的計算效率進行提升。

3. 優(yōu)化： 現(xiàn)在在ICML上邊關(guān)于DL優(yōu)化的文章很多，如何避免overfiting? 如何加速訓(xùn)練？產(chǎn)生初始參數(shù)？這些都是比較熱門的研究點。

4. 應(yīng)用：包括檢測、分割、人臉、NLP等，一個好的工作會綜合考慮各種各樣的因素。

5. 遷移：在CV領(lǐng)域work的模型是否可以應(yīng)用到其他領(lǐng)域？在一個新領(lǐng)域中基本想法有了，但具體做起來需要解決各種各樣的實際問題。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！