周志華表示，我們在構(gòu)建深度學(xué)習(xí)模型的時候，并不是只有“深度神經(jīng)網(wǎng)絡(luò)”這一條路。

6月1日，以“深度視野，對話未來”為主題的首屆“中新人工智能高峰論壇”在新加坡·南京生態(tài)科技島召開。

本次論壇，大咖云集，匯聚了李德毅、周志華、凌曉峰等多位中、新方院士，以及科大訊飛、小i機器人、云知聲等企業(yè)代表。其中，南京大學(xué)計算機科學(xué)與技術(shù)系主任、人工智能學(xué)院院長、歐洲科學(xué)院外籍院士周志華發(fā)表了《關(guān)于機器學(xué)習(xí)的一點思考》的主題演講。

圖 | 周志華

周志華認(rèn)為“機器學(xué)習(xí)無所不在，很多AI應(yīng)用背后關(guān)鍵支撐就是機器學(xué)習(xí)技術(shù)。”

他的第一點思考是機器學(xué)習(xí)的發(fā)展路徑，深度神經(jīng)網(wǎng)絡(luò)是由多層的、可參數(shù)化以及可微分的非線性模塊所構(gòu)建，它需要用BP算法來訓(xùn)練，但是在一些圖像、視頻處理任務(wù)上，深度神經(jīng)網(wǎng)絡(luò)并不是最佳的選擇。“當(dāng)我們重新審視神經(jīng)網(wǎng)絡(luò)模型的時候，是不是可以基于不可微構(gòu)件進(jìn)行深度學(xué)習(xí)？”

基于對深度學(xué)習(xí)的反思，周志華院提出了他們自己的“深度森林”模型，“這是第一個‘非神經(jīng)網(wǎng)絡(luò)’、不使用BP算法訓(xùn)練的深度學(xué)習(xí)模型”。目前，該套模型已經(jīng)應(yīng)用在螞蟻金服的反套現(xiàn)檢測上，并且被證明是目前性能最好的模型。

第二點思考是機器學(xué)習(xí)解決的任務(wù)，以圍棋對弈為例，它其實屬于封閉靜態(tài)環(huán)境的任務(wù)，而以往的機器學(xué)習(xí)也非常擅長解決這種封閉靜態(tài)環(huán)境任務(wù)，但是我們今天的任務(wù)是如何在開放環(huán)境下做更好的機器學(xué)習(xí)，周志華強調(diào)最關(guān)鍵的就是魯棒性：要求人工智能必須很好的應(yīng)對未知環(huán)境，是通往魯棒人工智能的核心環(huán)節(jié)。

第三點思考是AI人才，他指出和傳統(tǒng)軟件產(chǎn)業(yè)不同的是：AI領(lǐng)域內(nèi)個別人的聰明才智如果能帶來算法上的突破，可能就真的帶來生產(chǎn)力。所以，他認(rèn)為“與一般軟件產(chǎn)業(yè)相比，AI產(chǎn)業(yè)更凸顯‘個人英雄主義’。”

以下，是周志華的演講實錄：

我今天跟大家匯報的題目是“關(guān)于機器學(xué)習(xí)前沿的一點思考”，因為我本人主要是從事機器學(xué)習(xí)方面的研究。

現(xiàn)在處于一個大數(shù)據(jù)時代，但這個“大數(shù)據(jù)”并不意味著真正大的價值，要得到數(shù)據(jù)里面的價值，我們就必須進(jìn)行有效的數(shù)據(jù)分析?，F(xiàn)在，我們通過計算機來進(jìn)行數(shù)據(jù)分析，而這個離不開機器學(xué)習(xí)。

可以看到，機器學(xué)習(xí)已經(jīng)無所不在。很多人工智能應(yīng)用背后最關(guān)鍵的支撐就是機器學(xué)習(xí)。所以，我想從三個方面來談一談我對于機器學(xué)習(xí)發(fā)展的思考。

首先，從學(xué)術(shù)研究出發(fā)，我們先談一談技術(shù)。

人工智能熱潮也好，人工智能產(chǎn)業(yè)也好，其實很大程度上就是因為機器學(xué)習(xí)技術(shù)，尤其是里面的深度學(xué)習(xí)技術(shù)取得了巨大的進(jìn)展。所以我們可以看到各種各樣的應(yīng)用中，特別是在圖像、視頻、語音，包括我們現(xiàn)在用的訊飛實時翻譯器，其背后都有很多深度學(xué)習(xí)技術(shù)在支撐。

但是，如果我們今天問這么一個問題：深度學(xué)習(xí)是什么？我想絕大部分人的回答是：深度學(xué)習(xí)就是深度神經(jīng)網(wǎng)絡(luò)。

舉一個例子，有一個很著名的學(xué)會叫SIAM（國際工業(yè)應(yīng)用數(shù)據(jù)協(xié)會），它有一個旗艦報紙叫《SIAM News》，去年6月的頭版里面有這么一篇文章，它的第一句話就說“深度學(xué)習(xí)是什么呢？是機器學(xué)習(xí)中使用深度神經(jīng)網(wǎng)絡(luò)的一個子領(lǐng)域”。

所以，當(dāng)我們要談深度學(xué)習(xí)，必然要談到深度神經(jīng)網(wǎng)絡(luò)。我們接下來就從神經(jīng)網(wǎng)絡(luò)開始說起。

實際上，“神經(jīng)網(wǎng)絡(luò)”并不是一個新東西，我們學(xué)術(shù)界已經(jīng)研究了幾十年。

以往我們用神經(jīng)網(wǎng)絡(luò)的時候，通常用里面的一層或者兩層的引節(jié)點，這是什么東西？從生理學(xué)上講——就是一個細(xì)胞接收到很多信號之后，如果這個信號的強度超過了一個固定的電位，這個細(xì)胞就會被激活。

這個簡單的現(xiàn)象在1943年就被兩位學(xué)者總結(jié)成了一個簡單的數(shù)學(xué)公式——激活函數(shù)，我們一直到今天還在使用這個公式。

再看如今這么復(fù)雜的深度學(xué)習(xí)系統(tǒng)，它的奧秘是什么？其實最基本的單元就是激活函數(shù)。神經(jīng)網(wǎng)絡(luò)也好，深度神經(jīng)網(wǎng)絡(luò)也好，它本質(zhì)上就是一個由簡單數(shù)學(xué)函數(shù)歷經(jīng)迭代嵌套之后所得到的數(shù)學(xué)系統(tǒng)。

都說深度神經(jīng)網(wǎng)絡(luò)很深，大概有多深？給大家看幾個數(shù)據(jù)：

在著名的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）比賽中，2012年的冠軍用了8層深度神經(jīng)網(wǎng)絡(luò)，2016年的冠軍則用到了1207層。

深度神經(jīng)網(wǎng)絡(luò)是一個非常龐大的系統(tǒng)，該怎樣讓這些系統(tǒng)工作起來呢？這里面用到了很多技巧。但是，其中非常重要的一點就是，整個系統(tǒng)里面最基本的單元，就是我們剛才說到的激活函數(shù)，是連續(xù)可微的。

這個基本單元的連續(xù)可微會帶來一個什么樣的結(jié)果？它將使得我們能夠很容易的計算梯度，能夠用BP算法來進(jìn)行訓(xùn)練。所以說今天深度神經(jīng)網(wǎng)絡(luò)的成功以及它最后使用的基礎(chǔ)構(gòu)件，關(guān)鍵都在于可微構(gòu)件，這是密不可分的。

不過，神經(jīng)網(wǎng)絡(luò)雖然取得了很多勝利，但也還有很多缺陷。比如神經(jīng)網(wǎng)絡(luò)有太多超參數(shù)，以致于大量的時間都花費在調(diào)參數(shù)上，大家甚至覺得這已經(jīng)是一個體力活……還有很多很多的問題。

另外，或許有些做應(yīng)用的人不關(guān)心學(xué)術(shù)成就，只要能提高性能就好。就算從這個非學(xué)術(shù)角度來看，我們也可以看一看，如今深度神經(jīng)網(wǎng)絡(luò)取得好效果的應(yīng)用主要涉及到圖像、視頻、語音，然而，還有大量的應(yīng)用任務(wù)并沒有涉及這些，比如說電商網(wǎng)店做的用戶推薦。

所以如果用非常學(xué)術(shù)化的語言來說，今天的深度神經(jīng)網(wǎng)絡(luò)是多層的、可參數(shù)化的、可微分的、非線性模塊構(gòu)建的、需要用BP算法來訓(xùn)練的一種模型。

但是，現(xiàn)實世界里面并不是所有的規(guī)律都是可微的，或者用可微構(gòu)件來最優(yōu)建模的。

以往機器學(xué)習(xí)界做了大量的、非可微的構(gòu)建，我們能不能使用這些構(gòu)建取得更好的結(jié)果呢？能不能基于不可微構(gòu)建來進(jìn)行深度學(xué)習(xí)？

這個問題相當(dāng)本質(zhì)，如果研究出成果，它可以幫助我們理解一系列問題，比如說深度學(xué)習(xí)是不是就等于深度神經(jīng)網(wǎng)絡(luò)？我們有沒有可能使用新的深度學(xué)習(xí)模型，在圖像、視頻、語音之外更多的任務(wù)中得到更好的性能？

在這方面的研究中，我們提出了一個新的模型，叫做“深度森林”。這不是一個基于深度神經(jīng)網(wǎng)絡(luò)的模型，但是它在很多任務(wù)上已經(jīng)取得了與深度神經(jīng)網(wǎng)絡(luò)接近的性能。這是第一個基于非神經(jīng)網(wǎng)絡(luò)、不使用BP算法來訓(xùn)練的深度學(xué)習(xí)模型。

最近，我們已經(jīng)和螞蟻金服公司合作，把這個技術(shù)用于“反套現(xiàn)”欺詐的檢測，取得的成效應(yīng)該是現(xiàn)有技術(shù)中最好的。但這還只是一個開頭，它是一個非常初生的技術(shù)，未來再發(fā)展下去應(yīng)該有更多的機會。

國際上，在我們提出“深度森林”之后，有很多學(xué)者也開始反思“深度學(xué)習(xí)”領(lǐng)域。比如說Keras的創(chuàng)始人，他就說可微層是當(dāng)前深度學(xué)習(xí)模型的根本弱點；又比如深度學(xué)習(xí)的創(chuàng)始人之一杰夫·辛頓，他希望放棄BP，從頭開始。比起我們已經(jīng)做出的工作，他們的這些論斷已經(jīng)晚了半年左右。

對于這件事情，我想更重要的意義是，以往我們都知道深度學(xué)習(xí)很有效，但在深度學(xué)習(xí)這個屋子里面只知道一種叫“深度神經(jīng)網(wǎng)絡(luò)”的模型，而忽視了其他的模型。如今，我們可以看到深度學(xué)習(xí)的效用在大多數(shù)領(lǐng)域里面已經(jīng)應(yīng)用的相當(dāng)充分了，當(dāng)我們有了新的技術(shù)模型之后，有沒有可能在更多的領(lǐng)域重新得到一些新的技術(shù)價值呢？這是一個值得探討的方向。

第二個部分，我想簡單談一談機器學(xué)習(xí)技術(shù)新的任務(wù)。

前年AlphaGo下棋獲勝在世界上引起很大的反響，這可以說是機器學(xué)習(xí)取得的巨大成功。但事實上，人工智能界很早就知道，對這種規(guī)則明確的棋類游戲，機器學(xué)習(xí)一定會超過人類。

圍棋并不是最難的任務(wù)，我們說圍棋難，是因為它的狀態(tài)很多，棋盤有361個點，每個點上有三種可能，所以它的可能性有3的361次方。這個數(shù)據(jù)有多大呢？是10的172次方。再形象一點，以原子為例，我們宇宙中現(xiàn)在所有知道的原子個數(shù)是10的80次方，也就是說，再構(gòu)造出一個宇宙，它所有原子數(shù)目還沒有圍棋的狀態(tài)數(shù)多。

這告訴我們，如果靠強力計算，一個狀態(tài)一個狀態(tài)去評估，哪怕量子計算機，或者更強大的計算機做出來了，圍棋問題也是解決不了的。所以這不是一個單靠強力計算就能解決的事情，必須要有聰明的算法，而聰明的算法現(xiàn)在已經(jīng)有了。

從另外一個角度來看，其實比圍棋更困難的問題有很多。圍棋有一個很基本假設(shè)或者說共性條件，就是精確感知、完備信息、共識目標(biāo)。我們下圍棋的時候，棋盤上所有的棋子大家都能看到，而且大家對獲勝標(biāo)準(zhǔn)這一點也有共識。

我們有很多問題不是這樣的，比如打麻將，這就是不完備信息，你只能看到桌上的和自己的牌，其他幾家牌看不到。另外，麻將的牌張數(shù)只有136張，張數(shù)比較少。如果張數(shù)達(dá)到361張，和圍棋棋盤數(shù)一樣，我們就可以嚴(yán)格從理論上證明它比圍棋復(fù)雜得多。

事實上，還有很多非共識目標(biāo)的問題，比如說很多管理層面的問題，領(lǐng)導(dǎo)的目標(biāo)是不一樣的，這時候的判斷就會很難。

總的來說，我們以往的機器學(xué)習(xí)主要是解決封閉環(huán)境、靜態(tài)環(huán)境下的任務(wù)，我們假定很多東西都是不變的，比如說數(shù)據(jù)分布恒定，樣本類別恒定，樣本屬性恒定，甚至是評價目標(biāo)恒定。

但是現(xiàn)在的任務(wù)變了，由封閉靜態(tài)環(huán)境變?yōu)殚_放動態(tài)環(huán)境，一切東西都可能發(fā)生變化。比如說我們把一條破冰船開到兩極去，它看到的海濱是在變的，未知險情可能出現(xiàn)，目標(biāo)也會多樣化等等。所以我們今天的任務(wù)是如何在開放環(huán)境下更好的做機器學(xué)習(xí)。

國際人工智能大會有一個主席報告，由學(xué)會主席為未來做一個判斷。他有一個題目是“通往魯棒的AI”。在這個報告里面，他提到說，隨著人工智能技術(shù)取得巨大發(fā)展，現(xiàn)在的我們越來越多地面臨高風(fēng)險應(yīng)用，例如自動駕駛汽車、自主武器、遠(yuǎn)程外科手術(shù)等等。所有這些應(yīng)用有一個共性，就是一旦你犯錯誤，它的損失是巨大的，因此我們必須要用魯棒的人工智能。

魯棒的人工智能技術(shù)要求我們的系統(tǒng)必須要能夠很好地應(yīng)對未知環(huán)境，也就是開放環(huán)境，所以開放環(huán)境下的機器學(xué)習(xí)是我們特別要關(guān)注的事情，它是通往魯棒人工智能的一個核心環(huán)節(jié)。

第三部分，我想簡單地談一談人工智能產(chǎn)業(yè)發(fā)展。

如今，人工智能技術(shù)在很多產(chǎn)業(yè)被廣泛應(yīng)用，如果大家問到底什么產(chǎn)業(yè)是具備代表性的？我想主要就是互聯(lián)網(wǎng)行業(yè)。

原因是什么？很基本的一個原因是他們積累了大量的數(shù)據(jù)，機器學(xué)習(xí)技術(shù)也好，人工智能技術(shù)也好，只是提供了利用數(shù)據(jù)的方法。

事實上，人工智能技術(shù)可以進(jìn)入所有領(lǐng)域，因為后者經(jīng)過十多年的發(fā)展都能夠產(chǎn)生很多的數(shù)據(jù)。所以我們現(xiàn)在應(yīng)該問的，不是人工智能技術(shù)可能在哪些領(lǐng)域用得好，而是應(yīng)該問，人工智能技術(shù)接下來會在哪些領(lǐng)域取得更大的提高？

我覺得，現(xiàn)在已經(jīng)將人工智能技術(shù)用得很好的領(lǐng)域已經(jīng)不太容易取得更大的提高，用得比較少的領(lǐng)域可能進(jìn)展會更大。未來，人工智能技術(shù)就像電力一樣，它遲早會進(jìn)入所有的行業(yè)。

人工智能產(chǎn)業(yè)發(fā)展到底需要什么呢？需要設(shè)備？不是的，因為我們基本不需要什么特殊精密設(shè)備；需要數(shù)據(jù)？現(xiàn)在數(shù)據(jù)遍地都是。

真正需要的是什么呢？是人才。

一定程度上，人工智能行業(yè)可以說是“有多好的智能人工，才有多好的人工智能”。和一般的軟件產(chǎn)業(yè)比，人工智能產(chǎn)業(yè)應(yīng)該是一個非常凸顯“個人英雄主義”的行業(yè)。

前些日子，就在我們組里，一個還沒有畢業(yè)的博士生被曠視聘請去做他們研究院的院長，就是說，他還沒有畢業(yè)就已經(jīng)要去指導(dǎo)別人做事情了。這種事情在傳統(tǒng)軟件業(yè)是不可能的，高校畢業(yè)出來的人才一定要在企業(yè)里面經(jīng)過兩三年的打磨才能做這個事。

為什么？在軟件行業(yè)，一個軟件要有很多人一起來做，這樣的培養(yǎng)在大學(xué)里面是做不到的，所以必須要到企業(yè)里面去做。

人工智能行業(yè)的代表性就是，它是軟件行業(yè)里面的一個明珠，只要個別人的聰明才智取得算法上的突破，就真的帶來生產(chǎn)力。這個行業(yè)特點，決定了“人工智能的人才培養(yǎng)”是特別重要的，所以現(xiàn)在可以說進(jìn)入了一個全球爭搶人工智能人才的年代。

對于高水平人工智能人才培養(yǎng)的造血能力，我們認(rèn)為它真的會導(dǎo)致產(chǎn)業(yè)核心競爭力的差別，而人工智能人才培養(yǎng)基地也能直接促進(jìn)人工智能產(chǎn)業(yè)人才的急劇形成。

最近，我們南京大學(xué)成立了一個人工智能學(xué)院，我們也希望從源頭做起，為國家、社會、產(chǎn)業(yè)來培養(yǎng)高水平的人才。南京市對此也非常重視，南京市委張敬華書記和我們的校長呂建院士一起為這個學(xué)院來進(jìn)行揭牌，所以我也歡迎各位以各種方式來支持我們南京大學(xué)人工智能學(xué)院。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！