周志華表示，我們?cè)跇?gòu)建深度學(xué)習(xí)模型的時(shí)候，并不是只有“深度神經(jīng)網(wǎng)絡(luò)”這一條路。

6月1日，以“深度視野，對(duì)話未來(lái)”為主題的首屆“中新人工智能高峰論壇”在新加坡·南京生態(tài)科技島召開(kāi)。

本次論壇，大咖云集，匯聚了李德毅、周志華、凌曉峰等多位中、新方院士，以及科大訊飛、小i機(jī)器人、云知聲等企業(yè)代表。其中，南京大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系主任、人工智能學(xué)院院長(zhǎng)、歐洲科學(xué)院外籍院士周志華發(fā)表了《關(guān)于機(jī)器學(xué)習(xí)的一點(diǎn)思考》的主題演講。

圖 | 周志華

周志華認(rèn)為“機(jī)器學(xué)習(xí)無(wú)所不在，很多AI應(yīng)用背后關(guān)鍵支撐就是機(jī)器學(xué)習(xí)技術(shù)。”

他的第一點(diǎn)思考是機(jī)器學(xué)習(xí)的發(fā)展路徑，深度神經(jīng)網(wǎng)絡(luò)是由多層的、可參數(shù)化以及可微分的非線性模塊所構(gòu)建，它需要用BP算法來(lái)訓(xùn)練，但是在一些圖像、視頻處理任務(wù)上，深度神經(jīng)網(wǎng)絡(luò)并不是最佳的選擇。“當(dāng)我們重新審視神經(jīng)網(wǎng)絡(luò)模型的時(shí)候，是不是可以基于不可微構(gòu)件進(jìn)行深度學(xué)習(xí)？”

基于對(duì)深度學(xué)習(xí)的反思，周志華院提出了他們自己的“深度森林”模型，“這是第一個(gè)‘非神經(jīng)網(wǎng)絡(luò)’、不使用BP算法訓(xùn)練的深度學(xué)習(xí)模型”。目前，該套模型已經(jīng)應(yīng)用在螞蟻金服的反套現(xiàn)檢測(cè)上，并且被證明是目前性能最好的模型。

第二點(diǎn)思考是機(jī)器學(xué)習(xí)解決的任務(wù)，以圍棋對(duì)弈為例，它其實(shí)屬于封閉靜態(tài)環(huán)境的任務(wù)，而以往的機(jī)器學(xué)習(xí)也非常擅長(zhǎng)解決這種封閉靜態(tài)環(huán)境任務(wù)，但是我們今天的任務(wù)是如何在開(kāi)放環(huán)境下做更好的機(jī)器學(xué)習(xí)，周志華強(qiáng)調(diào)最關(guān)鍵的就是魯棒性：要求人工智能必須很好的應(yīng)對(duì)未知環(huán)境，是通往魯棒人工智能的核心環(huán)節(jié)。

第三點(diǎn)思考是AI人才，他指出和傳統(tǒng)軟件產(chǎn)業(yè)不同的是：AI領(lǐng)域內(nèi)個(gè)別人的聰明才智如果能帶來(lái)算法上的突破，可能就真的帶來(lái)生產(chǎn)力。所以，他認(rèn)為“與一般軟件產(chǎn)業(yè)相比，AI產(chǎn)業(yè)更凸顯‘個(gè)人英雄主義’。”

以下，是周志華的演講實(shí)錄：

我今天跟大家匯報(bào)的題目是“關(guān)于機(jī)器學(xué)習(xí)前沿的一點(diǎn)思考”，因?yàn)槲冶救酥饕菑氖聶C(jī)器學(xué)習(xí)方面的研究。

現(xiàn)在處于一個(gè)大數(shù)據(jù)時(shí)代，但這個(gè)“大數(shù)據(jù)”并不意味著真正大的價(jià)值，要得到數(shù)據(jù)里面的價(jià)值，我們就必須進(jìn)行有效的數(shù)據(jù)分析?，F(xiàn)在，我們通過(guò)計(jì)算機(jī)來(lái)進(jìn)行數(shù)據(jù)分析，而這個(gè)離不開(kāi)機(jī)器學(xué)習(xí)。

可以看到，機(jī)器學(xué)習(xí)已經(jīng)無(wú)所不在。很多人工智能應(yīng)用背后最關(guān)鍵的支撐就是機(jī)器學(xué)習(xí)。所以，我想從三個(gè)方面來(lái)談一談我對(duì)于機(jī)器學(xué)習(xí)發(fā)展的思考。

首先，從學(xué)術(shù)研究出發(fā)，我們先談一談技術(shù)。

人工智能熱潮也好，人工智能產(chǎn)業(yè)也好，其實(shí)很大程度上就是因?yàn)闄C(jī)器學(xué)習(xí)技術(shù)，尤其是里面的深度學(xué)習(xí)技術(shù)取得了巨大的進(jìn)展。所以我們可以看到各種各樣的應(yīng)用中，特別是在圖像、視頻、語(yǔ)音，包括我們現(xiàn)在用的訊飛實(shí)時(shí)翻譯器，其背后都有很多深度學(xué)習(xí)技術(shù)在支撐。

但是，如果我們今天問(wèn)這么一個(gè)問(wèn)題：深度學(xué)習(xí)是什么？我想絕大部分人的回答是：深度學(xué)習(xí)就是深度神經(jīng)網(wǎng)絡(luò)。

舉一個(gè)例子，有一個(gè)很著名的學(xué)會(huì)叫SIAM（國(guó)際工業(yè)應(yīng)用數(shù)據(jù)協(xié)會(huì)），它有一個(gè)旗艦報(bào)紙叫《SIAM News》，去年6月的頭版里面有這么一篇文章，它的第一句話就說(shuō)“深度學(xué)習(xí)是什么呢？是機(jī)器學(xué)習(xí)中使用深度神經(jīng)網(wǎng)絡(luò)的一個(gè)子領(lǐng)域”。

所以，當(dāng)我們要談深度學(xué)習(xí)，必然要談到深度神經(jīng)網(wǎng)絡(luò)。我們接下來(lái)就從神經(jīng)網(wǎng)絡(luò)開(kāi)始說(shuō)起。

實(shí)際上，“神經(jīng)網(wǎng)絡(luò)”并不是一個(gè)新東西，我們學(xué)術(shù)界已經(jīng)研究了幾十年。

以往我們用神經(jīng)網(wǎng)絡(luò)的時(shí)候，通常用里面的一層或者兩層的引節(jié)點(diǎn)，這是什么東西？從生理學(xué)上講——就是一個(gè)細(xì)胞接收到很多信號(hào)之后，如果這個(gè)信號(hào)的強(qiáng)度超過(guò)了一個(gè)固定的電位，這個(gè)細(xì)胞就會(huì)被激活。

這個(gè)簡(jiǎn)單的現(xiàn)象在1943年就被兩位學(xué)者總結(jié)成了一個(gè)簡(jiǎn)單的數(shù)學(xué)公式——激活函數(shù)，我們一直到今天還在使用這個(gè)公式。

再看如今這么復(fù)雜的深度學(xué)習(xí)系統(tǒng)，它的奧秘是什么？其實(shí)最基本的單元就是激活函數(shù)。神經(jīng)網(wǎng)絡(luò)也好，深度神經(jīng)網(wǎng)絡(luò)也好，它本質(zhì)上就是一個(gè)由簡(jiǎn)單數(shù)學(xué)函數(shù)歷經(jīng)迭代嵌套之后所得到的數(shù)學(xué)系統(tǒng)。

都說(shuō)深度神經(jīng)網(wǎng)絡(luò)很深，大概有多深？給大家看幾個(gè)數(shù)據(jù)：

在著名的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）比賽中，2012年的冠軍用了8層深度神經(jīng)網(wǎng)絡(luò)，2016年的冠軍則用到了1207層。

深度神經(jīng)網(wǎng)絡(luò)是一個(gè)非常龐大的系統(tǒng)，該怎樣讓這些系統(tǒng)工作起來(lái)呢？這里面用到了很多技巧。但是，其中非常重要的一點(diǎn)就是，整個(gè)系統(tǒng)里面最基本的單元，就是我們剛才說(shuō)到的激活函數(shù)，是連續(xù)可微的。

這個(gè)基本單元的連續(xù)可微會(huì)帶來(lái)一個(gè)什么樣的結(jié)果？它將使得我們能夠很容易的計(jì)算梯度，能夠用BP算法來(lái)進(jìn)行訓(xùn)練。所以說(shuō)今天深度神經(jīng)網(wǎng)絡(luò)的成功以及它最后使用的基礎(chǔ)構(gòu)件，關(guān)鍵都在于可微構(gòu)件，這是密不可分的。

不過(guò)，神經(jīng)網(wǎng)絡(luò)雖然取得了很多勝利，但也還有很多缺陷。比如神經(jīng)網(wǎng)絡(luò)有太多超參數(shù)，以致于大量的時(shí)間都花費(fèi)在調(diào)參數(shù)上，大家甚至覺(jué)得這已經(jīng)是一個(gè)體力活……還有很多很多的問(wèn)題。

另外，或許有些做應(yīng)用的人不關(guān)心學(xué)術(shù)成就，只要能提高性能就好。就算從這個(gè)非學(xué)術(shù)角度來(lái)看，我們也可以看一看，如今深度神經(jīng)網(wǎng)絡(luò)取得好效果的應(yīng)用主要涉及到圖像、視頻、語(yǔ)音，然而，還有大量的應(yīng)用任務(wù)并沒(méi)有涉及這些，比如說(shuō)電商網(wǎng)店做的用戶推薦。

所以如果用非常學(xué)術(shù)化的語(yǔ)言來(lái)說(shuō)，今天的深度神經(jīng)網(wǎng)絡(luò)是多層的、可參數(shù)化的、可微分的、非線性模塊構(gòu)建的、需要用BP算法來(lái)訓(xùn)練的一種模型。

但是，現(xiàn)實(shí)世界里面并不是所有的規(guī)律都是可微的，或者用可微構(gòu)件來(lái)最優(yōu)建模的。

以往機(jī)器學(xué)習(xí)界做了大量的、非可微的構(gòu)建，我們能不能使用這些構(gòu)建取得更好的結(jié)果呢？能不能基于不可微構(gòu)建來(lái)進(jìn)行深度學(xué)習(xí)？

這個(gè)問(wèn)題相當(dāng)本質(zhì)，如果研究出成果，它可以幫助我們理解一系列問(wèn)題，比如說(shuō)深度學(xué)習(xí)是不是就等于深度神經(jīng)網(wǎng)絡(luò)？我們有沒(méi)有可能使用新的深度學(xué)習(xí)模型，在圖像、視頻、語(yǔ)音之外更多的任務(wù)中得到更好的性能？

在這方面的研究中，我們提出了一個(gè)新的模型，叫做“深度森林”。這不是一個(gè)基于深度神經(jīng)網(wǎng)絡(luò)的模型，但是它在很多任務(wù)上已經(jīng)取得了與深度神經(jīng)網(wǎng)絡(luò)接近的性能。這是第一個(gè)基于非神經(jīng)網(wǎng)絡(luò)、不使用BP算法來(lái)訓(xùn)練的深度學(xué)習(xí)模型。

最近，我們已經(jīng)和螞蟻金服公司合作，把這個(gè)技術(shù)用于“反套現(xiàn)”欺詐的檢測(cè)，取得的成效應(yīng)該是現(xiàn)有技術(shù)中最好的。但這還只是一個(gè)開(kāi)頭，它是一個(gè)非常初生的技術(shù)，未來(lái)再發(fā)展下去應(yīng)該有更多的機(jī)會(huì)。

國(guó)際上，在我們提出“深度森林”之后，有很多學(xué)者也開(kāi)始反思“深度學(xué)習(xí)”領(lǐng)域。比如說(shuō)Keras的創(chuàng)始人，他就說(shuō)可微層是當(dāng)前深度學(xué)習(xí)模型的根本弱點(diǎn)；又比如深度學(xué)習(xí)的創(chuàng)始人之一杰夫·辛頓，他希望放棄BP，從頭開(kāi)始。比起我們已經(jīng)做出的工作，他們的這些論斷已經(jīng)晚了半年左右。

對(duì)于這件事情，我想更重要的意義是，以往我們都知道深度學(xué)習(xí)很有效，但在深度學(xué)習(xí)這個(gè)屋子里面只知道一種叫“深度神經(jīng)網(wǎng)絡(luò)”的模型，而忽視了其他的模型。如今，我們可以看到深度學(xué)習(xí)的效用在大多數(shù)領(lǐng)域里面已經(jīng)應(yīng)用的相當(dāng)充分了，當(dāng)我們有了新的技術(shù)模型之后，有沒(méi)有可能在更多的領(lǐng)域重新得到一些新的技術(shù)價(jià)值呢？這是一個(gè)值得探討的方向。

第二個(gè)部分，我想簡(jiǎn)單談一談機(jī)器學(xué)習(xí)技術(shù)新的任務(wù)。

前年AlphaGo下棋獲勝在世界上引起很大的反響，這可以說(shuō)是機(jī)器學(xué)習(xí)取得的巨大成功。但事實(shí)上，人工智能界很早就知道，對(duì)這種規(guī)則明確的棋類游戲，機(jī)器學(xué)習(xí)一定會(huì)超過(guò)人類。

圍棋并不是最難的任務(wù)，我們說(shuō)圍棋難，是因?yàn)樗臓顟B(tài)很多，棋盤(pán)有361個(gè)點(diǎn)，每個(gè)點(diǎn)上有三種可能，所以它的可能性有3的361次方。這個(gè)數(shù)據(jù)有多大呢？是10的172次方。再形象一點(diǎn)，以原子為例，我們宇宙中現(xiàn)在所有知道的原子個(gè)數(shù)是10的80次方，也就是說(shuō)，再構(gòu)造出一個(gè)宇宙，它所有原子數(shù)目還沒(méi)有圍棋的狀態(tài)數(shù)多。

這告訴我們，如果靠強(qiáng)力計(jì)算，一個(gè)狀態(tài)一個(gè)狀態(tài)去評(píng)估，哪怕量子計(jì)算機(jī)，或者更強(qiáng)大的計(jì)算機(jī)做出來(lái)了，圍棋問(wèn)題也是解決不了的。所以這不是一個(gè)單靠強(qiáng)力計(jì)算就能解決的事情，必須要有聰明的算法，而聰明的算法現(xiàn)在已經(jīng)有了。

從另外一個(gè)角度來(lái)看，其實(shí)比圍棋更困難的問(wèn)題有很多。圍棋有一個(gè)很基本假設(shè)或者說(shuō)共性條件，就是精確感知、完備信息、共識(shí)目標(biāo)。我們下圍棋的時(shí)候，棋盤(pán)上所有的棋子大家都能看到，而且大家對(duì)獲勝標(biāo)準(zhǔn)這一點(diǎn)也有共識(shí)。

我們有很多問(wèn)題不是這樣的，比如打麻將，這就是不完備信息，你只能看到桌上的和自己的牌，其他幾家牌看不到。另外，麻將的牌張數(shù)只有136張，張數(shù)比較少。如果張數(shù)達(dá)到361張，和圍棋棋盤(pán)數(shù)一樣，我們就可以嚴(yán)格從理論上證明它比圍棋復(fù)雜得多。

事實(shí)上，還有很多非共識(shí)目標(biāo)的問(wèn)題，比如說(shuō)很多管理層面的問(wèn)題，領(lǐng)導(dǎo)的目標(biāo)是不一樣的，這時(shí)候的判斷就會(huì)很難。

總的來(lái)說(shuō)，我們以往的機(jī)器學(xué)習(xí)主要是解決封閉環(huán)境、靜態(tài)環(huán)境下的任務(wù)，我們假定很多東西都是不變的，比如說(shuō)數(shù)據(jù)分布恒定，樣本類別恒定，樣本屬性恒定，甚至是評(píng)價(jià)目標(biāo)恒定。

但是現(xiàn)在的任務(wù)變了，由封閉靜態(tài)環(huán)境變?yōu)殚_(kāi)放動(dòng)態(tài)環(huán)境，一切東西都可能發(fā)生變化。比如說(shuō)我們把一條破冰船開(kāi)到兩極去，它看到的海濱是在變的，未知險(xiǎn)情可能出現(xiàn)，目標(biāo)也會(huì)多樣化等等。所以我們今天的任務(wù)是如何在開(kāi)放環(huán)境下更好的做機(jī)器學(xué)習(xí)。

國(guó)際人工智能大會(huì)有一個(gè)主席報(bào)告，由學(xué)會(huì)主席為未來(lái)做一個(gè)判斷。他有一個(gè)題目是“通往魯棒的AI”。在這個(gè)報(bào)告里面，他提到說(shuō)，隨著人工智能技術(shù)取得巨大發(fā)展，現(xiàn)在的我們?cè)絹?lái)越多地面臨高風(fēng)險(xiǎn)應(yīng)用，例如自動(dòng)駕駛汽車(chē)、自主武器、遠(yuǎn)程外科手術(shù)等等。所有這些應(yīng)用有一個(gè)共性，就是一旦你犯錯(cuò)誤，它的損失是巨大的，因此我們必須要用魯棒的人工智能。

魯棒的人工智能技術(shù)要求我們的系統(tǒng)必須要能夠很好地應(yīng)對(duì)未知環(huán)境，也就是開(kāi)放環(huán)境，所以開(kāi)放環(huán)境下的機(jī)器學(xué)習(xí)是我們特別要關(guān)注的事情，它是通往魯棒人工智能的一個(gè)核心環(huán)節(jié)。

第三部分，我想簡(jiǎn)單地談一談人工智能產(chǎn)業(yè)發(fā)展。

如今，人工智能技術(shù)在很多產(chǎn)業(yè)被廣泛應(yīng)用，如果大家問(wèn)到底什么產(chǎn)業(yè)是具備代表性的？我想主要就是互聯(lián)網(wǎng)行業(yè)。

原因是什么？很基本的一個(gè)原因是他們積累了大量的數(shù)據(jù)，機(jī)器學(xué)習(xí)技術(shù)也好，人工智能技術(shù)也好，只是提供了利用數(shù)據(jù)的方法。

事實(shí)上，人工智能技術(shù)可以進(jìn)入所有領(lǐng)域，因?yàn)楹笳呓?jīng)過(guò)十多年的發(fā)展都能夠產(chǎn)生很多的數(shù)據(jù)。所以我們現(xiàn)在應(yīng)該問(wèn)的，不是人工智能技術(shù)可能在哪些領(lǐng)域用得好，而是應(yīng)該問(wèn)，人工智能技術(shù)接下來(lái)會(huì)在哪些領(lǐng)域取得更大的提高？

我覺(jué)得，現(xiàn)在已經(jīng)將人工智能技術(shù)用得很好的領(lǐng)域已經(jīng)不太容易取得更大的提高，用得比較少的領(lǐng)域可能進(jìn)展會(huì)更大。未來(lái)，人工智能技術(shù)就像電力一樣，它遲早會(huì)進(jìn)入所有的行業(yè)。

人工智能產(chǎn)業(yè)發(fā)展到底需要什么呢？需要設(shè)備？不是的，因?yàn)槲覀兓静恍枰裁刺厥饩茉O(shè)備；需要數(shù)據(jù)？現(xiàn)在數(shù)據(jù)遍地都是。

真正需要的是什么呢？是人才。

一定程度上，人工智能行業(yè)可以說(shuō)是“有多好的智能人工，才有多好的人工智能”。和一般的軟件產(chǎn)業(yè)比，人工智能產(chǎn)業(yè)應(yīng)該是一個(gè)非常凸顯“個(gè)人英雄主義”的行業(yè)。

前些日子，就在我們組里，一個(gè)還沒(méi)有畢業(yè)的博士生被曠視聘請(qǐng)去做他們研究院的院長(zhǎng)，就是說(shuō)，他還沒(méi)有畢業(yè)就已經(jīng)要去指導(dǎo)別人做事情了。這種事情在傳統(tǒng)軟件業(yè)是不可能的，高校畢業(yè)出來(lái)的人才一定要在企業(yè)里面經(jīng)過(guò)兩三年的打磨才能做這個(gè)事。

為什么？在軟件行業(yè)，一個(gè)軟件要有很多人一起來(lái)做，這樣的培養(yǎng)在大學(xué)里面是做不到的，所以必須要到企業(yè)里面去做。

人工智能行業(yè)的代表性就是，它是軟件行業(yè)里面的一個(gè)明珠，只要個(gè)別人的聰明才智取得算法上的突破，就真的帶來(lái)生產(chǎn)力。這個(gè)行業(yè)特點(diǎn)，決定了“人工智能的人才培養(yǎng)”是特別重要的，所以現(xiàn)在可以說(shuō)進(jìn)入了一個(gè)全球爭(zhēng)搶人工智能人才的年代。

對(duì)于高水平人工智能人才培養(yǎng)的造血能力，我們認(rèn)為它真的會(huì)導(dǎo)致產(chǎn)業(yè)核心競(jìng)爭(zhēng)力的差別，而人工智能人才培養(yǎng)基地也能直接促進(jìn)人工智能產(chǎn)業(yè)人才的急劇形成。

最近，我們南京大學(xué)成立了一個(gè)人工智能學(xué)院，我們也希望從源頭做起，為國(guó)家、社會(huì)、產(chǎn)業(yè)來(lái)培養(yǎng)高水平的人才。南京市對(duì)此也非常重視，南京市委張敬華書(shū)記和我們的校長(zhǎng)呂建院士一起為這個(gè)學(xué)院來(lái)進(jìn)行揭牌，所以我也歡迎各位以各種方式來(lái)支持我們南京大學(xué)人工智能學(xué)院。

最后，記得關(guān)注微信公眾號(hào)：鎂客網(wǎng)（im2maker），更多干貨在等你！