另一方面，正是在連接主義學習技術的局限性凸顯之后，人們才把目光轉(zhuǎn)向了以統(tǒng)計學習理論為直接支撐的統(tǒng)計學習技術，事實上，統(tǒng)計學習與連接主義學習有密切的聯(lián)系，在支持向量機被普遍接受后，核技巧(kernel trick)被人們用到了機器學習的幾乎每一個角落，核方法也逐漸成為機器學習的基本內(nèi)容之一．有趣的是，二十一世紀初，連接主義學習又卷土重來，掀起了以“深度學習”為名的熱潮．所謂深度學習，狹義地說就是“很多層”的神經(jīng)網(wǎng)絡，在若干測試和競賽上，，尤其是涉及語音、圖像等復雜對象的應用中，深度學習技術取得了優(yōu)越性能．以往機器學習技術在應用中要取得好性能，對使用者的要求較高；而深度學習技術涉及的模型復雜度非常高，以至于只要下工夫“調(diào)參”，把參數(shù)調(diào)節(jié)好，性能往往就好，因此，深度學習雖缺乏嚴格的理論基礎，但它顯著降低了機器學習應用者的門檻，為機器學習技術走向工程實踐帶來了便利．那么，它為什么此時才熱起來呢？有兩個基本原因：數(shù)據(jù)大了、計算能力強了，深度學習模型擁有大量參數(shù)，若數(shù)據(jù)樣本少，則很容易“過擬合”；如此復雜的模型、如此大的數(shù)據(jù)樣本，若缺乏強力計算設備，根本無法求解．恰由于人類進入了“大數(shù)據(jù)時代”，數(shù)據(jù)儲量與計算設備都有了大發(fā)展，才使得連接主義學習技術煥發(fā)又一春．有趣的是，神經(jīng)網(wǎng)絡在二十世紀八十年代中期走紅，與當時Intel x86系列微處理器與內(nèi)存條技術的廣泛應用所造成的計算能力、數(shù)據(jù)訪存效率比七十年代有顯著提高不無關聯(lián)，深度學習此時的狀況，與彼時的神經(jīng)網(wǎng)絡何其相似，需說明的是，機器學習現(xiàn)在已經(jīng)發(fā)展成為一個相當大的學科領域，本節(jié)僅是管中窺豹，很多重要技術都沒有談及，耐心的讀者在讀完本書后會有更全面的了解．?