1983年，J．J．Hopfield利用神經(jīng)網(wǎng)絡(luò)求解“流動(dòng)推銷員問(wèn)題”這個(gè)著名的NP難題取得重大進(jìn)展，使得連接主義重新受到人們關(guān)注．1986年，D.E．Rumelhart等人重新發(fā)明了著名的BP算法，產(chǎn)生了深遠(yuǎn)影響．與符號(hào)主義學(xué)習(xí)能產(chǎn)生明確的概念表示不同，連接主義學(xué)習(xí)產(chǎn)生的是“黑箱”模型，因此從知識(shí)獲取的角度來(lái)看，連接主義學(xué)習(xí)技術(shù)有明顯弱點(diǎn)；然而，由于有BP這樣有效的算法，使得它可以在很多現(xiàn)實(shí)問(wèn)題上發(fā)揮作用，事實(shí)上，BP -直是被應(yīng)用得最廣泛的機(jī)器學(xué)習(xí)算法之一，連接主義學(xué)習(xí)的最大局限是其“試錯(cuò)性”；簡(jiǎn)單地說(shuō)，其學(xué)習(xí)過(guò)程涉及大量參數(shù)，而參數(shù)的設(shè)置缺乏理論指導(dǎo)，主要靠手工“調(diào)參”；夸張一點(diǎn)說(shuō)，參數(shù)調(diào)節(jié)上失之毫厘，學(xué)習(xí)結(jié)果可能謬以千里．二十世紀(jì)九十年代中期，“統(tǒng)計(jì)學(xué)習(xí)”(statistical learning)閃亮登場(chǎng)并迅速占據(jù)主流舞臺(tái)，代表性技術(shù)是支持向量機(jī)(Support Vector Machine，簡(jiǎn)稱SVM)以及更一般的“核方法”(kernel methods).這方面的研究早在二十世紀(jì)六七十年代就已開(kāi)始，統(tǒng)計(jì)學(xué)習(xí)理論[Vapnik, 1998]在那個(gè)時(shí)期也已打下了基礎(chǔ)，例如V. N. Vapnik在1963年提出了“支持向量”概念，他和A.J．Chervonenkis在1968年提出VC維，在1974年提出了結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則等，但直到九十年代中期統(tǒng)計(jì)學(xué)習(xí)才開(kāi)始成為機(jī)器學(xué)習(xí)的主流，一方面是由于有效的支持向量機(jī)算法在九十年代初才被提出，其優(yōu)越性能到九十年代中期在文本分類應(yīng)用中才得以顯現(xiàn)；