顯然，對有限個(gè)樣本點(diǎn)組成的訓(xùn)練集，存在著很多條曲線與其一致．我們的學(xué)習(xí)算法必須有某種偏好，才能產(chǎn)出它認(rèn)為“正確”的模型．例如，若認(rèn)為相似的樣本應(yīng)有相似的輸出（例如，在各種屬性上都很相像的西瓜，成熟程度應(yīng)該E匕較接近），則對應(yīng)的學(xué)習(xí)算法可能偏好圖1.3中比較“平滑”的曲線A而不是比較“崎嶇”的曲線B．歸納偏好可看作學(xué)習(xí)算法自身在一個(gè)可能很龐大的假設(shè)空間中對假設(shè)進(jìn)行選擇的啟發(fā)式或“價(jià)值觀”．那么，有沒有一般性的原則來引導(dǎo)算法確立“正確的”偏好呢？“奧卡姆剃刀”(Occam's razor)是一種常用的、自然科學(xué)研究中最基本的原則，即“若有多個(gè)假設(shè)與觀察一致，則選最簡單的那個(gè)”．如果采用這個(gè)原則，并且假設(shè)我們認(rèn)為“更平滑”意味著“更簡單”（例如曲線A更易于描述，其方程式是可= _X2+ 6x+l，而曲線B則要復(fù)雜得多），則在圖1.3中我們會自然地偏好“平滑”的曲線A.