1.2西瓜問題的版本空間
　　通過學(xué)習(xí)得到的模型對應(yīng)了假設(shè)空間中的一個(gè)假設(shè)．于是，圖1.2的西瓜版本空間給我們帶來一個(gè)麻煩：現(xiàn)在有三個(gè)與訓(xùn)練集一致的假設(shè)，但與它們對應(yīng)的模型在面臨新樣本的時(shí)候，卻會產(chǎn)生不同的輸出．例如，對（色澤：青綠；根蒂=蜷縮；敲聲=沉悶）這個(gè)新收來的瓜，如果我們采用的是“好瓜Hf色澤：術(shù)）八（根蒂=蜷縮）八（敲聲=木）”，那么將會把新瓜判斷為好瓜，而如果采用了另外兩個(gè)假設(shè)，則判斷的結(jié)果將不是好瓜．那么，應(yīng)該采用哪一個(gè)模型（或假設(shè)）呢？
　　若僅有表1.1中的訓(xùn)練樣本，則無法斷定上述三個(gè)假設(shè)中哪一個(gè)“更好”．然而，對于一個(gè)具體的學(xué)習(xí)算法而言，它必須要產(chǎn)生一個(gè)模型．這時(shí)，學(xué)習(xí)算法本身的“偏好”就會起到關(guān)鍵的作用．例如，若我們的算法喜歡“盡可能特殊”的模型，則它會選擇“好瓜÷÷（色澤=術(shù)）八（根蒂=蜷縮）八（敲聲：濁響）”；但若我們的算法喜歡“盡可能一般”的模型，并且由于某種原因它更“相信”根蒂，則它會選擇“好瓜÷÷(色澤= *)八（根蒂=蜷縮）八（敲聲：水）”．機(jī)器學(xué)習(xí)算法在學(xué)習(xí)過程中對某種類型假設(shè)的偏好，稱為“歸納偏好”(inductive bias)，或簡稱為，“偏好”．任何一個(gè)有效的機(jī)器學(xué)習(xí)算法必有其歸納偏好，否則它將被假設(shè)空間中看似在訓(xùn)練集上“等效”的假設(shè)所迷惑，而無法產(chǎn)生確定的學(xué)習(xí)結(jié)果，可以想象，如果沒有偏好，我們的西瓜學(xué)習(xí)算法產(chǎn)生的模型每次在進(jìn)行預(yù)測時(shí)隨機(jī)抽選訓(xùn)練集上的等效假設(shè)，那么對這個(gè)新瓜“（色澤=青綠；根蒂：蜷縮；敲聲：沉悶）”，學(xué)得模型時(shí)而告訴我們它是好的、時(shí)而告訴我們它是不好的，這樣的學(xué)習(xí)結(jié)果顯然沒有意義．歸納偏好的作用在圖1.3這個(gè)回歸學(xué)習(xí)圖示中可能更直觀．這里的每個(gè)訓(xùn)練樣本是圖中的一個(gè)點(diǎn)（。，可），要學(xué)得一個(gè)與訓(xùn)練集一致的模型，相當(dāng)于找到一條穿過所有訓(xùn)練樣本點(diǎn)的曲線．