L1、L2正則化項(xiàng)及其在機(jī)器學(xué)習(xí)中怎么用

經(jīng)驗(yàn)風(fēng)險(xiǎn)和結(jié)構(gòu)風(fēng)險(xiǎn)

在機(jī)器學(xué)習(xí)任務(wù)中，常用損失函數(shù)（loss function）來衡量模型輸出值和真實(shí)值Y之間的差異，如下面定義的損失函數(shù)：若數(shù)據(jù)是服從聯(lián)合分布，則其損失函數(shù)的期望值為，也稱為模型的真實(shí)風(fēng)險(xiǎn)，記作。我們的目標(biāo)即是找到最優(yōu)的模型或者概念來最小化真實(shí)風(fēng)險(xiǎn)，即：由于數(shù)據(jù)的分布是未知的，所以我們我們只能通過歷史數(shù)據(jù)訓(xùn)練得到的模型在訓(xùn)練集上的平均損失來代替這個(gè)真實(shí)風(fēng)險(xiǎn)，此時(shí)在訓(xùn)練集上的平均損失稱為經(jīng)驗(yàn)風(fēng)險(xiǎn)（empirical risk），記作，其中即我們的目標(biāo)是通過訓(xùn)練集上的數(shù)據(jù)最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)以獲取最優(yōu)模型或者最優(yōu)概念：

正則化項(xiàng)

正則化項(xiàng)（regularization）也稱作懲罰項(xiàng)，常將其添加到損失函數(shù)中，用于組成我們的目標(biāo)函數(shù)（object function）。正則化項(xiàng)的目的是為了對模型訓(xùn)練的參數(shù)進(jìn)行一些限制，常用的正則化項(xiàng)包括L1正則化，L2正則化，其分別常表示為和。其中，表示模型訓(xùn)練的參數(shù)或者系數(shù)，則是求范數(shù)的計(jì)算操作。通常模型越復(fù)雜，懲罰項(xiàng)越大，模型越簡單，懲罰項(xiàng)越小。
L1和L2的計(jì)算分別對應(yīng)如下，其中表示調(diào)整的步長大小，其值越大，越會使得模型參數(shù)為0時(shí)取得最優(yōu)解：

• L1正則化表示權(quán)重向量中各個(gè)元素的絕對值之和。

• L2正則化表示權(quán)重向量中各個(gè)元素的平方之和的平方根。

另外，除了L1和L2正則化項(xiàng)之外，還有L0正則化項(xiàng)，它的意義即是求非零參數(shù)的個(gè)數(shù)。

L1和L2正則化的作用

首先，關(guān)于L1和L2正則化的作用如下：

• L1正則化可以產(chǎn)生稀疏解，即會使得很多參數(shù)的最優(yōu)值變?yōu)?，以此得到的參數(shù)就是一個(gè)稀疏矩陣或者向量了。可以用于特征選擇。

• L2正則化可以產(chǎn)生值很小的參數(shù)，即會使得很多參數(shù)的最優(yōu)值很小。可以防止模型過擬合。

L1正則化可以得到稀疏解，所以可以用于模型特征選擇。以線性回歸的模型為例，很多特征的參數(shù)為0就意味著它們對于預(yù)測結(jié)果的貢獻(xiàn)為零，所以就可以保留不為零的特征，以此進(jìn)行特征選擇。

L2正則化可以防止模型過擬合，原因是在加入了L2正則化的目標(biāo)函數(shù)中，參數(shù)優(yōu)化的時(shí)會傾向于使得參數(shù)盡可能小，最后得到一個(gè)參數(shù)都比較小的模型。相比于參數(shù)很大的模型，樣本特征發(fā)生很小的變化就會導(dǎo)致模型的輸出發(fā)生很大的變化，如前面圖中的第三個(gè)模型，其中含有項(xiàng)，可想其對應(yīng)的參數(shù)很大，其結(jié)果必然會有很大的變化。而如果參數(shù)很小，參數(shù)變化對于模型的輸出的影響就會很小，以此增強(qiáng)模型的泛化能力。