如何進(jìn)行深層神經(jīng)網(wǎng)絡(luò)模型SoftmaxDNN分析

Softmax DNN推薦

一種可能的DNN模型是softmax，它將問題看作多類預(yù)測問題，其中：

• 輸入是用戶查詢。

• 輸出是一個(gè)概率向量，其大小等于語料庫中的項(xiàng)目數(shù)，表示與每個(gè)項(xiàng)目交互的概率; 例如，點(diǎn)擊或觀看YouTube視頻的可能性。

輸入

DNN的輸入可包括：

• 密集特征（例如，觀看自上次觀看以來的時(shí)間和時(shí)間）

• 稀疏特征（例如，觀看歷史記錄和國家/地區(qū)）

與矩陣分解方法不同，還可以添加年齡或國家區(qū)域等側(cè)面特征。這里用x表示輸入向量。

圖1.輸入層x

模型架構(gòu)

模型架構(gòu)決定了模型的復(fù)雜性和表現(xiàn)力。通過添加隱藏層和非線性激活函數(shù)（例如，ReLU），模型可以捕獲數(shù)據(jù)中更復(fù)雜的關(guān)系。然而，增加參數(shù)的數(shù)量通常也使得模型更難以訓(xùn)練并且計(jì)算起來更復(fù)雜。最后一個(gè)隱藏層的輸出用表示：

圖2.隱藏層的輸出， ψ(X)

Softmax輸出：預(yù)測的概率分布

圖4.損失函數(shù)

Softmax訓(xùn)練

上一節(jié)解釋了如何將softmax層合并到推薦系統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)中。本節(jié)將詳細(xì)介紹此系統(tǒng)的訓(xùn)練數(shù)據(jù)。

訓(xùn)練數(shù)據(jù)

softmax訓(xùn)練數(shù)據(jù)由查詢特征X以及用戶與之交互的項(xiàng)目向量（表示為概率分布 p）組成，在下圖中用藍(lán)色標(biāo)記。模型的變量是不同層中的權(quán)重，在下圖中用橙色標(biāo)記。通常使用隨機(jī)梯度下降或其變體方法來訓(xùn)練模型。

矩陣分解（FM）VS SOFTMAX

DNN模型解決了矩陣分解的許多限制，但通常訓(xùn)練和預(yù)測的代價(jià)更高。下表總結(jié)了兩種模型之間的一些重要差異。

矩陣分解通常是大型語料庫的更好選擇。它更容易擴(kuò)展，查詢計(jì)算量更便宜，并且不易折疊。

DNN模型可以更好地捕獲個(gè)性化偏好，但是難以訓(xùn)練并且查詢成本更高。DNN模型比評(píng)分的矩陣分解更可取，因?yàn)镈NN模型可以使用更多特征來更好地捕獲相關(guān)性。