DeepFake中的FakeSpotter是怎么樣的

1. 前言

近些年來(lái)，各種各樣的GAN網(wǎng)絡(luò)在圖片生成上取得巨大成功，然后現(xiàn)有的檢測(cè)器還不足以完全面對(duì)GAN網(wǎng)絡(luò)的挑戰(zhàn)。本文提出了一種基于人類神經(jīng)行為來(lái)辨別真假人臉的模型，我們推測(cè)每一層神經(jīng)元激活函數(shù)可能提取到更多微小的特征，而這些特征對(duì)于真假人臉識(shí)別是十分重要的。

2. 方法

2.1 Insight

神經(jīng)元覆蓋技術(shù)被廣泛應(yīng)用于傳統(tǒng)DNN的內(nèi)部行為，當(dāng)輸出值大于閾值的激活神經(jīng)元，被激活的神經(jīng)元將作為輸入的另一種形式，將學(xué)習(xí)的內(nèi)容一層層保存在網(wǎng)絡(luò)中

而前人也有一些工作針對(duì)關(guān)鍵的激活神經(jīng)層用于檢測(cè)對(duì)抗例子。

我們工作的靈感來(lái)自分層激活的神經(jīng)元，它捕捉輸入的微妙特征，可以用來(lái)尋找真實(shí)和合成的面部圖像之間的差異。

2.2 模擬神經(jīng)元行為

 

上圖是FakeSpotter檢測(cè)框架，與傳統(tǒng)框架不同的是根據(jù)每層神經(jīng)元激活特性來(lái)進(jìn)行人臉?lè)治觥?/p>

在傳統(tǒng)DNN中，每一層神經(jīng)元是否被激活取決于他的輸出值是否高于閾值Threshold

我們提出了一種確立閾值的策略，公式如下

 

分式上面是各個(gè)神經(jīng)元輸出值之和

|N|代表當(dāng)前層神經(jīng)元的總數(shù)目

|T|代表當(dāng)前層輸入的個(gè)數(shù)

最后通過(guò)這個(gè)閾值來(lái)決定這個(gè)神經(jīng)元是否被激活

 

下圖是描述這兩種策略的算法

 

3. 其它實(shí)現(xiàn)細(xì)節(jié)

• 優(yōu)化器是     動(dòng)量為0.9的SGD，起始學(xué)習(xí)率為0.0001。
• 損失函數(shù)采用     二分類交叉熵損失binary cross-entropy。
• CNN架構(gòu)采用的是Vgg-Face，將骨干網(wǎng)絡(luò)替換為     ResNet50，并且?guī)в形覀兊?     MNC策略。
• 設(shè)計(jì)了     五層全連接網(wǎng)絡(luò)來(lái)作為最后的二分類網(wǎng)絡(luò)。

4. 實(shí)驗(yàn)表現(xiàn)

我們通過(guò)壓縮，模糊，縮放，加噪聲來(lái)評(píng)價(jià)模型的魯棒性。

 

可以看到在檢測(cè)DFDC這個(gè)數(shù)據(jù)集上表現(xiàn)并不是那么好。

因?yàn)樵摂?shù)據(jù)集有人臉替換，聲音替換這兩種類型，而聲音替換是超過(guò)FakeSpotter這種基于圖像的檢測(cè)框架范圍內(nèi)了。

 

可以看到FakeSpotter仍然保持較好的檢測(cè)率。

在DeepFake檢測(cè)領(lǐng)域中，關(guān)鍵一個(gè)問(wèn)題是模型的魯棒性，一個(gè)訓(xùn)練好的模型可能換到另外一個(gè)數(shù)據(jù)集就失效了。該工作受DNN神經(jīng)元激活層的啟發(fā)，將激活層輸出值，平均到每個(gè)神經(jīng)元上，作為一個(gè)閾值加入到整體網(wǎng)絡(luò)進(jìn)行訓(xùn)練，而最后在多個(gè)模型實(shí)驗(yàn)下，也表明這種基于激活層閾值策略，能得到更多細(xì)微特征，進(jìn)一步提高模型魯棒性。