UGC產(chǎn)品下架頻發(fā)，平臺(tái)方該如何走出內(nèi)容審核的困局-創(chuàng)新互聯(lián)

某國民種草APP由于涉及內(nèi)容違規(guī)，從安卓應(yīng)用市場消失了，應(yīng)該算是最近最火的話題。

作為C2C的種草平臺(tái)，該APP不僅允許用戶線上分享種草清單，還可以發(fā)布購買鏈接，讓消費(fèi)者接受安利的同時(shí)可以直接購買商品。二者相結(jié)合，就成了完美的導(dǎo)流神器。

其實(shí)平臺(tái)本身只是一個(gè)單純的內(nèi)容分享社區(qū)，所有人都可以來發(fā)布任何內(nèi)容，像半佛仙人文章里提到的一樣，對(duì)于一起C2C的UGC平臺(tái)來說，只要是能夠發(fā)布內(nèi)容的地方，內(nèi)容失控的風(fēng)險(xiǎn)都是存在的。評(píng)論區(qū)、用戶昵稱、私信區(qū)、論壇.....都可能被不法分子利用成為其發(fā)布違禁商品、×××引流、×××詐騙等，從而導(dǎo)致平臺(tái)內(nèi)容的失控。
圖為：違規(guī)信息

內(nèi)容失控的問題其實(shí)也是屬于反欺詐風(fēng)控的一部分，所以本篇文章會(huì)從兩個(gè)方面出發(fā)，談?wù)勂髽I(yè)進(jìn)行內(nèi)容治理的現(xiàn)狀：一是黑灰產(chǎn)如何利用UGC類平臺(tái)進(jìn)行發(fā)布違規(guī)信息，并進(jìn)行引流詐騙；二是企業(yè)在遇到這類問題的時(shí)候，會(huì)采取怎樣的解決方案。

成都創(chuàng)新互聯(lián)長期為超過千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為青秀企業(yè)提供專業(yè)的網(wǎng)站制作、成都做網(wǎng)站，青秀網(wǎng)站改版等技術(shù)服務(wù)。擁有10年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

一、為什么黑灰產(chǎn)發(fā)布大量的違禁信息，企業(yè)很難識(shí)別？

在互聯(lián)網(wǎng)黑灰產(chǎn)中，無論是行跡匆匆的羊毛黨，還是浪跡論壇的水軍，擁有各個(gè)平臺(tái)的賬號(hào)都是他們進(jìn)入“職場”的第一步，批量注冊(cè)大量賬號(hào)就因此成為了所有惡意行為的源頭。目前，這條黑色產(chǎn)業(yè)鏈已經(jīng)形成上中下游的明確分工。首先，處于中游的號(hào)商會(huì)從上游的卡商那里購入一批手機(jī)號(hào)，然后利用接碼平臺(tái)、貓池、打碼平臺(tái)、其他自動(dòng)化工具等批量注冊(cè)虛假賬號(hào)；隨后，將賬號(hào)售賣給下游用于薅羊毛、刷量、傳播違禁內(nèi)容等非法獲利行為。

圖片來網(wǎng)絡(luò)：貓池

圖為：接碼/打碼平臺(tái)

內(nèi)容平臺(tái)散布違禁內(nèi)容的源頭正是這樣一批賬號(hào)。許多平臺(tái)都會(huì)通過設(shè)置安全防護(hù)策略，或?qū)嵜J(rèn)證的方式在注冊(cè)/登錄環(huán)節(jié)對(duì)它們進(jìn)行源頭的過濾。但平臺(tái)風(fēng)控和黑產(chǎn)突破始終是一個(gè)持續(xù)博弈的過程，當(dāng)黑產(chǎn)發(fā)現(xiàn)，利用新注冊(cè)的賬號(hào)發(fā)布廣告等違規(guī)內(nèi)容很快就會(huì)被平臺(tái)發(fā)現(xiàn)并封號(hào)之后，他們會(huì)先讓賬號(hào)過上一段“正常人”的日子，在平臺(tái)監(jiān)控真的認(rèn)為他們的“正常人”后，再撕下偽裝的面具，在平臺(tái)作惡，這種行為就是“養(yǎng)號(hào)”。

“養(yǎng)號(hào)黨”利用群控技術(shù)+自動(dòng)化腳本批量操控多個(gè)賬號(hào)在平臺(tái)發(fā)帖、留言或者點(diǎn)贊，這一切都是為了模擬正常個(gè)人用戶的行為，逃過平臺(tái)的風(fēng)控規(guī)則。

圖片來自網(wǎng)絡(luò)：群控現(xiàn)場

根據(jù)威脅獵人的持續(xù)監(jiān)控發(fā)現(xiàn)，剛注冊(cè)的新賬號(hào)根據(jù)不同平臺(tái)可獲利益不同，售價(jià)會(huì)在0.1-10元不等，在“養(yǎng)了”半年或者更長時(shí)間之后，價(jià)格就會(huì)翻上一番，達(dá)到1-100元或者更高的價(jià)格。如果賬號(hào)“擁有了自己的姓名”，價(jià)格還能夠進(jìn)一步提升，只要從“料商”處買來×××等實(shí)名信息綁定賬號(hào)就能實(shí)現(xiàn)，此時(shí)的賬號(hào)售價(jià)可以直接翻倍，達(dá)到10-200元甚至更多（比如微信賬號(hào)）。

圖為：威脅獵人反欺詐情報(bào)監(jiān)測平臺(tái)監(jiān)測到的賬號(hào)售賣情況

被“養(yǎng)過”的賬號(hào)隨后被買到下游黑產(chǎn)手中，用于廣告營銷、傳播違規(guī)信息等途徑，于是就有了內(nèi)容平臺(tái)上出現(xiàn)的黑賬號(hào)。它們因?yàn)槟M成正常賬號(hào)逃過了平臺(tái)的防護(hù)規(guī)則。

之后，通過不斷轉(zhuǎn)變敏感詞匯的表現(xiàn)形式（如，微信可以變成威信、VX等），黑產(chǎn)就能繞過平臺(tái)對(duì)敏感詞匯的過濾規(guī)則，再利用自動(dòng)化腳本就能批量發(fā)布違規(guī)內(nèi)容。

圖為：違規(guī)信息

不過，其實(shí)現(xiàn)在黑產(chǎn)的日子也不那么好過了，這和平臺(tái)采取的打擊措施有關(guān)。

許多內(nèi)容平臺(tái)，在受到黑產(chǎn)的侵害后，會(huì)馬上加大對(duì)內(nèi)容的審核力度，通過風(fēng)控策略攔截惡意賬號(hào)，或者組建審核團(tuán)隊(duì)、搭建數(shù)據(jù)模型來打擊平臺(tái)作弊行為。

二、防范違規(guī)內(nèi)容產(chǎn)生的基礎(chǔ)措施

監(jiān)管部門加大監(jiān)管力度，內(nèi)容平臺(tái)提高自我審核力度已是目前的常態(tài)。強(qiáng)監(jiān)管下，企業(yè)或強(qiáng)化自身審核能力，或與第三方合作探索提升內(nèi)容安全的方式，但其底層邏輯都比較固定的，就是風(fēng)控加持審核體系。

1、利用反欺詐風(fēng)控體系，從源頭攔截黑賬號(hào)

前面說到的機(jī)器審核和人工審核機(jī)制，都是在違規(guī)內(nèi)容出現(xiàn)之后進(jìn)行內(nèi)容管理的一種方式。

但在與黑產(chǎn)***對(duì)抗的過程中，我們發(fā)現(xiàn)，如果能在黑賬號(hào)進(jìn)入平臺(tái)時(shí)、發(fā)布違規(guī)內(nèi)容前就進(jìn)行攔截，就能解決很大一部分違規(guī)問題。

在平臺(tái)上發(fā)布違規(guī)內(nèi)容的賬號(hào)，通常是黑產(chǎn)在發(fā)卡平臺(tái)先買入一批手機(jī)號(hào)，然后利用自動(dòng)化工具批量注冊(cè)的。如果平臺(tái)能夠通過賬號(hào)識(shí)別體系，在黑產(chǎn)注冊(cè)或登錄當(dāng)下就識(shí)別并攔截，就能阻止進(jìn)一步的作惡。

我們?cè)诮⒎雌墼p體系建立過程中，通過對(duì)黑產(chǎn)業(yè)鏈核心節(jié)點(diǎn)的布控，能夠掌握大量的黑產(chǎn)所利用的虛假手機(jī)號(hào)和惡意IP資源。當(dāng)黑產(chǎn)利用這些資源進(jìn)行賬號(hào)的注冊(cè)時(shí)，就可以在注冊(cè)或登錄環(huán)節(jié)進(jìn)行風(fēng)險(xiǎn)賬號(hào)的攔截或降權(quán)處置。

這一層防護(hù)體系，就能從源頭上解決違規(guī)內(nèi)容的產(chǎn)生。對(duì)于漏網(wǎng)之魚，只要補(bǔ)充內(nèi)容審核機(jī)制，大多數(shù)平臺(tái)的內(nèi)容安全問題基本都能解決。

2、補(bǔ)充內(nèi)容審核機(jī)制，過濾違規(guī)內(nèi)容

• 利用機(jī)器審核過濾違規(guī)內(nèi)容

目前，違規(guī)信息主要會(huì)以四種主要的形式出現(xiàn)在平臺(tái)上，那就是文本、圖片、視頻和音頻。

文本內(nèi)容相對(duì)來說會(huì)比其他三種內(nèi)容的處理成本低，平臺(tái)可以自己維護(hù)一套動(dòng)態(tài)文本庫，持續(xù)收集和更新敏感違規(guī)詞匯，也可以聯(lián)系安全服務(wù)商接入一套外部文本庫。其中的邏輯都是一樣的，就是通過文本詞庫過濾的形式，篩選出違規(guī)的文字內(nèi)容，然后進(jìn)行后續(xù)的人工處理或直接刪除等操作。

而對(duì)于除文本外的圖片、視頻和音頻的視頻，往往和人工智能、機(jī)器學(xué)習(xí)技術(shù)掛鉤。要搭建一整套智能審核體系，需要比較高的成本。因此，對(duì)于這類內(nèi)容，平臺(tái)會(huì)選擇接入安全服務(wù)商的服務(wù)。

圖為：機(jī)器審核涉及的智能技術(shù)

以圖片審核為例。在圖片上會(huì)出現(xiàn)兩種違規(guī)形式：

• 一種是圖片本身的內(nèi)容是違規(guī)屬性的，比如，圖片中出現(xiàn)有×××、武器、暴力場景的畫面；

• 另一種是人為后期給圖片加入了違規(guī)信息，比如，圖片上添加了推廣二維碼、微信號(hào)碼、電話號(hào)碼等內(nèi)容

針對(duì)這兩類圖片，利用第三方的智能識(shí)別技術(shù)就能進(jìn)行識(shí)別。而服務(wù)商只要不斷利用收集到的圖片數(shù)據(jù)信息對(duì)模型進(jìn)行組合訓(xùn)練，保證模型的快速迭代，就能進(jìn)一步提升識(shí)別的準(zhǔn)確率。

• 人工輔助審核，降低誤判率

充分利用人工智能技術(shù)對(duì)違規(guī)內(nèi)容進(jìn)行識(shí)別，在很大的程度上，其實(shí)就是為了節(jié)省人力。但實(shí)際上，不管行業(yè)把人工智能技術(shù)吹得多牛X，就現(xiàn)階段來說，這項(xiàng)智能技術(shù)都會(huì)有不夠智能的時(shí)候，還是少不了人工的輔助。

圖為：人工審核+機(jī)器審核相輔的審核機(jī)制

就拿“掃碼”這個(gè)詞兒來說，它可以變成扌彐 石馬，少馬，掃**碼等各種形式，人工智能并不能精準(zhǔn)識(shí)別所有變體。另外，對(duì)敏感內(nèi)容的過濾規(guī)則設(shè)置還不能過于嚴(yán)格，不然，就會(huì)出現(xiàn)誤殺正常內(nèi)容的情況。

在這樣的情況下，人工審核就是一個(gè)必不可少的環(huán)節(jié)。

不同的平臺(tái)可以利用機(jī)器審核機(jī)制設(shè)置不同的審核策略，然后對(duì)違規(guī)內(nèi)容的可判性打上不同程度的標(biāo)簽，然后進(jìn)行相應(yīng)的處理。

比如，對(duì)于確定是違規(guī)的內(nèi)容，可以標(biāo)為【高?！浚苯觿h除或封號(hào)處理；對(duì)于涉嫌違規(guī)的內(nèi)容，可以標(biāo)為【中?！?，然后給予文字警告；對(duì)于命中少量違規(guī)內(nèi)容，但無法準(zhǔn)確判定性質(zhì)的可以標(biāo)為【低?！?，對(duì)于低危的內(nèi)容就可以由人工審核處理，避免造成誤殺。

人工審核的環(huán)節(jié)對(duì)于所有做內(nèi)容的平臺(tái)都至關(guān)重要。目前，比較大型的內(nèi)容平臺(tái)，甚至?xí)约涸O(shè)立人審機(jī)制，少則十幾人，多則數(shù)千人，專門審核平臺(tái)內(nèi)容。

寫在最后

在具體的實(shí)踐中，不同平臺(tái)會(huì)有不同的內(nèi)容展示形式，最終的解決方案和規(guī)則設(shè)定就會(huì)因“平臺(tái)”而異了。但不論什么平臺(tái)，都需要認(rèn)識(shí)到的一點(diǎn)是，黑產(chǎn)的***手段總是在不斷進(jìn)化，為了躲避攔截策略，會(huì)不斷出現(xiàn)新的內(nèi)容發(fā)布形式，平臺(tái)方只有持續(xù)關(guān)注內(nèi)容管理解決方案，業(yè)務(wù)安全方只有不斷迭代防護(hù)技術(shù)，才能在這場“貓鼠游戲”中占據(jù)上風(fēng)。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享題目：UGC產(chǎn)品下架頻發(fā)，平臺(tái)方該如何走出內(nèi)容審核的困局-創(chuàng)新互聯(lián)
文章轉(zhuǎn)載：http://muchs.cn/article20/ceojjo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、網(wǎng)頁設(shè)計(jì)公司、服務(wù)器托管、云服務(wù)器、網(wǎng)站改版、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)