肖康：360安全大數(shù)據(jù)平臺(tái)

互聯(lián)網(wǎng)IDC圈4月27日?qǐng)?bào)道，互聯(lián)網(wǎng)的發(fā)展使得大數(shù)據(jù)引起人們廣泛關(guān)注?，F(xiàn)如今大數(shù)據(jù)技術(shù)早已滲透到金融、通訊等行業(yè)以及生物學(xué)、物理學(xué)等領(lǐng)域。大數(shù)據(jù)在容量、多樣性和高增速方面的爆炸式增長(zhǎng)全面考驗(yàn)著現(xiàn)代企業(yè)的數(shù)據(jù)處理和分析能力，與此同時(shí)也為各個(gè)行業(yè)帶來了準(zhǔn)確洞察市場(chǎng)行為的機(jī)會(huì)。迄今為止大數(shù)據(jù)技術(shù)與產(chǎn)品有哪些創(chuàng)新，工業(yè)大數(shù)據(jù)應(yīng)用面臨哪些挑戰(zhàn)，金融行業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀如何等。圍繞這一系列問題，4月27日至28日，由工業(yè)和信息化部指導(dǎo)、中國(guó)信息通信研究院主辦的"2016大數(shù)據(jù)產(chǎn)業(yè)峰會(huì)"在北京國(guó)際會(huì)議中心盛大召開。在27日大數(shù)據(jù)技術(shù)與產(chǎn)品創(chuàng)新分論壇中360系統(tǒng)部總監(jiān)肖康向與會(huì)人員介紹了360安全大數(shù)據(jù)平臺(tái)。

創(chuàng)新互聯(lián)主營(yíng)臺(tái)前網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,成都App制作,臺(tái)前h5小程序制作搭建,臺(tái)前網(wǎng)站營(yíng)銷推廣歡迎臺(tái)前等地區(qū)企業(yè)咨詢

 360系統(tǒng)部總監(jiān)肖康

以下是肖康演講實(shí)錄： 

  肖康：我是做技術(shù)出身的，現(xiàn)在一直做技術(shù)，未來可能會(huì)做大數(shù)據(jù)及其產(chǎn)品。我今天的演講主要是兩個(gè)部分的內(nèi)容，第一部分分享一下在360內(nèi)部我們是怎么做大數(shù)據(jù)的，360內(nèi)部大數(shù)據(jù)的情況是什么樣子。第二部分是我們?cè)?60內(nèi)部做大數(shù)據(jù)平臺(tái)應(yīng)用之后，我們想能不能把我們?cè)诨ヂ?lián)網(wǎng)公司做大數(shù)據(jù)的能力輸出到政府和企業(yè)里面去，能給我們的客戶帶來價(jià)值。我們講一講怎么把大數(shù)據(jù)的能力包容成一些產(chǎn)品，將來提供給我們的政府和企業(yè)的客戶。

首先我們看一下360公司內(nèi)部大數(shù)據(jù)的規(guī)模和能力，也是秀一下肌肉。整個(gè)在360公司現(xiàn)在有差不多4萬臺(tái)服務(wù)器用來做大數(shù)據(jù)，總共存儲(chǔ)的數(shù)據(jù)量有1.6EB數(shù)據(jù)，每天新增超過1PB，每天有幾十萬個(gè)任務(wù)對(duì)這些數(shù)據(jù)進(jìn)行處理，每天處理的數(shù)據(jù)也有幾十個(gè)PB。我們這樣一個(gè)大數(shù)據(jù)平臺(tái)里面，我們可以在幾分鐘之內(nèi)調(diào)度幾十萬個(gè)CPU進(jìn)行計(jì)算，能夠?qū)τ赥B的數(shù)據(jù)進(jìn)行秒級(jí)的快速處理。

360大數(shù)據(jù)的技術(shù)演進(jìn)過程其實(shí)很簡(jiǎn)單，在很早期的時(shí)候沒有用大數(shù)據(jù)的時(shí)候，也是用Oracle去做數(shù)據(jù)的分析，后來發(fā)現(xiàn)越來越慢，成本越來越高，扛不住了，就采用開放的技術(shù)路線。所謂開放就是硬件采用通用的X86的服務(wù)器，軟件就是采用基于開源去定制優(yōu)化，形成一套完整的大數(shù)據(jù)平臺(tái)。這一套方案的特點(diǎn)相對(duì)于以前我們用IOE的方式，第一個(gè)是成本比較低，我們可以定制和靈活性比較好，我們可以去控制。第二是擴(kuò)展性比較好，可以看到我們之前的幾臺(tái)機(jī)器，現(xiàn)在是幾萬服務(wù)器，這個(gè)擴(kuò)展現(xiàn)在看來在軟件層面沒有太大的問題。

接下來我介紹一下這么多服務(wù)器究竟做什么事情和360幾個(gè)典型的大數(shù)據(jù)的應(yīng)用。首先是數(shù)據(jù)驅(qū)動(dòng)安全，我們360是一家安全公司，360做安全和其他公司不一樣，其他公司做安全早期做病毒查殺，很多是根據(jù)特征，傳統(tǒng)的一些安全技術(shù)。360做安全是數(shù)字驅(qū)動(dòng)安全的技術(shù)，通過數(shù)據(jù)來找出安全的問題，通過數(shù)據(jù)分析解決安全的問題，通過數(shù)據(jù)驅(qū)動(dòng)安全背后就是大數(shù)據(jù)的力量。比如說我們的一些成果，我們的殺毒引擎全球的冠軍QVM，還有我們新一代的威脅感知系統(tǒng)天眼，還有在我們360大數(shù)據(jù)平臺(tái)里面存儲(chǔ)了非常多的各種程序的樣本，還有各種網(wǎng)址的黑白名單庫，這個(gè)都是我們做大數(shù)據(jù)安全的一個(gè)基礎(chǔ)和基石，其實(shí)這個(gè)也是360做安全和其他公司做安全很不一樣的地方。

360的搜索，相信大家都知道，這個(gè)搜索基本上在整個(gè)中國(guó)占將近30%的市場(chǎng)份額，這個(gè)也是非常不錯(cuò)的，是第一個(gè)除了百度之外能夠占據(jù)這么多市場(chǎng)份額的搜索廠商。其實(shí)大數(shù)據(jù)的快速發(fā)展時(shí)期就是前面兩個(gè)，一個(gè)是數(shù)據(jù)驅(qū)動(dòng)安全，第二個(gè)就是搜索驅(qū)動(dòng)了我們大數(shù)據(jù)平臺(tái)快速的發(fā)展，我也是在那個(gè)時(shí)候加入360。我們?cè)谒阉鬟@個(gè)方面，比如說我們建立了一個(gè)千億級(jí)的網(wǎng)頁庫。首先是這樣一個(gè)龐大的網(wǎng)頁庫，把所有的中文網(wǎng)頁都能抓下來存儲(chǔ)起來快速訪問，存起來之后還能夠做分析，對(duì)它進(jìn)行快速的索引，還要對(duì)實(shí)時(shí)的東西進(jìn)行熱點(diǎn)的跟蹤。360云盤，相信在座的很多同仁都可能會(huì)用到360云盤去存儲(chǔ)你的資料，去存儲(chǔ)你的照片和你的視頻等等，這個(gè)其實(shí)背后也正是我們團(tuán)隊(duì)在做的工作，就是我們通過大數(shù)據(jù)平臺(tái)提供在線的海量存儲(chǔ)的訪問，差不多有上萬臺(tái)服務(wù)器提供幾百PB的免費(fèi)輸出空間，不間斷隨時(shí)的訪問，這是海量云存儲(chǔ)、大數(shù)據(jù)存儲(chǔ)的應(yīng)用。數(shù)據(jù)分析和統(tǒng)計(jì)，這個(gè)其實(shí)在很公司，不管是互聯(lián)網(wǎng)公司還是傳統(tǒng)公司都是特別需要的，早期可能我們通過數(shù)據(jù)庫這樣的方式，后面越來越玩不轉(zhuǎn)，就通過大數(shù)據(jù)的方式來做，每天有大量的產(chǎn)品運(yùn)營(yíng)的數(shù)據(jù)都會(huì)通過我們大數(shù)據(jù)平臺(tái)進(jìn)行分析和統(tǒng)計(jì)，比如手機(jī)助手、游戲、搜索等等，這樣的產(chǎn)品都需要進(jìn)行大量海量數(shù)據(jù)的分析。

以上就是在360典型的幾種應(yīng)用的場(chǎng)景，數(shù)據(jù)驅(qū)動(dòng)安全、360搜索、360云盤、各種各樣產(chǎn)品和數(shù)據(jù)的分析。

前面是360內(nèi)部我們通過五六年的時(shí)間構(gòu)建起來的幾萬臺(tái)的大數(shù)據(jù)平臺(tái)，為我們360自己的產(chǎn)品和業(yè)務(wù)提供服務(wù)。從去年開始我們?cè)谙肽懿荒馨盐覀冞@種大數(shù)據(jù)平臺(tái)的能力和大數(shù)據(jù)平臺(tái)的技術(shù)能夠輸出到企業(yè)和政府的客戶那邊去，所以說我們后面提出了360安全大數(shù)據(jù)平臺(tái)這樣一個(gè)產(chǎn)品，我們也正在不斷的研發(fā)和改進(jìn)過程中。

我們產(chǎn)品的架構(gòu)其實(shí)也比較簡(jiǎn)單，分為四大塊，中間這一大塊是核心的大數(shù)據(jù)平臺(tái)，包括底層分布式的存儲(chǔ)和分布式的計(jì)算，這個(gè)不用說，基本上都是開源的東西，大家看一看就好了。在中間有一層分析層，這是給我們數(shù)據(jù)的分析人員，或者是數(shù)據(jù)分了軟件對(duì)接使用的。包括結(jié)構(gòu)化的SQL分析，復(fù)雜關(guān)聯(lián)數(shù)據(jù)的分析，還有在大量的數(shù)據(jù)里面去做快速的搜索，還有我們能夠進(jìn)行大規(guī)模的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)，這是四個(gè)數(shù)據(jù)分析的組件或者是產(chǎn)品。最上層的可能是一些大數(shù)據(jù)的應(yīng)用，剛才我已經(jīng)介紹了一些了，這里還有很多的應(yīng)用。還有包括剛才我講到公司里面各種產(chǎn)品的數(shù)據(jù)分析和統(tǒng)計(jì)，這也是一大類的應(yīng)用，還有一些產(chǎn)品可以提供出來，這是核心的平臺(tái)。

最左邊是我們數(shù)據(jù)的接入，你的數(shù)據(jù)怎么接入到大數(shù)據(jù)平臺(tái)，這本身也是一個(gè)問題，包括流失數(shù)據(jù)的接入，包括數(shù)據(jù)的導(dǎo)入等等。最右邊是大數(shù)據(jù)管理，大數(shù)據(jù)平臺(tái)要用好的話其實(shí)并不是特別容易，面臨兩個(gè)方面的問題，包括我怎么去管理這個(gè)大數(shù)據(jù)的平臺(tái)，這個(gè)我們有一個(gè)產(chǎn)品系統(tǒng)的去管理我們的平臺(tái)，還有一個(gè)就是我的數(shù)據(jù)分析師能夠使用大數(shù)據(jù)做一些分析。大數(shù)據(jù)的安全在開源的產(chǎn)品里面剛開始考慮不太多，假設(shè)是在一個(gè)封閉的內(nèi)網(wǎng)環(huán)境里面，安全的問題可能沒有那么突出，我們要對(duì)大數(shù)據(jù)平臺(tái)的安全進(jìn)行加固，這也是我們360做安全的一個(gè)強(qiáng)項(xiàng)，這是我們360安全平臺(tái)的架構(gòu)。

360大數(shù)據(jù)平臺(tái)的三個(gè)特點(diǎn)：第一是有超大規(guī)模海量數(shù)據(jù)成熟的實(shí)戰(zhàn)經(jīng)驗(yàn)。剛才我也介紹了，基本上我們的服務(wù)器是4萬臺(tái)，數(shù)據(jù)達(dá)到EB，這個(gè)在全球應(yīng)該也是Top10的，超過EB級(jí)數(shù)據(jù)量的公司應(yīng)該沒有幾家。在這幾萬臺(tái)服務(wù)器上我們一直穩(wěn)定了五六年，不停的改進(jìn)，不停的維護(hù)。在這幾年中，為360各種各樣的業(yè)務(wù)提供服務(wù)，包括要求非常高的在線的毫秒級(jí)的實(shí)時(shí)訪問，還有離線的非常多數(shù)據(jù)批處理的數(shù)據(jù)，還有更多的智能機(jī)器學(xué)習(xí)的算法，一些數(shù)據(jù)挖掘的算法等等。最關(guān)鍵的是我們通過這幾年的積累，建立起來了一支一流的大數(shù)據(jù)研發(fā)團(tuán)隊(duì)。

第二360大數(shù)據(jù)的平臺(tái)是基于開放的技術(shù)，硬件采用開放的X86的服務(wù)器，軟件是基于開源的大數(shù)據(jù)一些系統(tǒng)進(jìn)行定制，保證API，有更多的第三方廠商在上面開發(fā)應(yīng)用，這是一個(gè)特別的版本。

第三安全和專業(yè)。我們認(rèn)為大數(shù)據(jù)平臺(tái)有它的通用性，但是也有專業(yè)性，我們更擅長(zhǎng)的是在存儲(chǔ)、處理安全數(shù)據(jù)的大平臺(tái)，我們是一個(gè)安全數(shù)據(jù)的專業(yè)平臺(tái)。為什么這樣說？因?yàn)榘踩珨?shù)據(jù)本身就不應(yīng)該跟其他數(shù)據(jù)混在一起，我們建議是采用獨(dú)立的方式去存儲(chǔ)它，它有獨(dú)立的要求，因?yàn)槭逻@些安全數(shù)據(jù)的人和普通的業(yè)務(wù)數(shù)據(jù)不一樣，他訪問的模式也不一樣，也需要不一樣的應(yīng)用去使用這些數(shù)據(jù)。這種安全數(shù)據(jù)本身防護(hù)的等級(jí)也需要加強(qiáng)，所以說我們要對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行安全體系的加固。

BigSQL，做結(jié)構(gòu)化數(shù)據(jù)的分析，不管在企業(yè)還是在政府那邊，結(jié)構(gòu)化的數(shù)據(jù)是非常多的，但是結(jié)構(gòu)化數(shù)據(jù)越來越多的時(shí)候，達(dá)到TB級(jí)、PB級(jí)的時(shí)候數(shù)據(jù)庫不一定好用了，這個(gè)時(shí)候需要大數(shù)據(jù)來解決，我們提供了一系列BigSQL結(jié)構(gòu)化數(shù)據(jù)分析的方案，能夠快速的去分析結(jié)構(gòu)化的數(shù)據(jù)。

BigGraph，其實(shí)SQL是典型的表結(jié)構(gòu)的數(shù)據(jù)，很規(guī)整的數(shù)據(jù)。而實(shí)際在現(xiàn)實(shí)生活中，很多數(shù)據(jù)并不一定有那么規(guī)整，而且數(shù)據(jù)與數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系非常強(qiáng)，比如人和人之間的關(guān)系，在圖里面就是點(diǎn)和邊，在一個(gè)計(jì)算機(jī)網(wǎng)絡(luò)里面，兩個(gè)機(jī)器之間要通信，就形成一條邊，這是一個(gè)非常通用的模型，大數(shù)據(jù)還沒有很成熟的技術(shù)，在這一塊我們也是提前做投入。這一塊將來我們的目標(biāo)是能夠支持到百億節(jié)點(diǎn)的大圖，用這樣的一個(gè)圖的技術(shù)，我們可以解決很多像網(wǎng)絡(luò)安全、國(guó)家安全、知識(shí)圖譜、社交圖譜方面的一些問題。

BigSearch，在數(shù)據(jù)越來越大的時(shí)候，前些年我們可能用Spark算一些東西就滿足要求了，現(xiàn)在越來越看到交互式數(shù)據(jù)分析的能力，能不能從大量的數(shù)據(jù)當(dāng)中快速找到我想要的數(shù)據(jù)，所以說我們需要對(duì)大數(shù)據(jù)具備快速的檢索能力，這是BigSearch做的事情。

BigLearning，我們除了檢索數(shù)據(jù)，在數(shù)據(jù)上做簡(jiǎn)單的處理之外，我們?cè)絹碓蕉嗟膽?yīng)用依賴于很多機(jī)器學(xué)習(xí)的算法，甚至依賴于深度學(xué)習(xí)的算法。搭建這樣一個(gè)平臺(tái)并不是特別容易，所以我們專門把機(jī)器學(xué)習(xí)搭建了一個(gè)BigLearning組件，會(huì)進(jìn)行算法庫的擴(kuò)充，支持深度學(xué)習(xí)。

BigPlorer，大數(shù)據(jù)交互系統(tǒng)，把大數(shù)據(jù)導(dǎo)入進(jìn)來，在上面做管理，在上面做可視化分析，在上面運(yùn)行調(diào)度的任務(wù)等等這樣一些過程，我們希望在一個(gè)一站式的BigPlorer去做，這是面向數(shù)據(jù)分析人員或者是數(shù)據(jù)開放人員使用的。

BigManager，是面向運(yùn)維管理人員使用的，把大數(shù)據(jù)平臺(tái)搭建起來，對(duì)系統(tǒng)進(jìn)行升級(jí)，進(jìn)行日常的運(yùn)維，在360內(nèi)部每天都會(huì)遇到這樣的問題。這樣的話，通過一個(gè)系統(tǒng)和產(chǎn)品去解決這樣的問題，可以非常大的提高我們的效率。我的演講就到此結(jié)束，謝謝大家！

網(wǎng)站標(biāo)題：肖康：360安全大數(shù)據(jù)平臺(tái)
轉(zhuǎn)載注明：http://muchs.cn/article32/chjppc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站制作、軟件開發(fā)、企業(yè)建站、虛擬主機(jī)、面包屑導(dǎo)航、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)