大數(shù)據(jù)和人工智能的超全解析

大數(shù)據(jù)擁抱

2數(shù)據(jù)如何升華為智慧

數(shù)據(jù)的處理分幾個步驟，完成了才最后會有智慧。

第一個步驟叫數(shù)據(jù)的收集。首先得有數(shù)據(jù)，數(shù)據(jù)的收集有兩個方式：

第一個方式是拿，專業(yè)點的說法叫抓取或者爬取。例如搜索引擎就是這么做的：它把網(wǎng)上的所有的信息都下載到它的數(shù)據(jù)中心，然后你一搜才能搜出來。比如你去搜索的時候，結(jié)果會是一個列表，這個列表為什么會在搜索引擎的公司里面?就是因為他把數(shù)據(jù)都拿下來了，但是你一點鏈接，點出來這個網(wǎng)站就不在搜索引擎它們公司了。比如說新浪有個新聞，你拿百度搜出來，你不點的時候，那一頁在百度數(shù)據(jù)中心，一點出來的網(wǎng)頁就是在新浪的數(shù)據(jù)中心了。

第二個方式是推送，有很多終端可以幫我收集數(shù)據(jù)。比如說小米手環(huán)，可以將你每天跑步的數(shù)據(jù)，心跳的數(shù)據(jù)，睡眠的數(shù)據(jù)都上傳到數(shù)據(jù)中心里面。

第二個步驟是數(shù)據(jù)的傳輸。一般會通過隊列方式進行，因為數(shù)據(jù)量實在是太大了，數(shù)據(jù)必須經(jīng)過處理才會有用?？上到y(tǒng)處理不過來，只好排好隊，慢慢處理。

第三個步驟是數(shù)據(jù)的存儲。現(xiàn)在數(shù)據(jù)就是金錢，掌握了數(shù)據(jù)就相當于掌握了錢。要不然網(wǎng)站怎么知道你想買什么?就是因為它有你歷史的交易的數(shù)據(jù)，這個信息可不能給別人，十分寶貴，所以需要存儲下來。

第四個步驟是數(shù)據(jù)的處理和分析。上面存儲的數(shù)據(jù)是原始數(shù)據(jù)，原始數(shù)據(jù)多是雜亂無章的，有很多垃圾數(shù)據(jù)在里面，因而需要清洗和過濾，得到一些高質(zhì)量的數(shù)據(jù)。對于高質(zhì)量的數(shù)據(jù)，就可以進行分析，從而對數(shù)據(jù)進行分類，或者發(fā)現(xiàn)數(shù)據(jù)之間的相互關(guān)系，得到知識。

比如盛傳的沃爾瑪超市的啤酒和尿布的故事，就是通過對人們的購買數(shù)據(jù)進行分析，發(fā)現(xiàn)了男人一般買尿布的時候，會同時購買啤酒，這樣就發(fā)現(xiàn)了啤酒和尿布之間的相互關(guān)系，獲得知識，然后應(yīng)用到實踐中，將啤酒和尿布的柜臺弄的很近，就獲得了智慧。

第五個步驟是對于數(shù)據(jù)的檢索和挖掘。檢索就是搜索，所謂外事不決問Google，內(nèi)事不決問百度。內(nèi)外兩大搜索引擎都是將分析后的數(shù)據(jù)放入搜索引擎，因此人們想尋找信息的時候，一搜就有了。

另外就是挖掘，僅僅搜索出來已經(jīng)不能滿足人們的要求了，還需要從信息中挖掘出相互的關(guān)系。比如財經(jīng)搜索，當搜索某個公司股票的時候，該公司的高管是不是也應(yīng)該被挖掘出來呢?如果僅僅搜索出這個公司的股票發(fā)現(xiàn)漲的特別好，于是你就去買了，其實其高管發(fā)了一個聲明，對股票十分不利，第二天就跌了，這不坑害廣大股民么?所以通過各種算法挖掘數(shù)據(jù)中的關(guān)系，形成知識庫，十分重要。

3大數(shù)據(jù)時代，眾人拾柴火焰高

當數(shù)據(jù)量很小時，很少的幾臺機器就能解決。慢慢的，當數(shù)據(jù)量越來越大，最牛的服務(wù)器都解決不了問題時，怎么辦呢?這時就要聚合多臺機器的力量，大家齊心協(xié)力一起把這個事搞定，眾人拾柴火焰高。

對于數(shù)據(jù)的收集：就IoT來講，外面部署這成千上萬的檢測設(shè)備，將大量的溫度、濕度、監(jiān)控、電力等數(shù)據(jù)統(tǒng)統(tǒng)收集上來;就互聯(lián)網(wǎng)網(wǎng)頁的搜索引擎來講，需要將整個互聯(lián)網(wǎng)所有的網(wǎng)頁都下載下來。這顯然一臺機器做不到，需要多臺機器組成網(wǎng)絡(luò)爬蟲系統(tǒng)，每臺機器下載一部分，同時工作，才能在有限的時間內(nèi)，將海量的網(wǎng)頁下載完畢。

對于數(shù)據(jù)的傳輸：一個內(nèi)存里面的隊列肯定會被大量的數(shù)據(jù)擠爆掉，于是就產(chǎn)生了基于硬盤的分布式隊列，這樣隊列可以多臺機器同時傳輸，隨你數(shù)據(jù)量多大，只要我的隊列足夠多，管道足夠粗，就能夠撐得住。

對于數(shù)據(jù)的存儲：一臺機器的文件系統(tǒng)肯定是放不下的，所以需要一個很大的分布式文件系統(tǒng)來做這件事情，把多臺機器的硬盤打成一塊大的文件系統(tǒng)。

對于數(shù)據(jù)的分析：可能需要對大量的數(shù)據(jù)做分解、統(tǒng)計、匯總，一臺機器肯定搞不定，處理到猴年馬月也分析不完。于是就有分布式計算的方法，將大量的數(shù)據(jù)分成小份，每臺機器處理一小份，多臺機器并行處理，很快就能算完。例如著名的Terasort對1個TB的數(shù)據(jù)排序，相當于1000G，如果單機處理，怎么也要幾個小時，但并行處理209秒就完成了。

所以說什么叫做大數(shù)據(jù)?說白了就是一臺機器干不完，大家一起干?？墒请S著數(shù)據(jù)量越來越大，很多不大的公司都需要處理相當多的數(shù)據(jù)，這些小公司沒有這么多機器可怎么辦呢?

4大數(shù)據(jù)需要云計算，云計算需要大數(shù)據(jù)

說到這里，大家想起云計算了吧。當想要干這些活時，需要很多的機器一塊做，真的是想什么時候要就什么時候要，想要多少就要多少。

例如大數(shù)據(jù)分析公司的財務(wù)情況，可能一周分析一次，如果要把這一百臺機器或者一千臺機器都在那放著，一周用一次非常浪費。那能不能需要計算的時候，把這一千臺機器拿出來;不算的時候，讓這一千臺機器去干別的事情?

誰能做這個事兒呢?只有云計算，可以為大數(shù)據(jù)的運算提供資源層的靈活性。而云計算也會部署大數(shù)據(jù)放到它的PaaS平臺上，作為一個非常非常重要的通用應(yīng)用。因為大數(shù)據(jù)平臺能夠使得多臺機器一起干一個事兒，這個東西不是一般人能開發(fā)出來的，也不是一般人玩得轉(zhuǎn)的，怎么也得雇個幾十上百號人才能把這個玩起來。

所以說就像數(shù)據(jù)庫一樣，其實還是需要有一幫專業(yè)的人來玩這個東西?，F(xiàn)在公有云上基本上都會有大數(shù)據(jù)的解決方案了，一個小公司需要大數(shù)據(jù)平臺的時候，不需要采購一千臺機器，只要到公有云上一點，這一千臺機器都出來了，并且上面已經(jīng)部署好了的大數(shù)據(jù)平臺，只要把數(shù)據(jù)放進去算就可以了。

云計算需要大數(shù)據(jù)，大數(shù)據(jù)需要云計算，二者就這樣結(jié)合了。

人工智能擁抱大數(shù)據(jù)

1機器什么時候才能懂人心

雖說有了大數(shù)據(jù)，人的欲望卻不能夠滿足。雖說在大數(shù)據(jù)平臺里面有搜索引擎這個東西，想要什么東西一搜就出來了。但也存在這樣的情況：我想要的東西不會搜，表達不出來，搜索出來的又不是我想要的。

例如音樂軟件推薦了一首歌，這首歌我沒聽過，當然不知道名字，也沒法搜。但是軟件推薦給我，我的確喜歡，這就是搜索做不到的事情。當人們使用這種應(yīng)用時，會發(fā)現(xiàn)機器知道我想要什么，而不是說當我想要時，去機器里面搜索。這個機器真像我的朋友一樣懂我，這就有點人工智能的意思了。

人們很早就在想這個事情了。最早的時候，人們想象，要是有一堵墻，墻后面是個機器，我給它說話，它就給我回應(yīng)。如果我感覺不出它那邊是人還是機器，那它就真的是一個人工智能的東西了。

2讓機器學會推理

怎么才能做到這一點呢?人們就想：我首先要告訴計算機人類的推理的能力。你看人重要的是什么?人和動物的區(qū)別在什么?就是能推理。要是把我這個推理的能力告訴機器，讓機器根據(jù)你的提問，推理出相應(yīng)的回答，這樣多好?

其實目前人們慢慢地讓機器能夠做到一些推理了，例如證明數(shù)學公式。這是一個非常讓人驚喜的一個過程，機器竟然能夠證明數(shù)學公式。但慢慢又發(fā)現(xiàn)其實這個結(jié)果也沒有那么令人驚喜。因為大家發(fā)現(xiàn)了一個問題：數(shù)學公式非常嚴謹，推理過程也非常嚴謹，而且數(shù)學公式很容易拿機器來進行表達，程序也相對容易表達。

3教給機器知識

因此，僅僅告訴機器嚴格的推理是不夠的，還要告訴機器一些知識。但告訴機器知識這個事情，一般人可能就做不來了?？赡軐＜铱梢?，比如語言領(lǐng)域的專家或者財經(jīng)領(lǐng)域的專家。

語言領(lǐng)域和財經(jīng)領(lǐng)域知識能不能表示成像數(shù)學公式一樣稍微嚴格點呢?例如語言專家可能會總結(jié)出主謂賓定狀補這些語法規(guī)則，主語后面一定是謂語，謂語后面一定是賓語，將這些總結(jié)出來，并嚴格表達出來不就行了嗎?后來發(fā)現(xiàn)這個不行，太難總結(jié)了，語言表達千變?nèi)f化。

人工智能這個階段叫做專家系統(tǒng)。專家系統(tǒng)不易成功，一方面是知識比較難總結(jié)，另一方面總結(jié)出來的知識難以交給計算機。因為你自己還迷迷糊糊，覺得似乎有規(guī)律，就是說不出來，又怎么能夠通過編程教給計算機呢?

文章標題：大數(shù)據(jù)和人工智能的超全解析
網(wǎng)站網(wǎng)址：http://www.muchs.cn/news35/104135.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、網(wǎng)站維護、定制開發(fā)、網(wǎng)站導航、ChatGPT、移動網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)