機器學習能革了數(shù)據(jù)庫索引的命嗎?

關系數(shù)據(jù)庫帝國已經(jīng)獨孤求敗幾十年了!

(圖2：B+樹中節(jié)點也保存在磁盤塊中)

最后一層為有序的數(shù)據(jù)頁，每個頁包含指向下一個數(shù)據(jù)頁的頁號(也就是地址)，這里假設一條記錄占據(jù)一個數(shù)據(jù)頁,那么第一條記錄在1號數(shù)據(jù)頁，第二條記錄在2號數(shù)據(jù)頁，依次類推。

這樣以來，如果用戶想獲取ID = 4的記錄，數(shù)據(jù)庫只需要讀取三次磁盤就可以找到記錄所在的數(shù)據(jù)的頁號(page)為4。

現(xiàn)在的對應關系不是那么簡單了。

機器學習大使不僅不慢不緊不慢地回答道：“線性模型只是我們大家族中最簡單的地模型罷了，不管你一個數(shù)據(jù)頁能存儲幾條記錄， 只要給出(key,page)對應的數(shù)據(jù)集合,我們都可以訓練神經(jīng)網(wǎng)絡，找到滿足他們之間關系的一個函數(shù) page = f(key)!通過這個函數(shù)，只要你給出key的值，立刻就能得出page! ”

B+樹有點明白了，這機器學習就是為了找到一個key和頁面之間的關系啊，以后訪問起來就方便了，他背上開始冒汗了。

機器學習大使窮追不舍，亮出了大殺招：“使用B+樹， 存儲開銷是O(n/m)(m為樹的出度)，查詢開銷是O(log(n))， 而使用神經(jīng)網(wǎng)絡，查詢開銷是O(1) !”

O(1) !

聽到這句話， 全場一片嘩然，所有人都知道這意味著什么，這就是革命呀，革B+樹的命呀!

大臣們開始竊竊私語：“這神經(jīng)網(wǎng)絡很厲害啊!”

“是啊!神經(jīng)網(wǎng)絡最擅長干這個事情了!從一堆數(shù)據(jù)中找到關聯(lián)關系。”

“聽說神經(jīng)網(wǎng)絡在兩層的情況下就能夠擬合一切函數(shù)!”

B+樹大臣有點慌，語氣也弱了下來：“你們機器學習是很牛逼，但像LR，GBDT，SVR，包括你說的這些神經(jīng)網(wǎng)絡，一些深度學習的方法，哪個不是有一定錯誤率的，位置預測錯誤，難道要全部掃描一遍數(shù)據(jù)不成，你們懂不懂我們索引的業(yè)務呀!”

機器學習大使早就預料到了會有這個問題， 他一字一句鄭重道：“將機器學習賦能數(shù)據(jù)庫，我們是認真的! 傳統(tǒng)這些預測算法的應用場景，都是在訓練數(shù)據(jù)數(shù)據(jù)集里做訓練，然后對未知的數(shù)據(jù)做預測。但索引這個場景，嘿嘿，它是一個封閉場景，沒有新的數(shù)據(jù)，只需要對數(shù)據(jù)庫中存在的數(shù)據(jù)做預測即可，這種場景下，就像我剛才提到的神經(jīng)網(wǎng)絡完全可以勝任，直接就在當前數(shù)據(jù)上，訓練到做到百分百的正確率即可?！?/p>

全場再次嘩然，眾位大臣齊刷刷地看著國王，似乎等待著最終的宣判。

絕地反擊

B+樹大臣頓時印堂發(fā)黑，心想幾十年的風光就要今日終結(jié)嗎，本來隨著SSD等新型硬件的誕生我的日子就不好過了， 難道今日命喪機器學習之手?悲傷難以平復，搖搖欲墜。

這個時候，CBO(基于代價的優(yōu)化器)從后面走過來，一把扶住B+樹，看著這個日益蒼老的老頭，說道：“大人莫慌，別看他和囂張，但是有巨大漏洞，看我來對付他?！?/p>

CBO大臣說道：“你之前說的只是查找和存儲性能，索引的維護(增/刪/改)代價難道不用考慮嗎，如果索引發(fā)生了變化，之前的page= f(key)這個函數(shù)還有效嗎? 是不是還得重新訓練神經(jīng)網(wǎng)絡，找到新的函數(shù) page = f1(key)? 這還是O(1)的時間復雜度嗎?我們數(shù)據(jù)庫面對的是通用場景，不要以為只考慮幾個case就覺得可以替代我們了!”

機器學習大使大驚，功敗垂成!自己已經(jīng)隱藏的這么深，還是被發(fā)現(xiàn)了缺陷，頓時紅了個臉：“您說的對，我們在索引的更新上還沒有很好的解決方案，但我們只是想為數(shù)據(jù)庫索引帶來一些新鮮想法，做現(xiàn)在的技術選項的補充，并沒有想著取代誰。”

B+樹一聽，立刻滿血復活：“陛下，您看看，這是一個不成熟的方案，對于數(shù)據(jù)查找能做到O(1)， 但是對于數(shù)據(jù)更新就完全不行了，居然還想替代我!我就說這機器學習是招搖撞騙嘛!”

數(shù)據(jù)庫國王搖搖頭：“愛卿所言差矣，這個機器學習的思路還是非常新奇的，我們還是要學習一下的， 來人，給機器學習大使送上白銀千兩，好好安頓?！?/p>

后記

這篇文章的靈感來源于一篇論文《The Case for Learned Index Structures》，實際上真正要把機器學習應用的索引上，就算考慮只讀場景，往往也會因為數(shù)量太大，關系太多復雜，導致計算量、模型復雜度方面的問題，所以提出這個論文的作者提到通過建立層次模型的方式解決：根節(jié)點的分類器將記錄劃分成n份，給下一層分類器進行分類，這樣節(jié)點的預測器學習的數(shù)據(jù)少而簡單，總體的時間成本也能夠保證。

本文名稱：機器學習能革了數(shù)據(jù)庫索引的命嗎?
轉(zhuǎn)載來于：http://www.muchs.cn/news13/98113.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設計、自適應網(wǎng)站、靜態(tài)網(wǎng)站、網(wǎng)站設計公司、虛擬主機、服務器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)