MongoDB自動刪除過期數(shù)據(jù)的方法（TTL索引）

前序：

創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設、高性價比大關(guān)網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式大關(guān)網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設找我們，業(yè)務覆蓋大關(guān)地區(qū)。費用合理售后完善，十余年實體公司更值得信賴。

最近由于公司業(yè)務需求，對于3個月前的過期數(shù)據(jù)需要進行刪除動作，以釋放空間和方便維護

本來想的是使用crontab寫個腳本定時執(zhí)行，但是看到Mongo本身就有自動刪除過期數(shù)據(jù)的功能，所以還是用一下吧

這個方法就是使用TTL索引，后續(xù)我再寫一個腳本定時刪除的任務，關(guān)于TTL索引的更多使用實例，大家可以參考學習這篇文章：https://www.jb51.net/article/126810.htm

介紹：

TTL索引是MongoDB中一種特殊的索引，可以支持文檔在一定時間之后自動過期刪除，目前TTL索引只能在單字段上建立，并且字段類型必須是date類型或者包含有date類型的數(shù)組（如果數(shù)組中包含多個date類型字段，則取最早時間為過期時間）

官網(wǎng)介紹鏈接：https://docs.mongodb.com/v3.2/core/index-ttl/

機制：

當你在集合中某一個字段建立TTL索引后，后臺會有一個單線程，通過不斷查詢（默認60s一次）索引的值來判斷document是否有過期，并且刪除文檔的動作還依據(jù)mongod實例的負載情況，如果負載很高，可能會稍微延后一段時間再刪除。

還有一個需要注意的地方，在復制集成員中，TTL后臺線程只刪除primary的過期數(shù)據(jù)，如果此實例變?yōu)閟econdary角色，則后臺線程閑置

創(chuàng)建TTL索引方法：

和普通索引的創(chuàng)建方法一樣，只是會多加一個屬性而已

例：在log_events的集合中，createTime 字段上建立一小時后過期的TTL索引

 >db.log_events.createIndex( { "createTime": 1 }, ---字段名稱 
    { expireAfterSeconds: 60*60 } ) ---過期時間（單位秒）
>db.log_events.getIndexes() ---查看索引
[
 {
  "v" : 1,
  "key" : {
   "_id" : 1
  },
  "name" : "_id_",
  "ns" : "tt.t1"
 },
 {
  "v" : 1,
  "key" : {
   "createTime" : 1
  },
  "name" : "createTime_1",
  "ns" : "tt.t1",
  "expireAfterSeconds" : 3600
 }
]

修改TTL索引的expireAfterSeconds屬性值：

注：如果想更改過期時間expireAfterSeconds，可以使用collMod方法，要不然你只能只用dropIndex(),createIndex()方法重建索引了，我想這樣的方法在億級數(shù)據(jù)量下是很頭疼的

db.runCommand( { collMod: "log_events", ---集合名
  index: { keyPattern: { createTime: 1 }, ---createTime為具有TTL索引的字段名
    expireAfterSeconds: 7200  ---修改后的過期時間(秒)
   }})

雖然上面的方法可以實現(xiàn)自動過期刪除，但是如果白天業(yè)務很忙，頻繁的刪除數(shù)據(jù)勢必會增加負載，所以我想著晚上定時刪除過期數(shù)據(jù)（如果晚上業(yè)務量少的話）

方法如下：

增加一個expireTime字段（用于指定過期時間），expireAfterSeconds屬性值設置為0，

注：上面的createTime字段就不需要再有TTL索引了，這個expireTime的時間就需要在插入時指定上

>db.log_events.createIndex( { "expireTime": 1 }, ---字段名稱
    { expireAfterSeconds: 0 } ) ---過期時間（單位秒）
>db.log_events.insert( {
 "expireTime": new Date('Jan 22, 2016 23:00:00'), ---此文檔將在2016-1-22的23點自動刪除
 "logEvent": 2,
 "logMessage": "Success!"} )

這樣我們就實現(xiàn)了，指定時間自動刪除的動作了

限制條件：

有一下集中情況是無法使用TTL索引的

①TTL索引是單字段索引，混合索引不支持TTL，并且也會忽略expireAfterSeconds屬性

②在_id 主鍵上不能建立TTL索引

③在capped collection中不能建立TTL索引，因為MongoDB不能從capped collection中刪除文檔

④你不能使用createIndex()去更改已經(jīng)存在的TTL索引的expireAfterSeconds值，如果想更改expireAfterSeconds，可以使用collMod命令，否則你只能刪除索引，然后重建了

⑤你不能在已有索引的字段上再創(chuàng)建TTL索引了，如果你想把非TTL索引改為TTL索引，那就只能刪除重建索引了

驗證：

雖然已經(jīng)實現(xiàn)了晚上集中自動刪除的功能，但是還是擔心刪除過大數(shù)量時負荷問題，隨進行了簡單測試，一查看TTL索引在億級別集合中刪除140萬過期數(shù)據(jù)的消耗

測試配置：

OS：Vm虛擬機
CPU: 4
內(nèi)存：8

集合數(shù)據(jù)量：

> db.t1.count()
104273617

因為我制造測試數(shù)據(jù)時，_id是順序增加的，所以我直接查看_id=1500000的那筆數(shù)據(jù)的createTime，然后自己計算一下此createTime和當前時間的時間差，隨后根據(jù)這個時間差來更改expireAfterSeconds的值，以讓這150萬數(shù)據(jù)5分鐘后過期并刪除。

在修改完expireAfterSeconds后，就嚴密延時“ vmstat 1 ” 命令的輸出數(shù)據(jù)；

我的測試結(jié)果：

刪除操作整個過程在90秒左右完成；

CPU最高占用90%，平均在50%

內(nèi)存占用3G

這個也是特別準確的模擬情況，只是粗略的了解一下TTL索引的資源消耗，以決定是不是需要這樣的方式來實現(xiàn)刪除過期數(shù)據(jù)

監(jiān)控vmstat的截圖：

MongoDB自動刪除過期數(shù)據(jù)的方法（TTL索引）

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值，如果有疑問大家可以留言交流，謝謝大家對創(chuàng)新互聯(lián)的支持。

當前名稱：MongoDB自動刪除過期數(shù)據(jù)的方法（TTL索引）
標題鏈接：http://muchs.cn/article30/jiddso.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供服務器托管、面包屑導航、網(wǎng)站導航、App開發(fā)、用戶體驗、軟件開發(fā)

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容