logstash修改es創(chuàng)建索引的時(shí)間為凌晨00:00;-創(chuàng)新互聯(lián)

問題描述

因公司目前業(yè)務(wù)量不大,故把elk部在了虛機(jī)上,給予的硬盤空間少的離譜,需一天清一次開測(cè)環(huán)境的日志,當(dāng)寫完腳本定時(shí)執(zhí)行發(fā)現(xiàn)每天的定時(shí)任務(wù)日志是正常的但是第二天發(fā)現(xiàn)索引還在!起初以為是腳本或定時(shí)任務(wù)的問題,最后發(fā)現(xiàn)是索引的生成時(shí)間有問題,索引默認(rèn)的生成時(shí)間是凌晨八點(diǎn);而腳本的定時(shí)任務(wù)是凌晨四點(diǎn),肯定是生效了,但是由于還有數(shù)據(jù)寫入就又會(huì)生成這個(gè)索引;

創(chuàng)新互聯(lián)公司成立于2013年,我們提供高端重慶網(wǎng)站建設(shè)、成都網(wǎng)站制作成都網(wǎng)站設(shè)計(jì)、網(wǎng)站定制、全網(wǎng)營(yíng)銷推廣微信平臺(tái)小程序開發(fā)、微信公眾號(hào)開發(fā)、seo優(yōu)化排名服務(wù),提供專業(yè)營(yíng)銷思路、內(nèi)容策劃、視覺設(shè)計(jì)、程序開發(fā)來(lái)完成項(xiàng)目落地,為成都崗?fù)?/a>企業(yè)提供源源不斷的流量和訂單咨詢。

在這里插入圖片描述
在這里插入圖片描述


原因分析:

因?yàn)閘ogstash默認(rèn)使用的UTC時(shí)間,我們現(xiàn)在處于的是東八區(qū)CST(CST=UTC+8h),也就是UTC時(shí)間是比我們慢8個(gè)小時(shí)的,當(dāng)UTC時(shí)間到00:00的時(shí)候,會(huì)觸發(fā)生成新的索引,這時(shí)候我們就已經(jīng)到了08:00;


解決方案:

1、索引的創(chuàng)建時(shí)間日志寫入es的時(shí)間是根據(jù)默認(rèn)的"@timestamp"字段來(lái)創(chuàng)建寫入的,所以直接給"@timestamp"加上8小時(shí)即可;這樣,索引生成的時(shí)間就是00:00了

filter {date {  match =>["log_time", "yyyy-MM-dd HH:mm:ss.SSS"]
          target =>"@timestamp"
        }
        ruby {  code =>"event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"
        }
        ruby {  code =>"event.set('@timestamp',event.get('timestamp'))"
        }
        mutate {  remove_field =>["timestamp"]
        }
    }
}
  • date插件:將@timestamp字段替換為我日志中的log_time字段,主要是將日志寫入es的時(shí)間修改為我日志生成的時(shí)間;
  • ruby1::將"@timestamp"字段的時(shí)間+8個(gè)小時(shí)賦值給新的"timestamp"字段
  • ruby2:將"timestamp"字段再賦值給"@timestamp"字段
  • mutate:刪除多余的"timestamp"字段

如下:
修改后觀察第二天索引的創(chuàng)建時(shí)間戳已正常改為凌晨00:00
在這里插入圖片描述
在這里插入圖片描述



2、還有一點(diǎn)是需要將kibana的顯示時(shí)間改為UTC,默認(rèn)kibana是自動(dòng)根據(jù)瀏覽器"Browser"的時(shí)間來(lái)的,這樣會(huì)導(dǎo)致我們現(xiàn)在的時(shí)間+8小時(shí);當(dāng)改為UTC后+8h正好符合我們現(xiàn)在的時(shí)間

使用kibana的默認(rèn)時(shí)間"Browser"顯示日志如下
在這里插入圖片描述

可以看出kibana顯示的時(shí)間為瀏覽器的時(shí)間東八區(qū)時(shí)間CST(CST=UTC+8h)+8h,所以會(huì)比我們實(shí)際日志產(chǎn)生的時(shí)間多了8h,即只需要將kibana的顯示時(shí)間改為UTC即可;

kibana7.x修改顯示的時(shí)間為UTC:
kibana界??標(biāo)依次點(diǎn)擊如下:
(1)菜單欄;
(2)StackManagement;
(3)Kibana;
(4)高級(jí)設(shè)置;
在這里插入圖片描述
kibana6.x修改顯示的時(shí)間為UTC:
kibana界??標(biāo)依次點(diǎn)擊如下:
(1)菜單欄;
(2)管理
(3)Kibana;
(4)高級(jí)設(shè)置;
在這里插入圖片描述
kibana修改顯示的時(shí)間為UTC格式后,日志如下:
在這里插入圖片描述
顯示時(shí)間一切正常;


總結(jié)

簡(jiǎn)單來(lái)說解決方案就是兩步

(1)把logstash由默認(rèn)的UTC時(shí)區(qū)修改為我們的東八區(qū)CST(CST=UTC+8h),也就是把logstash的默認(rèn)"索引的創(chuàng)建時(shí)間日志寫入es的時(shí)間"+8h;

(2)將kibana默認(rèn)的瀏覽器時(shí)間"Browser"(東八區(qū))改為UTC時(shí)區(qū)

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商?創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源,準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性,企業(yè)級(jí)服務(wù)器適合批量采購(gòu),新人活動(dòng)首月15元起,快前往官網(wǎng)查看詳情吧

網(wǎng)站欄目:logstash修改es創(chuàng)建索引的時(shí)間為凌晨00:00;-創(chuàng)新互聯(lián)
本文URL:http://www.muchs.cn/article44/dgiihe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供建站公司、品牌網(wǎng)站設(shè)計(jì)微信公眾號(hào)、網(wǎng)站導(dǎo)航、響應(yīng)式網(wǎng)站、軟件開發(fā)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

手機(jī)網(wǎng)站建設(shè)