logstash使用date處理時(shí)間有幾種方式?

logstash使用date處理時(shí)間有幾種方式?針對(duì)這個(gè)問(wèn)題,今天小編總結(jié)了這篇文章,希望能幫助更多想解決這個(gè)問(wèn)題的朋友找到更加簡(jiǎn)單易行的辦法。

創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),川匯企業(yè)網(wǎng)站建設(shè),川匯品牌網(wǎng)站建設(shè),網(wǎng)站定制,川匯網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷(xiāo),網(wǎng)絡(luò)優(yōu)化,川匯網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè),幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力??沙浞譂M(mǎn)足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專(zhuān)業(yè)、時(shí)尚、前沿,時(shí)刻以成就客戶(hù)成長(zhǎng)自我,堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己,讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

1、第一種,直接在配置文件中自定義時(shí)間格式

logstash使用date處理時(shí)間有幾種方式?

這是tomcat配置文件中的一段日志時(shí)間配置,按照這樣的配置,那么輸出的日志是這樣子的:

logstash使用date處理時(shí)間有幾種方式?

然后你繼續(xù)在logstash中這樣子配置

logstash使用date處理時(shí)間有幾種方式?

此時(shí)logstash就不會(huì)報(bào)"_dateparsefailed"錯(cuò)誤了。

這種形式在nginx、apache等web服務(wù)器中配置是最好的,也比較方便分析。

2、第二種,帶有中括號(hào)的(其實(shí)跟上面是一回事)

日志本身輸出是這樣子的

[07/Feb/2018:16:24:19 +0800]

帶有一對(duì)中括號(hào)

那么在grok插件中這樣子定義就行:

\[%{HTTPDATE:timestamp}\]

date插件可以直接轉(zhuǎn)換,如下:

logstash使用date處理時(shí)間有幾種方式?

最后的效果是這樣子的

logstash使用date處理時(shí)間有幾種方式?

這樣子也不會(huì)報(bào)錯(cuò)

3、ISO8601形式

在日志文件中原生日志是這樣子的:

2019-03-19 13:08:07.782

重點(diǎn)是后面的”.782“,后面附加以毫秒為單位的。

 那么grok插件中可以這樣子定義匹配的規(guī)則:

logstash使用date處理時(shí)間有幾種方式?

此時(shí)date插件可以這樣子定義:

 date {
                match => [ "access_time","MMM  d HH:mm:ss", "MMM dd HH:mm:ss", "ISO8601"]
        }

上面的形式?jīng)]有寫(xiě)錯(cuò),直接復(fù)制粘貼到配置文件即可

最后匹配如下:

logstash使用date處理時(shí)間有幾種方式?

這樣子也不會(huì)報(bào)”_dateparsefailed“錯(cuò)誤。

最后附加一張時(shí)間匹配規(guī)則表,平時(shí)可做參考

logstash使用date處理時(shí)間有幾種方式?

4、根據(jù)時(shí)間戳來(lái)轉(zhuǎn)換數(shù)據(jù)。

在MySQL的慢查詢(xún)?nèi)罩局惺占瘯r(shí),由于某些情況下只能根據(jù)時(shí)間戳來(lái)確定時(shí)間,那么我們就必須使用轉(zhuǎn)換的方案了。主要是將時(shí)間戳轉(zhuǎn)換成UNIX風(fēng)格的時(shí)間,比如:

mysql慢查詢(xún)?nèi)罩镜臅r(shí)間是這樣子的:

logstash使用date處理時(shí)間有幾種方式?

那么我們?cè)趌ogstash的配置文件中使用的date插件這樣子來(lái)寫(xiě):

logstash使用date處理時(shí)間有幾種方式?

這樣子就可以匹配成功了。

上面的“timestamp_mysql”是我在grok插件中的匹配后的時(shí)間賦值,比如:

%{NUMBER:timestamp_mysql};

4、ISO8601形式

時(shí)間日志:

2018-02-09T10:57:42+08:00

此時(shí)在grok中可以這么寫(xiě):

grok {
        match => { "message" ; "{TIMESTAMP_ISO8601:localtime}
}

而在時(shí)間轉(zhuǎn)存到@timestamp有兩種寫(xiě)法可以供使用

date {
        match => ["localtime", "yyyy-MM-dd'T'HH:mm:ssZZ"]
        target => "@timestamp"
}

或者是

date {
        match => ["localtime", "ISO8601"]
    }

都可以實(shí)現(xiàn)ISO8601時(shí)間的匹配格式

 看完上述內(nèi)容,你們掌握l(shuí)ogstash使用date處理時(shí)間的方法了嗎?如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!

當(dāng)前文章:logstash使用date處理時(shí)間有幾種方式?
分享URL:http://muchs.cn/article44/pphghe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站導(dǎo)航、虛擬主機(jī)、、App設(shè)計(jì)、微信公眾號(hào)、建站公司

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

商城網(wǎng)站建設(shè)