這篇文章給大家介紹如何使用Elasticsearch實時監(jiān)控VPC flow log,內(nèi)容非常詳細,感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。
創(chuàng)新互聯(lián)2013年至今,先為易縣等服務建站,易縣等地企業(yè),進行企業(yè)商務咨詢服務。為易縣企業(yè)網(wǎng)站制作PC+手機+微官網(wǎng)三網(wǎng)同步一站式服務解決您的所有建站問題。
關鍵詞:ElasticSearch、vpc流日志、CloudWatch日志
適讀水平:有一定AWS基礎
適讀職業(yè):運維、運營管理
應用場景:ElasticSearch日志分析
登錄Elasticsearch控制臺
點擊“創(chuàng)建新域”,基本都是默認設置,填寫ES域名稱
其他都可以默認設置,“下一步”,
為了方便設置訪問權(quán)限“公有訪問權(quán)限”,
訪問策略設置“允許對域進行公開訪問”,
注意:通常情況下應該選擇“允許從特定ip訪問域”,但是在測試過程中總是在訪問kinana的時候報錯"User: anonymous is not authorized to perform: es:ESHttpGet",報錯的解決方案可以參考官網(wǎng)文檔 https://docs.aws.amazon.com/zh_cn/elasticsearch-service/latest/developerguide/aes-handling-errors.html ,最簡單的解決辦法就是允許公開訪問,故本次操作實踐配置為允許公開訪問。
繼續(xù)“下一步”,都采用默認設置,點擊“確認”,成功創(chuàng)建ES域。
切換到CloudWatch控制臺,選擇日志欄
點擊“創(chuàng)建日志組”,填寫日志組名稱,完成日志組創(chuàng)建,如下圖所示:
點擊創(chuàng)建的日志組log-vpcflow進去,查看其內(nèi)容
因為目前還沒有日志進來,所以為空,接下來就是要產(chǎn)生日志。
本節(jié)需要做兩個工作:1)vpc flow log的產(chǎn)生,我們在vpc里面創(chuàng)建一個ec2實例即可;2)將vpc flow log 推送到CloudWatch日志組。
1)新創(chuàng)建一個ec2實例,基本操作,省略。
2)開啟vpc flow log并配置
切換到vpc控制臺,選擇“您的VPC”欄
在當前區(qū)域,有兩個vpc,一個默認vpc,一個是我自己創(chuàng)建的VPC(通常我都使用自己創(chuàng)建的VPC),之前的ec2實例也是在這個“vpc-xuyi”中,所以選中該VPC,在廈門可以看到有4個tab欄目,選擇其中“flow logs”
點擊“create flow log”,開始創(chuàng)建vpc 流日志,
其中,過濾器選擇“all”,目標選擇“send to CloudWatch logs”,在目標日志組選擇在步驟2中創(chuàng)建的日志組“l(fā)og-vpcflow”,現(xiàn)在還需要配置IAM角色,點擊藍色字體的“set up permission”
這是使用向?qū)J配置的權(quán)限,我們無需進行修改,點擊“允許即可”,即創(chuàng)建一個角色“flowlogsRole”,我們可切換到IAM控制臺查看該角色
Ok,現(xiàn)在我們需要重新回到之前未完成的流程,進入VPC控制臺->選擇合適的vpc->創(chuàng)建vpc流日志->配置角色
點擊“create”
Vpc flow log創(chuàng)建完成。
再切換到CloudWatch控制臺,進入我們創(chuàng)建的日志組中,可以看到在日志組“l(fā)og-vpcflow”
中有一條流日志
注意:此處流日志出現(xiàn)可能需要等待一段時間,點擊右邊的刷新圖標,多刷幾次吧,時間不好說,可能有好幾分鐘也可能很快,總之耐心等待吧。
我們可以點擊流日志進去查看(其實也沒什么好看的)
現(xiàn)在還需要將CloudWatch日志組的日志傳到ElasticSearch域中,還是在之前創(chuàng)建的日志組界面
選擇“流式傳輸?shù)紼S”
選擇賬號“此賬戶”,ES集群選擇之前創(chuàng)建的ES域“es-vpc-log”,lambda角色選擇“創(chuàng)建IAM角色”
這里也是配置向?qū)Ыo出的默認角色,直接允許就行,將會創(chuàng)建一個相應的角色
允許之后,在角色部分已經(jīng)選擇好了剛剛創(chuàng)建的角色,點擊“下一步”
日志格式選擇“vpc流日志”,點擊“下一步”,一路確認即可
最后可以看到我們的cloudwatch日志組已經(jīng)被一個lambda函數(shù)訂閱,該函數(shù)將我們的日志流式傳輸?shù)紼S域。我們也可以進入lambda控制臺看看該函數(shù)的架構(gòu)內(nèi)容(不想看就不用進去看了,嘿嘿)
那么上圖這個lambda函數(shù)就是我們通過使用向?qū)?chuàng)建的,這就是向?qū)У暮锰幜?,代碼我也不懂。
切換到Elasticsearch控制臺,選中我們創(chuàng)建的域
選擇“索引”
其中的“cwl-2019.11.07”就是收集到的vpc流日志,命名中包含了2019年11月7日。
再選擇“概述”頁
點擊“kibana”后的鏈接,進入kibana頁面
頁面刷新時間較長,等吧,在上圖中選擇左側(cè)的“管理”圖標
選擇“index patterns”
這里的索引就是在前面我們看到的那條日志“cwl-2019.11.07”,將該索引填入index pattern字段,點擊“下一步”,就會看到將索引的結(jié)構(gòu)列出來了
再選擇左側(cè)的“發(fā)現(xiàn)”圖標
到此為止,我們就已經(jīng)實現(xiàn)了對vpc flow log的監(jiān)視,并且可以通過Elasticsearch的kibana工具來對日志進行可視化的展現(xiàn)。Kibana本身是一個強大的可視化工具,本人對此也甚了解,所以無法給出更進一步的指導。
關于如何使用Elasticsearch實時監(jiān)控VPC flow log就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。
新聞名稱:如何使用Elasticsearch實時監(jiān)控VPCflowlog
文章位置:http://muchs.cn/article4/ipijoe.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供移動網(wǎng)站建設、動態(tài)網(wǎng)站、做網(wǎng)站、網(wǎng)站制作、響應式網(wǎng)站、軟件開發(fā)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)