AWSAthena分析日志-創(chuàng)新互聯(lián)

AWS里面可以用Athena來分析S3里面保存的日志，他把日志轉(zhuǎn)換成數(shù)據(jù)庫(kù)表的格式，這樣就可以通過sql語句進(jìn)行查詢了。這個(gè)功能和在windows服務(wù)器上用logparser來分析Exchange或者IIS的日志很相似。

創(chuàng)新互聯(lián)建站是專業(yè)的合川網(wǎng)站建設(shè)公司，合川接單;提供成都做網(wǎng)站、成都網(wǎng)站建設(shè),網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行合川網(wǎng)站開發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!

下面做個(gè)演示，通過Cloudtrail記錄管理日志，然后通過Athena來查詢?nèi)罩緝?nèi)容。

首先選擇CloudTrail, CloudTrail 是一個(gè)日志記錄的服務(wù)，他和cloudwatch的區(qū)別在于這個(gè)服務(wù)更多是側(cè)重于審計(jì)，他的內(nèi)容都是關(guān)于什么時(shí)候，什么賬號(hào)，從什么IP上進(jìn)行了什么操作。

AWS Athena 分析日志

點(diǎn)擊 Create Trail

AWS Athena 分析日志

取個(gè)名字， 創(chuàng)建一個(gè)新的S3 bucket來保存日志

AWS Athena 分析日志

創(chuàng)建好之后可以看見他自動(dòng)已經(jīng)在記錄最新的日志了

AWS Athena 分析日志

然后選擇 Athena

AWS Athena 分析日志

跳過向?qū)?，直接進(jìn)入查詢器的編輯器，這里是編輯SQL語句的地方。這里我直接創(chuàng)建一個(gè)的數(shù)據(jù)庫(kù)

AWS Athena 分析日志

下面來創(chuàng)建一個(gè)表，從指定的S3 Bucket里面獲取數(shù)據(jù)。
我們可以通過向?qū)?chuàng)建，但是比較繁瑣

AWS Athena 分析日志

比較容易的是通過腳本創(chuàng)建，注意最后一行S3存儲(chǔ)桶的地址

CREATE EXTERNAL TABLE cloudtrail_logs (
eventversion STRING,
useridentity STRUCT<
               type:STRING,
               principalid:STRING,
               arn:STRING,
               accountid:STRING,
               invokedby:STRING,
               accesskeyid:STRING,
               userName:STRING,
sessioncontext:STRUCT<
attributes:STRUCT<
               mfaauthenticated:STRING,
               creationdate:STRING>,
sessionissuer:STRUCT<  
               type:STRING,
               principalId:STRING,
               arn:STRING, 
               accountId:STRING,
               userName:STRING>>>,
eventtime STRING,
eventsource STRING,
eventname STRING,
awsregion STRING,
sourceipaddress STRING,
useragent STRING,
errorcode STRING,
errormessage STRING,
requestparameters STRING,
responseelements STRING,
additionaleventdata STRING,
requestid STRING,
eventid STRING,
resources ARRAY<STRUCT<
               ARN:STRING,
               accountId:STRING,
               type:STRING>>,
eventtype STRING,
apiversion STRING,
readonly STRING,
recipientaccountid STRING,
serviceeventdetails STRING,
sharedeventid STRING,
vpcendpointid STRING
)
ROW FORMAT SERDE 'com.amazon.emr.hive.serde.CloudTrailSerde'
STORED AS INPUTFORMAT 'com.amazon.emr.cloudtrail.CloudTrailInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION 's3://mycloudtrailbucket-faye/AWSLogs/757250003982/';

AWS Athena 分析日志

創(chuàng)建表成功的樣子

AWS Athena 分析日志

下面我們可以進(jìn)行一個(gè)簡(jiǎn)單的查詢，結(jié)果如下。

AWS Athena 分析日志

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

名稱欄目：AWSAthena分析日志-創(chuàng)新互聯(lián)
文章位置：http://muchs.cn/article2/doojic.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊(cè)、做網(wǎng)站、自適應(yīng)網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、電子商務(wù)、網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

網(wǎng)站優(yōu)化排名