安裝logstash-input-jdbc插件-創(chuàng)新互聯(lián)

安裝logstash-input-jdbc插件,實(shí)現(xiàn)數(shù)據(jù)的插入

1.安裝gem

yum install gem -y

創(chuàng)新互聯(lián)是專業(yè)的清遠(yuǎn)網(wǎng)站建設(shè)公司，清遠(yuǎn)接單;提供網(wǎng)站設(shè)計(jì)制作、成都做網(wǎng)站,網(wǎng)頁設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行清遠(yuǎn)網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!

2.替換ruby庫（兩種國內(nèi)源+淘寶源）

2.1.1替換為國內(nèi)源

gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/
gem sources -l

2.1.2修改配置文件

cd /opt/inst/logstash722/
vi Gemfile
#修改Gemfile文件
#source https://rubygems.org/
httpsvi Gemfile.lockgems.ruby-china.com/
vi Gemfile.lock
#remote: https://rubygems.org/
https://gems.ruby-china.com/

2.2 同上替換ruby為淘寶源(如果上述替換國內(nèi)源不成功，可以換此方法)

gem sources --add https://ruby.taobao.org/ --remove https://rubygems.org/
gem sources -l

由于修改ruby鏡像庫為淘寶庫并沒有成功，這里就需要修改Gemfile文件里面的數(shù)據(jù)源：

cd /opt/inst/logstash722/
vi Gemfile
#修改Gemfile文件
#source https://rubygems.org/
source "https://ruby.taobao.org"
#remote: https://rubygems.org/
remote: https://ruby.taobao.org

3.安裝logstash-input-jdbc

3.1 到logstash的bin目錄下運(yùn)行下面的命令，查看可用的插件

cd bin
./logstash-plugin list --verbose

3.2 上述操作看到可以使用的logstash-input-jdbc版本是4.3.3，安裝JDBC

unzip logstash-input-jdbc-4.3.3.zip
mv logstash-input-jdbc-4.3.3 /opt/inst/log_jdbc433
cd log_jdbc433/

3.3 配置Gemfile文件

vi Gemfile
source 'https://gems.ruby-china.com/'

4.測(cè)試是否成功

4.1 提供數(shù)據(jù)

需要一個(gè)mysql驅(qū)動(dòng)包，sql文件,以及conf配置文件

input {

    jdbc {
      # mysql jdbc connection string to our backup databse
      jdbc_connection_string => "jdbc:mysql://169.254.211.100:3306/test"
      # the user we wish to excute our statement as
      jdbc_user => "root"
      jdbc_password => "root"
      # the path to our downloaded jdbc driver
      jdbc_driver_library => "/opt/inst/logstash722/sql/mysql-connector-java-5.1.40-bin.jar"
      # the name of the driver class for mysql
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      statement_filepath => "/opt/inst/logstash722/sql/logs_20171206.sql"
      schedule => "*/1 * * * *"
      type => "jdbc"
    }
}

filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}

output {
    elasticsearch {
        hosts => "169.254.211.100:9200"
        index => "logs_20171206"
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}

4.2 實(shí)現(xiàn)logstash把文件寫進(jìn)mysq數(shù)據(jù)庫l中

cd /opt/inst/logstash722/bin
./logstash -f /opt/logfiter/mysql.conf

http://169.254.211.100:5601/app/kibana#/dashboard/1e4f4310-c638-11e9-9ea7-f9ef9537f0f4?_g=(refreshInterval%3A(display%3AOff%2Cpause%3A!f%2Cvalue%3A0)%2Ctime%3A(from%3Anow-1y%2Cmode%3Aquick%2Cto%3Anow))

1566580763148

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

本文標(biāo)題：安裝logstash-input-jdbc插件-創(chuàng)新互聯(lián)
當(dāng)前URL：http://muchs.cn/article28/doopcp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動(dòng)網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)、云服務(wù)器、網(wǎng)站設(shè)計(jì)公司、自適應(yīng)網(wǎng)站、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)