solr增量導入數(shù)據(jù)怎么配置

這篇文章主要介紹“solr增量導入數(shù)據(jù)怎么配置”，在日常操作中，相信很多人在solr增量導入數(shù)據(jù)怎么配置問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”solr增量導入數(shù)據(jù)怎么配置”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

成都創(chuàng)新互聯(lián)堅持“要么做到，要么別承諾”的工作理念，服務領(lǐng)域包括：成都網(wǎng)站制作、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務，滿足客戶于互聯(lián)網(wǎng)時代的東臺網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

   簡介: solr5.0是一個獨立的應用程序,不再依賴其他Web服務器就能提供Web服務(這是和4.x版本最大的差異,內(nèi)置jetty)。

    solr增量導入數(shù)據(jù)怎么配置

  1. 啟動solr

            solr提供了啟動腳本

    bin/solr start
前臺運行	bin/solr start -f
指定端口號 bin/solr start -p 8984（默認端口號8983）
查看solr狀態(tài) bin/solr status
結(jié)束solr  bin/solr stop -p 8984

     后臺管理地址 http://localhost:8984/solr

    solr增量導入數(shù)據(jù)怎么配置

    logging:顯示日志

    Core Admin: core就是搜索示例，放置索引。

    java properties：查看java配置信息

    Thread dump:查看線程信息

  2. 創(chuàng)建一個搜索實例

    {solr安裝路徑}/server/solr/新建一個文件夾命名為test

    拷貝{solr安裝路徑}/server/solr/configsets/sample_techproducts_configs到test目錄下

    目錄結(jié)構(gòu)如下：
             solr增量導入數(shù)據(jù)怎么配置

    在后臺采用如下配置：
    solr增量導入數(shù)據(jù)怎么配置

  3. 配置smartcn分詞期

    1. 第一步:導入smartcn的jar包

      在{solr安裝路徑}/server/solr/test/conf/solrconfig.xml加入如下代碼

      <lib dir="${solr.install.dir:../../../..}/contrib/analysis-extras/lucene-libs/" regex=".*smartcn.*\.jar"></lib>

    2. 第二步:配置分詞器

      1.solr5

      在{solr安裝路徑}/server/solr/test/conf/schema.xml加入如下代碼

      <fieldType name="text_cn" class="solr.TextField" positionIncrementGap="100">
      <analyzer> 
          <tokenizer class="org.apache.lucene.analysis.cn.smart.SmartChineseSentenceTokenizerFactory"/>
          <filter class="solr.LowerCaseFilterFactory"/>     
          <filter class="org.apache.lucene.analysis.cn.smart.SmartChineseWordTokenFilterFactory"/>           
      </analyzer>
    </fieldType>

      2.solr6

      在{solr安裝路徑}/server/solr/test/conf/managed-schema加入如下代碼

      <fieldType name="text_cn" class="solr.TextField" positionIncrementGap="100">
      <analyzer> 
          <tokenizer class="org.apache.lucene.analysis.cn.smart.HMMChineseTokenizerFactory"/>
          <filter class="solr.LowerCaseFilterFactory"/>
          <filter class="solr.StopFilterFactory">

       

    3. 第三步:檢查是否正確配置
      solr增量導入數(shù)據(jù)怎么配置  
       如果可以搜索到text_cn即表示配置成功，最好用一段文字測試下分詞結(jié)果。

  4. 配置數(shù)據(jù)導入handler(用于數(shù)據(jù)導入，生成索引)

    1. 第一步：導入相關(guān)jar包（solr6不需要這一步）

      在{solr安裝路徑}/server/solr/test/conf/solrconfig.xml加入如下代碼

      <lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler-.*\.jar" />

    2. 第二步:配置handler（solr6不需要這一步）

      在{solr安裝路徑}/server/solr/test/conf/solrconfig.xml加入如下代碼

      <requestHandler name="/dataimport" class="solr.DataImportHandler">
    <lst name="defaults">
      <str name="config">db-data-config.xml</str>
    </lst>
  </requestHandler>

    3. 第三步:配置數(shù)據(jù)源,源數(shù)據(jù)與索引的隱射關(guān)系

      在{solr安裝路徑}/server/solr/test/conf/下新建db-data-config.xml,配置如下:

      <dataConfig>
    <dataSource driver="com.MySQL.jdbc.Driver" url="jdbc:mysql://127.0.0.1:3306/appfamecms" user="1" password="1"/>
    <document name="articles">
        <entity name="cms_article" query="select id,title,content,create_time from cms_article">
            <field column="id" name="id" />
            <field column="title" name="title" />
            <field column="content" name="content" />
            <field column="create_time" name="create_time" />
        </entity>
    </document>
</dataConfig>

    4. 第四步：驗證配置是否成功

      在后臺core admin中reload當前搜索實例的配置solr增量導入數(shù)據(jù)怎么配置

      then在搜索實例的dataimport出現(xiàn)下圖情形即為成功

      solr增量導入數(shù)據(jù)怎么配置

  5. 導入數(shù)據(jù)

    1. 第一步:導入mysql的jar包 下載地址：見參考資料5

      將jar放置到{solr安裝路徑}/dist目錄下，

      在{solr安裝路徑}/server/solr/test/conf/solrconfig.xml加入如下代碼

      <lib dir="${solr.install.dir:../../../..}/dist/" regex="mysql.*\.jar" />

    2. 第二步:驗證配置（配置見第六點）

      solr增量導入數(shù)據(jù)怎么配置

      如果顯示indexing completed. Added/Updated: 1847 documents. Deleted 0 documents

      documents的個數(shù)大于0說明我們成功導入x條數(shù)據(jù)到solr中

  6. 設(shè)置field的索引方式

  7. 查詢

  8. 更新索引

  9. 刪除索引

  10. 優(yōu)化

  11. 定時完整數(shù)據(jù)重新導入

crontab -e
curl -d "command=full-import&clean=true&commit=true&optimize=true&wt=json&indent=true&verbose=false&debug=false" "http://ip:port/solr/{core名稱}/dataimport"

14.增量導入數(shù)據(jù)配置

修改db-data-config.xml添加deltaQuery、deltaImportQuery、pk三個屬性

    1.pk設(shè)置主鍵字段名稱，該字段必須在managed-schema配置過<uniqueKey>字段名</uniqueKey>

    2.deltaQuery該屬性用于查詢主鍵字段值

    3.deltaImportQuery該屬性用于查詢需要被索引的所有字段的sql

<dataConfig>
    <dataSource driver="com.mysql.jdbc.Driver" url="jdbc:mysql://127.0.0.1:3306/appfamecms" user="1" password="1"/>
    <document name="articles">
        <entity name="cms_article" query="select id,title,content,create_time from cms_article" pk="id" deltaQuery="select id from cms_article where id>${dataimporter.delta.id}" deltaImportQuery="select id,title,content,create_time from cms_article where id={$dataimporter.delta.id}">
            <field column="id" name="id" />
            <field column="title" name="title" />
            <field column="content" name="content" />
            <field column="create_time" name="create_time" />
        </entity>
    </document>
</dataConfig>

15.配置定時數(shù)據(jù)更新

16.搜索詞建議

https://cwiki.apache.org/confluence/display/solr/Suggester

更新中～～～

錯誤信息：

1.配置好的solr沒有任何數(shù)據(jù)，啟動時報錯：SolrException: Invalid Number: MA147LL/A

這不是你的錯，你可能是把solr schema.xml的id設(shè)置成了int類型，設(shè)置成int類型沒什么錯，但是solr啟動是會掃描conf目錄下的elevate.xml文件，這個文件中定義的id值是MA147LL/A所以就會出現(xiàn)異常SolrException: Invalid Number: MA147LL/A

解決問題的方法是修改elevate.xml文件，將其中的id值設(shè)置為數(shù)字，就可以了。

<dataConfig>
    <dataSource driver="com.mysql.jdbc.Driver" url="jdbc:mysql://127.0.0.1:3306/appfamecms" user="1" password="1"/>
    <document name="articles">
        <entity name="cms_article" query="select id,title,content,create_time from cms_article" pk="id" deltaQuery="select id from cms_article where id>${dataimporter.delta.id}" deltaImportQuery="select id,title,content,create_time from cms_article where id={$dataimporter.delta.id}">
            <field column="id" name="id" />
            <field column="title" name="title" />
            <field column="content" name="content" />
            <field column="create_time" name="create_time" />
        </entity>
    </document>
</dataConfig>

2.全量導入數(shù)據(jù)報:

Caused by: java.sql.SQLException: Illegal value for setFetchSize().

在db-data-config.xml的dataSource標簽添加batchSize屬性并賦值-1即可，修改后的內(nèi)容

<dataConfig>
    <dataSource driver="com.mysql.jdbc.Driver" url="jdbc:mysql://127.0.0.1:3306/appfamecms" user="1" password="1" batchSize="-1"/>
    <document name="articles">
        <entity name="cms_article" query="select id,title,content,create_time from cms_article" pk="id" deltaQuery="select id from cms_article where id>${dataimporter.delta.id}" deltaImportQuery="select id,title,content,create_time from cms_article where id={$dataimporter.delta.id}">
            <field column="id" name="id" />
            <field column="title" name="title" />
            <field column="content" name="content" />
            <field column="create_time" name="create_time" />
        </entity>
    </document>
</dataConfig>

到此，關(guān)于“solr增量導入數(shù)據(jù)怎么配置”的學習就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>

當前文章：solr增量導入數(shù)據(jù)怎么配置
網(wǎng)頁路徑：http://muchs.cn/article40/jpieho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機網(wǎng)站建設(shè)、搜索引擎優(yōu)化、面包屑導航、用戶體驗、品牌網(wǎng)站建設(shè)、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

網(wǎng)站建設(shè)網(wǎng)站維護公司