Mongo-connector集成MongoDB到Solr實(shí)現(xiàn)增量索引-創(chuàng)新互聯(lián)

Mongo-connector集成MongoDB到Solr實(shí)現(xiàn)增量索引

創(chuàng)新互聯(lián)堅(jiān)持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時(shí)代的和順網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!

配置MongoDB復(fù)制集

參考:《部署一個(gè)用于測(cè)試和開發(fā)的復(fù)制集》

安裝Solr5.3

參考:《在CentOS下安裝Solr5.3》

安裝Python2.7

參考:《在CentOS下安裝Python2.7》

安裝pip

參考:《在CentOS下安裝pip》

安裝mongo-connector

方法一:使用pip安裝

pip install mongo-connector

安裝到了python的默認(rèn)包目錄下:

/usr/local/lib/python2.7/site-packages

方法二:安裝為服務(wù)

1. 去https://github.com/mongodb-labs/mongo-connector/archive/master.zip下載mongo-connector-master.zip。

2. 解壓縮進(jìn)入目錄。

unzip mongo-connector-master.zip cd mongo-connector-master

3. 編輯配置文件。

vi config.json

4. 安裝為服務(wù)。

python setup.py install_service

在/etc/init.d下創(chuàng)建了mongo-connector服務(wù),并拷貝config.json文件到/etc/mongo-connector.json。

卸載mongo-connector服務(wù)

python setup.py uninstall_service

它將移除/etc/init.d/mongo-connector和/etc/mongo-connector.json

查看服務(wù)狀態(tài)

service mongo-connector status

配置Solr

在Solr數(shù)據(jù)目錄/data/solr/data/下有Solr配置文件solr.xml

創(chuàng)建core

su - solr -c "/usr/local/solr/solr/bin/solr create -c card -n data_driven_schema_configs"

生成了文件夾/data/solr/data/card,在/data/solr/data/card/conf目錄下是card的配置目錄,可以配置同義詞、停止詞。

配置solrconfig.xml

1. 確保啟用了LukeRequestHandler

以下行應(yīng)用出現(xiàn)在solrconfig.xml文件中。

<requestHandler name="/admin/luke" class="org.apache.solr.handler.admin.LukeRequestHandler" />

2. 配置硬提交(刷新到硬盤上的頻率)和軟提交(提交到內(nèi)存中的頻率)

在solrconfig.xml文件中配置<autoCommit>和<autoSoftCommit>

<autoCommit> <maxTime>300000</maxTime> <maxDocs>10000</maxDocs> <openSearcher>true</openSearcher> </autoCommit> <!-- softAutoCommit is like autoCommit except it causes a 'soft' commit which only ensures that changes are visible but does not ensure that data is synced to disk. This is faster and more near-realtime friendly than a hard commit. --> <autoSoftCommit> <maxDocs>1000</maxDocs> <maxTime>60000</maxTime> </autoSoftCommit>

配置schema.xml

1. Mongo Connector存儲(chǔ)元數(shù)據(jù)在每個(gè)文檔中幫助處理回滾。為了支持這些數(shù)據(jù),你需要添加如下信息到你的schema.xml中:

<field name="_ts" type="long" indexed="true" stored="true" /> <field name="ns" type="string" indexed="true" stored="true"/>

2. 在schema.xml中配置配置<uniqueKey>、<field>

啟動(dòng)mongo-connector

方法一:以命令行啟動(dòng)

nohup sudo mongo-connector -m localhost:27019 -t http://localhost:8983/solr/card -o oplog_progress.txt -n example.card -u _id -d solr_doc_manager > mongo-connector.out 2>&1

方法二:以服務(wù)啟動(dòng)

service mongo-connector start

Solr刪除全部索引

http://192.168.11.52:8983/solr/card/update/?stream.body=%3Cdelete%3E%3Cquery%3E*:*%3C/query%3E%3C/delete%3E&stream.contentType=text/xml;charset=utf-8&commit=true

參考:

http://blog.mongodb.org/post/29127828146/introducing-mongo-connector

https://github.com/mongodb-labs/mongo-connector/wiki/Installation

https://github.com/mongodb-labs/mongo-connector/wiki/Usage-with-Solr

https://loutilities.wordpress.com/2012/11/26/complementing-mongodb-with-real-time-solr-search/

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

本文標(biāo)題:Mongo-connector集成MongoDB到Solr實(shí)現(xiàn)增量索引-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)路徑:http://muchs.cn/article38/cshdpp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供App設(shè)計(jì)營(yíng)銷型網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)公司、微信小程序、網(wǎng)站導(dǎo)航、企業(yè)網(wǎng)站制作

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

微信小程序開發(fā)