實(shí)戰(zhàn)：利用KNIME建立SparkMachinelearning模型1：開發(fā)環(huán)境搭建

１、Knime Analytics　安裝

創(chuàng)新互聯(lián)建站于2013年成立，先為武江等服務(wù)建站，武江等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為武江企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

從官方網(wǎng)站下載合適的版本　https://www.knime.com/downloads

將下載的安裝包在安裝路徑解壓　https://www.knime.com/installation-0

下圖是knime啟動(dòng)后的歡迎頁面

要與spark集×××互，需要在Knime中安裝KNIME? Extension for Apache Spark。并在Hadoop集群邊界節(jié)點(diǎn)或能夠執(zhí)行spark-submit的節(jié)點(diǎn)安裝Spark Job Server。架構(gòu)圖如下：

２、KNIME? Extension for Apache Spark　安裝

在KNIME Analytics 中點(diǎn)擊File->Install KNIME extensions選中KNIME Big Data Extensions，點(diǎn)擊Next安裝。

３、SPARK JOB SERVER安裝

以下步驟以Centos 6.5 + CDH 5.7 為例

３．1 下載spark job server

$ wget http://download.knime.org/store/3.5/spark-job-server-0.6.2.3-KNIME_cdh-5.7.tar.gz

３．2 login as root or su root

３．3 安裝

# LINKNAME=spark-job-server # useradd -d /opt/${LINKNAME}/ -M -r -s /bin/false spark-job-server # su -l -c "hdfs dfs -mkdir -p /user/spark-job-server ; hdfs dfs -chown -R spark-job-server /user/spark-job-server" hdfs # cp spark-job-server-0.6.2.3-KNIME_cdh-5.7.tar.gz /opt # cd /opt # tar -xvf spark-job-server-0.6.2.3-KNIME_cdh-5.7.tar.gz # ln -s spark-job-server-0.6.2.3-KNIME_cdh-5.7 ${LINKNAME} #  chown -R spark-job-server:spark-job-server ${LINKNAME} spark-job-server-0.6.2.3-KNIME_cdh-5.7

３．4  開機(jī)啟動(dòng)

# ln -s /opt/${LINKNAME}/spark-job-server-init.d /etc/init.d/${LINKNAME} ＃chkconfig --levels 2345 ${LINKNAME} on

３．５ 編輯environment.conf

設(shè)置master，例如

master = "spark://ifrebdplatform1:7077"

設(shè)置Default settings for Spark contexts: context-settings

３．６ 編輯設(shè)置settings.sh

設(shè)置SPARK_HOME，本例默認(rèn)正確，不做改變

設(shè)置LOG_DIR，如果不用默認(rèn)設(shè)置的目錄的話

３．７ 根據(jù)喜好編輯log4j-server.properties

３．８ 啟動(dòng)spark job server

/etc/init.d/${LINKNAME} start

３．９　在knime 添加create spark context 節(jié)點(diǎn)測(cè)試鏈接

右擊create spark context 節(jié)點(diǎn)，點(diǎn)擊Execute執(zhí)行

右擊create spark context 節(jié)點(diǎn)，點(diǎn)擊Spark Context，查看結(jié)果

未完待續(xù)......

分享文章：實(shí)戰(zhàn)：利用KNIME建立SparkMachinelearning模型1：開發(fā)環(huán)境搭建
分享路徑：http://muchs.cn/article46/gpjehg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、網(wǎng)站設(shè)計(jì)、外貿(mào)建站、云服務(wù)器、定制網(wǎng)站、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)