windows基于docker下的spark開發(fā)環(huán)境搭建-創(chuàng)新互聯(lián)

docker toolbox

10年積累的成都網站制作、網站建設、外貿網站建設經驗，可以快速應對客戶對網站的新想法和需求。提供各種問題對應的解決方案。讓選擇我們的客戶得到更好、更有力的網絡服務。我雖然不認識你，你也不認識我。但先網站制作后付款的網站建設流程，更有梨樹免費網站建設讓你可以放心的選擇與我們合作。

https://www.docker.com/products/docker-toolbox

spark

https://hub.docker.com/r/singularities/spark/~/dockerfile/

# start-hadoop-namenode

# hadoop fs -mkdir /user

# hadoop fs -mkdir /user/root/

# hadoop fs -put ./README.md /user/root

# start-spark

# start-spark worker [master]

# spark-shell

# spark-shell --master spark://a60b8c8f9653:7077

scala> val lines = sc.textFile("file:///usr/local/spark-2.1.0/README.md")

scala> val lines = sc.textFile("hdfs:///usr/local/spark-2.1.0/README.md")

lines: org.apache.spark.rdd.RDD[String] = file:///usr/local/spark-2.1.0/README.md MapPartitionsRDD[1] at textFile at <console>:24

scala> lines.count()

res0: Long = 104

scala> lines.saveAsTextFile("hdfs:///user/root/README2.md")  // 保存到hdfs

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網頁名稱：windows基于docker下的spark開發(fā)環(huán)境搭建-創(chuàng)新互聯(lián)
分享地址：http://www.muchs.cn/article48/dgcjhp.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、ChatGPT、網站建設、外貿建站、面包屑導航、服務器托管

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)