R語言讀取大數(shù)據(jù)-創(chuàng)新互聯(lián)

普通情況下使用scan讀取數(shù)據(jù)

目前創(chuàng)新互聯(lián)公司已為超過千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)頁空間、網(wǎng)站托管、企業(yè)網(wǎng)站設(shè)計、川匯網(wǎng)站維護等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

x <- scan("D:\\test.txt")

按列讀入，指定數(shù)據(jù)類型

x <- scan("test2dat.txt", what=list("",0,0))  #讀取三列數(shù)據(jù)，第一列是字符，第二和第三列是數(shù)值
#以下寫法也可以
x2 <- scan("test2dat.txt", list(name="", num1=0,num2=0)) # 每個list都有個名字，分別為name，num1，num2

可以指定讀取的行數(shù)，以下為讀取以逗號分割的csv文件的讀取方法

mydata <- read.table("test_nrow.txt.txt",sep=",", header=TRUE,nrow=5)  #讀取除了表頭之外的5行數(shù)據(jù)

參考： http://www.biostat.jhsph.edu/~rpeng/docs/R-large-tables.html

tab5rows <- read.table("datatable.txt", header = TRUE, nrows = 5)
classes <- sapply(tab5rows, class)
tabAll <- read.table("datatable.txt", header = TRUE, colClasses = classes)

也可以用data.table 讀取大數(shù)據(jù)

install.packages("data.table")
library(data.table)
mydata <- fread("test.table.txt")    #讀取文件時會顯示 Read **.*% of ***** rows, 讀取完畢會有提示
#查看文件的前6行
head(mydata)

參考：http://www.r-bloggers.com/reading-large-data-tables-in-r/

也可以使用ff包

setwd("D:/data test")
library(ff)
ffdf1 <- read.table.ffdf(file = "test.ido", header = TRUE,  sep = "|")

參考： http://stackoverflow.com/questions/11782084/reading-in-large-text-files-in-r

http://www.bytemining.com/wp-content/uploads/2010/08/r_hpc_II.pdf

使用Python打開大數(shù)據(jù)的話，采用mmap

參考： http://stackoverflow.com/questions/11159077/python-load-2gb-of-text-file-to-memory

http://davetang.org/muse/2013/09/03/handling-big-data-in-r/

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)站題目：R語言讀取大數(shù)據(jù)-創(chuàng)新互聯(lián)
新聞來源：http://muchs.cn/article24/dddjje.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計、網(wǎng)站營銷、小程序開發(fā)、網(wǎng)站維護、建站公司、軟件開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)