運(yùn)維進(jìn)行時(shí)-數(shù)據(jù)分析-創(chuàng)新互聯(lián)

    一直做的數(shù)據(jù)分析均是基于數(shù)據(jù)庫(kù)數(shù)據(jù)、日志進(jìn)行分析，開發(fā)業(yè)務(wù)模型，日志深度監(jiān)控系統(tǒng)。也一直想抓取到用戶的感知，幸好找大數(shù)據(jù)平臺(tái)的人要到了我們網(wǎng)站嵌碼采集的相關(guān)數(shù)據(jù)，準(zhǔn)備對(duì)用戶行為從早期的access日志外，另一層面做下分析。

成都創(chuàng)新互聯(lián)公司專注于行唐企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè)公司,商城開發(fā)。行唐網(wǎng)站建設(shè)公司,為行唐等地區(qū)提供建站服務(wù)。全流程按需定制開發(fā)，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，成都創(chuàng)新互聯(lián)公司專業(yè)和態(tài)度為您提供的服務(wù)

    用到時(shí)間函數(shù)時(shí)存在很大于oracle不同，用from_unixtime(unix_timestamp(),'HH:mm')搞定時(shí)間，網(wǎng)上查詢頁(yè)面：http://blog.csdn.net/ningyuanhuo/article/details/21481307，后期在遇到在來(lái)細(xì)查時(shí)間函數(shù)。

    其他函數(shù)想了下應(yīng)該和sql類似，也查了下文檔，hive常用函數(shù)http://blackproof.iteye.com/blog/2108353，主要用到substr，length。

       Hive的工作模式是提交一個(gè)任務(wù)，等到任務(wù)結(jié)束時(shí)被通知，而不是實(shí)時(shí)查詢。即使查了個(gè)很小的數(shù)也需要很久，用慣了數(shù)據(jù)庫(kù)，查這個(gè)多少有些不適應(yīng)。不過(guò)和sql語(yǔ)法基本類似，學(xué)習(xí)成本較低。細(xì)節(jié)還是見文檔hive深入淺出http://blog.csdn.net/hguisu/article/details/18986759。

     利用sqoop將hive/hdfs數(shù)據(jù)導(dǎo)入到oracle中

     使用的是sqoop1，其次我們需要ojdbc6.jar 這個(gè)jar 包下載地址如下：

     http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-090769.html

     將解壓的包 復(fù)制到sqoop安裝目錄下的lib 目錄中

執(zhí)行我們的導(dǎo)入命令即可

1. sqoop  export --table FDC_JPLP   --connect jdbc:oracle:thin:@localhost:port:test1   --username test --password test     --export-dir /user/hive/warehouse/data_w.db/seq_fdc_jplp     --columns  goal_ocityid,goal_issueid,compete_issueid,ncompete_rank  --input-fields-terminated-by '\001'     --input-lines-terminated-by '\n'

注意要指定 --columns 參數(shù) 否則會(huì)報(bào)錯(cuò) 找不到 columns

用法： --columns

查詢數(shù)據(jù)是否導(dǎo)入成功

1. sqoop  eval   --connect jdbc:oracle:thin:@localhost:port:test1 --query "select * from FDC_JPLP"  --username fccsreport --password fccsoracle10g_report

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

本文題目：運(yùn)維進(jìn)行時(shí)-數(shù)據(jù)分析-創(chuàng)新互聯(lián)
分享鏈接：http://muchs.cn/article28/dhiicp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、做網(wǎng)站、品牌網(wǎng)站建設(shè)、電子商務(wù)、虛擬主機(jī)、網(wǎng)站排名

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)