Cloudera大數(shù)據(jù)平臺有什么用

本篇文章為大家展示了Cloudera大數(shù)據(jù)平臺有什么用，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

創(chuàng)新互聯(lián)建站是一家專注于網(wǎng)站制作、成都網(wǎng)站建設與策劃設計,封丘網(wǎng)站建設哪家好?創(chuàng)新互聯(lián)建站做網(wǎng)站,專注于網(wǎng)站建設10多年,網(wǎng)設計領域的專業(yè)建站公司;建站業(yè)務涵蓋:封丘等地區(qū)。封丘做網(wǎng)站價格咨詢:028-86922220

CDH：是Cloudera發(fā)布的一個自己封裝的Hadoop商業(yè)版軟件發(fā)行包，里面不僅包含了Cloudera的商業(yè)版Hadoop，同時CDH中也包含了各類常用的開源數(shù)據(jù)處理與存儲框架，如Spark、Hive、Hbase等。

Cloudera Manager：簡稱CM 是為了便于在集群中進行Hadoop等大數(shù)據(jù)處理相關的服務安裝和監(jiān)控管理的組件，對集群中主機、Hadoop、Hive、Spark等服務的安裝配置管理做了極大的簡化。它是Hadoop集群的軟件分發(fā)及管理監(jiān)控平臺，通過它可以快速地部署好一個Hadoop集群，并對集群的節(jié)點及服務進行實時監(jiān)控。

CM核心功能分為四大模塊

一、管理功能

1、批量自動化部署節(jié)點：CM提供強大的Hadoop集群部署能力，能夠批量地自動化部署節(jié)點，安裝一個Hadoop集群只需添加需要安裝的節(jié)點、安裝需要的組件和分配角色這三步，大大縮短了Hadoop的安裝時間，也簡化了Hadoop的安裝過程。

2、可視化的參數(shù)配置功能：Hadoop包含許多組件，不同組件都包含各種各樣的XML配置文件，CM提供界面GUI可視化參數(shù)配置功能。

3、智能參數(shù)驗證以及優(yōu)化：當用戶配置部分參數(shù)值有問題時，CM會給出智能錯誤提示，幫助用戶更合理地修改配置參數(shù)。

4、高可用配置：CM對關鍵的組件使用HA部署，如NameNode高可用可以通過CMweb管理界面，根據(jù)向?qū)親DFS HA。

5、權限管理：提供不同級別的管理權限，比如只讀用戶訪問CM的界面時，所有服務對應的啟停等操作選項都不可用。

二、監(jiān)控功能

1、服務監(jiān)控：查看服務和實例級別健康檢查的結果，對設置各種指標和系統(tǒng)運行情況進行全面監(jiān)控，而且系統(tǒng)會對管理員應該采取的行動提出建議。

2、主機監(jiān)控：監(jiān)控集群內(nèi)所有主機的有關信息，包括主機上目前消耗的內(nèi)存、主機上運行的角色分配等，不但可以顯示所有集群主機的匯總視圖，而且能進一步顯示單個主機的關鍵指標詳細視圖。

3、行為監(jiān)控：CM提供了列表和圖表來查看集群上進行的活動，不僅可以顯示當前正在進行的活動還可以通過儀表盤查看歷史活動。

4、事件活動：監(jiān)控界面可以查看事件，系統(tǒng)管理員可以通過時間范圍、服務、主機、關鍵字等字段信息過濾事件。

5、報警：通過CM界面可以對指定事件產(chǎn)生報警，并通過郵件或者SNMP通知。

6、日志和報告：可以輕松點擊一個鏈接查看相關特定服務的日志條目，并且CM可以對收集的歷史監(jiān)控數(shù)據(jù)統(tǒng)計生成報表。

三、診斷功能

1、周期性服務診斷：CM會對集群中運行的服務進行周期性的診斷，已檢測這些服務的狀態(tài)是否正常，如有異常會及時通知。

2、日志采集及檢索：對于一個大規(guī)模的集群，CM提供了日志的收集功能，能夠通過統(tǒng)一的界面查看集群中每臺機器、各項服務的日志，并且可以根據(jù)日志級別進行檢索。

3、系統(tǒng)性能使用報告：CM能夠產(chǎn)生系統(tǒng)性能報告，包括集群的CPU使用率、單節(jié)點的CPU使用率、單個進程的CPU使用率等各項性能數(shù)據(jù)，這對hadoop集群調(diào)優(yōu)很重要。

四、集成功能

1、安全配置：為了方便Hadoop大數(shù)據(jù)平臺與原有身份認證系統(tǒng)如AD、LDAP等的集成，CM只需在界面上配置即可完成。

2、CM API：通過CM API 可以方便將CM集成到企業(yè)原有管理系統(tǒng)中

3、SNMP集成【簡單網(wǎng)絡管理協(xié)議（SNMP）】：CM提供了方面的SNMP集成能力，只需要簡單的配置就能夠?qū)NMP進行集成，并且將集群中的告警信息進行轉發(fā)。

CM的高級功能（付費）

1、軟件滾動升級：Hadoop版本升級和bug修復，支持升級過程中繼續(xù)對外提供服務及應用。

2、參數(shù)版本控制：任何時候進行配置修改并保證之后，CM會對該配置生成一個版本，支持查看歷史配置，并能回滾到不同版本，從而為集群恢復、問題診斷提供了可靠的依據(jù)。

3、備份及容災系統(tǒng)BDR：實現(xiàn)界面化的數(shù)據(jù)備份與容災恢復。

4、數(shù)據(jù)審計：支持對數(shù)據(jù)的審計和訪問

5、安全集成向?qū)В簡覭erberos集成和外部安全認證集成，如支持通過內(nèi)部數(shù)據(jù)庫和外部服務進行用戶認證。

上述內(nèi)容就是Cloudera大數(shù)據(jù)平臺有什么用，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

標題名稱：Cloudera大數(shù)據(jù)平臺有什么用
文章鏈接：http://muchs.cn/article18/isjodp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供虛擬主機、企業(yè)網(wǎng)站制作、網(wǎng)站策劃、軟件開發(fā)、靜態(tài)網(wǎng)站、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)