產(chǎn)品簡(jiǎn)介
產(chǎn)品詳情
技術(shù)架構(gòu)
核心功能
- 詳情介紹
- 分布式數(shù)據(jù)存儲(chǔ)
- 并行數(shù)據(jù)計(jì)算
- 統(tǒng)一資源調(diào)度
- 統(tǒng)一運(yùn)維管理
-
- 商品名稱: 大數(shù)據(jù)基礎(chǔ)平臺(tái)
- 商品編號(hào): a01
大數(shù)據(jù)基礎(chǔ)平臺(tái)基于Hadoop、Spark等大數(shù)據(jù)平臺(tái)框架構(gòu)建,與大數(shù)據(jù)資源中心無縫對(duì)接,提供分布式數(shù)據(jù)存儲(chǔ)、并行數(shù)據(jù)處理和統(tǒng)一管理維護(hù)等能力,有效應(yīng)對(duì)DT時(shí)代數(shù)據(jù)爆發(fā)式增長(zhǎng)的挑戰(zhàn)。除滿足海量結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)分析需求外,平臺(tái)還可以存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù),例如圖片、音頻、視頻、文本等,并且在數(shù)據(jù)資源匯聚整合后,提供分布式計(jì)算以及分析挖掘能力,為上層應(yīng)用所需的數(shù)據(jù)服務(wù)提供保障。
技術(shù)架構(gòu)
-
采用分布式文件系統(tǒng)HDFS實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ),并支持多副本機(jī)制,提供高可用性及高并發(fā)訪問服務(wù)特性。采用分布式數(shù)據(jù)庫(kù)HBase解決傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)面臨海量結(jié)構(gòu)化數(shù)據(jù)存在的高并發(fā)讀寫性能差、存儲(chǔ)和查詢效率低、擴(kuò)展性差等問題,在容量、性能、成本方面滿足大數(shù)據(jù)管理需求。
-
通過并行計(jì)算引擎MapReduce V2和Spark提供并行計(jì)算能力。MapReduce V2作業(yè)把輸入的數(shù)據(jù)集切分為若干獨(dú)立的數(shù)據(jù)塊,由 Map任務(wù)以完全并行的方式處理,并通過YARN優(yōu)化MapReduce中資源調(diào)度的問題。Spark是類MapReduce的通用并行計(jì)算框架,擁有類似MapReduce的并行處理模式,而且Spark任務(wù)的中間輸出結(jié)果可以保存在內(nèi)存中,計(jì)算效率更高,能更好的應(yīng)用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要多次迭代的算法,可以構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用。
-
大數(shù)據(jù)基礎(chǔ)平臺(tái)支持多種計(jì)算框架,可以通過資源調(diào)度組件YARN實(shí)現(xiàn)統(tǒng)一資源管理和調(diào)度。YARN能夠接管所有資源管理的功能,兼容異構(gòu)的計(jì)算框架,并且采用無差別的資源隔離方案,能夠很好的克服MapReduce V1的可靠性差、擴(kuò)展性差、資源利用率低、無法支持異構(gòu)計(jì)算框架等缺點(diǎn)。
-
平臺(tái)提供圖形化界面供用戶安裝、部署和操作系統(tǒng),并提供對(duì)集群節(jié)點(diǎn)的信息查看、運(yùn)行狀態(tài)查看以及節(jié)點(diǎn)的故障偵測(cè)和故障管理等相關(guān)管理功能,簡(jiǎn)化用戶操作。平臺(tái)發(fā)生業(yè)務(wù)故障或性能故障時(shí),能自動(dòng)產(chǎn)生告警,并針對(duì)告警日志進(jìn)行集中收集和標(biāo)準(zhǔn)化處理,支持告警日志通過圖形化界面導(dǎo)出,便于故障定位和管理。
開放架構(gòu)
穩(wěn)定可靠
性能優(yōu)異
聯(lián)系我們
地址:浙江省杭州市濱江區(qū)濱安路1186-1號(hào)
華僑國(guó)際先鋒大廈17F
官網(wǎng)二維碼