產(chǎn)品簡介
產(chǎn)品詳情
技術(shù)架構(gòu)
核心功能
- 詳情介紹
- 分布式數(shù)據(jù)存儲
- 并行數(shù)據(jù)計算
- 統(tǒng)一資源調(diào)度
- 統(tǒng)一運(yùn)維管理
-
- 商品名稱: 大數(shù)據(jù)基礎(chǔ)平臺
- 商品編號: a01
大數(shù)據(jù)基礎(chǔ)平臺基于Hadoop、Spark等大數(shù)據(jù)平臺框架構(gòu)建，與大數(shù)據(jù)資源中心無縫對接，提供分布式數(shù)據(jù)存儲、并行數(shù)據(jù)處理和統(tǒng)一管理維護(hù)等能力，有效應(yīng)對DT時代數(shù)據(jù)爆發(fā)式增長的挑戰(zhàn)。除滿足海量結(jié)構(gòu)化數(shù)據(jù)的存儲分析需求外，平臺還可以存儲海量非結(jié)構(gòu)化數(shù)據(jù)，例如圖片、音頻、視頻、文本等，并且在數(shù)據(jù)資源匯聚整合后，提供分布式計算以及分析挖掘能力，為上層應(yīng)用所需的數(shù)據(jù)服務(wù)提供保障。
技術(shù)架構(gòu)
-
采用分布式文件系統(tǒng)HDFS實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)存儲，并支持多副本機(jī)制，提供高可用性及高并發(fā)訪問服務(wù)特性。采用分布式數(shù)據(jù)庫HBase解決傳統(tǒng)關(guān)系型數(shù)據(jù)庫面臨海量結(jié)構(gòu)化數(shù)據(jù)存在的高并發(fā)讀寫性能差、存儲和查詢效率低、擴(kuò)展性差等問題，在容量、性能、成本方面滿足大數(shù)據(jù)管理需求。
-
通過并行計算引擎MapReduce V2和Spark提供并行計算能力。MapReduce V2作業(yè)把輸入的數(shù)據(jù)集切分為若干獨(dú)立的數(shù)據(jù)塊，由 Map任務(wù)以完全并行的方式處理，并通過YARN優(yōu)化MapReduce中資源調(diào)度的問題。Spark是類MapReduce的通用并行計算框架，擁有類似MapReduce的并行處理模式，而且Spark任務(wù)的中間輸出結(jié)果可以保存在內(nèi)存中，計算效率更高，能更好的應(yīng)用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要多次迭代的算法，可以構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用。
-
大數(shù)據(jù)基礎(chǔ)平臺支持多種計算框架，可以通過資源調(diào)度組件YARN實(shí)現(xiàn)統(tǒng)一資源管理和調(diào)度。YARN能夠接管所有資源管理的功能，兼容異構(gòu)的計算框架，并且采用無差別的資源隔離方案，能夠很好的克服MapReduce V1的可靠性差、擴(kuò)展性差、資源利用率低、無法支持異構(gòu)計算框架等缺點(diǎn)。
-
平臺提供圖形化界面供用戶安裝、部署和操作系統(tǒng)，并提供對集群節(jié)點(diǎn)的信息查看、運(yùn)行狀態(tài)查看以及節(jié)點(diǎn)的故障偵測和故障管理等相關(guān)管理功能，簡化用戶操作。平臺發(fā)生業(yè)務(wù)故障或性能故障時，能自動產(chǎn)生告警，并針對告警日志進(jìn)行集中收集和標(biāo)準(zhǔn)化處理，支持告警日志通過圖形化界面導(dǎo)出，便于故障定位和管理。
開放架構(gòu)
穩(wěn)定可靠
性能優(yōu)異
聯(lián)系我們
地址：浙江省杭州市濱江區(qū)濱安路1186-1號
華僑國際先鋒大廈17F
官網(wǎng)二維碼