W3Cschool
恭喜您成為首批注冊用戶
獲得88經(jīng)驗值獎勵
單個作業(yè)的資源管理和任務監(jiān)控
具體功能描述:
ApplicationMaster可以是用任何語言編寫的程序,它和ResourceManager和NodeManager之間是通過ProtocolBuf交互,以前是一個全局的JobTracker負責的,現(xiàn)在每個作業(yè)都一個,可伸縮性更強,至少不會因為作業(yè)太多,造成JobTracker瓶頸。同時將作業(yè)的邏輯放到一個獨立的ApplicationMaster中,使得靈活性更加高,每個作業(yè)都可以有自己的處理方式,不用綁定到MapReduce的處理模式上
如何計算資源需求
一般的MapReduce是根據(jù)block數(shù)量來定Map和Reduce的計算數(shù)量,然后一般的Map或Reduce就占用一個Container
如何發(fā)現(xiàn)數(shù)據(jù)的本地化
數(shù)據(jù)本地化是通過HDFS的block分片信息獲取的
Copyright©2021 w3cschool編程獅|閩ICP備15016281號-3|閩公網(wǎng)安備35020302033924號
違法和不良信息舉報電話:173-0602-2364|舉報郵箱:jubao@eeedong.com
掃描二維碼
下載編程獅App
編程獅公眾號
聯(lián)系方式:
更多建議: