Hadoop可運(yùn)行于一般的商用服務(wù)器上,具有高容錯(cuò)、高可靠性、高擴(kuò)展性等特點(diǎn)
特別適合寫一次,讀多次的場(chǎng)景
適合
- 大規(guī)模數(shù)據(jù)
- 流式數(shù)據(jù)(寫一次,讀多次)
- 商用硬件(一般硬件)
不適合
- 低延時(shí)的數(shù)據(jù)訪問
- 大量的小文件
- 頻繁修改文件(基本就是寫1次)
Hadoop架構(gòu)
- HDFS: 分布式文件存儲(chǔ)
- YARN: 分布式資源管理
- MapReduce: 分布式計(jì)算
- Others: 利用YARN的資源管理功能實(shí)現(xiàn)其他的數(shù)據(jù)處理方式
內(nèi)部各個(gè)節(jié)點(diǎn)基本都是采用Master-Woker架構(gòu)