DStreams緩存或持久化

緩存或持久化

和RDD相似，DStreams也允許開(kāi)發(fā)者持久化流數(shù)據(jù)到內(nèi)存中。在DStream上使用persist()方法可以自動(dòng)地持久化DStream中的RDD到內(nèi)存中。如果DStream中的數(shù)據(jù)需要計(jì)算多次，這是非常有用的。像reduceByWindow和reduceByKeyAndWindow這種窗口操作、updateStateByKey這種基于狀態(tài)的操作，持久化是默認(rèn)的，不需要開(kāi)發(fā)者調(diào)用persist()方法。

例如通過(guò)網(wǎng)絡(luò)（如kafka，flume等）獲取的輸入數(shù)據(jù)流，默認(rèn)的持久化策略是復(fù)制數(shù)據(jù)到兩個(gè)不同的節(jié)點(diǎn)以容錯(cuò)。

注意，與RDD不同的是，DStreams默認(rèn)持久化級(jí)別是存儲(chǔ)序列化數(shù)據(jù)到內(nèi)存中，這將在性能調(diào)優(yōu)章節(jié)介紹。更多的信息請(qǐng)看rdd持久化