Spark SQL性能調優(yōu)

Spark SQL性能調優(yōu)

對于某些工作負載，可以在通過在內存中緩存數(shù)據或者打開一些實驗選項來提高性能。

在內存中緩存數(shù)據

Spark SQL可以通過調用sqlContext.cacheTable("tableName")方法來緩存使用柱狀格式的表。然后，Spark將會僅僅瀏覽需要的列并且自動地壓縮數(shù)據以減少內存的使用以及垃圾回收的壓力。你可以通過調用sqlContext.uncacheTable("tableName")方法在內存中刪除表。

注意，如果你調用schemaRDD.cache()而不是sqlContext.cacheTable(...),表將不會用柱狀格式來緩存。在這種情況下，sqlContext.cacheTable(...)是強烈推薦的用法。

可以在SQLContext上使用setConf方法或者在用SQL時運行SET key=value命令來配置內存緩存。

其它的配置選項

以下的選項也可以用來調整查詢執(zhí)行的性能。有可能這些選項會在以后的版本中棄用，這是因為更多的優(yōu)化會自動執(zhí)行。