對于大數(shù)據(jù)來說，hadoop與spark無疑是兩大重要的組成架構(gòu)。中培偉業(yè)《大數(shù)據(jù)平臺搭建與高性能計算最佳實踐》培訓專家鐘老師指出，hadoop與spark作為大數(shù)據(jù)的兩大架構(gòu)系統(tǒng)，二者有著競爭與承前啟后的關(guān)系。對于二者之間的區(qū)別以及后期的發(fā)展趨勢，鐘老師給出了自己的看法。

首先，spark對于海量數(shù)據(jù)計算，尤其是迭代運算，圖計算運算速度相比與hadoop有著量級上的增長。spark計算的時候?qū)⒃紨?shù)據(jù)及中間結(jié)果都存儲在內(nèi)存中，而hadoop每輪迭代都要講原始數(shù)據(jù)讀入，中間結(jié)果寫出到硬盤上。這樣一來由于spark省去了IO的時間，所以相比于hadoop，其運算速率有這量級上的增長。

其次，spark的容錯性很好，spark將海量數(shù)據(jù)抽象成RDD這種數(shù)據(jù)結(jié)構(gòu)，并且其存在兩種算子，一種叫transformation,主要是用于對RDD進行數(shù)據(jù)轉(zhuǎn)換，一種叫action，是要將轉(zhuǎn)換好的RDD再轉(zhuǎn)換成原始數(shù)據(jù)。

spark運算是一種懶惰運算，其程序執(zhí)行邏輯是，對于一系列transformation算子，在遇到action算子之前，這些transformation是不會執(zhí)行的，而會生成一個運算邏輯圖，當遇到一個action算子的時候，才根據(jù)前面的運算邏輯圖執(zhí)行程序。這樣如果有臺機器宕機了之后，只需要根據(jù)邏輯圖將宕機中的RDD進行重新計算就可以了（窄依賴的情況下，寬依賴的情況下計算代價要更高。）

同時，spark與HDFS、Yarn/Mesos以及pregel有著很好的兼容性。但是畢竟spark起步晚，在性能、穩(wěn)定性方面還有待提高；同時spark不能很好的處理細粒度、異步的數(shù)據(jù)。

Hadoop，性質(zhì)和Spark并不一樣，它不僅僅是一個框架，而致力于發(fā)展成一個分布式計算的平臺。所以，現(xiàn)在的Spark是可以運行在YARNYet another Resource Negotiator）上的，而其他的一些框架也可以運行在這個平臺上，達到資源共享的目的。

spark相對hadoop編程模型簡單，能進行迭代操作，利用內(nèi)存（甚至是堆外內(nèi)存）緩存數(shù)據(jù)，能進行流水線優(yōu)化，上層封裝了sql、streaming、mlib、graphx等或成熟或不成熟的框架，明顯有取hadoop而代之的傾向。

1. 相同的算法，Spark比Hadoop快數(shù)倍，如果是一些迭代或者要對數(shù)據(jù)反復(fù)讀取的算法，Spark比Hadoop快數(shù)十倍至上百倍

2. Spark對于數(shù)據(jù)的操作種類更多，對于一些比較特殊的計算需求，比如求兩個集合的交集并集，Spark都有函數(shù)直接計算，而Hadoop實現(xiàn)這樣的計算無比繁瑣

3. Spark的開發(fā)效率比Hadoop高很多

最后，鐘老師對二者的發(fā)展趨勢進行了展望，他認為雖然Spark目前還不夠成熟，但其無疑代表著未來。