隨著IT互聯(lián)網(wǎng)信息技術(shù)的飛速發(fā)展和進步。目前大數(shù)據(jù)行業(yè)也越來越火爆，從而導致國內(nèi)大數(shù)據(jù)人才也極度缺乏，中培偉業(yè)特為此開設(shè)了大數(shù)據(jù)相關(guān)的培訓課程，為我國的互聯(lián)網(wǎng)行業(yè)貢獻一份力量。

一．Hadoop

2011年起，中國就進入大數(shù)據(jù)風起云涌的時代，以Hadoop為代表的家族軟件，占據(jù)了大數(shù)據(jù)處理的廣闊地盤。開源界及廠商，所有數(shù)據(jù)軟件，無一不向Hadoop靠攏。Hadoop也從小眾的高富帥領(lǐng)域，變成了大數(shù)據(jù)開發(fā)的標準。在Hadoop原有技術(shù)基礎(chǔ)之上，出現(xiàn)了Hadoop家族產(chǎn)品，通過“大數(shù)據(jù)”概念不斷創(chuàng)新，推出科技進步?？梢哉f，Hadoop在大數(shù)據(jù)領(lǐng)域的成功，更引發(fā)了它本身的加速發(fā)展。

眾所周知，Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。而它的名字來源于Doug Cutting兒子的玩具大象。Doug Cutting曾說過："這個名字是我孩子給一個棕黃色的大象玩具命名的。我的命名標準就是簡短，容易發(fā)音和拼寫，沒有太多的意義，并且不會被用于別處。小孩子恰恰是這方面的高手。"

Hadoop能解決什么問題呢？

Hadoop作為大數(shù)據(jù)系統(tǒng)可以做的事情有很多的，最為常見的像日志分析，搜索，圖片分析，物聯(lián)網(wǎng)傳感數(shù)據(jù)分析，數(shù)據(jù)的長期存儲。我們選擇Hadoop是因為Hadoop具有這些優(yōu)點。（1）可以存儲結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；（2）性價比高、容錯率高；（3）當服務當中的一臺服務的軟硬件出錯后系統(tǒng)都能繼續(xù)運行；（4）能夠?qū)Ａ繑?shù)據(jù)快速存儲；（5）對海量數(shù)據(jù)做快速計算；（6）能夠通過添加節(jié)點的方式快速擴展系統(tǒng)；（7）Hadoop對系統(tǒng)數(shù)據(jù)安全性是有保障的。　　

看多Hadoop的朋友都知道，存儲在Hadoop平臺中的數(shù)據(jù)，通過統(tǒng)一的分布式存儲HDFS，可以將數(shù)據(jù)的訪問和存儲分布在大量服務器之中，在可靠的多備份存儲的同時，還能將訪問分布到集群的各個服務器之上?！　?/p>

Hadoop架構(gòu)可以很好的解決數(shù)據(jù)庫擴展的瓶頸，它把數(shù)據(jù)庫的設(shè)計部署在經(jīng)濟實惠的硬件上，通過橫向擴展，便可無限的提升數(shù)據(jù)庫的數(shù)據(jù)處理能力。

二．Spark

1.Spark的定義

Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用的并行計算框架，Spark基于map reduce算法實現(xiàn)的分布式計算，擁有Hadoop MapReduce所具有的優(yōu)點；但不同于MapReduce的是Job中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的map reduce的算法。其架構(gòu)如下圖所示：

2.如何使用Spark

Spark可以直接對HDFS進行數(shù)據(jù)的讀寫，同樣支持Spark on YARN。Spark可以與MapReduce運行于同集群中，共享存儲資源與計算，數(shù)據(jù)倉庫Shark實現(xiàn)上借用Hive，幾乎與Hive完全兼容。

由于RDD的特性，Spark不適用那種異步細粒度更新狀態(tài)的應用，例如web服務的存儲或者是增量的web爬蟲和索引。就是對于那種增量修改的應用模型不適合。

總的來說Spark的適用面比較廣泛且比較通用。

有人說：“Spark就像一個高性能引擎; 它支持您想要對數(shù)據(jù)執(zhí)行的工作。Hadoop可以提供一個可能的存儲層，為Spark引擎提供數(shù)據(jù)”。在大數(shù)據(jù)技術(shù)領(lǐng)域當中，應用Hadoop和Spark技術(shù)體系，能強化大數(shù)據(jù)平臺的分布式集群架構(gòu)和核心關(guān)鍵技術(shù)實現(xiàn)、大數(shù)據(jù)應用項目開發(fā)和大數(shù)據(jù)集群運維實踐、以及Hadoop與Spark大數(shù)據(jù)項目應用開發(fā)與調(diào)優(yōu)的全過程沙盤模擬實戰(zhàn)。

以上在中培課堂中就能全盤掌握。而參加中培培訓，讓每個學員都能在課程培訓過程中學到實實在在的大數(shù)據(jù)技術(shù)知識體系，以及大數(shù)據(jù)技術(shù)應用實戰(zhàn)技能，具備實際大數(shù)據(jù)應用項目的動手開發(fā)實踐與運維管理部署能力。