30分鐘理解Spark的基本原理

大數據技術2019-07-11 08:00:50

來自公眾號:Python與算法之美


一,Spark優勢特點


作為大數據計算框架MapReduce的繼任者,Spark具備以下優勢特性。


1,高效性


不同於MapReduce將中間計算結果放入磁盤中,Spark採用內存存儲中間計算結果,減少了迭代運算的磁盤IO,並通過並行計算DAG圖的優化,減少了不同任務之間的依賴,降低了延遲等待時間。內存計算下,Spark 比 MapReduce 快100倍。


2,易用性


不同於MapReduce僅支持Map和Reduce兩種編程算子,Spark提供了超過80種不同的Transformation和Action算子,如map,reduce,filter,groupByKey,sortByKey,foreach等,並且採用函數式編程風格,實現相同的功能需要的代碼量極大縮小。


3,通用性


Spark提供了統一的解決方案。Spark可以用於批處理、交互式查詢(Spark SQL)、實時流處理(Spark Streaming)、機器學習(Spark MLlib)和圖計算(GraphX)。


這些不同類型的處理都可以在同一個應用中無縫使用。這對於企業應用來説,就可使用一個平台來進行不同的工程實現,減少了人力開發和平台部署成本。


4,兼容性


Spark能夠跟很多開源工程兼容使用。如Spark可以使用Hadoop的YARN和Apache Mesos作為它的資源管理和調度器,並且Spark可以讀取多種數據源,如HDFS、HBase、MySQL等。





二,Spark基本概念


RDD:是彈性分佈式數據集(Resilient Distributed Dataset)的簡稱,是分佈式內存的一個抽象概念,提供了一種高度受限的共享內存模型。


DAG:是Directed Acyclic Graph(有向無環圖)的簡稱,反映RDD之間的依賴關係。


Driver Program:控制程序,負責為Application構建DAG圖。


Cluster Manager:集羣資源管理中心,負責分配計算資源。


Worker Node:工作節點,負責完成具體計算。


Executor:是運行在工作節點(Worker Node)上的一個進程,負責運行Task,併為應用程序存儲數據。


Application:用户編寫的Spark應用程序,一個Application包含多個Job。


Job:作業,一個Job包含多個RDD及作用於相應RDD上的各種操作。


Stage:階段,是作業的基本調度單位,一個作業會分為多組任務,每組任務被稱為“階段”。


Task:任務,運行在Executor上的工作單元,是Executor中的一個線程。


總結:Application由多個Job組成,Job由多個Stage組成,Stage由多個Task組成。Stage是作業調度的基本單位。



三,Spark架構設計


Spark集羣由Driver, Cluster Manager(Standalone,Yarn 或 Mesos),以及Worker Node組成。對於每個Spark應用程序,Worker Node上存在一個Executor進程,Executor進程中包括多個Task線程。



四,Spark運行流程


1,Application首先被Driver構建DAG圖並分解成Stage。


2,然後Driver向Cluster Manager申請資源。


3,Cluster Manager向某些Work Node發送徵召信號。


4,被徵召的Work Node啟動Executor進程響應徵召,並向Driver申請任務。


5,Driver分配Task給Work Node。


6,Executor以Stage為單位執行Task,期間Driver進行監控。


7,Driver收到Executor任務完成的信號後向Cluster Manager發送註銷信號。


8,Cluster Manager向Work Node發送釋放資源信號。


9,Work Node對應Executor停止運行。




五,Spark部署模式


Local:本地運行模式,非分佈式。


Standalone:使用Spark自帶集羣管理器,部署後只能運行Spark任務。


Yarn:Haoop集羣管理器,部署後可以同時運行MapReduce,Spark,Storm,Hbase等各種任務。


Mesos:與Yarn最大的不同是Mesos 的資源分配是二次的,Mesos負責分配一次,計算框架可以選擇接受或者拒絕。



六,RDD數據結構


RDD全稱Resilient Distributed Dataset,彈性分佈式數據集,它是記錄的只讀分區集合,是Spark的基本數據結構。


RDD代表一個不可變、可分區、裏面的元素可並行計算的集合。


一般有兩種方式可以創建RDD,第一種是讀取文件中的數據生成RDD,第二種則是通過將內存中的對象並行化得到RDD。


//通過讀取文件生成RDD
val  rdd = sc.textFile("hdfs://hans/data_warehouse/test/data")


//通過將內存中的對象並行化得到RDD
val num = Array(1,2,3,4,5)
val rdd = sc.parallelize(num)
//或者 val rdd = sc.makeRDD(num)


創建RDD之後,可以使用各種操作對RDD進行編程。


RDD的操作有兩種類型,即Transformation操作和Action操作。轉換操作是從已經存在的RDD創建一個新的RDD,而行動操作是在RDD上進行計算後返回結果到 Driver。


Transformation操作都具有 Lazy 特性,即 Spark 不會立刻進行實際的計算,只會記錄執行的軌跡,只有觸發Action操作的時候,它才會根據 DAG 圖真正執行。


操作確定了RDD之間的依賴關係。


RDD之間的依賴關係有兩種類型,即窄依賴和寬依賴。窄依賴時,父RDD的分區和子RDD的分區的關係是一對一或者多對一的關係。而寬依賴時,父RDD的分區和子RDD的分區是一對多或者多對多的關係。


寬依賴關係相關的操作一般具有shuffle過程,即通過一個Patitioner函數將父RDD中每個分區上key不同的記錄分發到不同的子RDD分區。


依賴關係確定了DAG切分成Stage的方式。


切割規則:從後往前,遇到寬依賴就切割Stage。


RDD之間的依賴關係形成一個DAG有向無環圖,DAG會提交給DAGScheduler,DAGScheduler會把DAG劃分成相互依賴的多個stage,劃分stage的依據就是RDD之間的寬窄依賴。遇到寬依賴就劃分stage,每個stage包含一個或多個task任務。然後將這些task以taskSet的形式提交給TaskScheduler運行。



七,WordCount範例


只需要四行代碼就可以完成WordCount詞頻統計。


val file = sc.textFile("hello.txt")
val word = file.flatMap(_.split(","))
val wordOne = word.map((_,1))
wordOne.reduceByKey(_+_)



本文主要來自廈門大學林子雨老師的《Spark編程基礎》課程讀書筆記,點擊文末閲讀原文查看課程鏈接。



●編號845,輸入編號直達本文

●輸入m獲取到文章目錄

推薦↓↓↓

程序員數學之美

https://hk.wxwenku.com/d/201109242