SPARK高級課程


Spark培訓(xùn)

課程定位與課程目標
Spark是第一個脫胎于該轉(zhuǎn)變的快速、通用分布式計算范式。Spark使用函數(shù)式編程范式
擴展了MapReduce模型以支持更多計算類型，可以涵蓋廣泛的工作流，這些工作流之前被
實現(xiàn)為Hadoop之上的特殊系統(tǒng)。Spark使用內(nèi)存緩存來提升性能，因此進行交互式分析也
足夠快速(就如同使用Python解釋器，與集群進行交互一樣)。緩存同時提升了迭代算法
的性能，這使得Spark非常適合數(shù)據(jù)理論任務(wù)，特別是機器學(xué)習(xí)。

本課程中，我們將首先討論如何在本地機器上或者EC2的集群上設(shè)置Spark進行簡單分析
。然后，我們在入門級水平探索Spark，了解Spark是什么以及它如何工作（希望可以激
發(fā)更多探索）。最后兩節(jié)我們開始通過命令行與Spark進行交互，然后演示如何用Pytho
n寫Spark應(yīng)用，并作為Spark作業(yè)提交到集群上。



適用學(xué)員：從事無線建設(shè)、無線規(guī)劃、無線覆蓋的工管、網(wǎng)絡(luò)建設(shè)、客戶經(jīng)理等部門員
工
課程設(shè)計：
|課程編號： |21090203016 |
|授課課時: |3至5天 |
|授課條件： |學(xué)員必須具有基本的JAVA編程知識 |
|內(nèi)容摘要： | |
| |第一章　Spark大數(shù)據(jù)開放的技術(shù)相關(guān) |
| |1.1　什么是Spark |
| |1.2 Spark與Hadoop的區(qū)別 |
| |1.3 Spark生態(tài) |
| |Spark（內(nèi)存計算框架） |
| |SparkSteaming（流式計算框架） |
| |Spark SQL（ad-hoc） |
| |Mllib（Machine Learning） |
| |GraphX（bagel將被取代） |
| |1.4 安裝部署 |
| |Spark安裝簡介 |
| |Spark的源碼編譯 |
| |Spark Standalone安裝 |
| |Spark Standalone HA安裝 |
| |Spark應(yīng)用程序部署工具spark-submit |
| | |
| |第二章　Spark運行架構(gòu)和解析 |
| |2.1 Spark的運行架構(gòu) |
| |基本術(shù)語 |
| |運行架構(gòu) |
| |Spark on Standalone運行過程 |
| |Spark on YARN 運行過程 |
| |2.2 Spark運行實例解析 |
| |2.3 Spark on Standalone實例解析 |
| |2.4 Spark on YARN實例解析 |
| |小結(jié)　 |
| | |
| |第三章　Spark調(diào)優(yōu) |
| |3.1 Spark生態(tài)系統(tǒng)概述 |
| |? 回顧Hadoop MapReduce |
| |? Spark運行模式 |
| |? RDD |
| |? Spark運行時模型簡介 |
| |? 緩存策略介紹 |
| |? transformation |
| |? action |
| |? lineage |
| |? 容錯處理 |
| |? 寬依賴與窄依賴 |
| |? 集群配置 |
| |3.2 Spark的監(jiān)控 |
| |Spark UI監(jiān)控 |
| |Ganglia 監(jiān)控 |
| |3.3 Spark調(diào)優(yōu) |
| | |
| |第四章 Spark編程模型和解析 |
| |4.1 Spark的編程模型 |
| |Spark編程模型解析 |
| |RDD的特點、操作、依賴關(guān)系 |
| |Spark應(yīng)用程序的配置 |
| |4.2 Spark編程實例解析 |
| |日志的處理 |
| |電信基站數(shù)據(jù)的處理 |
| |4.3 Spark的多語言編程 |
| |Spark的scala編程 |
| |Scala基本語法 |
| |Scala開發(fā)環(huán)境搭建 |
| |Scala開發(fā)Spark應(yīng)用程序 |
| |4.4 Spark的Python編程 |
| |Python的基本語法 |
| |Pyhton開發(fā)Spark應(yīng)用程序 |
| | |
| |第五章　Spark Streaming原理和實踐 |
| |5.1 Spark Streaming原理 |
| |Spark流式處理架構(gòu) |
| |DStream的特點 |
| |Dstream的操作和RDD的區(qū)別 |
| |Spark Streaming的優(yōu)化 |
| |5.2 Spark Streaming實例 |
| |文本實例 |
| |Window操作 |
| |網(wǎng)絡(luò)數(shù)據(jù)處理 |
| | |
| |第六章　Spark SQL原理和實踐 |
| |6.1 Spark SQL原理 |
| |Spark SQL的Catalyst優(yōu)化器 |
| |Spark SQL內(nèi)核 |
| |Spark SQL和Hive |
| |6.2 Spark SQL的實例和編程 |
| |Spark SQL的實例操作demo |
| |Spark SQL的編程 |
| | |
| |第七章 Spark源碼研讀 |
| |7.1 Spark源碼研讀 |
| |Spark源碼下載和研讀環(huán)境搭建 |
| |7.2 Spark Core介紹 |
| |SparkContext |
| |Executor |
| |Deploy |
| |7.3 RDD和Storage |
| |7.4 Scheduler和Task |
| |7.5 Spark Examples介紹 |
| | |
| |第八章　應(yīng)用中的數(shù)據(jù)挖掘算法 |
| |8.1 Spark 機器學(xué)習(xí)入門 |
| |8.2 機器學(xué)習(xí)的原理 |
| |8.3 Mllib簡介 |
| |8.4 Mllib的例程分析 |
| | |
| |第九章　大數(shù)據(jù)的zookeeper分布式 |
| |9.1 安裝和配置詳解 |
| |單機模式 |
| |配置文件介紹 |
| |9.2 BIN目錄介紹及zookeeper的啟動 |
| |9.3 集群模式 |
| |9.4 分布式隊列與設(shè)計思路 |
| | |
| |第十章　應(yīng)用服務(wù)器Jboss hadoop |
| |10.1 服務(wù)器軟硬件配置 |
| |10.2 軟件需求分析 |
| |10.3 Jboss服務(wù)器配置詳解 |
| |10.4 Jboss部署配置文件 |
| |10.5 Jboss實例 |
|授課語言： |中文 |

駱飛老師的其它課程