《Hadoop大數(shù)據(jù)解決方案平臺(tái)技術(shù)培訓(xùn)》課綱
《Hadoop大數(shù)據(jù)解決方案平臺(tái)技術(shù)培訓(xùn)》課綱詳細(xì)內(nèi)容
《Hadoop大數(shù)據(jù)解決方案平臺(tái)技術(shù)培訓(xùn)》課綱
Hadoop大數(shù)據(jù)解決方案平臺(tái)技術(shù)培訓(xùn)【課程目標(biāo)】
Hadoop作為開(kāi)源的云計(jì)算平臺(tái)，為大數(shù)據(jù)處理提供了一整套解決方案，應(yīng)用非常廣泛。Hadoop作為一個(gè)平臺(tái)框架，包括了如何存儲(chǔ)海量數(shù)據(jù)，如何處理海量數(shù)據(jù)，以及相應(yīng)的數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)流處理、數(shù)據(jù)分析和挖掘算法庫(kù)，等等。本課程主要介紹Hadoop的思想、原理，以及重要技術(shù)等相關(guān)知識(shí)。
通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：
全面了解大數(shù)據(jù)處理技術(shù)的相關(guān)知識(shí)。
學(xué)習(xí)Hadoop的核心技術(shù)以及應(yīng)用。
深入掌握Hadoop的相關(guān)工具在大數(shù)據(jù)中的使用。
掌握Hadoop的常用模塊的工作原理及開(kāi)發(fā)應(yīng)用技術(shù)。
掌握傳統(tǒng)數(shù)據(jù)中心向大數(shù)據(jù)中心轉(zhuǎn)換的關(guān)鍵技術(shù)。
掌握海量數(shù)據(jù)處理的性能優(yōu)化及維護(hù)技巧。
【授課時(shí)間】
2天時(shí)間
【授課對(duì)象】
網(wǎng)絡(luò)部、大數(shù)據(jù)系統(tǒng)開(kāi)發(fā)部、大數(shù)據(jù)中心、網(wǎng)絡(luò)運(yùn)維部等相關(guān)技術(shù)人員。
【授課方式】
原理精講+案例演練+開(kāi)發(fā)實(shí)踐+系統(tǒng)優(yōu)化
【課程大綱】
Hadoop的基本框架
大數(shù)據(jù)時(shí)代面臨的問(wèn)題
當(dāng)前解決大數(shù)據(jù)的技術(shù)方案
Hadoop架構(gòu)和云計(jì)算
Hadoop簡(jiǎn)史及安裝部署
Hadoop設(shè)計(jì)理念和生態(tài)系統(tǒng)
HDFS分布式文件系統(tǒng)--海量數(shù)據(jù)存儲(chǔ)的搖籃
HDFS的設(shè)計(jì)目標(biāo)
HDFS的基本架構(gòu)
NameNode名稱節(jié)點(diǎn)
SecondaryNameNode第二名稱節(jié)點(diǎn)
DataNode數(shù)據(jù)節(jié)點(diǎn)
HDFS的存儲(chǔ)模型
數(shù)據(jù)塊存儲(chǔ)
元數(shù)據(jù)存儲(chǔ)（空間鏡像與編輯日志）
多副本存儲(chǔ)
多副本放置策略
多數(shù)據(jù)節(jié)點(diǎn)管理機(jī)制與交互過(guò)程
文件系統(tǒng)操作與管理
讀文件過(guò)程
寫文件過(guò)程（數(shù)據(jù)流管道）
數(shù)據(jù)完整性機(jī)制
數(shù)據(jù)校驗(yàn)和
數(shù)據(jù)完整性掃描線程
元數(shù)據(jù)備份與合并
數(shù)據(jù)可靠性設(shè)計(jì)
安全模式（數(shù)據(jù)塊與節(jié)點(diǎn)映射關(guān)系管理）
心跳檢測(cè)機(jī)制（節(jié)點(diǎn)失效管理）
租約機(jī)制（多線程并發(fā)控制）
其它
HDFS的安全機(jī)制
負(fù)載均衡
文件壓縮
操作接口與編程接口
HDFS Shell
HDFS Commands
WebHDFS REST API
HDFS Java API
演練：HDFS文件操作命令
演練：HDFS編程示例
MapReduce分布式計(jì)算系統(tǒng)--海量數(shù)據(jù)處理的利器
MapReduce的三層設(shè)計(jì)理念
分布治之的設(shè)計(jì)思想（Map與Reduce）
數(shù)據(jù)處理引擎（編程模型）
運(yùn)行時(shí)環(huán)境（任務(wù)調(diào)度與執(zhí)行）
MapReduce的基本架構(gòu)
JobTracker作業(yè)跟蹤器
TaskTracker任務(wù)跟蹤器
MapReduce與HDFS的部署關(guān)系
MapReduce編程模型概述
編程接口介紹
Hadoop工作流實(shí)現(xiàn)原理
MapReduce作業(yè)調(diào)度機(jī)制
MapReduce作業(yè)生命周期
作業(yè)調(diào)度策略
靜態(tài)資源管理方案
數(shù)據(jù)并行處理機(jī)制（五步驟）
Input階段實(shí)現(xiàn)
Map階段實(shí)現(xiàn)
Shuffle階段實(shí)現(xiàn)
Reduce階段實(shí)現(xiàn)
Output階段
MapReduce容錯(cuò)機(jī)制
任務(wù)失敗與重新嘗試
節(jié)點(diǎn)失效與重調(diào)度
單點(diǎn)故障
MapReduce性能優(yōu)化
優(yōu)化方向與思路
磁盤IO性能優(yōu)化
分片優(yōu)化
線程數(shù)量?jī)?yōu)化
內(nèi)存優(yōu)化
壓縮優(yōu)化
MapReduce操作接口
Job Shell
Web UI
案例演練：MapReduce編程示例
YARN：下一代通用資源管理系統(tǒng)
MRv1的局限性
YARN基本框架
NN HA：解決單點(diǎn)故障
HDFS Federation：解決擴(kuò)展性問(wèn)題
HBase非關(guān)系型數(shù)據(jù)庫(kù)--海量數(shù)據(jù)的黎明
HBase的使用場(chǎng)景
HBase的基本架構(gòu)
Zookeeper分布式協(xié)調(diào)服務(wù)器
Master主控服務(wù)器
Region Server區(qū)域服務(wù)器
HBase的數(shù)據(jù)模型
HBase的表結(jié)構(gòu)
行鍵、列鍵、時(shí)間戳
HBase的存儲(chǔ)模型
基本單位Region
存儲(chǔ)格式HFile數(shù)據(jù)分裂機(jī)制Split
數(shù)據(jù)合并機(jī)制Compaction
minor compaction
major compaction
HLog寫前日志
數(shù)據(jù)庫(kù)讀寫操作
數(shù)據(jù)庫(kù)寫入
數(shù)據(jù)庫(kù)讀取
三次尋址
HBase操作接口
Native Java API
HBase Shell
批量加載工具
HiveQL操作
HBase性能優(yōu)化
寫速度優(yōu)化
讀速度優(yōu)化
HBase集群監(jiān)控與管理
案例演練：HBase命令操作實(shí)例
Hive分布式數(shù)據(jù)倉(cāng)庫(kù)--高級(jí)的編程語(yǔ)言
Hive是什么
Hive與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別
Hive系統(tǒng)架構(gòu)
用戶接口層
元數(shù)據(jù)存儲(chǔ)層
驅(qū)動(dòng)層
Hive常用服務(wù)
Hive元數(shù)據(jù)的三種部署模式
Hive的命名空間
Hive數(shù)據(jù)類型與存儲(chǔ)格式
數(shù)據(jù)類型
TextFile/SequenceFile/RCFileHive的數(shù)據(jù)模型
管理表
外部表
分區(qū)表
桶表
HQL語(yǔ)言命令實(shí)例
DDL數(shù)據(jù)定義語(yǔ)言
DML數(shù)據(jù)操作語(yǔ)言
QUERY數(shù)據(jù)查詢語(yǔ)言
Hive自定義函數(shù)
基本函數(shù)（UDF）
聚合函數(shù)（UDAF）
表生成函數(shù)（UDTF）
Hive性能優(yōu)化
動(dòng)態(tài)分區(qū)
壓縮
索引
JVM重用
案例演練：Hive命令操作實(shí)例
Sqoop數(shù)據(jù)交互工具--與傳統(tǒng)數(shù)據(jù)庫(kù)的橋梁
Sqoop是什么
Sqoop的架構(gòu)和功能
Sqoop1架構(gòu)
Sqoop2架構(gòu)
數(shù)據(jù)雙向交換
數(shù)據(jù)導(dǎo)入過(guò)程
數(shù)據(jù)導(dǎo)出過(guò)程
數(shù)據(jù)導(dǎo)入工具與命令介紹
案例演練：Sqoop數(shù)據(jù)導(dǎo)入/導(dǎo)出實(shí)際操作
Pig數(shù)據(jù)流處理引擎--數(shù)據(jù)腳本語(yǔ)言
Pig介紹
命令行交互工具Grunt
Pig數(shù)據(jù)類型
Pig Latin腳本語(yǔ)言介紹
基礎(chǔ)知識(shí)
輸入和輸出
關(guān)系操作
調(diào)用靜態(tài)Java函數(shù)
Pig Latin高級(jí)應(yīng)用
開(kāi)發(fā)與測(cè)試Pig Latin腳本
開(kāi)發(fā)工具
任務(wù)狀態(tài)監(jiān)控
調(diào)試技巧
腳本性能優(yōu)化
用戶自定義函數(shù)UDF
案例演練：Pig Latin腳本編寫、測(cè)試與運(yùn)行操作
結(jié)束：課程總結(jié)與問(wèn)題答疑。
傅一航老師的其它課程
數(shù)據(jù)分析方法及生產(chǎn)運(yùn)營(yíng)實(shí)際應(yīng)用【課程目標(biāo)】本課程主要介紹數(shù)據(jù)分析在生產(chǎn)運(yùn)營(yíng)過(guò)程中的應(yīng)用，適用于制造行業(yè)/保險(xiǎn)行業(yè)的數(shù)據(jù)分析人員等。本課程的主要目的是，幫助學(xué)員了解大數(shù)據(jù)的本質(zhì)，培養(yǎng)學(xué)員的數(shù)據(jù)意識(shí)和數(shù)據(jù)思維，掌握常用的統(tǒng)計(jì)分析方法和工具，以及生產(chǎn)、運(yùn)營(yíng)過(guò)程中的應(yīng)用，并以概率的方式來(lái)進(jìn)行決策，提升學(xué)員的數(shù)據(jù)分析及應(yīng)用能力。本課程具體內(nèi)容包括：數(shù)據(jù)決策邏輯，數(shù)據(jù)決
講師：傅一航詳情
大數(shù)據(jù)建模大賽輔導(dǎo)實(shí)戰(zhàn)【課程目標(biāo)】本課程主要面向?qū)I(yè)人士的大數(shù)據(jù)建模競(jìng)賽輔導(dǎo)需求（假定學(xué)員已經(jīng)完成Python建模及優(yōu)化--回歸篇/分類篇的學(xué)習(xí)）。通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：熟悉大賽常用集成模型掌握模型優(yōu)化常用措施，掌握超參優(yōu)化策略掌握特征工程處理，以及對(duì)模型質(zhì)量的影響掌握建模工程管道類(Pipeline,ColumnTransformer)的使用【授
講師：傅一航詳情
大數(shù)據(jù)時(shí)代的精準(zhǔn)營(yíng)銷【課程目標(biāo)】本課程從實(shí)際的市場(chǎng)營(yíng)銷問(wèn)題出發(fā)，了解大數(shù)據(jù)在市場(chǎng)營(yíng)銷領(lǐng)域的價(jià)值以及應(yīng)用。并對(duì)大數(shù)據(jù)分析與挖掘技術(shù)進(jìn)行了介紹，通過(guò)從大量的市場(chǎng)營(yíng)銷數(shù)據(jù)中分析潛在的客戶特征，挖掘客戶行為特點(diǎn)，實(shí)現(xiàn)精準(zhǔn)營(yíng)銷，幫助市場(chǎng)營(yíng)銷團(tuán)隊(duì)深入理解業(yè)務(wù)運(yùn)作，支持業(yè)務(wù)策略制定以及營(yíng)銷決策。通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：了解大數(shù)據(jù)營(yíng)銷內(nèi)容，掌握大數(shù)據(jù)在營(yíng)銷中的應(yīng)用。
講師：傅一航詳情
大數(shù)據(jù)時(shí)代的精準(zhǔn)營(yíng)銷【課程目標(biāo)】本課程從實(shí)際的市場(chǎng)營(yíng)銷問(wèn)題出發(fā)，了解大數(shù)據(jù)在市場(chǎng)營(yíng)銷領(lǐng)域的價(jià)值以及應(yīng)用。并對(duì)大數(shù)據(jù)分析與挖掘技術(shù)進(jìn)行了介紹，通過(guò)從大量的市場(chǎng)營(yíng)銷數(shù)據(jù)中分析潛在的客戶特征，挖掘客戶行為特點(diǎn)，實(shí)現(xiàn)精準(zhǔn)營(yíng)銷，幫助市場(chǎng)營(yíng)銷團(tuán)隊(duì)深入理解業(yè)務(wù)運(yùn)作，支持業(yè)務(wù)策略制定以及營(yíng)銷決策。通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：了解大數(shù)據(jù)營(yíng)銷內(nèi)容，掌握大數(shù)據(jù)在營(yíng)銷中的應(yīng)用。
講師：傅一航詳情
大數(shù)據(jù)決策思維與商業(yè)模式創(chuàng)新，賦能企業(yè)增長(zhǎng)【課程目標(biāo)】本課程主要幫助大家理解大數(shù)據(jù)的基本概念，著重探索大數(shù)據(jù)的本質(zhì)，理解大數(shù)據(jù)的核心價(jià)值，以及掌握實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的三個(gè)關(guān)鍵環(huán)節(jié)，大數(shù)據(jù)解決業(yè)務(wù)問(wèn)題的六個(gè)步驟，然后聚焦大數(shù)據(jù)的七大核心思維，最后，再用案例說(shuō)明了大數(shù)據(jù)在各行業(yè)的應(yīng)用場(chǎng)景。大數(shù)據(jù)思維，讓決策更科學(xué)！讓管理更高效！讓營(yíng)銷更精準(zhǔn)！通過(guò)本課程的學(xué)習(xí)，達(dá)到如
講師：傅一航詳情
大數(shù)據(jù)思維與應(yīng)用創(chuàng)新【課程目標(biāo)】本課程主要幫助大家理解大數(shù)據(jù)的基本概念，著重探索大數(shù)據(jù)的本質(zhì)，理解大數(shù)據(jù)的核心價(jià)值，以及掌握實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的三個(gè)關(guān)鍵環(huán)節(jié)，大數(shù)據(jù)解決業(yè)務(wù)問(wèn)題的六個(gè)步驟，然后聚焦大數(shù)據(jù)的七大核心思維，最后，再用案例說(shuō)明了大數(shù)據(jù)在各行業(yè)的應(yīng)用場(chǎng)景。大數(shù)據(jù)思維，讓決策更科學(xué)！讓管理更高效！讓營(yíng)銷更精準(zhǔn)！通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：了解大數(shù)據(jù)基本
講師：傅一航詳情
大數(shù)據(jù)思維與應(yīng)用創(chuàng)新【課程目標(biāo)】本課程主要幫助大家理解大數(shù)據(jù)的基本概念，著重探索大數(shù)據(jù)的本質(zhì)，理解大數(shù)據(jù)的核心價(jià)值，以及掌握實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的三個(gè)關(guān)鍵環(huán)節(jié)，大數(shù)據(jù)解決業(yè)務(wù)問(wèn)題的六個(gè)步驟，然后聚焦大數(shù)據(jù)的七大核心思維，最后，再用案例說(shuō)明了大數(shù)據(jù)在各行業(yè)的應(yīng)用場(chǎng)景。大數(shù)據(jù)思維，讓決策更科學(xué)！讓管理更高效！讓營(yíng)銷更精準(zhǔn)！通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：了解大數(shù)據(jù)基本
講師：傅一航詳情
大數(shù)據(jù)思維與應(yīng)用創(chuàng)新【課程目標(biāo)】本課程主要幫助大家理解大數(shù)據(jù)的基本概念，著重探索大數(shù)據(jù)的本質(zhì)，理解大數(shù)據(jù)的核心價(jià)值，以及掌握實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的三個(gè)關(guān)鍵環(huán)節(jié)，大數(shù)據(jù)解決業(yè)務(wù)問(wèn)題的六個(gè)步驟，然后聚焦大數(shù)據(jù)的七大核心思維，最后，再用案例說(shuō)明了大數(shù)據(jù)在各行業(yè)的應(yīng)用場(chǎng)景。大數(shù)據(jù)思維，讓決策更科學(xué)！讓管理更高效！讓營(yíng)銷更精準(zhǔn)！通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：了解大數(shù)據(jù)基本
講師：傅一航詳情
大數(shù)據(jù)挖掘工具:SPSSStatistics入門與提高【課程目標(biāo)】本課程為數(shù)據(jù)分析和挖掘的工具篇，本課程面向數(shù)據(jù)分析部等專門負(fù)責(zé)數(shù)據(jù)分析與挖掘的人士，專注大數(shù)據(jù)挖掘工具SPSSStatistics的培訓(xùn)。IBMSPSS工具是面向非專業(yè)人士的高級(jí)的分析工具（挖掘工具），它提供大量的分析方法和分析模型，能夠解決更復(fù)雜的業(yè)務(wù)問(wèn)題，比如影響因素分析、客戶行為預(yù)測(cè)/精
講師：傅一航詳情
金融行業(yè)風(fēng)險(xiǎn)預(yù)測(cè)模型實(shí)戰(zhàn)【課程目標(biāo)】本課程專注于金融行業(yè)的風(fēng)控模型，面向數(shù)據(jù)分析部等專門負(fù)責(zé)數(shù)據(jù)分析與建模的人士。本課程的主要目的是，培養(yǎng)學(xué)員的大數(shù)據(jù)意識(shí)和大數(shù)據(jù)思維，掌握常用的數(shù)據(jù)分析方法和數(shù)據(jù)分析模型，并能夠用于對(duì)客戶行為作分析和預(yù)測(cè)，提升學(xué)員的數(shù)據(jù)分析綜合能力。通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：掌握數(shù)據(jù)分析和數(shù)據(jù)建模的基本過(guò)程和步驟掌握客戶行為分析中常用
講師：傅一航詳情
- [潘文富] 經(jīng)銷商終端建設(shè)的基本推進(jìn)
- [潘文富] 中小企業(yè)招聘廣告的內(nèi)容完
- [潘文富] 優(yōu)化考核方式，減少員工抵
- [潘文富] 廠家心目中的理想化經(jīng)銷商
- [潘文富] 經(jīng)銷商的產(chǎn)品驅(qū)動(dòng)與管理驅(qū)
- [王曉楠] 輔警轉(zhuǎn)正方式，定向招錄成為
- [王曉楠] 西安老師招聘要求，西安各區(qū)
- [王曉楠] 西安中小學(xué)教師薪資福利待遇
- [王曉楠] 什么是備案制教師？備案制教
- [王曉楠] 2024年陜西省及西安市最
- 1社會(huì)保障基礎(chǔ)知識(shí)(ppt) 21162
- 2安全生產(chǎn)事故案例分析(ppt) 20243
- 3行政專員崗位職責(zé) 19050
- 4品管部崗位職責(zé)與任職要求 16224
- 5員工守則 15463
- 6軟件驗(yàn)收?qǐng)?bào)告 15401
- 7問(wèn)卷調(diào)查表(范例) 15114
- 8工資發(fā)放明細(xì)表 14557
- 9文件簽收單 14202
