大數(shù)據(jù)應(yīng)用培訓(xùn)方案

大數(shù)據(jù)應(yīng)用
培訓(xùn)方案

一、培訓(xùn)的目的及意義

隨著我國(guó)智能電網(wǎng)的發(fā)展，電力系統(tǒng)發(fā)、輸、變、配、用電各個(gè)環(huán)節(jié)的信息化進(jìn)程
不斷推進(jìn)。在用電側(cè)，利用電力大數(shù)據(jù)分析可以了解產(chǎn)業(yè)結(jié)構(gòu)、經(jīng)濟(jì)走勢(shì)、房屋空置率
、區(qū)域消費(fèi)能力等情況，從而可以更好地為經(jīng)濟(jì)服務(wù)。
　　伴隨著智能電網(wǎng)的全面建設(shè)，以物聯(lián)網(wǎng)和云計(jì)算為代表的新一代信息通信技術(shù)在電
力行業(yè)中的廣泛應(yīng)用，電力數(shù)據(jù)資源開(kāi)始急劇增長(zhǎng)并形成了一定的規(guī)模。電力與社會(huì)經(jīng)
濟(jì)的發(fā)展密切相關(guān)，電力需求變化是經(jīng)濟(jì)運(yùn)行的“晴雨表”和“風(fēng)向標(biāo)”，能夠真實(shí)、客觀
地反映國(guó)民經(jīng)濟(jì)的發(fā)展?fàn)顩r與態(tài)勢(shì)。因此，發(fā)展電力大數(shù)據(jù)是電力行業(yè)革新的必然過(guò)程
。國(guó)家電網(wǎng)公司正在制定以云計(jì)算和大數(shù)據(jù)為技術(shù)支撐的信息系統(tǒng)方案，以提高國(guó)網(wǎng)公
司信息系統(tǒng)的安全性、穩(wěn)定性、可用性，為公司決策、生產(chǎn)、運(yùn)營(yíng)、管理提供更好的支
撐平臺(tái)，助力公司發(fā)展方式的轉(zhuǎn)變。

二、培訓(xùn)對(duì)象

公司專兼職信息通信運(yùn)維及管理人員。

三、培訓(xùn)時(shí)間

培訓(xùn)共五天



四、培訓(xùn)內(nèi)容

大數(shù)據(jù)（Hadoop）介紹，分布式文件系統(tǒng)應(yīng)用
MapReduce應(yīng)用及調(diào)優(yōu)
hadoop集群及管理
hadoop子項(xiàng)zookeeper、hbase、pig、hive、sqoop、rdbms應(yīng)用
大數(shù)據(jù)實(shí)戰(zhàn)

五、課程安排

|日程 |授課主題 |課程安排 |
|第 |Hadoop入門，了解什么|Hadoop產(chǎn)生背景 |
|一 |是hadoop |Hadoop在大數(shù)據(jù)、云計(jì)算中的位置和關(guān)系 |
|~ | |國(guó)內(nèi)外Hadoop應(yīng)用案例介紹 |
|二 | |國(guó)內(nèi)Hadoop的就業(yè)情況分析及課程大綱介紹 |
|天 | |分布式系統(tǒng)概述 |
| | |Hadoop生態(tài)圈以及各組成部分的簡(jiǎn)介 |
| | |Hadoop核心MapReduce例子說(shuō)明 |
| |分布式文件系統(tǒng)HDFS，|分布式文件系統(tǒng)DFS簡(jiǎn)介 |
| |是數(shù)據(jù)庫(kù)管理員的基礎(chǔ)|HDFS的系統(tǒng)組成介紹 |
| |課程 |HDFS的組成部分詳解 |
| | |副本存放策略及路由規(guī)則 |
| | |NameNode Federation |
| | |命令行接口 |
| | |Java接口 |
| | |客戶端與HDFS的數(shù)據(jù)流講解 |
| | |HDFS的可用性（HA） |
| |初級(jí)MapReduce，成為H|如何理解map、reduce計(jì)算模型 |
| |adoop開(kāi)發(fā)人員的基礎(chǔ) |剖析偽分布式下MapReduce作業(yè)的執(zhí)行過(guò)程 |
| |課程 |Yarn模型 |
| | |序列化 |
| | |MapReduce的類型與格式 |
| | |MapReduce開(kāi)發(fā)環(huán)境搭建 |
| | |MapReduce應(yīng)用開(kāi)發(fā) |
| | |更多示例講解，熟悉MapReduce算法原理 |
| |高級(jí)MapReduce，高級(jí)H|使用壓縮分隔減少輸入規(guī)模 |
| |adoop開(kāi)發(fā)人員的關(guān)鍵 |利用Combiner減少中間數(shù)據(jù) |
| |課程 |編寫(xiě)Partitioner優(yōu)化負(fù)載均衡 |
| | |如何自定義排序規(guī)則 |
| | |如何自定義分組規(guī)則 |
|第 | |MapReduce優(yōu)化 |
|三 | |編程實(shí)戰(zhàn) |
|~ | | |
|四 | | |
|天 | | |
| |Hadoop集群與管理，是|Hadoop集群的搭建 |
| |數(shù)據(jù)庫(kù)管理員的高級(jí)課|Hadoop集群的監(jiān)控 |
| |程 |Hadoop集群的管理 |
| | |集群下運(yùn)行MapReduce程序 |
| |ZooKeeper基礎(chǔ)知識(shí)， |ZooKeeper體現(xiàn)結(jié)構(gòu) |
| |構(gòu)建分布式系統(tǒng)的基礎(chǔ)|ZooKeeper集群的安裝 |
| |框架 |操作ZooKeeper |
| |HBase基礎(chǔ)知識(shí)，面向 |HBase定義、HBase與RDBMS的對(duì)比 |
| |列的實(shí)時(shí)分布式數(shù)據(jù)庫(kù)|數(shù)據(jù)模型、系統(tǒng)架構(gòu) |
| | |HBase上的MapReduce、表的設(shè)計(jì) |
| |HBase集群及其管理 |集群的搭建過(guò)程講解 |
| |HBase客戶端 |集群的監(jiān)控 |
| | |集群的管理 |
| | |HBase Shell以及演示 |
| | |Java客戶端以及代碼演示 |
|第 |Pig基礎(chǔ)知識(shí)，進(jìn)行had|Pig概述 |
|五 |oop計(jì)算的另一種框架 |安裝Pig |
|天 | |使用Pig完成手機(jī)流量統(tǒng)計(jì)業(yè)務(wù) |
| |Hive，使用sql進(jìn)行計(jì) |數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)知識(shí) |
| |算的hadoop框架 |Hive定義、Hive體系結(jié)構(gòu)簡(jiǎn)介、Hive集群 |
| | |客戶端簡(jiǎn)介 |
| | |HiveQL定義、HiveQL與SQL的比較 |
| | |數(shù)據(jù)類型 |
| | |表與表分區(qū)概念、表的操作與CLI客戶端演示 |
| | |數(shù)據(jù)導(dǎo)入與CLI客戶端演示、查詢數(shù)據(jù)與CLI客戶端演示|
| | |數(shù)據(jù)的連接與CLI客戶端演示、用戶自定義函數(shù)（UDF）|
| | |的開(kāi)發(fā)與演示 |
| |Sqoop，hadoop與rdbms|配置Sqoop |
| |進(jìn)行數(shù)據(jù)轉(zhuǎn)換的框架 |使用Sqoop把數(shù)據(jù)從mysql導(dǎo)入到HDFS中 |
| | |使用Sqoop把數(shù)據(jù)從HDFS導(dǎo)出到mysql中 |
| |結(jié)訓(xùn)考試 |結(jié)訓(xùn)考試 |

駱飛老師的其它課程