《大數(shù)據(jù)平臺架構(gòu)》

《大數(shù)據(jù)平臺架構(gòu)》——段方 北京大學(xué)博士后
1 背景
1.1 概述
1.1.1 大數(shù)據(jù)的概念和特點(diǎn)
1.1.2 大數(shù)據(jù)在不同領(lǐng)域中的應(yīng)用
1.2 技術(shù)發(fā)展歷史
1.2.1 數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)
1.2.2 數(shù)據(jù)倉庫系統(tǒng)
1.2.3 大數(shù)據(jù)系統(tǒng)
1.2.4 發(fā)展歷程中的關(guān)鍵技術(shù)路線圖
1.3
1.4 應(yīng)用發(fā)展歷史
1.4.1 報(bào)表和 KPI
1.4.2 數(shù)據(jù)挖掘/人工智能
1.4.3 對外服務(wù)
1.4.4 大數(shù)據(jù)運(yùn)營
1.5 為什么是大數(shù)據(jù)
1.5.1 數(shù)據(jù)洞察一切
1.5.2 管理比拼的是技術(shù)能力
1.5.3 人工智能建立在大數(shù)據(jù)基礎(chǔ)上
1.5.4 亟待新的管理理論突破
工業(yè)文明的管理理念
信息文明的管理理念呢？
1.6 【案例】大數(shù)據(jù)在一些行業(yè)的應(yīng)用案例
2 系統(tǒng)架構(gòu)實(shí)例
2.1 系統(tǒng)架構(gòu)演進(jìn)歷史
2.1.1 數(shù)據(jù)庫階段
2.1.2 數(shù)據(jù)倉庫階段
數(shù)據(jù)標(biāo)準(zhǔn)
系統(tǒng)標(biāo)準(zhǔn) 技術(shù)選型
數(shù)據(jù)管理設(shè)計(jì)
2.1.3 大數(shù)據(jù)階段 HADOOP 等技術(shù)引入 中間的混搭架構(gòu)階段 目標(biāo)的大數(shù)據(jù)架構(gòu)
2.2 兩級架構(gòu)緣起
2.2.1 從兩級法人說起
2.2.2 靈活性與標(biāo)準(zhǔn)性
2.2.3 不同階段的不同理念
2.3 大數(shù)據(jù)的集中化
2.3.1 為什么要集中化？
2.3.2 大數(shù)據(jù)的審計(jì)職能
2.3.3 大數(shù)據(jù)的應(yīng)用價(jià)值點(diǎn)
2.3.4 集中化的“痛”與“必然”
2.4 單點(diǎn)架構(gòu)概述
2.4.1 整體架構(gòu)
2.4.2 數(shù)據(jù)倉庫平臺
2.4.3 大數(shù)據(jù)平臺
2.4.4 數(shù)據(jù)管理架構(gòu)
2.4.5 數(shù)據(jù)應(yīng)用架構(gòu)
2.5 大數(shù)據(jù)架構(gòu)詳述
2.5.1 HADOOP 等技術(shù)族
2.5.2 HBASE/HIVE 設(shè)計(jì)
2.5.3 SPARK 設(shè)計(jì)
2.5.4 數(shù)據(jù)質(zhì)量控制
2.5.5 數(shù)據(jù)源選擇
2.6 架構(gòu)設(shè)計(jì)的關(guān)鍵點(diǎn)
2.6.1 技術(shù)成熟度
2.6.2 架構(gòu)設(shè)計(jì)的原則
2.6.3 架構(gòu)設(shè)計(jì)的風(fēng)險(xiǎn)點(diǎn)
2.7 平衡的藝術(shù)
2.7.1 混搭的原因分析
2.7.2 硬件成本和人力成本
2.7.3 與業(yè)務(wù)發(fā)展的步調(diào)平衡
2.7.4 數(shù)據(jù)分析師的知識平衡
2.8 【案例】某企業(yè)大數(shù)據(jù)平臺架構(gòu)介紹
3 數(shù)據(jù)處理實(shí)例
3.1 概述
3.1.1 數(shù)據(jù)標(biāo)準(zhǔn)
3.1.2 業(yè)務(wù)標(biāo)準(zhǔn)
3.1.3 管理標(biāo)準(zhǔn)
3.2 數(shù)據(jù)內(nèi)容
3.2.1 客戶數(shù)據(jù)
3.2.2 產(chǎn)品數(shù)據(jù)
3.2.3 營銷數(shù)據(jù)
3.2.4 員工數(shù)據(jù)
3.2.5 服務(wù)數(shù)據(jù)
3.3 數(shù)據(jù)標(biāo)準(zhǔn)的顆粒度
3.3.1 詳細(xì)數(shù)據(jù)
3.3.2 匯總數(shù)據(jù)
3.3.3 衍生數(shù)據(jù)
3.4 數(shù)據(jù)如何收集
3.4.1 從內(nèi)部各個(gè) IT 系統(tǒng)獲取
3.4.2 外部數(shù)據(jù)獲取方法
3.4.3 批量獲取/實(shí)時(shí)獲取
3.5 數(shù)據(jù)清洗過程
3.5.1 數(shù)據(jù)抽取
3.5.2 數(shù)據(jù)轉(zhuǎn)換
3.5.3 數(shù)據(jù)加載
3.6 跨平臺數(shù)據(jù)接口標(biāo)準(zhǔn)
3.6.1 數(shù)據(jù)接口的定義
3.6.2 數(shù)據(jù)接口的管理職責(zé)
3.6.3 接口設(shè)計(jì)的原則
3.7 邏輯模型設(shè)計(jì)及實(shí)例
3.7.1 原因
3.7.2 邏輯模型設(shè)計(jì)的原則
3.7.3 設(shè)計(jì)實(shí)例
3.8 物理模型設(shè)計(jì)及實(shí)例
3.8.1 原因
3.8.2 物理模型設(shè)計(jì)原則
3.8.3 設(shè)計(jì)實(shí)例
3.9 數(shù)據(jù)字典及實(shí)例
3.9.1 概念
3.9.2 范圍和內(nèi)容
3.9.3 設(shè)計(jì)實(shí)例
3.10 【案例】某企業(yè)的數(shù)據(jù)資產(chǎn)治理案例
4 數(shù)據(jù)分析方法
4.1 綜述
4.1.1 確定業(yè)務(wù)問題
4.1.2 選擇數(shù)據(jù)
4.1.3 選擇分析方法
4.1.4 評估分析方法
4.1.5 “最后一公里” 問題
4.1.6 數(shù)據(jù)的可視化
4.2 統(tǒng)計(jì)分析
4.2.1 統(tǒng)計(jì)分析的概念
4.2.2 統(tǒng)計(jì)分析的特點(diǎn)
4.2.3 統(tǒng)計(jì)分析的應(yīng)用
4.3 OLAP 分析
4.3.1 cube 的概念
4.3.2 上鉆和下鉆
4.3.3 OLAP 如何分析問題
4.3.4 OLAP 工具舉例
4.3.5 【案例】 OLAP 分析實(shí)例
4.4 數(shù)據(jù)挖掘分析
4.4.1 數(shù)據(jù)挖掘概念
4.4.2 數(shù)據(jù)挖掘算法介紹
4.4.3 數(shù)據(jù)挖掘工具舉例
4.4.4 【案例】數(shù)據(jù)挖掘?qū)嶋H案例
4.5 人工智能分析
4.5.1 人工智能的發(fā)展歷史
4.5.2 人工智能的突破點(diǎn)
4.5.3 人工智能的算法
4.5.4 人工智能在金融行業(yè)應(yīng)用案例
4.5.5 【案例】人工智能算法的應(yīng)用案例（語音識別+圖像識 別）
4.6 【案例】人工智能在電信領(lǐng)域中的應(yīng)用
5 大數(shù)據(jù)應(yīng)用內(nèi)容
5.1 從泰勒經(jīng)濟(jì)學(xué)說起
5.1.1 簡述泰勒經(jīng)濟(jì)學(xué)
5.1.2 數(shù)據(jù)與企業(yè)管理的天然聯(lián)系
5.1.3 讓大數(shù)據(jù)滲透到企業(yè)的每個(gè)毛孔
5.2 客戶分析
5.2.1 客戶的數(shù)據(jù)維度
5.2.2 客戶視圖分析
5.2.3 客戶離網(wǎng)分析等
5.2.4 客戶細(xì)分分析
5.3 產(chǎn)品分析
5.3.1 產(chǎn)品數(shù)據(jù)維度
5.3.2 產(chǎn)品視圖分析
5.3.3 產(chǎn)品的潛在客戶分析
5.3.4 產(chǎn)品交叉分析
5.4 精準(zhǔn)營銷
5.4.1 營銷的本質(zhì)——配對
5.4.2 精準(zhǔn)營銷——數(shù)據(jù)的魅力
5.4.3 營銷時(shí)機(jī)、渠道等選擇
5.5 員工的管理
5.5.1 員工的量化分析
5.5.2 大數(shù)據(jù)下的 “辦公室分析”
5.5.3 員工績效考評
5.5.4 如何避免“蒼蠅犯大案”
5.6 外部生態(tài)圈的管理
5.6.1 生態(tài)圈的概念
5.6.2 金融企業(yè)的生態(tài)圈
5.6.3 上下游企業(yè)的管理
5.6.4 如何識別渠道欺詐？
6 某個(gè)大數(shù)據(jù)應(yīng)用實(shí)例
6.1 【案例】外來工群體細(xì)分及營銷
6.1.1 問題定義
哪個(gè) KPI?
具體的口徑
6.1.2 可選方法分析
數(shù)據(jù)分析 算法分析
6.1.3 潛在客戶特征分析
客戶樣本選擇 客戶特征描述
6.1.4 客戶細(xì)分實(shí)例
挖掘關(guān)鍵變量篩選
決策樹分析實(shí)例
客戶分群的營銷建議
6.1.5 營銷方案設(shè)計(jì)
營銷渠道選擇 營銷時(shí)機(jī)選擇 營銷實(shí)例
6.1.6 營銷過程
營銷案實(shí)例 多波次設(shè)計(jì)
6.1.7 效果評估
LIFT 等
折算成經(jīng)濟(jì)效果 折算的社會效果
6.1.8 項(xiàng)目總結(jié)
7 大數(shù)據(jù)相關(guān)思考
7.1 大數(shù)據(jù)的建設(shè)
7.1.1 有哪些數(shù)據(jù)
7.1.2 收集哪些數(shù)據(jù)
7.1.3 采用什么技術(shù)
7.1.4 系統(tǒng)架構(gòu)的設(shè)計(jì)
7.1.5 工程項(xiàng)目如何管理
7.2 大數(shù)據(jù)的管理
7.2.1 數(shù)據(jù)質(zhì)量如何評估
7.2.2 數(shù)據(jù)質(zhì)量如何控制
7.2.3 管理的作用甚于技術(shù)
7.2.4 數(shù)據(jù)資產(chǎn)的價(jià)值
7.3 大數(shù)據(jù)的應(yīng)用
7.3.1 從業(yè)務(wù)需求出發(fā)
7.3.2 技術(shù)驅(qū)動(dòng)和業(yè)務(wù)驅(qū)動(dòng)結(jié)合
7.3.3 應(yīng)用的突破點(diǎn)
7.3.4 應(yīng)用的總體設(shè)計(jì)和規(guī)劃
7.4 應(yīng)用價(jià)值的評估
7.4.1 應(yīng)用的評估方法
7.4.2 應(yīng)用的時(shí)效性
7.5 還有哪些“痛 ”
7.5.1 如何容忍“互撕期 ”
7.5.2 數(shù)據(jù)質(zhì)量的“苦 ”
7.5.3 技術(shù)選型的“惑 ”
7.5.4 項(xiàng)目管理的“難 ”
7.5.5 人才培養(yǎng)的“狂 ”
8 總結(jié)

段方老師的其它課程