《某大型企業(yè)大數(shù)據(jù)系統(tǒng)實際案例剖析》

《某大型企業(yè)大數(shù)據(jù)系統(tǒng)實際案例剖析》
——“他山之石，攻自己的玉 ”
段方 北京大學(xué)博士后
1 背景
1.1 概述
1.1.1 大數(shù)據(jù)的概念和特點
1.1.2 大數(shù)據(jù)在不同領(lǐng)域中的應(yīng)用
1.2 系統(tǒng)需求描述
1.2.1 2001 年引出背景
1.2.2 十五年階段中每階段演進(jìn)目標(biāo)舉例
1.2.3 需求描述實例（某階段）
1.2.4 技術(shù)需求與業(yè)務(wù)需求
1.3 技術(shù)發(fā)展歷史
1.3.1 數(shù)據(jù)統(tǒng)計系統(tǒng)
1.3.2 數(shù)據(jù)倉庫系統(tǒng)
1.3.3 大數(shù)據(jù)系統(tǒng)
1.3.4 發(fā)展歷程中的關(guān)鍵技術(shù)路線圖
1.4 應(yīng)用發(fā)展歷史
1.4.1 報表和 KPI
1.4.2 數(shù)據(jù)挖掘
1.4.3 對外服務(wù)
1.4.4 大數(shù)據(jù)運營
1.5 管理發(fā)展歷史
1.5.1 部門級數(shù)據(jù)倉庫
1.5.2 企業(yè)級數(shù)據(jù)倉庫
1.5.3 企業(yè)級大數(shù)據(jù)中心
1.5.4 組織機(jī)構(gòu)演進(jìn)
1.6 不同階段技術(shù)選型思考
1.6.1 系統(tǒng)建立階段
1.6.2 應(yīng)用擴(kuò)展階段
1.6.3 數(shù)據(jù)擴(kuò)展階段
1.6.4 大數(shù)據(jù)階段
2 系統(tǒng)架構(gòu)實例
2.1 系統(tǒng)架構(gòu)演進(jìn)歷史
2.1.1 數(shù)據(jù)庫階段
2.1.2 數(shù)據(jù)倉庫階段
數(shù)據(jù)標(biāo)準(zhǔn)
系統(tǒng)標(biāo)準(zhǔn)
技術(shù)選型
數(shù)據(jù)管理設(shè)計
2.1.3 大數(shù)據(jù)階段
HADOOP 等技術(shù)引入 混搭架構(gòu)設(shè)計
技術(shù)管控要求
2.2 兩級架構(gòu)緣起
2.2.1 從兩級法人說起
2.2.2 靈活性與標(biāo)準(zhǔn)性
2.2.3 不同階段的不同理念
2.3 單點架構(gòu)概述
2.3.1 整體架構(gòu)
2.3.2 大數(shù)據(jù)平臺
2.3.3 數(shù)據(jù)倉庫平臺
2.3.4 數(shù)據(jù)管理架構(gòu)
2.3.5 數(shù)據(jù)應(yīng)用架構(gòu)
2.4 大數(shù)據(jù)架構(gòu)詳述
2.4.1 HADOOP 等技術(shù)族
2.4.2 HBASE/HIVE 設(shè)計
2.4.3 SPARK 設(shè)計
2.4.4 數(shù)據(jù)質(zhì)量控制
2.4.5 數(shù)據(jù)源選擇
2.5 架構(gòu)設(shè)計的關(guān)鍵點
2.5.1 技術(shù)成熟度
2.5.2 架構(gòu)設(shè)計的原則
2.5.3 架構(gòu)設(shè)計的風(fēng)險點
2.6 平衡的藝術(shù)
2.6.1 混搭的原因分析
2.6.2 硬件成本和人力陳本
2.6.3 與業(yè)務(wù)發(fā)展的步調(diào)平衡
2.6.4 數(shù)據(jù)分析師的知識平衡
3 數(shù)據(jù)處理實例
3.1 概述
3.1.1 數(shù)據(jù)標(biāo)準(zhǔn)
3.1.2 業(yè)務(wù)標(biāo)準(zhǔn)
3.1.3 管理標(biāo)準(zhǔn)
3.2 數(shù)據(jù)內(nèi)容
3.2.1 客戶數(shù)據(jù)
3.2.2 產(chǎn)品數(shù)據(jù)
3.2.3 營銷數(shù)據(jù)
3.2.4 員工數(shù)據(jù)
3.2.5 服務(wù)數(shù)據(jù)
3.3 數(shù)據(jù)標(biāo)準(zhǔn)的顆粒度
3.3.1 詳細(xì)數(shù)據(jù)
3.3.2 匯總數(shù)據(jù)
3.3.3 衍生數(shù)據(jù)
3.4 數(shù)據(jù)如何收集
3.4.1 從內(nèi)部各個 IT 系統(tǒng)獲取
3.4.2 外部數(shù)據(jù)獲取方法
3.4.3 批量獲取/實時獲取
3.5 數(shù)據(jù)清洗過程
3.5.1 數(shù)據(jù)抽取
3.5.2 數(shù)據(jù)轉(zhuǎn)換
3.5.3 數(shù)據(jù)加載
3.6 跨平臺數(shù)據(jù)接口標(biāo)準(zhǔn)
3.6.1 數(shù)據(jù)接口的定義
3.6.2 數(shù)據(jù)接口的管理職責(zé)
3.6.3 接口設(shè)計的原則
3.7 邏輯模型設(shè)計及實例
3.7.1 原因
3.7.2 邏輯模型設(shè)計的原則
3.7.3 設(shè)計實例
3.8 物理模型設(shè)計及實例
3.8.1 原因
3.8.2 物理模型設(shè)計原則
3.8.3 設(shè)計實例
3.9 數(shù)據(jù)字典及實例
3.9.1 概念
3.9.2 范圍和內(nèi)容
3.9.3 設(shè)計實例
4 數(shù)據(jù)分析方法
4.1 綜述
4.1.1 確定業(yè)務(wù)問題
4.1.2 選擇數(shù)據(jù)
4.1.3 選擇分析方法
4.1.4 評估分析方法
4.1.5 “最后一公里” 問題
4.1.6 數(shù)據(jù)的可視化
4.2 統(tǒng)計分析
4.2.1 統(tǒng)計分析的概念
4.2.2 統(tǒng)計分析的特點
4.2.3 統(tǒng)計分析的應(yīng)用
4.3 OLAP 分析
4.3.1 cube 的概念
4.3.2 上鉆和下鉆
4.3.3 OLAP 如何分析問題
4.3.4 OLAP 工具舉例
cognos
brio
4.3.5 【案例】 OLAP 分析實例
4.4 數(shù)據(jù)挖掘分析
4.4.1 數(shù)據(jù)挖掘概念
4.4.2 數(shù)據(jù)挖掘算法介紹
4.4.3 數(shù)據(jù)挖掘工具舉例
SAS
SPSS
4.4.4 【案例】數(shù)據(jù)挖掘?qū)嶋H案例
4.5 人工智能分析
4.5.1 人工智能的發(fā)展歷史
4.5.2 人工智能的突破點
4.5.3 人工智能的算法
4.5.4 人工智能在金融行業(yè)應(yīng)用案例
4.5.5 【案例】人工智能算法的應(yīng)用案例（語音識別+圖像識 別）
5 大數(shù)據(jù)應(yīng)用內(nèi)容
5.1 從泰勒經(jīng)濟(jì)學(xué)說起
5.1.1 簡述泰勒經(jīng)濟(jì)學(xué)
5.1.2 數(shù)據(jù)與企業(yè)管理的天然聯(lián)系
5.1.3 “讓大數(shù)據(jù)滲透到企業(yè)的每個毛孔 ”
5.2 客戶分析
5.2.1 客戶的數(shù)據(jù)維度
5.2.2 客戶視圖分析
5.2.3 客戶離網(wǎng)分析等
5.2.4 客戶細(xì)分分析
5.3 產(chǎn)品分析
5.3.1 產(chǎn)品數(shù)據(jù)維度
5.3.2 產(chǎn)品視圖分析
5.3.3 產(chǎn)品的潛在客戶分析
5.3.4 產(chǎn)品交叉分析
5.4 精準(zhǔn)營銷
5.4.1 營銷的本質(zhì)——配對
5.4.2 精準(zhǔn)營銷——數(shù)據(jù)的魅力
5.4.3 營銷時機(jī)、渠道等選擇
5.5 員工的管理
5.5.1 員工的量化分析
5.5.2 大數(shù)據(jù)下的 “辦公室分析”
5.5.3 員工績效考評
5.5.4 如何避免“蒼蠅犯大案”
5.6 外部生態(tài)圈的管理
5.6.1 生態(tài)圈的概念
5.6.2 金融企業(yè)的生態(tài)圈
5.6.3 上下游企業(yè)的管理
5.6.4 如何識別渠道欺詐？
6 某個大數(shù)據(jù)應(yīng)用實例
6.1 【案例】外來工群體細(xì)分及營銷
6.1.1 問題定義
哪個 KPI?
具體的口徑
6.1.2 可選方法分析
數(shù)據(jù)分析 算法分析
6.1.3 潛在客戶特征分析
客戶樣本選擇 客戶特征描述
6.1.4 客戶細(xì)分實例
挖掘關(guān)鍵變量篩選
決策樹分析實例
客戶分群的營銷建議
6.1.5 營銷方案設(shè)計
營銷渠道選擇 營銷時機(jī)選擇 營銷實例
6.1.6 營銷過程
營銷案實例 多波次設(shè)計
6.1.7 效果評估
LIFT 等
折算成經(jīng)濟(jì)效果 折算的社會效果
6.1.8 項目總結(jié)
7 大數(shù)據(jù)相關(guān)思考
7.1 大數(shù)據(jù)的建設(shè)
7.1.1 有哪些數(shù)據(jù)
7.1.2 收集哪些數(shù)據(jù)
7.1.3 采用什么技術(shù)
7.1.4 系統(tǒng)架構(gòu)的設(shè)計
7.1.5 工程項目如何管理
7.2 大數(shù)據(jù)的管理
7.2.1 數(shù)據(jù)質(zhì)量如何評估
7.2.2 數(shù)據(jù)質(zhì)量如何控制
7.2.3 管理的作用甚于技術(shù)
7.2.4 數(shù)據(jù)資產(chǎn)的價值
7.3 大數(shù)據(jù)的應(yīng)用
7.3.1 從業(yè)務(wù)需求出發(fā)
7.3.2 技術(shù)驅(qū)動和業(yè)務(wù)驅(qū)動結(jié)合
7.3.3 應(yīng)用的突破點
7.3.4 應(yīng)用的總體設(shè)計和規(guī)劃
7.4 應(yīng)用價值的評估
7.4.1 應(yīng)用的評估方法
7.4.2 應(yīng)用的時效性
7.5 還有哪些“痛 ”
7.5.1 如何容忍“互撕期 ”
7.5.2 數(shù)據(jù)質(zhì)量的“苦 ”
7.5.3 技術(shù)選型的“惑 ”
7.5.4 項目管理的“難 ”
7.5.5 人才培養(yǎng)的“狂 ”
8 總結(jié)
8.1 實例分析的價值
8.2 經(jīng)驗教訓(xùn)分享
8.3 未來展望

段方老師的其它課程