CDA數(shù)據(jù)分析師認證之數(shù)據(jù)挖掘實戰(zhàn)培訓

【課程大綱】

**部分：數(shù)據(jù)集基礎知識（了解你的數(shù)據(jù)集）

1、 數(shù)據(jù)集概述

2、 數(shù)據(jù)集的類型

3、 數(shù)據(jù)集屬性的類型

? 標稱

? 序數(shù)

? 度量

4、 數(shù)據(jù)質(zhì)量三要素

? 準確性

? 完整性

? 一致性

5、 數(shù)據(jù)預處理的內(nèi)容

? 數(shù)據(jù)清理（缺失值、離群值的處理方法）

? 數(shù)據(jù)歸約（維災難、維歸約、主成分分析）

? 特征子集選擇

? 特征創(chuàng)建/屬性構造

? 數(shù)據(jù)離散化和二元化

? 屬性/變量轉換

6、 數(shù)據(jù)探索性分析

? 統(tǒng)計匯總

? 可視化

演練：描述性分析（頻數(shù)、描述、探索、分類匯總）

第二部分：數(shù)據(jù)挖掘流程（基礎，決定你的高度）

1、 數(shù)據(jù)挖掘概述

2、 數(shù)據(jù)挖掘的標準流程（CRISP-DM）

? 商業(yè)理解

? 數(shù)據(jù)準備

? 數(shù)據(jù)理解

? 模型建立

? 模型評估

? 模型應用

案例：4G終端營銷項目挖掘過程分析

案例：客戶匹配度模型—數(shù)據(jù)建模

3、 常用數(shù)據(jù)統(tǒng)計指標

? 集中程度：均值、中位數(shù)、眾數(shù)

? 離開程度：方差、標準差、極差

? 分布趨勢：偏度、峰度

? 理解分布：正態(tài)分布、T分布、F分布

4、 SPSS基本操作（預處理）

? 數(shù)據(jù)導入

? 數(shù)據(jù)排序（排序個案）

? 重復數(shù)據(jù)處理（標識重復個案）

? 缺失值處理（替換缺失值）

? 生成新變量（計算變量、重新編碼）

? 數(shù)據(jù)分組（分類匯總）

? 數(shù)據(jù)合并（合并文件）

演練：SPSS基本操作

第三部分：數(shù)據(jù)挖掘實戰(zhàn)篇

1、 參數(shù)檢驗分析（樣本均值檢驗）

商業(yè)問題：如何驗證營銷效果的有效性？

? 參數(shù)檢驗概述

2 單樣本T檢驗

2 兩獨立樣本T檢驗

2 兩配對樣本T檢驗

? 參數(shù)檢驗原理以及步驟

? 參數(shù)檢驗適用場景

案例：電信運營商的ARPU值評估分析（單樣本）

案例：信用卡消費金額評估分析（單樣本）

案例：營銷方式與產(chǎn)品銷量的影響分析（兩獨立樣本）

案例：吸煙與膽固醇升高的分析（兩獨立樣本）

案例：營銷方式有效性評估（兩配對樣本）

案例：減肥效果評估（兩配對樣本）

2、 非參數(shù)檢驗分析（樣本分布檢驗）

商業(yè)問題：這些屬性數(shù)據(jù)的分布情況如何？如何從數(shù)據(jù)分布中看出問題？

? 非參數(shù)檢驗概述

2 單樣本檢驗

2 兩獨立樣本檢驗

2 兩相關樣本檢驗

2 兩配對樣本檢驗

? 非參數(shù)檢驗原理

? 卡方檢驗、二項分布、游程檢驗的原理及適用場景

案例：死亡分布檢驗（單樣本-卡方檢驗）

案例：產(chǎn)品合格率檢驗（單樣本-二項分布）

案例：身高分布差異檢驗（單樣本-KS檢驗）

案例：設備正常工作檢驗（單樣本-隨機分布）

案例：制造工藝差異檢驗（兩獨立樣本-MW檢驗）

案例：訓練新方法有效性檢驗（兩配對樣本-符號/秩檢驗）

案例：促銷方式效果檢驗(多相關樣本-Friedman檢驗)

案例：客戶滿意度差異檢驗(多相關樣本-Cochran Q檢驗)

案例：評委評判黑幕檢驗（多相關樣本-Kendall W檢驗）

3、 相關分析（相關程度計算）

商業(yè)問題：這兩個屬性是否會相互影響？影響程度大嗎？

? 相關分析概述

? 計算相關系數(shù)的三個公式

案例：家庭生活開支的相關分析（Pearson簡單相關系數(shù)）

案例：營銷費用與銷售額的相關分析

案例：哪些因素與汽車銷量有相關性

案例：腰圍與體重的相關分析（偏相關分析）

4、 方差分析（影響因素分析）

商業(yè)問題：哪些才是影響銷量的關鍵因素？

? 方差分析原理

? 方差分析的步驟

? 方差分析適用場景

? 如何解讀方差分析結果

案例：終端陳列位置對終端銷量的影響分析（單因素）

案例：廣告形式、地區(qū)對銷量的影響因素分析（多因素）

案例：2015年大學生工資與父母職業(yè)的關系

案例：飼料對生豬體重的影響分析（協(xié)方差分析）

5、 回歸分析（預測分析）

商業(yè)問題：如何預測未來的銷售量（定量分析）？

? 回歸分析概述及適用場景

? 回歸分析的檢驗過程

? 如何選擇**優(yōu)回歸模型

? 解讀回歸分析結果

案例：推廣費用、辦公費用與銷售額的關系（線性回歸）

案例：人均現(xiàn)金消費支出對人均食品消費支出的影響（曲線回歸）

? 帶分類變量的回歸分析

? 比如，如何預測隨著季節(jié)性變化的銷量情況

案例：員工工齡、性別與終端銷售的關系分析

案例：產(chǎn)品銷量的季節(jié)性變化預測

6、 邏輯回歸分析（預測分析）

商業(yè)問題：如果評估用戶購買某產(chǎn)品的概率？

? 邏輯回歸分析原理

? 邏輯回歸分析的適用場景

案例：客戶購買預測分析（二元邏輯回歸）

案例：品牌選擇預測分析（多項邏輯回歸）

7、 時間序列分析（預測分析）

商業(yè)問題：隨著時間變化，未來的銷量變化趨勢如何？

? 時序分析概述

2 移動平均MA模型

2 指數(shù)平滑ES模型

2 自回歸滑動平均ARIMA模型

2 季節(jié)分解模型

? 時序分析適用場景

案例：汽車銷量預測分析（指數(shù)平滑）

案例：上交所指數(shù)收益率預測分析（ARIMA）

案例：服裝銷售數(shù)據(jù)季節(jié)性趨勢預測分析（季節(jié)分解）

第四部分：高級數(shù)據(jù)挖掘方法

1、 聚類分析（Clustering）

商業(yè)問題：我們的客戶有幾類？各類特征是什么？

? 聚類方法原理介紹

? 聚類方法適用場景

? 系統(tǒng)聚類（層次聚類）算法原理

? 如何判定**聚類類別數(shù)量

案例：數(shù)據(jù)聚類分析--小康指數(shù)劃分（Q型聚類）

案例：變量聚類分析--裁判標準一致性分析（R型聚類）

? K均值聚類（快速聚類）算法原理

案例：移動三大品牌細分市場合適嗎？

案例：如何評選優(yōu)秀員工（固定聚類中心）

演練：如何選擇新產(chǎn)品試銷地點？

2、 決策樹分類分析（Classification）

商業(yè)問題：這類客戶有什么特征？有什么潛在銷售機會？

? 決策樹原理介紹

? 構建決策樹的三個關鍵問題

2 如何選擇**屬性來構建節(jié)點

2 如何分裂變量

2 修剪決策樹

? 選擇**優(yōu)屬性

2 熵、基尼索引、分類錯誤

2 屬性劃分增益

? 如何分裂變量

2 多元劃分與二元劃分

2 連續(xù)變量離散化（**優(yōu)劃分點）

? 修剪決策樹

2 剪枝原則

2 預剪枝與后剪枝

? 如何評估分類性能

案例：銀行低信用客戶特征分析（決策樹分類）

3、 基于規(guī)則的分類

? 基于規(guī)則分類原理介紹

? 評估規(guī)則的質(zhì)量

? 構建分類規(guī)則：順序覆蓋法

? 規(guī)則增長策略

4、 **近鄰分類

5、 樸素貝葉斯分類

? 貝葉斯分類原理

? 計算類別屬性的條件概率

? 估計連續(xù)屬性的條件概率

? 預測分類概率（計算概率）

案例：評估銀行用戶拖欠貨款的概率

6、 人工神經(jīng)網(wǎng)絡（ANN）

? 神經(jīng)網(wǎng)絡基本原理

? 神經(jīng)網(wǎng)絡的結構

? ANN關鍵問題

? MLP與RBF

案例：評估銀行用戶拖欠貨款的概率

7、 判別分析

? 判別分析原理

? 距離判別法

? 典型判別法

? 貝葉斯判別法

案例：MBA學生錄取判別分析

案例：上市公司類別評估

8、 關聯(lián)分析（Association）

商業(yè)問題：購買A產(chǎn)品的顧客還常常要購買其他什么產(chǎn)品？

? 關聯(lián)規(guī)則原理介紹

? 關聯(lián)規(guī)則的兩個關鍵參數(shù)

2 支持度

2 置信度

? Apriori算法介紹

? FP-Growth算法介紹

? 關聯(lián)規(guī)則適用場景

案例：商品套餐設計、商品交叉銷售（關聯(lián)分析）

9、 客戶價值評估RFM模型

商業(yè)問題：如何評估客戶的價值？不同價值客戶的營銷策略有什么區(qū)別？

? RFM模型介紹

? RFM模型用戶分類與業(yè)務策略

? RFM與客戶活躍度分析

案例：客戶價值如何評估（什么才是VIP用戶）

案例：如何選擇促銷用戶（響應模型與促銷）

案例：回頭客用戶特征分析（決策樹分析）

10、 主成分分析

? 主成分分析方法介紹

? 主成分分析基本思想

? 主成分分析步驟

案例：評估汽車購買者關注的哪些因素

第五部分：統(tǒng)計圖表篇（看圖說話）

1、 柱狀圖/線圖/餅圖/高低圖/箱圖/散點圖/直方圖

2、 圖形的表達及適用場景

案例：各種圖形繪制

實戰(zhàn)1：客戶流失預警與客戶挽留之真實數(shù)據(jù)分析實踐

實戰(zhàn)2：銀行信用風險分析

結束：課程總結與問題答疑。

傅一航老師的其它課程