《大數(shù)據(jù)分析與挖掘綜合能力提升實戰(zhàn)》課綱（2-3天-中級）

大數(shù)據(jù)分析與挖掘綜合能力提升實戰(zhàn)
【課程目標】
本課程為大數(shù)據(jù)分析中級課程，需要在初級課程之后學習。面向所有應用型人員，包括業(yè)務部分，以及數(shù)據(jù)分析部門，系統(tǒng)開發(fā)人員也同樣需要學習。
本課程核心內(nèi)容為數(shù)據(jù)挖掘，預測模型，以及模型優(yōu)化，幫助學員構(gòu)建系統(tǒng)全面的業(yè)務分析思維，提升學員的數(shù)據(jù)分析綜合能力。
本課程覆蓋了如下內(nèi)容：
數(shù)據(jù)挖掘基礎知識。
常用數(shù)值預測模型。
常用時序預測模型。
數(shù)據(jù)預處理的基本過程。
本系列課程從實際的業(yè)務需求出發(fā)，結(jié)合行業(yè)的典型應用特點，圍繞實際的商業(yè)問題，對數(shù)據(jù)分析及數(shù)據(jù)挖掘技術(shù)進行了全面的介紹（從數(shù)據(jù)收集與處理，到數(shù)據(jù)分析與挖掘，再到數(shù)據(jù)可視化和報告撰寫），通過大量的操作演練，幫助學員掌握數(shù)據(jù)分析和數(shù)據(jù)挖掘的思路、方法、表達、工具，從大量的企業(yè)經(jīng)營數(shù)據(jù)中進行分析，挖掘客戶行為特點，幫助運營團隊深入理解業(yè)務運作，以達到提升學員的數(shù)據(jù)綜合分析能力，支撐運營決策的目的。
通過本課程的學習，達到如下目的：
了解數(shù)據(jù)挖掘基礎知識，以及數(shù)據(jù)挖掘標準過程。
掌握建模前的影響因素分析，學會尋找影響業(yè)務的關鍵因素。
熟練使用數(shù)值預測模型，掌握回歸預測模型，學會解讀模型中業(yè)務規(guī)律。
學會自定義回歸模型，能夠?qū)貧w模型進行優(yōu)化，并找到最優(yōu)的回歸模型。
熟練掌握預處理的基本過程，并根據(jù)業(yè)務實際情況進行處理。
【授課時間】
2-3天時間
【授課對象】
業(yè)務支撐部、運營分析部、數(shù)據(jù)分析部、大數(shù)據(jù)系統(tǒng)開發(fā)部等對業(yè)務數(shù)據(jù)分析有較高要求的相關人員。
【學員要求】
每個學員自備一臺便攜機(必須)。
便攜機中事先安裝好Microsoft Office Excel 2013版本及以上。
便攜機中事先安裝好IBM SPSS Statistics v19版本及以上。
注：講師可以提供試用版本軟件及分析數(shù)據(jù)源。
【授課方式】
數(shù)據(jù)分析基礎 + 方法講解 + 實際業(yè)務問題分析 + 工具實踐操作
采用互動式教學，圍繞業(yè)務問題，展開數(shù)據(jù)分析過程，全過程演練操作，讓學員在分析、分享、講授、總結(jié)、自我實踐過程中獲得能力提升。
【課程大綱】
數(shù)據(jù)挖掘基礎
數(shù)據(jù)挖掘概述
數(shù)據(jù)挖掘的標準流程（CRISP-DM）
商業(yè)理解
數(shù)據(jù)準備
數(shù)據(jù)理解
模型建立
模型評估
模型應用
案例：客戶流失預測及客戶挽留
數(shù)據(jù)集概述
變量的類型
存儲類型
度量類型
角色
SPSS工具介紹
數(shù)據(jù)挖掘常用模型
影響因素分析篇
問題：如何判斷一個因素對另一個因素有影響？比如：價格是否會影響產(chǎn)品銷量？產(chǎn)品的陳列位置是否會影響銷量？學歷是否與客戶流失有關系？影響風險的關鍵因素有哪些？影響因素分析的常見方法
相關分析（衡量兩數(shù)據(jù)型變量的線性相關性）
問題：這兩個屬性是否會相互影響？影響程度大嗎？
相關分析簡介相關分析的應用場景
相關分析的種類
簡單相關分析
偏相關分析
距離相關分析
相關系數(shù)的三種計算公式
Pearson相關系數(shù)
Spearman相關系數(shù)
Kendall相關系數(shù)
相關分析的假設檢驗
相關分析的四個基本步驟
演練：體重與腰圍的關系
演練：營銷費用會影響銷售額嗎
演練：哪些因素與汽車銷量有相關性
演練：話費與網(wǎng)齡的相關分析
偏相關分析
偏相關原理：排除不可控因素后的兩變量的相關性
偏相關系數(shù)的計算公式
偏相關分析的適用場景
距離相關分析
方差分析（衡量類別變量與數(shù)值變量間的相關性）
問題：哪些才是影響銷量的關鍵因素？
方差分析的應用場景
方差分析的三個種類
單因素方差分析
多因素方差分析
協(xié)方差分析
方差分析的原理
方差分析的四個步驟
解讀方差分析結(jié)果的兩個要點
演練：終端擺放位置與終端銷量有關嗎
演練：開通月數(shù)對客戶流失的影響分析
演練：客戶學歷對消費水平的影響分析
演練：廣告和價格是影響終端銷量的關鍵因素嗎
演練：營業(yè)員的性別、技能級別對產(chǎn)品銷量有影響嗎
演練：尋找影響產(chǎn)品銷量的關鍵因素
多因素方差分析原理
多因素方差分析的作用
多因素方差結(jié)果的解讀
演練：廣告形式、地區(qū)對銷量的影響因素分析（多因素）
協(xié)方差分析原理
協(xié)方差分析的適用場景
演練：飼料對生豬體重的影響分析（協(xié)方差分析）
列聯(lián)分析/卡方檢驗（兩類別變量的相關性分析）
交叉表與列聯(lián)表
卡方檢驗的原理
卡方檢驗的幾個計算公式
列聯(lián)表分析的適用場景
案例：套餐類型對客戶流失的影響分析
案例：學歷對業(yè)務套餐偏好的影響分析
案例：行業(yè)/規(guī)模對風控的影響分析
相關性分析方法總結(jié)
回歸預測模型篇
問題：如何預測產(chǎn)品的銷量/銷售金額？
常用預測模型
數(shù)值預測：回歸預測/時序預測
分類預測：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡、…
回歸分析/回歸預測
問題：如何預測未來的銷售量（定量分析）？
回歸分析簡介
回歸分析的種類（一元/多元、線性/曲線）
得到回歸方程的常用工具
散點圖+趨勢線
線性回歸工具
規(guī)劃求解工具
演練：散點圖找營銷費用與銷售額的關系（一元回歸）
線性回歸分析的五個步驟
演練：營銷費用、辦公費用與銷售額的關系（線性回歸）
解讀線性回歸分析結(jié)果的技巧
定性描述：正相關/負相關
定量描述：自變量變化導致因變量的變化程度
回歸預測模型質(zhì)量
評估指標：判定系數(shù)R^2、
如何選擇最佳回歸模型
演練：如何選擇最佳的回歸預測模型（一元曲線回歸）
預測值準確性評估
MAD、MSE/RMSE、MAPE等
演練：如何選擇最佳的回歸預測模型（一元曲線回歸）
帶分類變量的回歸預測
演練：汽車季度銷量預測
演練：工齡、性別與終端銷量的關系
演練：如何評估銷售目標與資源配置（營業(yè)廳）
自動篩選不顯著因素（自變量）
回歸模型優(yōu)化篇
回歸分析的基本原理
三個基本概念：總變差、回歸變差、剩余變差
方程的顯著性檢驗：是否可以做回歸分析？
因素的顯著性檢驗：自變量是否可用？
擬合優(yōu)度檢驗：回歸模型的質(zhì)量評估？
理解標準誤差的含義：預測的準確性？
模型優(yōu)化思路：尋找最佳回歸擬合線
如何處理預測離群值（剔除離群值）
如何剔除不顯著因素（剔除不顯著因素）
如何進行非線性關系檢驗（增加非線性自變量）
如何進行相互作用檢驗（增加相互作用自變量）
如何進行多重共線性檢驗（剔除共線性自變量）
如何檢驗誤差項（修改因變量）
如何判斷模型過擬合（模型過擬合判斷）
演練：模型優(yōu)化案例規(guī)劃求解工具簡介（自定義回歸模型的工具）
自定義模型（如何利用規(guī)劃求解進行自定義模型）
案例：如何對餐廳客流量進行建模及模型優(yōu)化好模型都是優(yōu)化出來的
時序預測模型篇
問題：類似于GDP這種無法找到或找全影響因素，無法進行回歸建模，怎么辦？時間序列簡介
時間序列常用模型評估預測值的準確度指標
平均絕對誤差MAD
均方差MSE/RMSE
平均誤差率MAPE移動平均（MA）
應用場景及原理
移動平均種類
一次移動平均
二次移動平均
加權(quán)移動平均
移動平均比率法
移動平均關鍵問題
期數(shù)N的最佳選擇方法
最優(yōu)權(quán)重系數(shù)的選取方法
演練：平板電腦銷量預測及評估
演練：快銷產(chǎn)品季節(jié)銷量預測及評估
指數(shù)平滑（ES）
應用場景及原理
最優(yōu)平滑系數(shù)的選取原則
指數(shù)平滑種類
一次指數(shù)平滑
二次指數(shù)平滑（Brown線性、Holt線性、Holt指數(shù)、阻尼線性、阻尼指數(shù)）
三次指數(shù)平滑
演練：煤炭產(chǎn)量預測
演練：航空旅客量預測及評估
溫特斯季節(jié)預測模型
適用場景及原理
Holt-Winters加法模型
Holt-Winters乘法模型
演練：汽車銷量預測及評估
回歸季節(jié)預測模型
回歸季節(jié)模型的參數(shù)
基于時期t的相加模型
基于時期t的相乘模型
怎樣解讀模型的含義
案例：美國航空旅客里程的季節(jié)性趨勢分析
ARIMA模型
適用場景及原理
ARIMA操作
演練：上海證券交易所綜合指數(shù)收益率序列分析
演練：服裝銷售數(shù)據(jù)季節(jié)性趨勢預測分析新產(chǎn)品銷量預測模型
新產(chǎn)品累計銷量的S曲線
如何評估銷量增長的拐點及銷量上限
珀爾曲線與龔鉑茲曲線
演練：預測IPad產(chǎn)品的銷量
演練：預測Facebook的用戶增長情況
數(shù)據(jù)預處理篇（了解你的數(shù)據(jù)集）
數(shù)據(jù)預處理的主要任務
數(shù)據(jù)集成：多個數(shù)據(jù)集的合并
數(shù)據(jù)清理：異常值的處理
數(shù)據(jù)處理：數(shù)據(jù)篩選、數(shù)據(jù)精簡、數(shù)據(jù)平衡
變量處理：變量變換、變量派生、變量精簡
數(shù)據(jù)歸約：實現(xiàn)降維，避免維災難
數(shù)據(jù)集成
外部數(shù)據(jù)讀入：Txt/Excel/SPSS/Database
數(shù)據(jù)追加（添加數(shù)據(jù)）
變量合并（添加變量）
數(shù)據(jù)理解（異常數(shù)據(jù)處理）
取值范圍限定
重復值處理
無效值/錯誤值處理
缺失值處理
離群值/極端值處理
數(shù)據(jù)質(zhì)量評估
數(shù)據(jù)準備：數(shù)據(jù)處理
數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）
數(shù)據(jù)精簡：數(shù)據(jù)分段/離散化（減少變量的取值個數(shù)）
數(shù)據(jù)平衡：正反樣本比例均衡
數(shù)據(jù)準備：變量處理
變量變換：原變量取值更新，比如標準化
變量派生：根據(jù)舊變量生成新的變量
變量精簡：降維，減少變量個數(shù)
數(shù)據(jù)降維
常用降維的方法
如何確定變量個數(shù)
特征選擇：選擇重要變量，剔除不重要的變量
從變量本身考慮
從輸入變量與目標變量的相關性考慮
對輸入變量進行合并
因子分析（主成分分析）
因子分析的原理
因子個數(shù)如何選擇
如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
數(shù)據(jù)探索性分析
常用統(tǒng)計指標分析
單變量：數(shù)值變量/分類變量
雙變量：交叉分析/相關性分析
多變量：特征選擇、因子分析
演練：描述性分析（頻數(shù)、描述、探索、分類匯總）
數(shù)據(jù)可視化
數(shù)據(jù)可視化：柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等
圖形的表達及適用場景
演練：各種圖形繪制
結(jié)束：課程總結(jié)與問題答疑。

傅一航老師的其它課程