《大數(shù)據(jù)分類模型及市場專題模型實(shí)戰(zhàn)》課綱（2-3天-高級）

大數(shù)據(jù)分析與挖掘綜合能力提升實(shí)戰(zhàn)
【課程目標(biāo)】
本課程為高級課程，培訓(xùn)的內(nèi)容是繼中級課程之后學(xué)習(xí)的，同時(shí)提供了更復(fù)雜的數(shù)據(jù)模型來解決實(shí)際工作中的商業(yè)決策問題。
本課程面向高級數(shù)據(jù)分析人員，以及系統(tǒng)開發(fā)人員。
本課程核心內(nèi)容為數(shù)據(jù)挖掘，分類預(yù)測模型，以及專題模型分析，幫助學(xué)員構(gòu)建系統(tǒng)全面的業(yè)務(wù)分析思維，提升學(xué)員的數(shù)據(jù)分析綜合能力。
本課程覆蓋了如下內(nèi)容：
數(shù)據(jù)建模過程
分類預(yù)測模型
分類模型優(yōu)化思路
市場專題分析模型
本系列課程從實(shí)際的業(yè)務(wù)需求出發(fā)，結(jié)合行業(yè)的典型應(yīng)用特點(diǎn)，圍繞實(shí)際的商業(yè)問題，對數(shù)據(jù)分析及數(shù)據(jù)挖掘技術(shù)進(jìn)行了全面的介紹（從數(shù)據(jù)收集與處理，到數(shù)據(jù)分析與挖掘，再到數(shù)據(jù)可視化和報(bào)告撰寫），通過大量的操作演練，幫助學(xué)員掌握數(shù)據(jù)分析和數(shù)據(jù)挖掘的思路、方法、表達(dá)、工具，從大量的企業(yè)經(jīng)營數(shù)據(jù)中進(jìn)行分析，挖掘客戶行為特點(diǎn)，幫助運(yùn)營團(tuán)隊(duì)深入理解業(yè)務(wù)運(yùn)作，以達(dá)到提升學(xué)員的數(shù)據(jù)綜合分析能力，支撐運(yùn)營決策的目的。
通過本課程的學(xué)習(xí)，達(dá)到如下目的：
熟悉建模的一般過程，能夠獨(dú)立完成整個(gè)預(yù)測建模項(xiàng)目的實(shí)現(xiàn)。
熟練使用各種分類預(yù)測模型，以及其應(yīng)用場景。
熟悉模型質(zhì)量評估的關(guān)鍵指標(biāo)，掌握模型優(yōu)化的整體思路。
熟練掌握常用市場專題分析模型：
學(xué)會(huì)做市場客戶細(xì)分，劃分客戶群
學(xué)會(huì)實(shí)現(xiàn)客戶價(jià)值評估
學(xué)會(huì)產(chǎn)品功能設(shè)計(jì)與優(yōu)化
掌握產(chǎn)品精準(zhǔn)推薦模型，學(xué)會(huì)推薦產(chǎn)品
熟悉產(chǎn)品定價(jià)策略，尋找產(chǎn)品最優(yōu)定價(jià)
【授課時(shí)間】
2-3天時(shí)間
【授課對象】
業(yè)務(wù)支撐部、運(yùn)營分析部、數(shù)據(jù)分析部、大數(shù)據(jù)系統(tǒng)開發(fā)部等對業(yè)務(wù)數(shù)據(jù)分析有較高要求的相關(guān)人員?！緦W(xué)員要求】
每個(gè)學(xué)員自備一臺(tái)便攜機(jī)(必須)。
便攜機(jī)中事先安裝好Microsoft Office Excel 2013版本及以上。
便攜機(jī)中事先安裝好IBM SPSS Statistics v24版本及以上。
注：講師可以提供試用版本軟件及分析數(shù)據(jù)源。
【授課方式】
數(shù)據(jù)分析基礎(chǔ) + 方法講解 + 實(shí)際業(yè)務(wù)問題分析 + 工具實(shí)踐操作
采用互動(dòng)式教學(xué)，圍繞業(yè)務(wù)問題，展開數(shù)據(jù)分析過程，全過程演練操作，讓學(xué)員在分析、分享、講授、總結(jié)、自我實(shí)踐過程中獲得能力提升。
【課程大綱】
數(shù)據(jù)建模過程
預(yù)測建模六步法
選擇模型：基于業(yè)務(wù)選擇恰當(dāng)?shù)臄?shù)據(jù)模型
屬性篩選：選擇對目標(biāo)變量有顯著影響的屬性來建模
訓(xùn)練模型：采用合適的算法對模型進(jìn)行訓(xùn)練，尋找到最合適的模型參數(shù)
評估模型：進(jìn)行評估模型的質(zhì)量，判斷模型是否可用
優(yōu)化模型：如果評估結(jié)果不理想，則需要對模型進(jìn)行優(yōu)化
應(yīng)用模型：如果評估結(jié)果滿足要求，則可應(yīng)用模型于業(yè)務(wù)場景
數(shù)據(jù)挖掘常用的模型
數(shù)值預(yù)測模型：回歸預(yù)測、時(shí)序預(yù)測等
分類預(yù)測模型：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等
市場細(xì)分：聚類、RFM、PCA等
產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過濾等
產(chǎn)品優(yōu)化：回歸、隨機(jī)效用等
產(chǎn)品定價(jià)：定價(jià)策略/最優(yōu)定價(jià)等
屬性篩選/特征選擇/變量降維
基于變量本身特征
基于相關(guān)性判斷
因子合并（PCA等）
IV值篩選（評分卡使用）
基于信息增益判斷（決策樹使用）
模型評估
模型質(zhì)量評估指標(biāo)：R^2、正確率/查全率/查準(zhǔn)率/特異性等
預(yù)測值評估指標(biāo)：MAD、MSE/RMSE、MAPE、概率等
模型評估方法：留出法、K拆交叉驗(yàn)證、自助法等
其它評估：過擬合評估
模型優(yōu)化
優(yōu)化模型：選擇新模型/修改模型
優(yōu)化數(shù)據(jù)：新增顯著自變量
優(yōu)化公式：采用新的計(jì)算公式
模型實(shí)現(xiàn)算法（暫略）
好模型是優(yōu)化出來的
案例：通信客戶流失分析及預(yù)警模型
分類預(yù)測模型
問題：如何評估客戶購買產(chǎn)品的可能性？如何預(yù)測客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準(zhǔn)推薦產(chǎn)品或業(yè)務(wù)？
分類模型概述
常見分類預(yù)測模型
邏輯回歸模型
邏輯回歸模型原理及適用場景
邏輯回歸的種類
二項(xiàng)邏輯回歸
多項(xiàng)邏輯回歸
如何解讀邏輯回歸方程
帶分類自變量的邏輯回歸分析
多元邏輯回歸案例：如何評估用戶是否會(huì)購買某產(chǎn)品（二元邏輯回歸）
案例：多品牌選擇模型分析（多元邏輯回歸）
分類決策樹（DT）
問題：如何預(yù)測客戶行為？如何識別潛在客戶？
風(fēng)控：如何識別欠貸者的特征，以及預(yù)測欠貸概率？
客戶保有：如何識別流失客戶特征，以及預(yù)測客戶流失概率？
決策樹分類簡介
案例：美國零售商（Target）如何預(yù)測少女懷孕
演練：識別銀行欠貨風(fēng)險(xiǎn)，提取欠貸者的特征
構(gòu)建決策樹的三個(gè)關(guān)鍵問題
如何選擇最佳屬性來構(gòu)建節(jié)點(diǎn)
如何分裂變量
修剪決策樹
選擇最優(yōu)屬性
熵、基尼索引、分類錯(cuò)誤
屬性劃分增益
如何分裂變量
多元?jiǎng)澐峙c二元?jiǎng)澐?br /> 連續(xù)變量離散化（最優(yōu)劃分點(diǎn)）
修剪決策樹
剪枝原則
預(yù)剪枝與后剪枝
構(gòu)建決策樹的四個(gè)算法
C5.0、CHAID、CART、QUEST
各種算法的比較
如何選擇最優(yōu)分類模型？
案例：商場酸奶購買用戶特征提取
案例：客戶流失預(yù)警與客戶挽留
案例：識別拖欠銀行貨款者的特征，避免不良貨款
案例：識別電信詐騙者嘴臉，讓通信更安全
人工神經(jīng)網(wǎng)絡(luò)（ANN）
神經(jīng)網(wǎng)絡(luò)概述
神經(jīng)網(wǎng)絡(luò)基本原理
神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
神經(jīng)網(wǎng)絡(luò)的建立步驟
神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題
BP反向傳播網(wǎng)絡(luò)（MLP）
徑向基網(wǎng)絡(luò)（RBF）
案例：評估銀行用戶拖欠貨款的概率
判別分析（DA）
判別分析原理
距離判別法
典型判別法
貝葉斯判別法
案例：MBA學(xué)生錄取判別分析
案例：上市公司類別評估
最近鄰分類（KNN）
基本原理
關(guān)鍵問題
貝葉斯分類（NBN）
貝葉斯分類原理
計(jì)算類別屬性的條件概率
估計(jì)連續(xù)屬性的條件概率
貝葉斯網(wǎng)絡(luò)種類：TAN/馬爾科夫毯預(yù)測分類概率（計(jì)算概率）
案例：評估銀行用戶拖欠貨款的概率
支持向量機(jī)（SVM）
SVM基本原理
線性可分問題：最大邊界超平面
線性不可分問題：特征空間的轉(zhuǎn)換
維空難與核函數(shù)
分類模型優(yōu)化
集成方法的基本原理：利用弱分類器構(gòu)建強(qiáng)分類模型
選取多個(gè)數(shù)據(jù)集，構(gòu)建多個(gè)弱分類器
多個(gè)弱分類器投票決定
集成方法/元算法的種類
Bagging算法
Boosting算法
Bagging原理
如何選擇數(shù)據(jù)集
如何進(jìn)行投票
隨機(jī)森林
Boosting的原理
AdaBoost算法流程
樣本選擇權(quán)重計(jì)算公式
分類器投票權(quán)重計(jì)算公式
市場細(xì)分模型
問題：我們的客戶有幾類？各類特征是什么？如何實(shí)現(xiàn)客戶細(xì)分，開發(fā)符合細(xì)分市場的新產(chǎn)品？如何提取客戶特征，從而對產(chǎn)品進(jìn)行市場定位？
市場細(xì)分的常用方法
有指導(dǎo)細(xì)分
無指導(dǎo)細(xì)分
聚類分析
如何更好的了解客戶群體和市場細(xì)分？
如何識別客戶群體特征？
如何確定客戶要分成多少適當(dāng)?shù)念悇e？
聚類方法原理介紹
聚類方法作用及其適用場景
聚類分析的種類
K均值聚類（快速聚類）
案例：移動(dòng)三大品牌細(xì)分市場合適嗎？
演練：寶潔公司如何選擇新產(chǎn)品試銷區(qū)域？
演練：如何評選優(yōu)秀員工？
演練：中國各省份發(fā)達(dá)程度分析，讓數(shù)據(jù)自動(dòng)聚類
層次聚類（系統(tǒng)聚類）：發(fā)現(xiàn)多個(gè)類別
R型聚類與Q型聚類的區(qū)別
案例：中移動(dòng)如何實(shí)現(xiàn)客戶細(xì)分及營銷策略
演練：中國省市經(jīng)濟(jì)發(fā)展情況分析（Q型聚類）
演練：裁判評分的標(biāo)準(zhǔn)衡量，避免“黑哨”（R型聚類）
兩步聚類
主成分分析
主成分分析方法介紹
主成分分析基本思想
主成分分析步驟
案例：如何評估汽車購買者的客戶細(xì)分市場
客戶價(jià)值分析
營銷問題：如何評估客戶的價(jià)值？不同的價(jià)值客戶有何區(qū)別對待？
如何評價(jià)客戶生命周期的價(jià)值
貼現(xiàn)率與留存率
評估客戶的真實(shí)價(jià)值
使用雙向表衡量屬性敏感度
變化的邊際利潤
案例：評估營銷行為的合理性
RFM模型（客戶價(jià)值評估）
RFM模型，更深入了解你的客戶價(jià)值
RFM模型與市場策略
RFM模型與活躍度分析
案例：淘寶客戶價(jià)值評估與促銷名單
案例：重購用戶特征分析
產(chǎn)品推薦模型
問題：購買A產(chǎn)品的顧客還常常要購買其他什么產(chǎn)品？應(yīng)該給客戶推薦什么產(chǎn)品最有可能被接受？
常用產(chǎn)品推薦模型
關(guān)聯(lián)分析
如何制定套餐，實(shí)現(xiàn)交叉/捆綁銷售
案例：啤酒與尿布、颶風(fēng)與蛋撻關(guān)聯(lián)分析模型原理（Association）
關(guān)聯(lián)規(guī)則的兩個(gè)關(guān)鍵參數(shù)
支持度
置信度
關(guān)聯(lián)分析的適用場景
案例：購物籃分析與產(chǎn)品捆綁銷售/布局優(yōu)化
案例：通信產(chǎn)品的交叉銷售與產(chǎn)品推薦
協(xié)同過濾
產(chǎn)品設(shè)計(jì)優(yōu)化
聯(lián)合分析法
離散選擇模型
如何評估客戶購買產(chǎn)品的概率
如何指導(dǎo)產(chǎn)品開發(fā)？如何確定產(chǎn)品的重要特性
競爭下的產(chǎn)品動(dòng)態(tài)調(diào)價(jià)
如何評估產(chǎn)品的價(jià)格彈性
案例：產(chǎn)品開發(fā)與設(shè)計(jì)分析
案例：品牌價(jià)值與價(jià)格敏感度分析
案例：納什均衡價(jià)格
品牌價(jià)值評估
新產(chǎn)品市場占有率評估
產(chǎn)品定價(jià)策略及產(chǎn)品最優(yōu)定價(jià)
營銷問題：產(chǎn)品如何實(shí)現(xiàn)最估定價(jià)？套餐價(jià)格如何確定？采用哪些定價(jià)策略可達(dá)到利潤最大化？
常見的定價(jià)方法
產(chǎn)品定價(jià)的理論依據(jù)
需求曲線與利潤最大化
如何求解最優(yōu)定價(jià)
案例：產(chǎn)品最優(yōu)定價(jià)求解
如何評估需求曲線
價(jià)格彈性
曲線方程（線性、乘冪）
如何做產(chǎn)品組合定價(jià)
如何做產(chǎn)品捆綁/套餐定價(jià)
最大收益定價(jià)（演進(jìn)規(guī)劃求解）
避免價(jià)格反轉(zhuǎn)的套餐定價(jià)
案例：電信公司的寬帶、IPTV、移動(dòng)電話套餐定價(jià)
非線性定價(jià)原理
要理解支付意愿曲線
支付意愿曲線與需求曲線的異同
案例：雙重收費(fèi)如何定價(jià)（如會(huì)費(fèi)+按次計(jì)費(fèi)）
階梯定價(jià)策略
案例：電力公司如何做階梯定價(jià)
數(shù)量折扣定價(jià)策略
案例：如何通過折扣來實(shí)現(xiàn)薄利多銷
定價(jià)策略的評估與選擇
案例：零售公司如何選擇最優(yōu)定價(jià)策略
航空公司的收益管理
收益管理介紹
如何確定機(jī)票預(yù)訂限制
如何確定機(jī)票超售數(shù)量
如何評估模型的收益
案例：FBN航空公司如何實(shí)現(xiàn)收益管理（預(yù)訂/超售）
信用評分卡模型信用評分卡模型簡介
評分卡的關(guān)鍵問題
信用評分卡建立過程
篩選重要屬性
數(shù)據(jù)集轉(zhuǎn)化
建立分類模型
計(jì)算屬性分值
確定審批閾值
篩選重要屬性
屬性分段
基本概念：WOE、IV
屬性重要性評估
數(shù)據(jù)集轉(zhuǎn)化
連續(xù)屬性最優(yōu)分段
計(jì)算屬性取值的WOE
建立分類模型
訓(xùn)練邏輯回歸模型
評估模型
得到字段系數(shù)
計(jì)算屬性分值
計(jì)算補(bǔ)償與刻度值
計(jì)算各字段得分
生成評分卡
確定審批閾值
畫K-S曲線
計(jì)算K-S值
獲取最優(yōu)閾值
實(shí)戰(zhàn)篇
電信業(yè)客戶流失預(yù)警和客戶挽留模型實(shí)戰(zhàn)
銀行欠貸風(fēng)險(xiǎn)預(yù)測模型實(shí)戰(zhàn)
銀行信用卡評分模型實(shí)戰(zhàn)
結(jié)束：課程總結(jié)與問題答疑。

傅一航老師的其它課程