Python數(shù)據(jù)建模(分類篇)
Python數(shù)據(jù)建模(分類篇)詳細(xì)內(nèi)容
Python數(shù)據(jù)建模(分類篇)
Python數(shù)據(jù)建模(分類模型篇)【課程目標(biāo)】
本課程主要講解如何利用Python進(jìn)行分類數(shù)據(jù)建模。
通過本課程的學(xué)習(xí),達(dá)到如下目的:
掌握數(shù)據(jù)建模的標(biāo)準(zhǔn)流程。
掌握各種分類預(yù)測(cè)模型的原理,以及算法實(shí)現(xiàn)。
掌握各種分類模型類的重要參數(shù),以及應(yīng)用。
掌握模型的評(píng)估指標(biāo)、評(píng)估方法,以及過擬合評(píng)估。
掌握模型優(yōu)化的基本方法,學(xué)會(huì)超參優(yōu)化。
掌握集成優(yōu)化思想,掌握高級(jí)的分類模型。
【授課時(shí)間】
2-5天時(shí)間
(要根據(jù)學(xué)員的實(shí)際情況調(diào)整重點(diǎn)內(nèi)容及時(shí)間)
【授課對(duì)象】
業(yè)務(wù)支持部、IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)分析中心、網(wǎng)絡(luò)運(yùn)維部等相關(guān)技術(shù)人員。
【學(xué)員要求】
每個(gè)學(xué)員自備一臺(tái)便攜機(jī)(必須)。
便攜機(jī)中事先安裝好Python 3.9版本及以上。
安裝好Numpy,Pandas,statsmodels,sklearn,scipy等常用庫(kù)。
注:講師現(xiàn)場(chǎng)提供分析的數(shù)據(jù)源。
【授課方式】
建模流程+ 案例演練 + 開發(fā)實(shí)踐 + 可視化呈現(xiàn)
采用互動(dòng)式教學(xué),圍繞業(yè)務(wù)問題,展開數(shù)據(jù)分析過程,全過程演練操作,讓學(xué)員在分析、分享、講授、總結(jié)、自我實(shí)踐過程中獲得能力提升。
【課程大綱】
預(yù)測(cè)建模基礎(chǔ)
數(shù)據(jù)建模六步法
選擇模型:基于業(yè)務(wù)選擇恰當(dāng)?shù)臄?shù)據(jù)模型
屬性篩選:選擇對(duì)目標(biāo)變量有顯著影響的屬性來建模
訓(xùn)練模型:采用合適的算法,尋找到最合適的模型參數(shù)
評(píng)估模型:進(jìn)行評(píng)估模型的質(zhì)量,判斷模型是否可用
優(yōu)化模型:如果評(píng)估結(jié)果不理想,則需要對(duì)模型進(jìn)行優(yōu)化
應(yīng)用模型:如果評(píng)估結(jié)果滿足要求,則可應(yīng)用模型于業(yè)務(wù)場(chǎng)景
數(shù)據(jù)挖掘常用的模型
數(shù)值預(yù)測(cè)模型:回歸預(yù)測(cè)、時(shí)序預(yù)測(cè)等
分類預(yù)測(cè)模型:邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等
市場(chǎng)細(xì)分:聚類、RFM、PCA等
產(chǎn)品推薦:關(guān)聯(lián)分析、協(xié)同過濾等
產(chǎn)品優(yōu)化:回歸、隨機(jī)效用等
產(chǎn)品定價(jià):定價(jià)策略/最優(yōu)定價(jià)等
屬性篩選/特征選擇/變量降維
基于變量本身特征
基于相關(guān)性判斷
因子合并(PCA等)
IV值篩選(評(píng)分卡使用)
基于信息增益判斷(決策樹使用)
訓(xùn)練模型及實(shí)現(xiàn)算法
模型原理
算法實(shí)現(xiàn)
模型評(píng)估
評(píng)估指標(biāo)
評(píng)估方法
過擬合評(píng)估
模型優(yōu)化
優(yōu)化模型:選擇新模型/修改模型
優(yōu)化數(shù)據(jù):新增顯著自變量
優(yōu)化公式:采用新的計(jì)算公式
模型應(yīng)用
模型解讀
模型部署
模型應(yīng)用
好模型是優(yōu)化出來的
分類模型評(píng)估
三個(gè)方面評(píng)估:指標(biāo)、方法、過擬合
兩大矩陣
混淆矩陣
代價(jià)矩陣
六大指標(biāo)
正確率Accuracy
查準(zhǔn)率Precision
查全率Recall
特異度Specify
F度量值(F1/Fβ)
提升指標(biāo)lift
三條曲線
ROC曲線和AUC
PR曲線和BEP
KS曲線和KS值
多分類模型評(píng)估指標(biāo)
宏指標(biāo):macro_P, macro_R宏指標(biāo):micro_P, micro_R模型評(píng)估方法
原始評(píng)估法
留出法(Hold-Out)
交叉驗(yàn)證法(k-fold cross validation)
自助采樣法(Bootstrapping)
其它評(píng)估
過擬合評(píng)估:學(xué)習(xí)曲線
殘差評(píng)估:白噪聲評(píng)估
邏輯回歸
問題:如何評(píng)估客戶購(gòu)買產(chǎn)品的可能性?如何預(yù)測(cè)客戶行為?
如何預(yù)測(cè)客戶流失?銀行如何實(shí)現(xiàn)欠貸風(fēng)險(xiǎn)控制?
邏輯回歸模型簡(jiǎn)介
邏輯回歸的種類
二項(xiàng)邏輯回歸
多項(xiàng)邏輯回歸
邏輯回歸方程解讀
帶分類自變量的邏輯回歸
邏輯回歸的算法實(shí)現(xiàn)及優(yōu)化
迭代樣本的隨機(jī)選擇
變化的學(xué)習(xí)率
邏輯回歸+正則項(xiàng)
求解算法與懲罰項(xiàng)的互斥關(guān)系
多元邏輯回歸處理
ovoovr邏輯回歸建模過程
案例:用sklearn庫(kù)實(shí)現(xiàn)銀行貸款違約預(yù)測(cè)
案例:訂閱者用戶的典型特征(二元邏輯回歸)
案例:通信套餐的用戶畫像(多元邏輯回歸)
決策樹
分類決策樹簡(jiǎn)介
演練:識(shí)別銀行欠貨風(fēng)險(xiǎn),提取欠貸者的特征
決策樹的三個(gè)關(guān)鍵問題
最優(yōu)屬性選擇
熵、基尼系數(shù)
信息增益、信息增益率
屬性最佳劃分
多元?jiǎng)澐峙c二元?jiǎng)澐?br />
連續(xù)變量最優(yōu)劃分
決策樹修剪
剪枝原則
預(yù)剪枝與后剪枝
構(gòu)建決策樹的算法
C5.0、CHAID、CART、QUEST
各種算法的比較
決策樹的超參優(yōu)化
決策樹的解讀
決策樹建模過程
案例:商場(chǎng)酸奶購(gòu)買用戶特征提取
案例:客戶流失預(yù)警與客戶挽留
案例:識(shí)別拖欠銀行貨款者的特征,避免不良貨款
案例:識(shí)別電信詐騙者嘴臉,讓通信更安全
案例:電力竊漏用戶自動(dòng)識(shí)別
人工神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介(ANN)
神經(jīng)元基本原理
加法器
激活函數(shù)
神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
隱藏層數(shù)量
神經(jīng)元個(gè)數(shù)
神經(jīng)網(wǎng)絡(luò)的建立步驟
神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題
BP算法實(shí)現(xiàn)
MLP多層神經(jīng)網(wǎng)絡(luò)
案例:評(píng)估銀行用戶拖欠貨款的概率
案例:神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)產(chǎn)品銷量
支持向量機(jī)(SVM)
支持向量機(jī)簡(jiǎn)介
適用場(chǎng)景
支持向量機(jī)原理
支持向量
最大邊界超平面
線性不可分處理
松弛系數(shù)
非線性SVM分類
常用核函數(shù)
線性核函數(shù)
多項(xiàng)式核
高斯RBF核
核函數(shù)的選擇原則
模型集成優(yōu)化篇
模型的優(yōu)化思想
集成模型的框架
Bagging
Boosting
Stacking
集成算法的關(guān)鍵過程
弱分類器如何構(gòu)建
組合策略:多個(gè)弱學(xué)習(xí)器如何形成強(qiáng)學(xué)習(xí)器
Bagging集成算法
數(shù)據(jù)/屬性重抽樣
決策依據(jù):少數(shù)服從多數(shù)
隨機(jī)森林RandomForestBoosting集成算法
基于誤分?jǐn)?shù)據(jù)建模
樣本選擇權(quán)重更新
決策依據(jù):加權(quán)投票
AdaBoost模型
GBDT模型
XGBoost模型
LightGBM模型
案例實(shí)戰(zhàn)
客戶流失預(yù)測(cè)和客戶挽留模型
銀行欠貸風(fēng)險(xiǎn)預(yù)測(cè)模型
結(jié)束:課程總結(jié)與問題答疑。
傅一航老師的其它課程
數(shù)據(jù)分析方法及生產(chǎn)運(yùn)營(yíng)實(shí)際應(yīng)用【課程目標(biāo)】本課程主要介紹數(shù)據(jù)分析在生產(chǎn)運(yùn)營(yíng)過程中的應(yīng)用,適用于制造行業(yè)/保險(xiǎn)行業(yè)的數(shù)據(jù)分析人員等。本課程的主要目的是,幫助學(xué)員了解大數(shù)據(jù)的本質(zhì),培養(yǎng)學(xué)員的數(shù)據(jù)意識(shí)和數(shù)據(jù)思維,掌握常用的統(tǒng)計(jì)分析方法和工具,以及生產(chǎn)、運(yùn)營(yíng)過程中的應(yīng)用,并以概率的方式來進(jìn)行決策,提升學(xué)員的數(shù)據(jù)分析及應(yīng)用能力。本課程具體內(nèi)容包括:數(shù)據(jù)決策邏輯,數(shù)據(jù)決
講師:傅一航詳情
大數(shù)據(jù)建模大賽輔導(dǎo)實(shí)戰(zhàn)【課程目標(biāo)】本課程主要面向?qū)I(yè)人士的大數(shù)據(jù)建模競(jìng)賽輔導(dǎo)需求(假定學(xué)員已經(jīng)完成Python建模及優(yōu)化--回歸篇/分類篇的學(xué)習(xí))。通過本課程的學(xué)習(xí),達(dá)到如下目的:熟悉大賽常用集成模型掌握模型優(yōu)化常用措施,掌握超參優(yōu)化策略掌握特征工程處理,以及對(duì)模型質(zhì)量的影響掌握建模工程管道類(Pipeline,ColumnTransformer)的使用【授
講師:傅一航詳情
大數(shù)據(jù)時(shí)代的精準(zhǔn)營(yíng)銷【課程目標(biāo)】本課程從實(shí)際的市場(chǎng)營(yíng)銷問題出發(fā),了解大數(shù)據(jù)在市場(chǎng)營(yíng)銷領(lǐng)域的價(jià)值以及應(yīng)用。并對(duì)大數(shù)據(jù)分析與挖掘技術(shù)進(jìn)行了介紹,通過從大量的市場(chǎng)營(yíng)銷數(shù)據(jù)中分析潛在的客戶特征,挖掘客戶行為特點(diǎn),實(shí)現(xiàn)精準(zhǔn)營(yíng)銷,幫助市場(chǎng)營(yíng)銷團(tuán)隊(duì)深入理解業(yè)務(wù)運(yùn)作,支持業(yè)務(wù)策略制定以及營(yíng)銷決策。通過本課程的學(xué)習(xí),達(dá)到如下目的:了解大數(shù)據(jù)營(yíng)銷內(nèi)容,掌握大數(shù)據(jù)在營(yíng)銷中的應(yīng)用。
講師:傅一航詳情
大數(shù)據(jù)時(shí)代的精準(zhǔn)營(yíng)銷【課程目標(biāo)】本課程從實(shí)際的市場(chǎng)營(yíng)銷問題出發(fā),了解大數(shù)據(jù)在市場(chǎng)營(yíng)銷領(lǐng)域的價(jià)值以及應(yīng)用。并對(duì)大數(shù)據(jù)分析與挖掘技術(shù)進(jìn)行了介紹,通過從大量的市場(chǎng)營(yíng)銷數(shù)據(jù)中分析潛在的客戶特征,挖掘客戶行為特點(diǎn),實(shí)現(xiàn)精準(zhǔn)營(yíng)銷,幫助市場(chǎng)營(yíng)銷團(tuán)隊(duì)深入理解業(yè)務(wù)運(yùn)作,支持業(yè)務(wù)策略制定以及營(yíng)銷決策。通過本課程的學(xué)習(xí),達(dá)到如下目的:了解大數(shù)據(jù)營(yíng)銷內(nèi)容,掌握大數(shù)據(jù)在營(yíng)銷中的應(yīng)用。
講師:傅一航詳情
大數(shù)據(jù)決策思維與商業(yè)模式創(chuàng)新,賦能企業(yè)增長(zhǎng)【課程目標(biāo)】本課程主要幫助大家理解大數(shù)據(jù)的基本概念,著重探索大數(shù)據(jù)的本質(zhì),理解大數(shù)據(jù)的核心價(jià)值,以及掌握實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的三個(gè)關(guān)鍵環(huán)節(jié),大數(shù)據(jù)解決業(yè)務(wù)問題的六個(gè)步驟,然后聚焦大數(shù)據(jù)的七大核心思維,最后,再用案例說明了大數(shù)據(jù)在各行業(yè)的應(yīng)用場(chǎng)景。大數(shù)據(jù)思維,讓決策更科學(xué)!讓管理更高效!讓營(yíng)銷更精準(zhǔn)!通過本課程的學(xué)習(xí),達(dá)到如
講師:傅一航詳情
大數(shù)據(jù)思維與應(yīng)用創(chuàng)新【課程目標(biāo)】本課程主要幫助大家理解大數(shù)據(jù)的基本概念,著重探索大數(shù)據(jù)的本質(zhì),理解大數(shù)據(jù)的核心價(jià)值,以及掌握實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的三個(gè)關(guān)鍵環(huán)節(jié),大數(shù)據(jù)解決業(yè)務(wù)問題的六個(gè)步驟,然后聚焦大數(shù)據(jù)的七大核心思維,最后,再用案例說明了大數(shù)據(jù)在各行業(yè)的應(yīng)用場(chǎng)景。大數(shù)據(jù)思維,讓決策更科學(xué)!讓管理更高效!讓營(yíng)銷更精準(zhǔn)!通過本課程的學(xué)習(xí),達(dá)到如下目的:了解大數(shù)據(jù)基本
講師:傅一航詳情
大數(shù)據(jù)思維與應(yīng)用創(chuàng)新【課程目標(biāo)】本課程主要幫助大家理解大數(shù)據(jù)的基本概念,著重探索大數(shù)據(jù)的本質(zhì),理解大數(shù)據(jù)的核心價(jià)值,以及掌握實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的三個(gè)關(guān)鍵環(huán)節(jié),大數(shù)據(jù)解決業(yè)務(wù)問題的六個(gè)步驟,然后聚焦大數(shù)據(jù)的七大核心思維,最后,再用案例說明了大數(shù)據(jù)在各行業(yè)的應(yīng)用場(chǎng)景。大數(shù)據(jù)思維,讓決策更科學(xué)!讓管理更高效!讓營(yíng)銷更精準(zhǔn)!通過本課程的學(xué)習(xí),達(dá)到如下目的:了解大數(shù)據(jù)基本
講師:傅一航詳情
大數(shù)據(jù)思維與應(yīng)用創(chuàng)新【課程目標(biāo)】本課程主要幫助大家理解大數(shù)據(jù)的基本概念,著重探索大數(shù)據(jù)的本質(zhì),理解大數(shù)據(jù)的核心價(jià)值,以及掌握實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的三個(gè)關(guān)鍵環(huán)節(jié),大數(shù)據(jù)解決業(yè)務(wù)問題的六個(gè)步驟,然后聚焦大數(shù)據(jù)的七大核心思維,最后,再用案例說明了大數(shù)據(jù)在各行業(yè)的應(yīng)用場(chǎng)景。大數(shù)據(jù)思維,讓決策更科學(xué)!讓管理更高效!讓營(yíng)銷更精準(zhǔn)!通過本課程的學(xué)習(xí),達(dá)到如下目的:了解大數(shù)據(jù)基本
講師:傅一航詳情
大數(shù)據(jù)挖掘工具:SPSSStatistics入門與提高【課程目標(biāo)】本課程為數(shù)據(jù)分析和挖掘的工具篇,本課程面向數(shù)據(jù)分析部等專門負(fù)責(zé)數(shù)據(jù)分析與挖掘的人士,專注大數(shù)據(jù)挖掘工具SPSSStatistics的培訓(xùn)。IBMSPSS工具是面向非專業(yè)人士的高級(jí)的分析工具(挖掘工具),它提供大量的分析方法和分析模型,能夠解決更復(fù)雜的業(yè)務(wù)問題,比如影響因素分析、客戶行為預(yù)測(cè)/精
講師:傅一航詳情
金融行業(yè)風(fēng)險(xiǎn)預(yù)測(cè)模型實(shí)戰(zhàn)【課程目標(biāo)】本課程專注于金融行業(yè)的風(fēng)控模型,面向數(shù)據(jù)分析部等專門負(fù)責(zé)數(shù)據(jù)分析與建模的人士。本課程的主要目的是,培養(yǎng)學(xué)員的大數(shù)據(jù)意識(shí)和大數(shù)據(jù)思維,掌握常用的數(shù)據(jù)分析方法和數(shù)據(jù)分析模型,并能夠用于對(duì)客戶行為作分析和預(yù)測(cè),提升學(xué)員的數(shù)據(jù)分析綜合能力。通過本課程的學(xué)習(xí),達(dá)到如下目的:掌握數(shù)據(jù)分析和數(shù)據(jù)建模的基本過程和步驟掌握客戶行為分析中常用
講師:傅一航詳情
- [潘文富] 中小企業(yè)招聘廣告的內(nèi)容完
- [潘文富] 優(yōu)化考核方式,減少員工抵
- [潘文富] 廠家心目中的理想化經(jīng)銷商
- [潘文富] 經(jīng)銷商的產(chǎn)品驅(qū)動(dòng)與管理驅(qū)
- [潘文富] 消費(fèi)行為的背后
- [王曉楠] 輔警轉(zhuǎn)正方式,定向招錄成為
- [王曉楠] 西安老師招聘要求,西安各區(qū)
- [王曉楠] 西安中小學(xué)教師薪資福利待遇
- [王曉楠] 什么是備案制教師?備案制教
- [王曉楠] 2024年陜西省及西安市最
- 1社會(huì)保障基礎(chǔ)知識(shí)(ppt) 21158
- 2安全生產(chǎn)事故案例分析(ppt) 20229
- 3行政專員崗位職責(zé) 19044
- 4品管部崗位職責(zé)與任職要求 16222
- 5員工守則 15459
- 6軟件驗(yàn)收?qǐng)?bào)告 15393
- 7問卷調(diào)查表(范例) 15113
- 8工資發(fā)放明細(xì)表 14554
- 9文件簽收單 14194