使用python做數(shù)據(jù)分析5天

使用python做數(shù)據(jù)分析
課程介紹
本課程是使用python做數(shù)據(jù)分析的課程
課程目標
理解python的特征
知曉python的結構
會使用相應方法，完成部分數(shù)據(jù)分析工作
培訓對象
有數(shù)據(jù)庫基礎知識
有編程基礎知識
有統(tǒng)計學基本知識
有數(shù)據(jù)分析、數(shù)據(jù)挖掘、統(tǒng)計分析的基本概念對數(shù)據(jù)分析感興趣
課程長度
5天
課程內(nèi)容
第1天
主題
Python的優(yōu)點和不足
大綱
優(yōu)點
1、python語言更接近自然語言
2、python是開放源碼的自由軟件
3、python可移植在各種平臺上
4、python支持面向過程的函數(shù)編程，也支持面向?qū)ο蟮某橄缶幊?br /> 5、可擴展和可嵌入
6、各種功能豐富的庫
7、編碼規(guī)范。各種強制縮進方式提供了可讀性。
不足
8、運行速度可能不理想。
9、python是開源軟件，通過封裝加密進行商業(yè)化，就是一個問題。
10,、繁多的標準庫和第三方庫
主題
重要的python庫
大綱
1、NumPy （numerical python）
2、Pandas 處理結構化數(shù)據(jù)的大量數(shù)據(jù)結構和函數(shù)
3、Matplotlib 繪制數(shù)據(jù)圖表
4、IPython 交互式窗口，科學計算工具集的一部分
5、SciPy 專門解決科學計算中，標準問題域的包的集合。
6、Scikit-learn 機器學習庫
主題
Python的安裝和配置
大綱
1、anaconda
2、Windows系統(tǒng)下的安裝
3、Linux系統(tǒng)下的安裝
主題
Ipython基礎
大綱
1、IPython交互式計算和開發(fā)環(huán)境
2、Ipython啟動、簡單命令
3、內(nèi)省
4、使用歷史命令
5、與操作系統(tǒng)交互
6、軟件開發(fā)工具
7、ipython html notebook
8、用ipython提高代碼開發(fā)效率
9、ipython高級功能
主題
Ipython編碼效率與高級功能
大綱
1、利用python提高代碼效率的幾點提示
2、高級Ipython功能
第2天
主題
numpy數(shù)組和矢量計算
大綱
1、NumPy的ndarray：多維數(shù)組
2、通用函數(shù) 數(shù)組函數(shù)
3、利用數(shù)組進行數(shù)據(jù)處理
4、用于數(shù)組文件的輸入輸出
5、線性代數(shù)
6、隨機數(shù)生產(chǎn)
7、隨機漫步
主題
pandas 數(shù)據(jù)處理分析工具
大綱
1、pandas的數(shù)據(jù)結構介紹
2、基本功能
3、匯總和計算描述統(tǒng)計
4、處理缺失數(shù)據(jù)
5、層次化索引
6、其他有關pandas的話題
主題
數(shù)據(jù)加載 轉(zhuǎn)儲
大綱
1、讀寫文本格式的數(shù)據(jù)
2、二進制數(shù)據(jù)格式
3、使用HTML和Web API
4、使用數(shù)據(jù)庫
5、使用excel文件
6、使用hadoop大數(shù)據(jù)
主題
簡單數(shù)據(jù)清洗
大綱
1、合并數(shù)據(jù)集
2、重塑和軸向旋轉(zhuǎn)
3、數(shù)據(jù)轉(zhuǎn)換
4、字符串操作
主題
python的繪圖和可視化
大綱
1、python的圖形化工具生態(tài)系統(tǒng)
2、matplotlib API入門
3、pandas中的繪圖函數(shù)
4、繪制地圖
第3天
主題
數(shù)據(jù)的分組計算--分層樣本
大綱
1、GroupBy技術
2、數(shù)據(jù)聚合
3、分組運算和轉(zhuǎn)換
4、透視表和交叉表
主題
時間序列
大綱
1、日期和時間數(shù)據(jù)類型及工具
2、時間序列基礎
3、日期的范圍、頻率以及移動
4、時區(qū)處理
5、時期及其算數(shù)運算
6、重采樣及頻率轉(zhuǎn)換
7、時間序列繪圖
8、移動窗口函數(shù)
9、性能和內(nèi)存使用方面的注意事項
主題
numpy高級應用
大綱
1、ndarray對象的內(nèi)部機制
2、高級數(shù)組操作
3、廣播
4、ufunc高級應用
5、結構化和記錄式數(shù)組
6、關于排序
7、numpy的matrix類
8、高級數(shù)組輸入輸出
9、性能建議
主題
蒙特卡洛模擬
大綱
1、純python
2、用numpy向量化
3、用對數(shù)歐拉方法實現(xiàn)全向量化
4、圖形化分析
5、技術分析
主題
統(tǒng)計學 正態(tài)檢驗
大綱
1、正態(tài)性檢驗
2、基準案例
3、現(xiàn)實世界的數(shù)據(jù)
第4天
主題
金融應用 投資優(yōu)化組合
大綱
1、基本理論
2、數(shù)據(jù)
3、投資組合優(yōu)化
4、有效邊界
5、資本市場線
主題
k 近鄰算法
大綱
1、k近鄰算法概述
2、準備數(shù)據(jù)：從文本文件中解析數(shù)據(jù)
3、分析數(shù)據(jù)：使用matplotlib創(chuàng)建散點圖
4、準備數(shù)據(jù)：歸一化數(shù)值
5、測試算法：作為完整程序驗證分類器
6、使用算法：構建完整可用的系統(tǒng)
主題
決策樹
大綱
1、決策樹的構造
信息增益
劃分數(shù)據(jù)集
遞歸構建決策樹
2、使用matplotlib注解繪制樹形圖
matplotlib注解
構造注解樹
3、測試和存儲分類器
測試算法：使用決策樹執(zhí)行分類
使用算法：決策樹的存儲
主題
概率論 樸素貝葉斯
大綱
1、基于貝葉斯決策理論的分類方法
2、條件概率
3、使用條件概率來分類
4、使用樸素貝葉斯進行文檔分類
5、使用python進行文本分類
主題
Logistic 回歸分析
大綱
1、基于Logistic回歸和sigmoid函數(shù)的分類
2、基于最優(yōu)化方法的 最佳回歸系數(shù)確定
梯度上升法
訓練算法：使用梯度上升找到最佳參數(shù)
分析數(shù)據(jù)：畫出決策邊界
訓練算法：隨機梯度上升
第5天
主題
支持向量機
大綱
1、SVM應用的一般框架
2、基于最大間隔分隔數(shù)據(jù)
3、尋找最大間隔
4、SMO高效優(yōu)化算法
5、利用完整plattSMO算法加速優(yōu)化
6、在復雜數(shù)據(jù)上應用核函數(shù)
主題
回歸 ----- 預測數(shù)值型數(shù)據(jù)
大綱
1、用線性回歸找到最佳擬合直線
2、局部加權線性回歸
3、縮減系數(shù)來“理解”數(shù)據(jù)
嶺回歸
lasso
向前逐步回歸
4、權衡偏差與方差
主題
樹回歸
大綱
1、復雜數(shù)據(jù)的局部性建模
2、連續(xù)和離散型特征的樹的構建
3、將CART算法用于回歸
構建樹 運行代碼
4、樹剪枝
預剪枝 后剪枝
5、模型樹
6、樹回歸與標準回歸的比較
主題
大數(shù)據(jù)與mapreduce
大綱
1、mapreduce：分布式計算框架
2、hadoop流
3、mapreduce上的機器學習
4、在python中使用mrjob來自動化MapReduce
5、真的需要MapReduce嗎？

孫增輝老師的其它課程