大數(shù)據(jù)環(huán)境下的R數(shù)據(jù)挖掘


大數(shù)據(jù)環(huán)境下的R數(shù)據(jù)挖掘

近年來，由于存儲(chǔ)設(shè)備的單位成本以驚人的速度下降（1G硬盤空間的成本現(xiàn)在只需要
幾美分，這在過去難以想象），我們可以輕而易舉地積累起大量的數(shù)據(jù)。電信
運(yùn)營(yíng)商，可以記錄用戶通話、短消息、無線上網(wǎng)產(chǎn)生的每一條信令，省級(jí)運(yùn)營(yíng)商一小時(shí)
寫入存儲(chǔ)設(shè)備的數(shù)據(jù)量可以達(dá)到幾百G。電子商務(wù)網(wǎng)站，可以記錄用戶的每一
次交易，甚至每一次點(diǎn)擊，可以復(fù)原用戶的完整訪問路徑找出用戶的興趣點(diǎn)。城市監(jiān)控
體系，在各個(gè)重要路口，高速公路上的攝像頭，每秒鐘都在產(chǎn)生海量的視頻數(shù)
據(jù)。在生命科學(xué)領(lǐng)域，對(duì)人體的DNA分析，一個(gè)個(gè)體就能產(chǎn)生幾個(gè)G數(shù)據(jù)，可以想象如果
一個(gè)生物信息數(shù)據(jù)庫(kù)里包含了成千萬的個(gè)體數(shù)據(jù)，信息量將會(huì)是怎樣一個(gè)
規(guī)模，如此等等，不勝枚舉。我們毫無疑問，正處于一個(gè)信息爆炸的時(shí)代。

很不幸的是，我們得到了大量的數(shù)據(jù)，而這些數(shù)據(jù)中的絕大部分，在它的生命周期里基
本上都被閑置著，從來沒有考慮過產(chǎn)生任何的價(jià)值，唯一的用途就是“保存?zhèn)?br /> 查”。盡管“啤酒與尿布”的故事，已經(jīng)寫入教科書有10多年了，幾乎每一個(gè)接受過專業(yè)教
育的同仁都知道數(shù)據(jù)挖掘能產(chǎn)生的價(jià)值，但是直到今天，我們對(duì)數(shù)據(jù)的
處理依然停留在按預(yù)定指標(biāo)進(jìn)行統(tǒng)計(jì)這種很低的水平上。造成這種情況的原因有很多。
一方面，由于業(yè)務(wù)人員和IT人員的工作鴻溝，使到即使能提出數(shù)據(jù)分析的需
求都成了一個(gè)很大的困難。在各公司里保管數(shù)據(jù)的大多是IT人員，他們對(duì)業(yè)務(wù)的了解可
能并非很深入，而業(yè)務(wù)人員也鮮有對(duì)數(shù)據(jù)有深入認(rèn)識(shí)者，他們通常都缺乏必
要的數(shù)學(xué)素質(zhì)和知識(shí)基礎(chǔ)去進(jìn)行建模和深入的分析工作。另一方面，數(shù)據(jù)分析專家具有
深厚的數(shù)學(xué)處理能力，善于建模和構(gòu)筑算法，但是由于無法得到合適的需求，
他們的能力也無從施展。另外數(shù)學(xué)家、統(tǒng)計(jì)學(xué)家們很多并不熟悉現(xiàn)代的IT軟硬件設(shè)備的
特性，對(duì)于集群、分布式系統(tǒng)、大規(guī)模存儲(chǔ)、云計(jì)算、數(shù)據(jù)庫(kù)等認(rèn)識(shí)幾乎為
零，對(duì)于算法的實(shí)現(xiàn)可能還停留在對(duì)著PC寫C語言程序的水平上，對(duì)于海量數(shù)據(jù)，無法利
用現(xiàn)代化設(shè)備的能力，使到算法是否能真正實(shí)現(xiàn)變成生產(chǎn)力存有很大的疑 問。

現(xiàn)在這門《數(shù)據(jù)分析系列網(wǎng)絡(luò)課程》正是要打破這種鴻溝。用新興的互聯(lián)網(wǎng)教育模式，把
各應(yīng)用領(lǐng)域的業(yè)務(wù)專家、數(shù)據(jù)分析專家、IT專家推薦給學(xué)習(xí)者，向有志于
學(xué)習(xí)數(shù)據(jù)分析知識(shí)發(fā)揮數(shù)據(jù)價(jià)值的朋友能得到低成本交流的機(jī)會(huì)。我們的目標(biāo)是在中國(guó)
傳播“技術(shù)成就夢(mèng)想，數(shù)據(jù)產(chǎn)生價(jià)值”的觀念，使學(xué)習(xí)者能快速提升其個(gè)人能
力，在新的挑戰(zhàn)面前獲取更多個(gè)人機(jī)會(huì)，企業(yè)能在保存的海量數(shù)據(jù)中煉出黃金。

R是一套完整的數(shù)據(jù)處理、計(jì)算和制圖軟件系統(tǒng)。是一個(gè)免費(fèi)的自由軟件，它有UNIX、L
INUX、MacOS和WINDOWS版本，都是可以免費(fèi)下載和使
用的,在那兒可以下載到R的安裝程序、各種外掛程序和文檔。在R的安裝程序中只包含了
8個(gè)基礎(chǔ)模塊，其他外在模塊可以通過CRAN獲得。R既是功能強(qiáng)大的
統(tǒng)計(jì)和分析軟件，同時(shí)也是完美的數(shù)據(jù)可視化制作工具，豐富的圖形函數(shù)和外置包，幾
乎無限的擴(kuò)展能力，使到我們的想象空間永遠(yuǎn)都不會(huì)達(dá)到上限

[pic]
2011年統(tǒng)計(jì)的數(shù)據(jù)分析軟件使用率情況，R語言多項(xiàng)雄踞首位，是最熱門的分析利器

《R語言數(shù)據(jù)分析、展現(xiàn)與實(shí)例》課程介紹如下：
1
基礎(chǔ)數(shù)據(jù)分析知識(shí)，包括一些概率統(tǒng)計(jì)里的概念、術(shù)語，和基本統(tǒng)計(jì)量的計(jì)算方法等。

2 一些常用的數(shù)據(jù)分析和數(shù)據(jù)挖掘算法，以及有關(guān)的各種領(lǐng)域里的實(shí)際應(yīng)用案例分析
3 世界最流行的開源數(shù)據(jù)分析軟件R及其編程方法
4 數(shù)據(jù)展現(xiàn)，介紹R及其強(qiáng)大的圖表功能

課程大綱：
第1課??R語言基礎(chǔ)
R簡(jiǎn)介
數(shù)據(jù)類型介紹
R的數(shù)據(jù)可視化
常用R包介紹
R集成開發(fā)環(huán)境

第2課 ?數(shù)據(jù)整理
數(shù)據(jù)的讀入輸出
控制流
各種圖表
常用統(tǒng)計(jì)量計(jì)算

第3課 數(shù)據(jù)展現(xiàn)1
基本制圖函數(shù)綜述
理解關(guān)鍵制圖參數(shù)

第4課 ?數(shù)據(jù)展現(xiàn)2
散點(diǎn)圖
線圖與時(shí)間序列譜圖
案例：股價(jià)走勢(shì)可視化展現(xiàn)

第5課 ?數(shù)據(jù)展現(xiàn)3
柱形圖
點(diǎn)圖
餅圖
直方圖
案例：銷售數(shù)據(jù)可視化展現(xiàn)

第6課 ?數(shù)據(jù)展現(xiàn)4
箱線圖
熱力圖
等高線
地圖
案例：Facebook好友聯(lián)系圖

第7課 ?預(yù)知未來的回歸模型1
線性回歸模型
案例：網(wǎng)頁流量預(yù)測(cè)

第8課 ?預(yù)知未來的回歸模型2
logistic回歸
廣義線性回歸
非線性回歸
案例：婚外情頻率預(yù)測(cè)

第9課 ?預(yù)知未來的回歸模型3
回歸檢驗(yàn)與方差分析
案例：上兩周周案例的進(jìn)一步分析優(yōu)化

第10課 ?挖掘關(guān)聯(lián)和推薦技術(shù)
MINE方法
apriori購(gòu)物籃分析
案例：超市購(gòu)物籃分析

第11課 ?萬事皆選擇1
分類算法（線性判別法，貝葉斯分類器，決策樹，最近鄰算法）
案例：汽車銷量
走勢(shì)預(yù)測(cè)，上漲還是下跌？

第12課 ?萬事皆選擇2
聚類算法（層次聚類法，譜系圖，k平均值法，k中心法）
案例：推薦系統(tǒng)

第13課 ?大道至簡(jiǎn)
降維技術(shù)
主成分分析和因子分析
案例：業(yè)績(jī)綜合指標(biāo)設(shè)計(jì)

第14課 沿著時(shí)間軸前進(jìn)
時(shí)間序列分析
案例：未來股價(jià)預(yù)測(cè)

第15課 R數(shù)據(jù)挖掘?qū)嶋H場(chǎng)景綜合案例分析及前沿技術(shù)選講

駱飛老師的其它課程