上課材料之四
上課材料之四 第三節(jié) 數(shù)理統(tǒng)計(jì)（Mathematical Statistics） 數(shù)理統(tǒng)計(jì)的方法及考慮的問題不同于一般的資料統(tǒng)計(jì)，它更側(cè)重于應(yīng)用隨機(jī)現(xiàn)象本身 的規(guī)律性來考慮資料的收集、整理和分析，從而找出相應(yīng)的隨機(jī)變量的分布律或它的數(shù) 字特征。由于大量的隨機(jī)試驗(yàn)必能呈現(xiàn)出它的規(guī)律性，因而從理論上講，只要對(duì)隨機(jī)現(xiàn) 象進(jìn)行足夠多次觀察，被研究的隨機(jī)現(xiàn)象的規(guī)律性一定能清楚地呈現(xiàn)出來，但是實(shí)際上 所允許的觀察永遠(yuǎn)只能是有限的，有時(shí)甚至是少量的。因此我們所關(guān)心的問題是怎樣有 效地利用有限的資料，便能去掉那些由于資料不足所引起的隨機(jī)干擾，而把那些實(shí)質(zhì)性 的東西找出來，一個(gè)好的統(tǒng)計(jì)方法 就在于能有效地利用所獲得的資料，盡可能作出精確而可靠的結(jié)論。 1、數(shù)理統(tǒng)計(jì)的基本概念 1）母體和子樣 我們把所研究的全部元素組成的集合稱為母體或總體，而把組成母體的每個(gè)元素稱為 個(gè)體。 為了對(duì)母體的分布律進(jìn)行各種研究，就必需對(duì)母體進(jìn)行抽樣觀察。一般來說，我們還 不止進(jìn)行一次抽樣觀察，而要進(jìn)行幾次觀察。設(shè)X1，X2，…Xn是所觀察到的結(jié)果，顯然它 是隨機(jī)變量，稱它為容量是n的子樣。把X1，X2，…Xn所取值的全體稱為子樣空間。 我們抽取子樣的目的是為了對(duì)母體的分布律進(jìn)行各種分析推斷，因而要求抽取的子樣 能很好地反映母體的特性，這就必須對(duì)隨機(jī)抽樣的方法提出一定的要求。通常提出下面 兩點(diǎn)： （i）代表性：要求子樣的每個(gè)分量Xi與所考察的母體X具有相同的分布F(x)； （ii）獨(dú)立性：X1，X2，…，Xn為相互獨(dú)立的隨機(jī)變量，也就是說，每個(gè)觀察結(jié)果即 不影響其它觀察結(jié)果，也不受其它觀察結(jié)果的影響。 滿足上述兩點(diǎn)性質(zhì)的子樣稱為簡(jiǎn)單隨機(jī)子樣，獲得簡(jiǎn)單隨機(jī)子樣的抽樣方法稱為簡(jiǎn)單 隨機(jī)抽樣。 對(duì)于簡(jiǎn)單隨機(jī)子樣X=（X1，X2，…，Xn），其分布可以由母體的分布函數(shù)F（x）完全 決定，X的分布函數(shù)是[pic]。 2）統(tǒng)計(jì)量 一般來說，子樣的某種不含任何未知參數(shù)的函數(shù)，在統(tǒng)計(jì)學(xué)中都可以稱為統(tǒng)計(jì)量。 統(tǒng)計(jì)量：[pic] 非統(tǒng)計(jì)量：[pic] 3）常用的統(tǒng)計(jì)量—子樣矩 r階矩（或r階原點(diǎn)矩）：[pic]為子樣均值。 r階中心矩：[pic]為子樣方差。 總結(jié)：對(duì)于母體，我們有母體均值μ，母體方差[pic]，母體的k階原點(diǎn)矩[pic]和k階 中心矩[pic]； 對(duì)于子樣，我們有子樣均值[pic]，子樣方差[pic]，子樣的r階矩Ar和r階中心矩Br。 我們可以得到如下結(jié)論： 定理1 設(shè)母體服從分布F(x)，X=（X1，…，Xn）是從該母體中抽得的一個(gè)簡(jiǎn)單隨機(jī)子樣，如果F (x)的二階矩陣存在，則對(duì)子樣均值[pic]，有 [pic]和[pic] [證明] [pic] [pic] [pic] 思考：是否存在更簡(jiǎn)單的證明方法？ 定理2 對(duì)于子樣方差[pic]，其均值[pic] 證明：因?yàn)閇pic]，所以 [pic] [pic] （其中[pic]） [pic] [pic] 4）順序統(tǒng)計(jì)量、經(jīng)驗(yàn)分布函數(shù)與子樣矩 設(shè)（X1，…，Xn）是從母體 中抽取的一個(gè)子樣，記（x1,x2…,xn）是子樣的一個(gè)觀察值，將觀察值的各分量按大小遞 增次序排列，得到 [pic]≤[pic]≤…≤[pic] 當(dāng)（X1，…，Xn）取值為（x1,…,xn）時(shí)，我們定義[pic]取值為[pic]。稱由此得到的[pic] 為（X1，…，Xn）的一組順序統(tǒng)計(jì)量。顯然[pic]≤[pic]≤…≤[pic]，[pic]，即[pic]的觀 察值是子樣觀察值中最小的一個(gè)，而[pic]，[pic]的觀察值是子樣觀察值中最大的一個(gè) 。 記 [pic] 顯然0≤[pic]≤1，且作為x的函數(shù)是一非減左連續(xù)函數(shù)，把[pic]看作為x的函數(shù)，它具 備分布函數(shù)所要求的性質(zhì)，故稱為經(jīng)驗(yàn)分布函數(shù)（或子樣分布函數(shù)）。 經(jīng)驗(yàn)分布函數(shù)也是子樣的函數(shù)，它與子樣矩之間具有下列關(guān)系：設(shè)（x1,x2,…,xn）是 子樣觀察值，[pic]是對(duì)應(yīng)的經(jīng)驗(yàn)分布函數(shù)，則有： [pic] [pic] [pic] [pic] 2、正態(tài)母體子樣的線性函數(shù)的分布 定理1 設(shè)X1，…，Xn是抽自正態(tài)母體[pic]的一個(gè)子樣，統(tǒng)計(jì)量U是子樣的任一確定的線性函數(shù) [pic] （1） 則U也是正態(tài)隨機(jī)變量，均值、方差分別為 [pic] （2） [pic] （3） 在（1）式中，特別地取[pic]，此時(shí)行到的U是子樣均值[pic]。 [pic] [pic] 由此可見，[pic]具有與X相同的均值，但是它更向數(shù)學(xué)期望集中，集中程度與子樣容 量n的大小有關(guān)。 定理2 設(shè) （1）X1，X2…，Xn是獨(dú)立同分布隨機(jī)變量，同服從于正態(tài)分布[pic]； （2）[pic]矩陣，記 [pic] [pic] 則Y1，…，Yp也是正態(tài)隨機(jī)變量，均值、方差、協(xié)方差分別為： [pic]。 [pic] [pic]。 特別地，當(dāng)[pic]，且A是一n×n正交矩陣時(shí)，Y1，Y2…，Yp也是相互獨(dú)立且同服從于[pic] 分布的隨機(jī)變量。 3、幾種與正態(tài)分布N(0,1)有關(guān)的常用分布 1）x2-分布 定義 設(shè)X1，X2，…，Xn是相互獨(dú)立，且同服從于N(0,1)分布的隨機(jī)變量， [pic] 所服從的分布為x2-分布，[pic]稱為自由度為n的x2-變量。 定理 設(shè)[pic]和[pic]，且X1，X2相互獨(dú)立，則[pic]。 2）t-分布 設(shè)[pic]，且X和Y相互獨(dú)立，則稱隨機(jī)變量 [pic] 所服從的分布為t-分布。n稱為它的自由度，且記T～t(n)。 3）F-分布 定義 設(shè)X和Y是相互獨(dú)立的x2-分布隨機(jī)變量，自由度分別為m和n，則稱隨機(jī)變量 [pic] 所服從的分布為F-分布，（m,n）稱為它的自由度，且通常寫為F～F（m,n）。 推論 如果[pic]，且相互獨(dú)立，則[pic]分布。 推論 如果X～F(m,n)分布，則1/X～F(n,m)分布。 結(jié)論 設(shè)X1，…，Xm和Y1，…，Yn分別是從正態(tài)母體[pic]中所抽取的獨(dú)立子樣。則 服從于t(m+n－2)分布。 ***[練習(xí)] 設(shè)X1，…，Xn是從正態(tài)[pic]分布的母體中抽取的簡(jiǎn)單子樣，[pic]分別表示它的子樣均值 和子樣方差。又設(shè)[pic]，且與X1，…，Xn獨(dú)立。試求統(tǒng)計(jì)量 [pic] （提示：服從t(n-1)分布） 4、統(tǒng)計(jì)量的分布與獨(dú)立性 定理 若x～N[0,I]且[pic]的兩個(gè)冪等二次型，則[pic]時(shí)是獨(dú)立的。 [證明] 由于A和B都是對(duì)稱的和冪等的，[pic]，所以二次型是： [pic] 和 [pic] 兩個(gè)向量都有零均值向量，所以X1和X2協(xié)方差矩陣是 [pic] 由于AX和BX都是一個(gè)正態(tài)分布隨機(jī)向量的線性函數(shù)，因而它們也都服從正態(tài)分布，零 協(xié)方差矩陣暗示它們是統(tǒng)計(jì)上獨(dú)立的。所以，它們的函數(shù)形式[pic]是獨(dú)立的，這就證明 了兩個(gè)二次型統(tǒng)計(jì)量的獨(dú)立性。 [例] 易知 [pic] [pic] 因?yàn)?[pic] 故 [pic]是相互獨(dú)立的。 5、線性變換及二次型的獨(dú)立性 定理 標(biāo)準(zhǔn)正態(tài)向量的一個(gè)線性函數(shù)Lx和一個(gè)冪等二次型[pic]，當(dāng)LA=0時(shí)兩個(gè)統(tǒng)計(jì)量是獨(dú)立的 。 證明遵循與對(duì)兩個(gè)二次型的證明同樣的邏輯，將[pic]寫作[pic]，變量Lx和Ax的協(xié)方 差矩陣是LA=0，這證實(shí)了這兩個(gè)隨機(jī)向量的獨(dú)立性，線性函數(shù)和二次型的獨(dú)立性就可以 立即推導(dǎo)。 [例] [pic] [pic] 所以上面兩個(gè)統(tǒng)計(jì)量是相互獨(dú)立的。 從而 [pic] 總結(jié)：設(shè)X1,X2,…,Xn是從正態(tài)母體[pic]中抽取的一個(gè)簡(jiǎn)單子樣。記 [pic] 則有 （1）[pic]； （2）[pic]； （3）[pic] [pic] [證明] 因?yàn)閇pic] 所以 [pic] 服從自由度為n－1的t-分布。 6、參數(shù)估計(jì)的常用方法 在參數(shù)估計(jì)問題中，我們總是首先假設(shè)母體X具有一族可能的分布F，且F的函數(shù)形式 是已知的，僅包含有幾個(gè)未知參數(shù)，記θ是支配這分布的未知參數(shù)（可以是向量），在統(tǒng) 計(jì)學(xué)上，我們把分布F的未知參數(shù)θ的全部可容許值組成的集合稱為參數(shù)空間，記為[pic] 。 我們用F(·；θ)表示X的分布，又稱集合{F(·；θ),θ∈[pic]}為X的分布函數(shù)族。類似地 ，如果X是連續(xù)型隨機(jī)變量，我們有概率密度函數(shù)族，如果X是離散型隨機(jī)變量，我們有 概率分布族。 一個(gè)參數(shù)估計(jì)問題就是要求通過子樣估計(jì)母體分布所包含的未知參數(shù)θ。 一般地，設(shè)母體具有分布族{F(·；θ),θ∈[pic]}，X1，X2…，Xn是它的一個(gè)子樣。點(diǎn)估 計(jì)問題就是要求構(gòu)造一個(gè)統(tǒng)計(jì)量T（X1，…Xn）作為參數(shù)θ的估計(jì)（T的維數(shù)與θ的維數(shù)相同 ）。在統(tǒng)計(jì)學(xué)上，我們稱T為θ的估計(jì)量。 1）矩方法 設(shè){F(·；θ),θ∈[pic]}是母體X的可能分布族，θ=（θ1，…，θk）是待估計(jì)的未知參數(shù) ，假定母體分布的k階矩存在，則母體分布的v階矩 [pic] 1≤v≤k 是θ=（θ1，…，θk）的函數(shù)。 對(duì)于子樣X=（X1，…，Xn），其v階子樣矩是 [pic] 1≤v≤k 現(xiàn)在用子樣矩作為母體矩的估計(jì)，即令 [pic] （1） 這樣，（1）式確定了包含k個(gè)未知參數(shù)θ=（θ1，…，θk）的k個(gè)方程式。 [例] 母體均值和方差的矩估計(jì)。 設(shè)X1，…，Xn是一子樣，設(shè)母體的二階矩存在，則有[pic]。用矩方法得方程組 [pic] 解之得 [pic] 所以母體均值[pic]和方差[pic]的矩估計(jì)分別是子樣均值[pic]和子樣方差[pic]。 運(yùn)用以前的有關(guān)定理有 [pic] [pic] 和 [pic] 由此可見，[pic]作為[pic]的估計(jì)它是在[pic]的真值的周圍波動(dòng)，且其平均值恰好是真 值[pic]，這一性質(zhì)在統(tǒng)計(jì)學(xué)上稱為無偏性。 2）最大似然估計(jì)方法 一般地，設(shè)母體具有分布密度族{F(x;θ),θ∈[pic]}，其中θ=（θ1，θ2…，θk）是一個(gè) 未知的k維參數(shù)向量，需待估計(jì)，又設(shè)（x1，…，xn）是子樣（X1，…，Xn）的一個(gè)觀察值 ，那么子樣（X1，…，Xn）落在點(diǎn)（x1，…，xn）的鄰域里的概率是[pic]。 為方便起見，記 [pic] （θ可以是向量）它看作為θ的函數(shù)稱為θ的似然函數(shù)。 如果選取使下式 [pic] （2） 成立的[pic]作為θ的估計(jì)，則稱[pic]是θ的最大似然估計(jì)。 由于logx是x的單調(diào)函數(shù)，所以（2）式可等價(jià)地寫為： [pic] 如果[pic]是開集，且[pic]關(guān)于θ可微，則滿足（4）式的解[pic]也一定滿足下列似 然方程 [pic] [例] 設(shè)X=（X1，…，Xn）是取自均勻分布 [pic] 的子樣，試求θ的最大似然估計(jì)。 此時(shí) [pic] （注意：條件0＜xi≤θ，i=1,…,n和條件0＜[pic]是等價(jià)的。 顯然當(dāng)[pic]取到最大值，所以[pic]是θ的最大似然***估計(jì)?？梢杂?jì)算出[pic]。 7、估計(jì)的有效性 1）無偏估計(jì) 定義 一般地，如果T(X)是未知參數(shù)θ的一個(gè)估計(jì)量，且滿足下面的關(guān)系式， [pic] 則稱T（X）是θ的無偏估計(jì)。 2）有效估計(jì) 定義 對(duì)兩個(gè)無偏估計(jì)量[pic]，若[pic]的方差小于[pic]的方差，即[pic]＜[pic]，則稱[pic] 更有效。 判別方式：在多數(shù)情形中，比較基于兩個(gè)估計(jì)量的協(xié)方差矩陣，若[pic]—[pic]是非 負(fù)定矩陣，則[pic]更有效。 3）漸近無偏估計(jì) 如果有一列θ的估計(jì)[pic]滿足下面的關(guān)系式 [pic] 則稱Tn是θ的漸近無偏估計(jì)。 4）一致估計(jì) 設(shè)X1，…，Xn是取自分布族[pic]的子樣，Tn=Tn(X1，…，Xn)是θ的一個(gè)估計(jì)。如果序 列{Tn}隨機(jī)收斂到真參數(shù)值θ，即對(duì)任意[pic]＞0， [pic]＞[pic] 則稱Tn是θ的一致估計(jì)。 5）最小方差無偏估計(jì) 一般地若T1是θ的一個(gè)無偏估計(jì)，關(guān)于θ的任一無偏估計(jì)T2成立下式 [pic]≤[pic] 則稱T1是θ的最小方差無偏估計(jì)。 6）線性估計(jì) 如果估計(jì)T是子樣的線性函數(shù)，即T可以表示為[pic]，其中a1,…,an是固定常數(shù)，則稱 T為線性估計(jì)。類似地可以定義，如果T是線性估計(jì)，且滿足無偏性條件，則T稱為線性無 偏估計(jì)；如果UL表示θ的具有有限方差的線性無偏估計(jì)的全體所組成的集合，而對(duì)T0∈UL ，有 [pic]≤[pic]，對(duì)一切[pic] 則稱T0為θ的最小方差線性無偏估計(jì)。 高斯—馬爾科夫定理 在線性無偏估計(jì)量中，最小二乘估計(jì)量具有最小方差。 7）克拉美—?jiǎng)冢–ramer-Rao）下界 克拉美—?jiǎng)冢–ramer- Rao）下界。假定x的密度滿足一定的正則條件，參數(shù)θ的一個(gè)無偏估計(jì)量的方差將大于等 于： [pic] [pic] 量I(θ)是樣本的信息數(shù)。 再考慮一個(gè)多變量情形。若θ是一個(gè)參數(shù)向量，I(θ)是信息矩陣。 克拉美—?jiǎng)诙ɡ?，任何無偏估計(jì)量的方差矩陣與信息矩陣的逆[I(θ)]－1 的差將是一個(gè)非負(fù)定矩陣，其中 [pic] [pic] 即[pic] 這個(gè)矩陣的逆矩陣[I(θ)]-1稱為C-R下界或CRLB。 8、假設(shè)檢驗(yàn) 1）正態(tài)母樣參數(shù)檢驗(yàn) 前面我們介紹了兩種常用的參數(shù)估計(jì)方法。實(shí)踐中還提出了統(tǒng)計(jì)推斷問題。 先看一個(gè)例子 [例] 某廠有一批產(chǎn)品，共一萬件，須經(jīng)檢驗(yàn)后方可出廠。按規(guī)定標(biāo)準(zhǔn)，次品率不得超過5%， 今在其中任意選取50件產(chǎn)品進(jìn)行檢查，發(fā)現(xiàn)有次品4件，問這批產(chǎn)品能否出廠？ 在這個(gè)例子中，我們事先對(duì)這批產(chǎn)品次品率的情況一無所知，當(dāng)然，從頻率穩(wěn)定性來 說，我們可以用被檢查的50件產(chǎn)品的次品率4/50來估計(jì)這整批產(chǎn)品的次品率，但是我們 目前所關(guān)心的問題是：如何根據(jù)抽樣的次品率[pic]/n（=4/50）推斷這批產(chǎn)品的次品率 是否超過了5%，也就是說，首先我們可以對(duì)整批產(chǎn)品作一種假設(shè)：次品率低于5%，然后 利用子樣的次品率[pic]/n來檢驗(yàn)我們所作這一假設(shè)的正確性。 我們把任何一個(gè)在母體的未知分布上所作的假設(shè)稱為統(tǒng)計(jì)假設(shè)。并記為H0。對(duì)上面所 舉的例子中，統(tǒng)計(jì)假設(shè)分別是：H0:p（次品率）≤0.05。 由于母體的真分布完全被幾個(gè)未知參數(shù)所決定。因此任何一個(gè)關(guān)于母體未知分布的假 設(shè)總可以等價(jià)地給出...
上課材料之四