上課材料之八
第六章 正態(tài)線性統(tǒng)計(jì)模型的最大似然估計(jì) 我們假定第五章的6個(gè)假設(shè)條件全部滿足，我們就知道了Y的分布函數(shù)，我們也就可以 用其他方法如最大似縱然估計(jì)和矩估計(jì)等來求解出參數(shù)[pic]的估計(jì)量。在本章中我們用 最大似縱然估計(jì)求出參數(shù)[pic]的估計(jì)量。 利用模型的假設(shè)和樣本信息，我們首先求出似然函數(shù)，它是關(guān)于未知數(shù)[pic]的函數(shù) 。由于[pic]，因此有[pic]或者邊際分布[pic]，這里[pic]，t=1,2,…,n, {yt}是相互獨(dú) 立的（Why?）。yt的密度函數(shù)為 [pic] 所以y1,y2,…,yn的聯(lián)合概率密度函數(shù)為 [pic] [pic] 如果把y1,y2,…,yn的聯(lián)合概率密度函數(shù)看做是未知參數(shù)[pic]的函數(shù)，我們稱它為似然函 數(shù)，記為 [pic] 兩邊取自然對(duì)數(shù)得到對(duì)數(shù)似然函數(shù)為 [pic] [pic] 據(jù)最大似然法則，估計(jì)未知參數(shù)[pic]的問題變成了選擇[pic]的值使得對(duì)數(shù)似然函數(shù) 的值達(dá)到最大，也即是如下的最優(yōu)化問題： [pic] 這個(gè)問題的一階條件為 [pic] [pic] 如果把這兩個(gè)方程的解分別記為[pic]，那么它們滿足 [pic] [pic] 可以解得 [pic]（與最小乘估計(jì)量一樣） [pic] 這里[pic]。所以β的最大似然估計(jì)和最小二乘估計(jì)是一樣的。這是由于選擇β的值最大化 對(duì)數(shù)似然函數(shù)和最小化誤差平方和[pic]是等價(jià)的。如果記 [pic] 并稱它為最大似然殘差，那么它和最小二乘殘差是相等的，即[pic]。這樣[pic]可表示 為 [pic] 對(duì)于[pic]，我們已知知道[pic]。由于[pic]是y的線性函數(shù)，而y服從正態(tài)分布，所 以[pic]也服從正態(tài)分布，均值為β，協(xié)方差矩陣為[pic]，也即[pic]。這個(gè)結(jié)果在進(jìn)行 區(qū)間估計(jì)和假設(shè)檢驗(yàn)時(shí)是非常有用的。 關(guān)于[pic]，由于[pic]，所以其期望值為 [pic] 它是[pic]的一個(gè)有偏估計(jì)量，其偏度為[pic]。為了得到一個(gè)無偏估計(jì)量，定義 [pic] 那么它是[pic]的一個(gè)無偏估計(jì)量。它和我們?cè)谇耙徽吕锏玫降年P(guān)于[pic]的無偏估計(jì) 量是一樣的。
上課材料之八