上課材料之十
第九章 非線性回歸模型 回歸模型的一般形式是 [pic] （1） 很明顯，線性模型只是一種特殊情況，我們應(yīng)該討論更一般的模型（1）。 例如， [pic] （2） 不能變換到線性形式。 1 線性化回歸 非線性回歸模型是 [pic] （為簡(jiǎn)化記號(hào)，我們?nèi)サ袅擞^測(cè)值的下標(biāo)）非線性回歸模型的許多結(jié)果是基于在參數(shù) 向量的一個(gè)特定值[pic]處（如由經(jīng)驗(yàn)得到的數(shù)據(jù)時(shí)）對(duì)[pic]的一個(gè)線性泰勒級(jí)數(shù)來(lái)近 似： [pic] （3） 這被稱(chēng)為線性化回歸模型。整理各項(xiàng)可得 [pic] 令[pic]等于第k個(gè)偏微分[pic]。對(duì)于[pic]的一個(gè)給定值，這[pic]是數(shù)據(jù)而不是含未知 參數(shù)的函數(shù)。于是 [pic] [pic] 或 [pic] 把已知項(xiàng)移到方程左邊，可得回歸模型： [pic] （4） 有了[pic]值，我們就可以計(jì)算[pic]并通過(guò)線性最小二乘法估計(jì)（4）中的參數(shù)。 然后，進(jìn)行再次的迭代和回歸，直至收斂和滿足我們的精度要求。 [例] 對(duì)于（2）所給的非線性回歸模型，線性化方程中的回歸量是 [pic] [pic] 有了一組參數(shù)[pic] [pic] 可以對(duì)前面為估計(jì)[pic]而定義的三個(gè)變量進(jìn)行回歸。 2、非線性最小二乘估計(jì) 最小二乘法仍然是一種比較具有吸引力的估計(jì)參數(shù)的方法。對(duì)于這種估計(jì)量已經(jīng)得到 許多分析結(jié)果，例如，一致性和漸近正態(tài)性。然而，除了在擾動(dòng)項(xiàng)是正態(tài)分布的情況下 ，我們不能肯定非線性最小二乘估計(jì)量是最有效的估計(jì)量。（這和我們對(duì)于線性模型所 得的結(jié)論是一樣的）下面的一些例子將說(shuō)明這一點(diǎn)。 在繼續(xù)之前，有必要關(guān)于回歸量做些假設(shè)。賈奇等人（1985）和雨宮（1985）曾詳細(xì) 地討論過(guò)精確的要求。在古典回歸模型中，為了得到漸近結(jié)果，我們假設(shè)樣本矩矩陣（ 1/n）X′X收斂于一個(gè)正定矩陣Q。類(lèi)似地，當(dāng)線性化模型中的“回歸量”在真實(shí)參數(shù)值處被 計(jì)算時(shí)，我們?cè)谄渖细郊酉嗤臈l件。因此，對(duì)于非線性回歸模型，與以前類(lèi)似的是 [pic] （5） 其中[pic]是正定矩陣。根據(jù)這個(gè)公式，非線性最小二乘估計(jì)量的漸近性質(zhì)可以導(dǎo)出 。實(shí)際上，除了在這種情況下我們把[pic]中的導(dǎo)數(shù)也作為回歸量之外，它們與我們已見(jiàn) 到的線性模型的漸近性質(zhì)十分相似。 （5）中的矩陣收斂于正定矩陣的要求還附帶回歸量矩陣[pic]的各列是線性無(wú)關(guān)的條件 。這是一個(gè)識(shí)別條件，類(lèi)似于線性模型中的解釋變量是線性無(wú)關(guān)的要求。 非線性最小二乘準(zhǔn)則函數(shù)是 [pic] 其中我們已經(jīng)代入即將是解的b。最小化的一階必要條件是 [pic] 注意 [pic] 這與線性模型的情況相同。這是非線性最優(yōu)化的一個(gè)標(biāo)準(zhǔn)問(wèn)題，可以用許多方法來(lái)求解 。高斯—牛頓方法在這種情況下經(jīng)常使用?；叵胛覀冴P(guān)于線性回歸模型的討論，如果[pic] 的值是可以獲得的，那里所顯示的線性回歸模型可以用普通最小二乘法來(lái)估計(jì)。一旦回 到一個(gè)參數(shù)向量，它就可以作為一個(gè)新的[pic]，計(jì)算可以繼續(xù)進(jìn)行。迭代可以一直進(jìn)行 到相鄰兩個(gè)參數(shù)向量的差是足夠小可以認(rèn)為已經(jīng)收斂為止。這個(gè)方法的主要優(yōu)點(diǎn)之一是 在最后一步迭代，[pic]的估計(jì)，除了[pic]，給出了參數(shù)估計(jì)漸近方差矩陣的正確估計(jì) 。[pic]的一致估計(jì)可以利用殘差來(lái)計(jì)算： [pic] （6） （自由度校正1/（n－K）在這里沒(méi)有價(jià)值，因?yàn)樗薪Y(jié)果在任何情況下都是漸近的和[pic] 的事實(shí)。 [pic] 其中 [pic] 漸近協(xié)方差矩陣的樣本估計(jì)是 [pic] 只要得到這些結(jié)果，推論和假設(shè)檢驗(yàn)就可以按前幾章中所描述的同樣方式進(jìn)行。在評(píng)價(jià) 回歸擬合值中產(chǎn)生一個(gè)小問(wèn)題，因?yàn)?[pic] 不再保證在零到1的范圍內(nèi),(因?yàn)楣烙?jì)的誤差[pic]有可能足夠的大)。然而，它仍給出了 一個(gè)有用的描述性度量。
上課材料之十