統計学

重回帰分析(編集中)

線形重回帰モデル(作成編集中)

注)このコンテンツは現在作成編集中になります。

本来は紙と鉛筆で数式を計算し証明したものをLaTeXコードにしてtexclip様のところで出力させてHTMLに載せていましたが、これは直接数式画像を出力させてその場で数式過程を確認してアップロードしています。そのためかなり冗長な内容になっているので基本的に計算過程のほとんど無駄な部分です。なのでそういうのはほぼ無視してください。そういう部分は「データの見方」などのエントリーを(たぶん)作成してほかに移します。
なので、そのへんのところ何卒よろしくおながいしまスミダ<`∀´>

 

 

以下本文↓

 

 

単回帰分析の説明変数がひとつなのに対して説明変数が2個以上あるデータモデルを考え、推定量が下のような多次元のベクトル分布、

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析

回帰分析,単回帰分析,重回帰分析

であるような説明変数、目的変数、回帰係数からなるデータ構造を考慮して次のようなデータモデルを考える。

回帰分析,単回帰分析,重回帰分析

 

上記式の回帰直線における回帰分析,単回帰分析,重回帰分析は切片を意味し、回帰分析,単回帰分析,重回帰分析は回帰係数になる。


 

 

データの表現

平均の表し方

回帰分析,単回帰分析,重回帰分析の平均の表し方

回帰分析,単回帰分析,重回帰分析

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析の平均の表し方

回帰分析,単回帰分析,重回帰分析

 

 

不偏分散

それぞれの不偏分散を次のように表現する。

不偏分散

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析

 

 

回帰分析,単回帰分析,重回帰分析

 

 

残差平方和という考え

切片である回帰分析,単回帰分析,重回帰分析と傾きβの回帰直線を予測した式回帰分析,単回帰分析,重回帰分析の式と実際の観測値回帰分析,単回帰分析,重回帰分析との差を残差として次のように考えることにする。

回帰分析,単回帰分析,重回帰分析

ハットは予測値や推定値を表す際に用いられる(フィッシャー情報量のコンテンツ参照)。

 

 

残差平方和

そしてこれらのn個の観測値に対する残差の二乗和〜残差平方和を次のように表すことにする。

回帰分析,単回帰分析,重回帰分析

上記式において実際の観測値の差がなかった場合、つまり0であればこの残差平方和は0になると考える(ラグランジュ未定乗数法ということらしい)。

 

この残差平方和が可能な限り0(最小)になるような回帰係数群を求める方法を最小2乗法(LSM:least squares method)と呼ぶとのこと。

 

上記式においてそれぞれのパラメータであるα、βで偏微分しそれらを0と置いたものを採用していって正規方程式を導いていく。

正規方程式の導出

回帰分析,単回帰分析,重回帰分析とした場合

ここでは簡単のためにPを2つと置いた場合の回帰分析,単回帰分析,重回帰分析を考える。

 

回帰分析,単回帰分析,重回帰分析

 

上記式における誤差の平方和は以下のように表せられる。

回帰分析,単回帰分析,重回帰分析

 

この上記式において左辺の、

 

回帰分析,単回帰分析,重回帰分析

 

 

を回帰回帰分析,単回帰分析,重回帰分析に関して最小化することを考えるようにする。

 

 

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析

回帰分析,単回帰分析,重回帰分析による偏微分

回帰分析,単回帰分析,重回帰分析

より、右辺を回帰分析,単回帰分析,重回帰分析で偏微分していく。

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析

 

この結果より、

 

回帰分析,単回帰分析,重回帰分析による偏微分の結果は、

 

回帰分析,単回帰分析,重回帰分析

より、第一方程式、

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析の偏微分による第2方程式の導出

回帰分析,単回帰分析,重回帰分析

回帰分析,単回帰分析,重回帰分析

 

より、

 

回帰分析,単回帰分析,重回帰分析

 

 

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析

 

と出るが、次のように、

回帰分析,単回帰分析,重回帰分析

 

なので、

 

回帰分析,単回帰分析,重回帰分析

 

整理すると次のように回帰分析,単回帰分析,重回帰分析の第2正規方程式が求まる。

 

回帰分析,単回帰分析,重回帰分析

 

 

回帰分析,単回帰分析,重回帰分析の偏微分による第3正規方程式の導出

回帰分析,単回帰分析,重回帰分析

 

β2の偏微分。

 

回帰分析,単回帰分析,重回帰分析

 

より、

 

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析

 

 

同じように最小となるように次のように置く、

 

回帰分析,単回帰分析,重回帰分析

 

 

となるのでつぎのように

 

回帰分析,単回帰分析,重回帰分析

 

第3正規方程式が求まる。

回帰分析,単回帰分析,重回帰分析

 

 

 

これらによって以下のような3つの方程式が求まる。

 

回帰分析,単回帰分析,重回帰分析

(1)式の変形

ここで平均の式、

回帰分析,単回帰分析,重回帰分析

回帰分析,単回帰分析,重回帰分析

 

の式と上記(1)の式、

 

回帰分析,単回帰分析,重回帰分析

 

より、

 

回帰分析,単回帰分析,重回帰分析


左辺右辺を移動させればまず最初に回帰分析,単回帰分析,重回帰分析に関して次のような式が求まる。

第一正規方程式α

 

(2)式の変形

回帰分析,単回帰分析,重回帰分析

 

より先ほど求まった回帰分析,単回帰分析,重回帰分析の式を代入して計算していく。

 

 

第2正規方程式

 

第2正規方程式

 

第2正規方程式

 

 

この結果により次のような第2正規方程式が求まる。

 

第2正規方程式

 

(3)式の変形

回帰分析,単回帰分析,重回帰分析

 

同様にalphaに関しての式を上記第3方程式に代入していく。

 

 

第3正規方程式

 

第3正規方程式

 

第3正規方程式

 

となるので第3方程式に関して次のように求まる。

 

第3正規方程式

 

 

結果的に次のような3つの式が求まる。

第一正規方程式α

第2正規方程式

第3正規方程式

不偏分散式の変形

ここで不偏分散式などのデータ表現に関する一連の式の変形を考察する。
ひとまず平均は次のように表せられる。

回帰分析,単回帰分析,重回帰分析

不偏分散式Sx1x1の式変形

 

上記式を用いて不偏分散式不偏分散式Sx1x1を以下のように変形していく。

不偏分散式Sx1x1式の変形

 

 

不偏分散式Sx1x1の変形過程

 

 

不偏分散式Sx1x1の変形過程

不偏分散式Sx1x1の変形過程

 

ここで先ほど変形した平均の式を代入していく。

 

 

不偏分散式Sx1x1の式変形過程

 

 

不偏分散式Sx1x1の式変形過程

不偏分散式Sx1x1の式変形過程

 

 

よってまず最初に次のような式が求められる。

 

不偏分散式Sx1x1の式変形

 

 

不偏分散式Sx2x2式の変形

不偏分散式Sx2x2の式の変形も次のように同様に行っていく。

 

 

不偏分散式Sx2x2の式変形

 

 

不偏分散式Sx2x2の式変形

不偏分散式Sx2x2の式変形

不偏分散式Sx2x2の式変形

不偏分散式Sx2x2の式変形

不偏分散式Sx2x2の式変形

 

 

不偏分散式Sx2x2の式変形

 

 

不偏分散式Sx1x2式の変形

不偏分散式Sx1x2の式変形過程

 

 

不偏分散式Sx1x2の式変形過程

 

 

不偏分散式Sx1x2の式変形過程

不偏分散式Sx1x2の式変形過程

不偏分散式Sx1x2の式変形過程

不偏分散式Sx1x2の式変形過程

不偏分散式Sx1x2の式変形過程

 

 

不偏分散式Sx1x2の式変形結果

 

 

不偏分散式Sx1y式の変形

不偏分散式Sx1y式の変形過程

 

第3正規方程式

 

 

第3正規方程式

第3正規方程式

第3正規方程式

第3正規方程式

第3正規方程式

 

 

第3正規方程式

 

 

共分散式Sx2y式の変形

共分散式Sx2y式の変形過程

 

 

共分散式Sx2y式の変形過程

 

 

不偏分散式Sx2y式の変形過程

不偏分散式Sx2y式の変形過程

不偏分散式Sx2y式の変形過程

不偏分散式Sx2y式の変形過程

不偏分散式Sx2y式の変形過程

 

不偏分散式Sx2y式の変形過程

 

 

となるので以上、上記5つの不偏分散式はまとめると以下のように表現できることになる。

不偏分散式Sx1x1式

不偏分散式Sx2x2式

不偏分散式Sx1x2式

不偏分散式Sx1y

不偏分散式Sx1x2式

これらを当てはまると、先ほど求まった3式の正規方程式のうちの次の2つの正規方程式、

 

第2第3正規方程式

 

は、まず最初に先ほどの平均の式を当てはめれば次のように表現できることになる。

 

第2正規方程式

 

第3正規方程式

 

 

 

不偏分散式より、

不偏分散式Sxi1yi

 

不偏分散式Sxi1x1

 

不偏分散式Sx1x2

 

これらを第2方程式に代入すれば、

 

不偏分散式代入第2正規方程式

 

まず次のような関係式が求まる。

 

不偏分散式代入第2正規方程式

 

 

同様に第3方程式、

 

第3正規方程式

 

に関しても、

 

変形後の不偏分散式Sx2y

 

変形後の不偏分散式Sx2x2

 

変形後の不偏分散式Sx1x2

 

を使えば、

 

不偏分散式代入第3正規方程式

 

 

まとめれば以下のような不偏分散式と回帰係数beta hat 1beta hat 2の関係式が求まる。

 

 

不偏分散式代入第2正規方程式

 

不偏分散式代入第3正規方程式

 

これらの係数に関する連立方程式になっているのでこれを解いていく。

 

betahat1式変形過程

 

betahat1式変形過程

 

 

betahat2式変形過程

 

betahat2式変形過程

 

 

beta1の導出

partial correlation coefficient beta1>

 

partial correlation coefficient beta1
partial correlation coefficient beta1


 

partial correlation coefficient beta1


partial correlation coefficient beta1

 

より偏回帰係数beta1は以下のようになる。

 

偏回帰係数beta1

 

偏回帰係数beta2の導出

偏回帰係数beta2

 

より、

偏回帰係数beta2

 

より以下のように求まります。

偏回帰係数β1β2計算結果バインディング表示画像

残差平方和と全変動式の式変形

先ほども前のほうで示したが再度表記すると以下、

残差式

 

また総平方和、または全変動は次のように考ええてる。

まだ途中だよ



ホーム RSS購読 サイトマップ
TOP 線形代数 ベクトル解析 慣性モーメント 解析力学 微分方程式 NEへの道しるべ