統計学

回帰分析

注)このコンテンツは現在作成編集中になります。

本来は紙と鉛筆で数式を計算し証明したものをLaTeXコードにしてtexclip様のところで出力させてHTMLに載せていましたが、これは直接数式画像を出力させてその場で数式過程を確認してアップロードしています。そのためかなり冗長な内容になっているので基本的に計算過程のほとんど無駄な部分です。なのでそういうのはほぼ無視してください。そういう部分は「データの見方」などのエントリーを(たぶん)作成してほかに移します。
なので、そのへんのところ何卒よろしくおながいしまスミダ<`∀´>

 

 

以下本文↓

 

 

単回帰分析の説明変数がひとつなのに対して説明変数が2個以上あるデータモデルを考え、推定量が下のような多次元のベクトル分布、

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析

回帰分析,単回帰分析,重回帰分析

であるような説明変数、目的変数、回帰係数からなるデータ構造を考慮して次のようなデータモデルを考える。

回帰分析,単回帰分析,重回帰分析

 

上記式の回帰直線における回帰分析,単回帰分析,重回帰分析は切片を意味し、回帰分析,単回帰分析,重回帰分析は回帰係数になる。


 

 

データの表現

平均の表し方

回帰分析,単回帰分析,重回帰分析の平均の表し方

回帰分析,単回帰分析,重回帰分析

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析の平均の表し方

回帰分析,単回帰分析,重回帰分析

 

 

不偏分散

それぞれの不偏分散を次のように表現する。

不偏分散

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析

 

回帰分析,単回帰分析,重回帰分析

 

 

回帰分析,単回帰分析,重回帰分析

 

 

残差平方和という考え

切片である回帰分析,単回帰分析,重回帰分析と傾きβの回帰直線を予測した式回帰分析,単回帰分析,重回帰分析の式と実際の観測値回帰分析,単回帰分析,重回帰分析との差を残差として次のように考えることにする。

回帰分析,単回帰分析,重回帰分析

ハットは予測値や推定値を表す際に用いられる(フィッシャー情報量のコンテンツ参照)。

 

 

残差平方和

そしてこれらのn個の観測値に対する残差の二乗和〜残差平方和を次のように表すことにする。

回帰分析,単回帰分析,重回帰分析

上記式において実際の観測値の差がなかった場合、つまり0であればこの残差平方和は0になると考える(ラグランジュ未定乗数法ということらしい)。

 

この残差平方和が可能な限り0(最小)になるような回帰係数群を求める方法を最小2乗法(LSM:least squares method)と呼ぶとのこと。

 

上記式においてそれぞれのパラメータであるα、βで偏微分しそれらを0と置いたものを採用していって正規方程式を導いていく。

続きを読む≫ 2023/03/25 21:45:25

ホーム RSS購読 サイトマップ
TOP 線形代数 ベクトル解析 慣性モーメント 解析力学 微分方程式 NEへの道しるべ