注)このコンテンツは現在作成編集中になります。
本来は紙と鉛筆で数式を計算し証明したものをLaTeXコードにしてtexclip様のところで出力させてHTMLに載せていましたが、これは直接数式画像を出力させてその場で数式過程を確認してアップロードしています。そのためかなり冗長な内容になっているので基本的に計算過程のほとんど無駄な部分です。なのでそういうのはほぼ無視してください。そういう部分は「データの見方」などのエントリーを(たぶん)作成してほかに移します。
なので、そのへんのところ何卒よろしくおながいしまスミダ<`∀´>
以下本文↓
単回帰分析の説明変数がひとつなのに対して説明変数が2個以上あるデータモデルを考え、推定量が下のような多次元のベクトル分布、
であるような説明変数、目的変数、回帰係数からなるデータ構造を考慮して次のようなデータモデルを考える。
上記式の回帰直線におけるは切片を意味し、
は回帰係数になる。
データの表現
平均の表し方
の平均の表し方
の平均の表し方
不偏分散
それぞれの不偏分散を次のように表現する。
不偏分散
残差平方和という考え
切片であると傾き
の回帰直線を予測した式
の式と実際の観測値
との差を残差として次のように考えることにする。
ハットは予測値や推定値を表す際に用いられる(フィッシャー情報量のコンテンツ参照)。
残差平方和
そしてこれらのn個の観測値に対する残差の二乗和〜残差平方和を次のように表すことにする。
上記式において実際の観測値の差がなかった場合、つまり0であればこの残差平方和は0になると考える(ラグランジュ未定乗数法ということらしい)。
この残差平方和が可能な限り0(最小)になるような回帰係数群を求める方法を最小2乗法(LSM:least squares method)と呼ぶとのこと。
上記式においてそれぞれのパラメータであるα、βで偏微分しそれらを0と置いたものを採用していって正規方程式を導いていく。