線形重回帰モデル（作成編集中）
注）このコンテンツは現在作成編集中になります。
本来は紙と鉛筆で数式を計算し証明したものをLaTeXコードにしてtexclip様のところで出力させてHTMLに載せていましたが、これは直接数式画像を出力させてその場で数式過程を確認してアップロードしています。そのためかなり冗長な内容になっているので基本的に計算過程のほとんど無駄な部分です。なのでそういうのはほぼ無視してください。そういう部分は「データの見方」などのエントリーを（たぶん）作成してほかに移します。
なので、そのへんのところ何卒よろしくおながいしまｽﾐﾀﾞ<｀∀´>
以下本文↓
単回帰分析の説明変数がひとつなのに対して説明変数が2個以上あるデータモデルを考え、推定量が下のような多次元のベクトル分布、
であるような説明変数、目的変数、回帰係数からなるデータ構造を考慮して次のようなデータモデルを考える。
上記式の回帰直線における
は切片を意味し、
は回帰係数になる。
データの表現
平均の表し方
の平均の表し方
の平均の表し方
不偏分散
それぞれの不偏分散を次のように表現する。
不偏分散
残差平方和という考え
切片であると傾き
の回帰直線を予測した式
の式と実際の観測値
との差を残差として次のように考えることにする。
ハットは予測値や推定値を表す際に用いられる(フィッシャー情報量のコンテンツ参照)。
残差平方和
そしてこれらのｎ個の観測値に対する残差の二乗和〜残差平方和を次のように表すことにする。
上記式において実際の観測値の差がなかった場合、つまり０であればこの残差平方和は0になると考える(ラグランジュ未定乗数法ということらしい)。
この残差平方和が可能な限り０（最小）になるような回帰係数群を求める方法を最小2乗法（LSM：least squares method）と呼ぶとのこと。
上記式においてそれぞれのパラメータであるα、βで偏微分しそれらを0と置いたものを採用していって正規方程式を導いていく。
正規方程式の導出
とした場合
ここでは簡単のためにＰを2つと置いた場合の
を考える。
上記式における誤差の平方和は以下のように表せられる。
この上記式において左辺の、
を回帰
に関して最小化することを考えるようにする。
による偏微分
で偏微分していく。
この結果より、
による偏微分の結果は、
より、第一方程式、
の偏微分による第2方程式の導出
より、
と出るが、次のように、
なので、
整理すると次のようにの第2正規方程式が求まる。
の偏微分による第3正規方程式の導出
β２の偏微分。
より、
同じように最小となるように次のように置く、
となるのでつぎのように
第3正規方程式が求まる。
これらによって以下のような3つの方程式が求まる。
（１）式の変形
ここで平均の式、
の式と上記（１）の式、
より、
左辺右辺を移動させればまず最初にに関して次のような式が求まる。
（２）式の変形
より先ほど求まったの式を代入して計算していく。
この結果により次のような第2正規方程式が求まる。
(3)式の変形
同様にに関しての式を上記第3方程式に代入していく。
となるので第3方程式に関して次のように求まる。
結果的に次のような3つの式が求まる。
不偏分散式の変形
ここで不偏分散式などのデータ表現に関する一連の式の変形を考察する。
ひとまず平均は次のように表せられる。
上記式を用いて不偏分散式
を以下のように変形していく。
式の変形
ここで先ほど変形した平均の式を代入していく。
よってまず最初に次のような式が求められる。
式の変形
の式の変形も次のように同様に行っていく。
式の変形
の式変形過程
式の変形
式の変形過程
式の変形
式の変形過程
となるので以上、上記5つの不偏分散式はまとめると以下のように表現できることになる。
これらを当てはまると、先ほど求まった3式の正規方程式のうちの次の2つの正規方程式、
は、まず最初に先ほどの平均の式を当てはめれば次のように表現できることになる。
不偏分散式より、
これらを第2方程式に代入すれば、
まず次のような関係式が求まる。
同様に第3方程式、
に関しても、
を使えば、
まとめれば以下のような不偏分散式と回帰係数
、
の関係式が求まる。
これらの係数に関する連立方程式になっているのでこれを解いていく。
の導出
より偏回帰係数は以下のようになる。
の導出
より、
より以下のように求まります。
残差平方和と全変動式の式変形
先ほども前のほうで示したが再度表記すると以下、
また総平方和、または全変動は次のように考えてる。
なので、
ここで残差式を次のようにおいて残差平方和とする。
またさらに残差式より以下のように、
とおいて、全変動（総平方和）の式に代入する。
全変動の式より、
次に残差の総和を考える。
また推定値
は、
より、
この残差
の総和
を考える。
まず
は以下、
により残差の和は次のように結果を導き出せる。
となるが右辺第1項、第2項の総和は
になるので以下のようになる。
補足）実際に10個ぐらいの値を作り出して総和と平均を出して鉛筆で計算して確かめればいい。
となるので先ほど導かれた全変動の式、
に関して右辺の第2項はキャンセルされて結果的に以下のような方程式が求まる。
まだ途中だよ
