重回帰分析とは（作成編集中）

単回帰分析の説明変数がひとつなのに対して説明変数が2個以上あるデータモデルを考え、推定量が下のような多次元のベクトル分布、

であるような説明変数、目的変数、回帰係数からなるデータ構造を考慮して次のようなデータモデルを考えます。

上記式の回帰直線におけるは切片を意味し、は回帰係数になります。

データの表現

平均の表し方

の平均の表し方

より、

に関しても同様にして、

の平均の表し方

不偏分散

それぞれの不偏分散を次のように表現します。

残差平方和という考え

切片であると傾きの回帰直線を予測した式の式と実際の観測値との差を残差として次のように考えることにします。

ハットは予測値や推定値を表す際に用いられるものになります。

残差平方和

そしてこれらのｎ個の観測値に対する残差の二乗和～残差平方和を次のように表すことにする。

上記式において実際の観測値の差がなかった場合、つまり０であればこの残差平方和は0になると考える(ラグランジュ未定乗数法ということらしい)。

この残差平方和が可能な限り０（最小）になるような回帰係数群を求める方法を最小2乗法（LSM：least squares method）と呼ぶとのこと。

上記式においてそれぞれのパラメータであるα、βで偏微分しそれらを0と置いたものを採用していって正規方程式を導いていきます。

正規方程式の導出

とした場合

ここでは簡単のためにを2つと置いた場合のをかを考えます。

上記式における誤差の平方和は以下のように表せられます。

この上記式において左辺の、

を回帰に関して最小化することを考えるようにします。

による偏微分

より、右辺をで偏微分していきます。以下のようにして連鎖律を適用します。

この結果より、による偏微分の結果は、

これらより、第一方程式は以下となります。

の偏微分による第2方程式の導出

先ほどと同じように今度はで偏微分していきます。

より、

と出ますが、次のように、

なので、