回帰分析

2022年8月7日3 min

前提知識

最小二乗法 (least squares method) は、測定で得られたデータセットを一次関数 (直線) で近似するときに、二乗誤差の和が最小になるように一次関数の係数を決定する方法である。

$n$ 個のデータ $(X,Y)=\{(x_1,y_1),(x_2,y_2),\dots,(x_i,y_i)$ を最小二乗法で一次関数 $y=ax+b$ の形に近似すると、一次関数の係数 $a,b$ は

\begin{aligned} a&=\dfrac{\text{Cov}[X,Y]}{\Bbb{V}[X]}\\ b&=-a\Bbb{E}[X]+\Bbb{E}[Y] \end{aligned}

となる。

導出

一次関数 $y=ax+b$ の形で近似したときの二条誤差の和 $\epsilon(a,b)$ は

\epsilon(a,b)=\sum_i(y_i-ax_i-b)^2

となる。

$a$ を定数とみなすと、 $\epsilon(a,b)$ は下に凸な二次関数であるため

\begin{aligned} \dfrac{\partial\epsilon(a,b)}{\partial b}&=0\\ -2\sum_i(y_i-ax_i-b)&=0\\ a\sum_i{x_i}+bn&=\sum_i{y_i}\\ a\Bbb{E}[X]+bn&=\Bbb{E}[Y] \end{aligned}

同様に $b$ を定数とみなすと、 $\epsilon(a,b)$ は下に凸な二次関数であるため

\begin{aligned} \dfrac{\partial\epsilon(a,b)}{\partial a}&=0\\ -2\sum_ix_i(y_i-ax_i-b)&=0\\ a\sum_i{x_i^2}+b\sum_i{x_i}&=\sum_i{x_iy_i} \end{aligned}

ここで $b=\dfrac{-a\Bbb{E}[X]+\Bbb{E}[Y]}n$ を代入して

a\sum_i{x_i^2}+\left(\dfrac{-a\Bbb{E}[X]+\Bbb{E}[Y]}n\right)\sum_i{x_i}=\sum_i{x_iy_i}

両辺を $n$ で割ると

\begin{aligned} a\Bbb{E}[X^2]+(-a\Bbb{E}[X]+\Bbb{E}[Y])\Bbb{E}[X]&=\Bbb{E}[XY]\\ a&=\dfrac{\Bbb{E}[XY]-\Bbb{E}[X]\Bbb{E}[Y]}{\Bbb{E}[X^2]-\Bbb{E}[X]^2} \end{aligned}

ここで $\Bbb{E}[XY]-\Bbb{E}[X]\Bbb{E}[Y]=\text{Cov}[X,Y],\Bbb{E}[X^2]-\Bbb{E}[X]^2=\Bbb{V}[X]$ より

\begin{aligned} a&=\dfrac{\text{Cov}[X,Y]}{\Bbb{V}[X]}\\ b&=-a\Bbb{E}[X]+\Bbb{E}[Y] \end{aligned}