Normal Equationは最小二乗コスト関数による線形回帰の分析的アプローチである。 勾配降下を使用せずに直接θの値を求めることができます。 この方法は、特徴量の少ないデータセットを扱う場合に有効で、時間を節約することができます。

正規方程式は以下の通り：

上式において、
θ : それを最もよく定義する仮説パラメータ、
X : 各インスタンスの入力特徴量、
Y : 各インスタンスの出力値、
Yは各インスタンスの出力値。

式の背後にある数学 –

仮説関数

where,
n : データセットの特徴数.
x0 : 1 (ベクトルの乗算)

これがθとx値の点積であることに注意することだ。 線形回帰の目的は、コスト関数を最小化することです。

ここで、
xi : iih学習例の入力値
m : 学習インスタンスの数
n : 学習インスタンスの数(no.)である。
m : 学習インスタンス数
n : データセットの特徴量
yi : i番目のインスタンスの期待値

ここで、コスト関数をベクトルで表現する。 これは勾配降下の計算時に数学的な便宜のために使用されていたものです。

xij : iih学習例におけるjih特徴量の値です。

これをさらに小さくすると
しかし、各残差値は2乗される。 上の式を単純に2乗することはできない。 ベクトル／行列の2乗は、その各値の2乗に等しくないからです。 そこで、二乗した値を得るには、ベクトル/行列にその転置を掛ければよい。 ということで、最終的に導き出される式は

となり、コスト関数は

となります。 ここで、微分

でθを求め、コスト最小値を与える正規方程式が導き出されました。