Normální rovnice je analytický přístup k lineární regresi s nákladovou funkcí nejmenších čtverců. Můžeme přímo zjistit hodnotu θ bez použití Gradient Descent. Postup podle tohoto přístupu je efektivní a časově nenáročný, pokud pracujeme se souborem dat s malými prvky.

Normální rovnice je následující :

V uvedené rovnici,
θ : parametry hypotézy, které ji nejlépe definují.
X : vstupní hodnota funkce každé instance.
Y : výstupní hodnota každé instance.

Matematika za rovnicí –

Podle funkce hypotézy

kde,
n : počet rysů v souboru dat.
x0 : 1 (pro násobení vektorů)

Všimněte si, že se jedná o tečkový součin mezi hodnotami θ a x. Pro usnadnění řešení ji tedy můžeme zapsat jako :

Motivem v lineární regresi je minimalizace nákladové funkce :

kde,
xi : vstupní hodnota iih trénovacího příkladu.
m : počet trénovacích případů
n : počet. rysů datové sady
yi : očekávaný výsledek i-tého případu

Představujeme nákladovou funkci ve vektorovém tvaru.

zanedbali jsme zde 1/2m, protože to nebude mít žádný vliv na práci. Byla použita pro matematické pohodlí při výpočtu gradientního sestupu. Zde však již není potřeba.

xij : hodnota funkce jih v trénovacím příkladu iih.

To lze dále zredukovat na
Každá reziduální hodnota je však čtvercová. Výše uvedený výraz nemůžeme jednoduše odmocnit. Protože čtverec vektoru/matic není roven čtverci každé jeho hodnoty. Chceme-li tedy získat čtvercovou hodnotu, vynásobíme vektor/matrici její transpozicí. Takže konečná rovnice, kterou jsme získali, je

Nákladová funkce je tedy

Takže, nyní získání hodnoty θ pomocí derivace

Takže toto je konečně odvozená normální rovnice s θ dávající minimální hodnotu nákladů.