Ecuția normală este o abordare analitică a regresiei liniare cu o funcție de cost de cel mai mic pătrat. Putem afla direct valoarea lui θ fără a utiliza Gradient Descent. Urmarea acestei abordări este o opțiune eficientă și care economisește timp atunci când se lucrează cu un set de date cu caracteristici mici.

Ecuația normală este următoarea :

În ecuația de mai sus,
θ : parametrii ipotezei care o definesc cel mai bine.
X : valoarea caracteristicii de intrare a fiecărei instanțe.
Y : valoarea de ieșire a fiecărei instanțe.

Mate în spatele ecuației –

Dată funcția de ipoteză

în care,
n : nr. de caracteristici din setul de date.
x0 : 1 (pentru înmulțirea vectorilor)

Observați că acesta este produsul punctelor între valorile θ și x. Deci, pentru comoditatea rezolvării o putem scrie ca :

Motivul în Regresia liniară este de a minimiza funcția de cost :

unde,
xi : valoarea de intrare a exemplului de instruire iih.
m : nr. de instanțe de instruire
n : nr. de caracteristici ale setului de date
yi : rezultatul așteptat al i-lea exemplu

Să reprezentăm funcția de cost în formă vectorială.

Am ignorat 1/2m aici, deoarece nu va face nicio diferență în lucru. Acesta a fost folosit pentru comoditate matematică în timpul calculării coborârii gradientului. Dar nu mai este necesar aici.

xij : valoarea caracteristicii jih în exemplul de formare iih.

Acest lucru poate fi redus în continuare la
Dar fiecare valoare reziduală este la pătrat. Nu putem pur și simplu să ridicăm la pătrat expresia de mai sus. Deoarece pătratul unui vector/matrice nu este egal cu pătratul fiecăreia dintre valorile sale. Așadar, pentru a obține valoarea la pătrat, înmulțiți vectorul/matricea cu transpunerea sa. Așadar, ecuația finală derivată este

În consecință, funcția de cost este

,