Normal ligning er en analytisk tilgang til lineær regression med en Least Square Cost Function. Vi kan direkte finde ud af værdien af θ uden at bruge Gradient Descent. At følge denne fremgangsmåde er en effektiv og tidsbesparende mulighed, når der arbejdes med et datasæt med små funktioner.

Normal ligning er en følger :

I ovenstående ligning,
θ : hypoteseparametre, der definerer den bedst.
X : Input feature-værdi for hver instans.
Y : Output-værdi for hver instans.

Matematik bag ligningen –

Givet hypotesefunktionen

hvor,
n : antallet af features i datasættet.
x0 : 1 (til vektormultiplikation)

Bemærk, at der er tale om et prikprodukt mellem θ- og x-værdier. Så for at gøre det nemmere at løse kan vi skrive det som :

Motivet i lineær regression er at minimere omkostningsfunktionen :

hvor,
xi : indgangsværdien for iih træningseksempel.
m : antal træningsinstanser
n : antal. of data-set features
yi : det forventede resultat for den i’te instans

Lad os repræsentere omkostningsfunktionen i vektorform.

Vi har ignoreret 1/2m her, da det ikke vil gøre nogen forskel i arbejdet. Det blev brugt for den matematiske bekvemmelighed, mens beregning gradient nedstigning. Men det er ikke længere nødvendigt her.

xij : værdien af jih-funktionen i iih-træningseksemplet.

Dette kan yderligere reduceres til
Men hver residualværdi er kvadreret. Vi kan ikke blot kvadrere ovenstående udtryk. Da kvadratet på en vektor/matrix ikke er lig med kvadratet på hver af dens værdier. Så for at få den kvadrerede værdi skal vektoren/matrixen multipliceres med dens transponering. Så den endelige ligning, der er afledt, er

Dermed er omkostningsfunktionen

Så, nu får vi værdien af θ ved hjælp af afledning

Så dette er den endelig afledte normale ligning med θ, der giver den mindste omkostningsværdi.