Normalekvation är ett analytiskt tillvägagångssätt för linjär regression med en minsta kvadratkostnadsfunktion. Vi kan direkt ta reda på värdet på θ utan att använda Gradient Descent. Att följa detta tillvägagångssätt är ett effektivt och tidsbesparande alternativ när man arbetar med en datamängd med små funktioner.

Normal ekvation är en följande :

I ovanstående ekvation,
θ : hypotesparametrar som definierar den bäst.
X : Ingångsvärde för varje instans.
Y : Utgångsvärde för varje instans.

Matematik bakom ekvationen –

Givet hypotesfunktionen

där,
n : antalet funktioner i datamängden.
x0 : 1 (för vektormultiplikation)

Bemärk att detta är en punktprodukt mellan θ- och x-värden. Så för att underlätta lösningen kan vi skriva det som :

Motivet i linjär regression är att minimera kostnadsfunktionen :

varvid,
xi : ingångsvärdet för iih träningsexempel.
m : antal träningsinstanser
n : antal träningsinstanser. av dataelement
yi : det förväntade resultatet för den i:e instansen

Låt oss representera kostnadsfunktionen i en vektorform.

Vi har ignorerat 1/2m här eftersom det inte kommer att göra någon skillnad i arbetet. Det användes för den matematiska bekvämligheten vid beräkning av gradient descent. Men det behövs inte längre här.

xij : värdet av jih-funktionen i iih-träningsexemplet.

Detta kan ytterligare reduceras till
Men varje restvärde är kvadrerat. Vi kan inte helt enkelt kvadrera ovanstående uttryck. Eftersom kvadraten på en vektor/matrix inte är lika med kvadraten på vart och ett av dess värden. Så för att få fram det kvadrerade värdet multiplicerar vi vektorn/matrisen med dess transponering. Så den slutliga ekvationen är

Därmed är kostnadsfunktionen

Så, Nu får vi värdet på θ med hjälp av derivatan

Det här är alltså den slutgiltigt härledda normalkalkalkylen med θ som ger det lägsta kostnadsvärdet.