A normál egyenlet a lineáris regresszió analitikus megközelítése a legkisebb négyzet költségfüggvénnyel. A θ értékét közvetlenül, Gradient Descent használata nélkül is megtudhatjuk. Ezt a megközelítést követve hatékony és időtakarékos megoldás, ha kis jellemzőkkel rendelkező adathalmazzal dolgozunk.

A normális egyenlet a következő :

A fenti egyenletben,
θ : a hipotézis paraméterei, amelyek a legjobban meghatározzák.
X : az egyes példányok bemeneti jellemzőértéke.
Y : az egyes példányok kimeneti értéke.

Matematika az egyenlet mögött –

A hipotézisfüggvény

megadva,
n : az adathalmazban lévő jellemzők száma.
x0 : 1 (vektorszorzás esetén)

Megjegyezzük, hogy ez a θ és x értékek közötti pontszorzat. Így a megoldás megkönnyítése érdekében a következőképpen írhatjuk le :

A lineáris regresszió motívuma a költségfüggvény minimalizálása :

ahol,
xi : az iih képzési példa bemeneti értéke.
m : a képzési példányok száma
n : a képzési példányok száma. az adathalmaz jellemzőinek száma
yi : az i-edik példány várható eredménye

A költségfüggvényt ábrázoljuk vektoros formában.

az 1/2m-t itt figyelmen kívül hagytuk, mivel az nem jelent különbséget a munkában. Ezt a matematikai kényelem érdekében használtuk a gradiens süllyedés kiszámítása során. De itt már nincs rá szükség.

xij : a jih jellemző értéke az iih képzési példában.

Ez tovább redukálható
De minden egyes maradékértéket négyzetre állítunk. Nem tudjuk egyszerűen négyzetre emelni a fenti kifejezést. Mivel egy vektor/mátrix négyzete nem egyenlő az egyes értékeinek négyzetével. Tehát ahhoz, hogy megkapjuk a négyzetes értéket, szorozzuk meg a vektort/mátrixot a transzponálásával. A levezetett végső egyenlet tehát

Ezért a költségfüggvény

Szóval, most megkapjuk a θ értékét a derivált segítségével

Szóval, ez a végül levezetett normálegyenlet θ-vel, amely a minimális költségértéket adja.