Normal Equation is een analytische benadering van Linear Regression met een Least Square Cost Function. We kunnen de waarde van θ direct achterhalen zonder gebruik te maken van Gradient Descent. Deze aanpak is een effectieve en tijdbesparende optie als je werkt met een dataset met kleine kenmerken.

Normale vergelijking is als volgt :

In de bovenstaande vergelijking,
θ : hypotheseparameters die het best definiëren.
X : waarde van het ingangskenmerk van elke instantie.
Y : waarde van het uitgangskenmerk van elke instantie.

Wiskunde achter de vergelijking –

Gegeven de hypothese-functie

waar,
n : het aantal kenmerken in de gegevensverzameling.
x0 : 1 (voor vectorvermenigvuldiging)

Merk op dat dit een dot-product is tussen θ en x-waarden. Voor het gemak van de oplossing kunnen we het schrijven als :

Het motief bij lineaire regressie is de kostenfunctie te minimaliseren:

waar,
xi : de invoerwaarde van iih trainingsvoorbeeld.
m : aantal trainingsinstanties
n : aantal van kenmerken van de gegevensset
yi : het verwachte resultaat van de i-de instantie

Laten we de kostenfunctie in vectorvorm weergeven.

we hebben 1/2m hier genegeerd omdat dit geen verschil maakt in de werking. Het werd gebruikt voor het wiskundige gemak tijdens de berekening van de gradiënt afdaling. Maar het is hier niet meer nodig.

xij : waarde van jih kenmerk in iih trainingsvoorbeeld.

Dit kan verder worden gereduceerd tot
Maar elke restwaarde is gekwadrateerd. We kunnen de bovenstaande uitdrukking niet eenvoudigweg kwadrateren. Het kwadraat van een vector/matrix is niet gelijk aan het kwadraat van elk van zijn waarden. Dus om de kwadratische waarde te krijgen, moet de vector/matrix met zijn getransponeerde worden vermenigvuldigd. De uiteindelijke vergelijking is dus

Daarmee is de kostenfunctie

Dus, nu de waarde van θ krijgen met behulp van afgeleide

Dit is dus de uiteindelijk afgeleide normale vergelijking met θ die de minimale kostenwaarde geeft.