Die Normal Equation ist ein analytischer Ansatz für die lineare Regression mit einer Least Square Cost Function. Wir können den Wert von θ direkt herausfinden, ohne Gradientenabstieg zu verwenden. Dieser Ansatz ist eine effektive und zeitsparende Option, wenn man mit einem Datensatz mit kleinen Merkmalen arbeitet.

Die Normalgleichung lautet wie folgt:

In der obigen Gleichung,
θ : Hypothesenparameter, die sie am besten definieren.
X : Eingangsmerkmalwert jeder Instanz.
Y : Ausgangswert jeder Instanz.

Mathematik hinter der Gleichung –

Gegeben die Hypothesenfunktion

wobei,
n : die Anzahl der Merkmale im Datensatz.
x0 : 1 (für die Vektormultiplikation)

Beachten Sie, dass es sich um das Punktprodukt zwischen θ und x-Werten handelt. Der Einfachheit halber können wir es so schreiben :

Das Motiv bei der linearen Regression ist es, die Kostenfunktion zu minimieren:

wobei,
xi : der Eingabewert von iih Trainingsbeispiel.
m : Anzahl der Trainingsinstanzen
n : Anzahl. der Merkmale des Datensatzes
yi : das erwartete Ergebnis der i-ten Instanz

Lassen Sie uns die Kostenfunktion in Form eines Vektors darstellen.

Wir haben 1/2m hier ignoriert, da es keinen Unterschied in der Arbeit machen wird. Es wurde für die mathematische Bequemlichkeit während der Berechnung des Gradientenabstiegs verwendet. Aber hier wird er nicht mehr benötigt.

xij : Wert des Merkmals jih im Trainingsbeispiel iih.

Dies kann weiter reduziert werden auf
Aber jeder Restwert wird quadriert. Wir können den obigen Ausdruck nicht einfach quadrieren. Denn das Quadrat eines Vektors/einer Matrix ist nicht gleich dem Quadrat der einzelnen Werte. Um also den quadrierten Wert zu erhalten, muss der Vektor/die Matrix mit seiner/ihrer Transponierten multipliziert werden. Die endgültige Gleichung lautet also

Die Kostenfunktion lautet also

So, Nun erhält man den Wert von θ mit Hilfe der Ableitung

So, dies ist die endgültig abgeleitete Normalgleichung mit θ, die den minimalen Kostenwert ergibt.