Normaaliyhtälö on analyyttinen lähestymistapa lineaariseen regressioon pienimmän neliön kustannusfunktion avulla. Voimme suoraan selvittää θ:n arvon ilman Gradient Descent -menetelmää. Tämän lähestymistavan noudattaminen on tehokas ja aikaa säästävä vaihtoehto, kun työskennellään tietokokonaisuuden kanssa, jossa on pieniä piirteitä.
Normaaliyhtälö on seuraava :
Yllä olevassa yhtälössä,
θ : hypoteesin parametrit, jotka määrittelevät sen parhaiten.
X : Kunkin instanssin tulo-ominaisuuden arvo.
Y : Kunkin instanssin lähtöarvo.
Matematiikkaa yhtälön takana –
Annetaan hypoteesifunktio
jossa,
n : piirteiden lukumäärä datajoukossa.
x0 : 1 (vektorin kertolasku)
Huomaa, että kyseessä on θ:n ja x:n arvojen välinen pistetuotto. Joten ratkaisun helpottamiseksi voimme kirjoittaa sen seuraavasti :
Lineaarisen regression motiivina on minimoida kustannusfunktio :
jossa,
xi : iih harjoitusesimerkin tuloarvo.
m : harjoitustapausten lukumäärä
n : lukumäärä. of data-set features
yi : i:nnen instanssin odotettu tulos
Tiedostetaan, että kustannusfunktio esitetään vektorimuodossa.
Olemme jättäneet 1/2m:n tässä huomiotta, koska sillä ei ole mitään merkitystä työskentelyssä. Sitä käytettiin matemaattisen mukavuuden vuoksi gradienttilaskeutumista laskettaessa. Mutta sitä ei enää tarvita tässä.
xij : jih-ominaisuuden arvo iih-koulutusesimerkissä.
Tämä voidaan edelleen pelkistää muotoon
Mutta jokainen jäännösarvo on neliöity. Emme voi yksinkertaisesti neliöidä yllä olevaa lauseketta. Koska vektorin/matriisin neliö ei ole yhtä suuri kuin kunkin sen arvon neliö. Saadaksemme neliöllisen arvon, kerrotaan vektori/matriisi sen transponoinnilla. Lopullinen johdettu yhtälö on siis
Siten kustannusfunktio on
So, nyt saadaan θ:n arvo derivaatan avulla