Equação Normal é uma abordagem analítica à Regressão Linear com uma Função de Custo Menos Quadrado. Podemos descobrir diretamente o valor de θ sem utilizar a Descendência Gradiente. Seguir esta abordagem é uma opção eficaz e uma economia de tempo quando se trabalha com um conjunto de dados com características pequenas.

Equação Normal é uma equação :

Na equação acima,
θ : parâmetros de hipóteses que a definem como a melhor.
X : valor da característica de entrada de cada instância.
Y : valor de saída de cada instância.

Math Behind the equation –

Dada a função de hipótese

where,
n : o número de características no conjunto de dados.
x0 : 1 (para multiplicação vetorial)

Note que este é um produto de pontos entre θ e x valores. Então para a conveniência de resolver podemos escrevê-lo como :

O motivo em Regressão Linear é minimizar a função custo:

where,
xi : o valor de entrada do exemplo de treino do iih.
m : número de instâncias de treino
n : não. de características do conjunto de dados
yi : o resultado esperado de ith instância

Deixe-nos representar a função de custo em forma vetorial.

>
devemos ignorar 1/2m aqui, pois não fará diferença no trabalho. Foi usado para a conveniência matemática durante a descida do gradiente de cálculo. Mas não é mais necessário aqui.

xij : valor da característica jih no exemplo de treino iih.

Isso pode ser reduzido ainda mais para
Mas cada valor residual é quadrático. Não podemos simplesmente ajustar ao quadrado a expressão acima. Como o quadrado de um vetor/matriz não é igual ao quadrado de cada um de seus valores. Então para obter o valor ao quadrado, multiplique o vetor/matriz com a sua transposição. Assim, a equação final derivada é

Então, a função custo é

So, agora obtendo o valor de θ usando a derivada

>

>

> Então, esta é a Equação Normal finalmente derivada com θ dando o valor de custo mínimo.