Różnice między wybraną wersją a wersją aktualną.
| Both sides previous revision Poprzednia wersja Nowa wersja | Poprzednia wersja Nowa wersja Both sides next revision | ||
|
pl:dydaktyka:ml:lab5 [2013/03/21 13:32] esimon [Regularized Cost Function] |
pl:dydaktyka:ml:lab5 [2013/03/21 13:37] esimon [Regularized Cost Function] |
||
|---|---|---|---|
| Linia 75: | Linia 75: | ||
| Funkcja kosztu uwzględniająca regularyzację określona jest następującym wzorem: | Funkcja kosztu uwzględniająca regularyzację określona jest następującym wzorem: | ||
| $$J(\theta) = (\frac{1}{m}\sum\limits_{i=1}^m(-y^{(i)}log(h_\theta(x^{(i)})) - (1 - y^{(i)})log(1-h_\theta(x^{(i))}))))+\frac{\lambda}{2m}\sum\limits_{j=2}^n\theta_j^2$$ | $$J(\theta) = (\frac{1}{m}\sum\limits_{i=1}^m(-y^{(i)}log(h_\theta(x^{(i)})) - (1 - y^{(i)})log(1-h_\theta(x^{(i))}))))+\frac{\lambda}{2m}\sum\limits_{j=2}^n\theta_j^2$$ | ||
| + | |||
| + | **Uwaga** Nie normalizujemy parametru $\theta_0$ :!: W Octave indeksy zaczynają się od 1, dlatego parametr, który powinien zostać pominięty to //theta(1)//. Gradient w takim wypadku przedstawia się następująco: | ||
| + | |||
| + | **Dla** $j=0$ | ||
| + | $$\frac{\partial J(\theta)}{\partial\theta_0}= \frac{1}{m}\sum\limits_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x^{(i)}_j$$ | ||
| + | |||
| + | **Dla** $j\geq1$ | ||
| + | $$\frac{\partial J(\theta)}{\partial\theta_j}= (\frac{1}{m}\sum\limits_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x^{(i)}_j)+\frac{\lambda}{m}\theta_j$$ | ||
| + | |||
