Bias/Variance

Ćwiczenia bazujące na materiałach Andrew Ng.
Przed zajęciami przejrzyj wykłady X i XI
Instructions in English.

Ćwiczenia do pobrania (files to download): Bias and Variance

Lista i opis plików

  • ex5.m - Skrypt pomagający przejść przez laboratorium
  • ex5data1.mat - Zbiór danych
  • featureNormalize.m - Normalizacja cech
  • fmincg.m - Funkcja optymalizująca
  • plotFit.m - Wizualizacja
  • trainLinearReg.m - Funkcja ucząca wykorzystująca napisaną funkcję kosztu
  • :!: linearRegCostFunction.m - Funkcja kosztu dla regresji linowej
  • :!: learningCurve.m - Generowanie krzywej uczenia
  • :!: polyFeatures.m - Mapowanie danych do przestrzeni wielomianowej
  • :!: validationCurve.m - Generowanie krzywej cross-validation

Tips and Tricks

Kilka ogólnych kroków w jakich można debugować algorytm uczący:

  • Zdobądź więcej danych uczących (to nie może zaszkodzić i pomaga w przypadku zbytniego dopasowania - high variance)
  • Wypróbuj mniejszą ilość cech (pomaga w przypadku nadmiernego dopasowania - high variance)
  • Wypróbuj większą ilość cech (pomaga w przypadku niedopasowania)
  • Wypróbuj dodatkowe wielomianowe cechy (te same cechy podniesione do kwadratu, do sześcianu itd. - pomaga w przypadku niedopasowania)
  • Zwiększ $\lambda$ - pomaga w przypadku zbytniego dopasowania - high variance
  • Zmniejsz $\lambda$ - pomaga w przypadku niedopasowania - high bias

Jak ewaluować wyuczony model (hipotezę):

  • Błąd klasyfikacji na danych uczących jest nieodpowiedni do mierzenia tego czy algorytm nie jest nadmiernie dopasowany (overfitted). Rozwiązaniem jest podzielenie zbioru uczącego a dwie części:
    • Learning set (60%) - służy do uczenia algorytmu
    • Cross-Validation set (20%) - służy do odpowiedniego doboru parametru $\lambda$
    • Test set (20%) - służy do sprawdzania na ile algorytm dobrze klasyfikuje dane nienależące do zbioru uczącego.

pl/dydaktyka/ml/lab8.txt · ostatnio zmienione: 2019/06/27 15:50 (edycja zewnętrzna)
www.chimeric.de Valid CSS Driven by DokuWiki do yourself a favour and use a real browser - get firefox!! Recent changes RSS feed Valid XHTML 1.0