Adatbányászati alkalmazások

AZ ALAKFELISMERÉS ÉS GÉPI TANULÁS ELEMEIBEVEZETÉS

Példa

Kézzel írt számjegyek felismerése

Polinom illesztése

Négyzet-összeg hibafüggvény

0-ad fokú polinom

1ső fokú polinom

3ad fokú polinom

9ed fokú polinom

Túlillesztés

Átlagos négyzetes hiba gyöke (RMS):

Polinom együtthatók

Adatállomány mérete:

9ed fokú polinom

Adatállomány mérete:

9ed fokú polinom

Regularizáció

Büntessük a nagy értékű együtthatókat:

Regularizáció:

Regularizáció:

Regularizáció: vs.

Polinom együtthatók

Valószínűségelmélet

Almák és Narancsok

Valószínűségelmélet

Marginális valószínűség

Feltételes valószínűségEgyüttes valószínűség

Valószínűségelmélet

Összeg szabály

Szorzat szabály

A valószínűségszámítás szabályai

Összeg szabály

Szorzat szabály

Bayes tétel

a poszterior likelihood × a prior

Valószínűségi sűrűségek

Transzformált sűrűségek

Várható értékek

Feltételes várható érték(diszkrét eset)

A várható érték közelítése(diszkrét és folytonos)

Varianciák és kovarianciák

Normális (Gauss) eloszlás

Gauss eloszlás várható értéke és varianciája

Többdimenziós normális eloszlás

Normális eloszlás paramétereinek becslése

Likelihood függvény

(Log) Likelihood függvény maximalizálása

A és becslések tulajdonságai

Sztochasztikus görbeillesztés

Maximum Likelihood

Határozzuk meg -t az négyzetes hiba maximalizálásával.

Előrejelző eloszlások

MAP: egy lépés a Bayes szemlélet felé

Határozzuk meg -t az regularizált legkisebb négyzetek minimalizálásával.

Bayes-féle görbeillesztés

Bayes-féle előrejelző eloszlások

Modell-választás

Keresztellenőrzés

A dimenzió probléma

A dimenzió probléma

Polinom görbe illesztése M = 3

Gauss sűrűségek magas dimenzióban

Döntéselmélet

KövetkeztetésHatározzuk meg -t vagy -t.

DöntésAdott x esetén határozzuk meg az optimális t-t.

Minimális téves osztályozási arány

Minimális várható veszteség

Példa: osztályozzunk orvosi képeket mint rákos (cancer) vagy normális (normal)

DöntésIg

azsá

g

Minimális várható veszteség

Az tartományt úgy választjuk, hogy minimalizáljuk:

Elutasítás

Miért különítsük el a következtetést és döntést?

• Rizikó minimalizálás (a veszteség mátrix változhat az idővel)• Elutasítási lehetőség• Kiegyensúlyozatlan osztályok• Modellek egyesítése

Döntéselmélet regressziónál

KövetkeztetésHatározzuk meg -t.

Döntés Adott x esetén találjunk y(x)optimális előrejelzést t-re.

Veszteségfüggvény:

Négyzetes veszteségfüggvény

Generatív vagy diszkriminatív

Generatív megközelítés: ModellHasználjuk a Bayes tételt

Diszkriminatív megközelítés: Modellezzük -t közvetlenül

Entrópia

Alapvető mennyiség az alábbi területeken:• kódelmélet• statisztikus fizika• gépi tanulás

Entrópia

Kódelmélet: x diszkrét 8 lehetséges állapottal; mennyi bit szükséges x átviteléhez?

Minden állapot egyenlően valószínű

Entrópia

Entrópia

Hányféleképpen lehet N azonos objektumot elhelyezni M számú dobozba?

Entrópia akkor maximális ha

Entrópia

Folytonos entrópia

Helyezzünk ¢ hosszú dobozokat a valós egyenesre

A folytonos entrópia akkor maximális (adott mellett) amikor

Amely esetben

Feltételes entrópia

Kullback-Leibler divergencia

Kölcsönös információ