49
第第第 第第第第第

第五章

Embed Size (px)

DESCRIPTION

第五章. 分類規則法. 本章大綱. 第一節 分類規則法的概念 第二節 決策樹歸納法 第三節 貝氏分類 第四節 其他分類規則法. 第一節 分類規則法的概念. 何謂分類規則法 分類規則法技術的分類. 何謂分類規則法. 分類法 (Classification) 是針對欲處理且未分類的資料集合,根據已知類別 (Class) 的物件 (Instance) 集合,將欲處理資料依據其屬性 (Attributes) 去完成分類的過程,並冀望能學習分類的規則,提供未來能自動分類之用。. 圖 5.1 建立分類規則與分類器. - PowerPoint PPT Presentation

Citation preview

  • (Classification)(Class)(Instance)(Attributes)

  • 5.1

    Vm

    mW

    ~

    u

    p

    Bpo

    pj

    jp

    Uz

    Uz

    1

    7

    5

    6

    O

    _

    _

    O

    t k

    IF = OR ~ > 5THEN u = O

  • 5.2

    s

    u = O

    mW

    ~

    u

    LpB

    Pp_

    ]p

    pD

    Uz

    3

    6

    4

    8

    O

    _

    O

    O

    ( dp , , 3 )

  • (Semantic Tree)(Root)(Node)(Leaf)IF-THEN(Branch)

  • (c2) (Nodes)(Edges) (Condition Probability Tables)

  • (c3) k-

  • 5.3

    NameTitle

    NameTitle

    NameTitle

    NameTitle

    NameTitle

    NameTitle

    Team Title

    Company Name

    Name

    Company NameDepartment Name

    Whk

    M

    /s

    ID3

    C.45

    CART

    LN

    @vt

    pXvt

    CHAID

    H

    K-Fk

    kX

    g

    tk

  • 5.4

    ~ ?

    ?

    u@ ?

    |

    25 - 35

    > 35

    < 25

    |

    |

    |

    |

    O

    O

    S

  • (Information Theory) (1)-(4)

  • (c2)

  • ID3 (Iterative Dichotomizer 3) CART (Classification and Regression Trees)CART CART Gini Ratio

  • (c2)C4.5 ID3(Predicted Error Rate) CHAID (Chi-Square Automatic Interaction Detector)(Chi-Square Test) P (P-Value)PC4.5CART

  • 5.1

  • (Overfitting) (Bias)

  • 5.5

    Vm

    M

    M

    M

    Wh

  • (Pre-Pruning) (Post-Pruning)

  • IF-THEN

  • ( sample space) (Law of Total Probability )

    ( Bayes Rule)

    ( Prior Probability) ( Sample Probability) ( Posterior Probability)

  • Naive Bayesian Classification

  • Bayesian Belief Network

  • 5.8

  • 31~45

  • 5.3

  • k-

  • Case-based ReasoningCBRCBR

  • 5.10

    ^

    w

    A

    s

    s

  • k-k-Nearest Neighbor ClassifiersK-NN Classifiersk-Pattern Recognition

  • 5.11 K-NN (K = 4) TSi()fiW ii

    T

    S

  • (Lotfi A. Zadeh)1965

  • (c2)A X xX A(x)[0,1]x A A(x)A (Mapping)AAX[0,1]xA(x), xX1008060500{100/1,80/0.8,60/0.6,50/0.4,0/0}100100

  • 5.15

    1

    2

    3

    n-1

    n

    x

    x

    x

    x

    x

    Xh

    h

    Jh

    1

    2

    3

    m-1

    m

    y

    y

    y

    y

    y

    1

    W

    V

    11

    11

    z

    V

    q

    qn

    mq

    W

    z

    ~t

  • Genetic AlgorithmGA1975John Holland

  • (c2)PopulationChromosomesGenesSelectionReproductionCrossoverMutation

  • 5.17

  • 5.18

    l s

    V i t

    t l N i

    d O _

    t V

    VA{

    _

    O

  • (c2)(1)(2)(3) ID3CARTC4.5CHAID

  • (c3)IF-THEN

  • (c4)

  • (c5) k-

  • (c6)

  • (c7)