Henrik Bulskov Styltsvig

Efterår 2003

Datalogiafdelingen, hus 42.1Roskilde Universitetscenter

Universitetsvej 1 Postboks 2604000 Roskilde

Telefon: 4674 2000Fax: 4674 3072

www.dat.ruc.dk

Introduktion til KI/Intelligente systemer

KIS, efterår 2003

Henrik Bulskov Styltsvig 2Efterår 2003

Kunstig intelligens - vedrører

• Brug af computere til ræsonnering, mønstergenkendelse, indlæring, eller anden form for inferens

• Et fokus på problemer der ikke har konventionelle algoritmiske løsninger, men må angribes ved heuristisk søgning og AI problemløsnings teknikker

• Et fokus på problemløsning ved brug af ikke eksakt, manglende, eller vagt defineret information. Brug af repræsentationsformalismer som tillader programmer at kompensere for dette.

• Et forsøg på at håndtere aspekter af både semantisk viden (mening) og syntaktisk form

• Systemer der kan give svar der hverken er eksakte eller optimale, men i en eller anden forstand tilfredsstillende.

• Brug af omfattende domænespecifik viden i løsning af problemer.

• Brug af metaniveau viden for at opnå bedre kontrol i problemløsnings-strategier

Henrik Bulskov Styltsvig 3Efterår 2003

Intelligente maskiner

• Filosoffer har gennem tiderne forsøgt at afklare hvordan den menneskelige hjerne fungerer og om tankevirksomhed er unikt for mennesker

• Intelligens• evnen til at forstå og lære • evnen til at tænke og forstå i stedet for at handle instinktivt

og automatisk• ...• evnen til at lære og forstå, til at løse problemer og til at

træffe beslutninger

• Kunstig intelligens• at få maskiner til at reagere på en måde som ville kræve

intelligens af et menneske• altså ikke at konstuere maskiner der kopierer mennesker

• kan maskiner tænke?

Henrik Bulskov Styltsvig 4Efterår 2003

Turings banebrydende artikel

• A.M. Turing• Computing machinery and intelligence, Mind, vol

59, pp 433-460, 1950

• kan maskiner tænke? • Er der tanke uden erfaring?• Er der tanke uden kommunikation?• Er der sprog uden liv?• Er der intelligens uden liv?

• Turing foreviste en måde at svare på dette:• Turing test

Henrik Bulskov Styltsvig 5Efterår 2003

Turing test (i varianten Turing Imitation game)• Fase 1:

• En spørger, en mand og en kvinde fordeles i hvert sit rum

• Spørgeren skal finde ud af hvem der er mand og hvem der er kvinde ved at stille spørgsmål til disse

• manden skal forsøge at narre spørgeren til at tro at han er kvinden

• kvinden skal forsøge at overbevise spørgeren om at hun er kvinden

Henrik Bulskov Styltsvig 6Efterår 2003

Turing test

• Fase 2:• Manden erstattes af

en computer, der er programmeret til at narre spørgeren til at tro at den er kvinden

• Resultat:• hvis computeren kan

narre spørgeren ligeså ofte som manden kan, så kan vi sige at computeren har bestået en test for intelligent adfærd

Henrik Bulskov Styltsvig 7Efterår 2003

Turing test

• Turing troede at ved slutningen af det 20'ende århundrede ville det være mulige at programmere en computer til at bestå turing testen

• det holdt ikke stik

• Testen er dog stadig lige relevant til evaluering af et intelligent / vidensbaseret system:

• Evaluering af intelligent program• ved at sammenligne programmets reaktioner med

menneskelige reaktioner

Henrik Bulskov Styltsvig 8Efterår 2003

The Loebner Prize--"The First Turing Test"

• Hugh Loebner ("New York Philanthropist") har i 1990 igangsat en årlig Turing Test konkurrence

• Guld medalje på 100.000 dollars endnu ikke vundet

• To sidste årlige konkurrencer vundet af Richard Wallace med A.L.I.C.E. "chatbot'ten" (Alicebot)

Henrik Bulskov Styltsvig 9Efterår 2003

KI's historie; I begyndelsen

• A.M. Turing• Opfandt "computer science" og afgrænsede KI-området• Turing test, Turing Maskine, ...

• Warren McCulloch & Walter Pits, • 1943: En model for et kunstigt neuralt netværk, • demonstrerede at simple netværk kunne indlære• dannede grundlaget for Neurale Netværk

• Marvin Minsky & Dean Edmonds• 1951: den første Neurale netværkscomputer

• Claude Shannon• Programming a Computer for Playing Chess,''

Philosophical Magazine, Series 7, Vol. 41 (No. 314, March 1950)

Henrik Bulskov Styltsvig 10Efterår 2003

KI's historie: Store forventninger, mange penge• Summer workshop at Dartmouth College (1956) organiseret af

John McCarthy, Marvin Minsky & Claude Shannon• Dannede begrebet "Artificial Intelligence"

• Herefter var området etableret og tiltrak megen opmærksomhed og penge, fokus bl.a. på• arbejdet med McCulloch & Pits Neurale Netværk fortsatte

• Rosenblatt definerede perceptron og viste konvergens teoremet, der demonstrerede at hans inlæringsalgoritme kunne tilpasse vægtene i en perceptron (simpelt neuralt netværk)

• General Problem Solver (GPS) • Albert Newell & Herbert Simon, Carnegie Mellon• Problem defineres i termer af tilstande• "Mean-end" analyse bestemmer forskel imellem aktuel og ønsket

tilskand (måltilstand) for problemet og vælger operatorer for at opnå måltilstanden"Solution plan": sættet af operatorer

• MEN GPS kunne ikke klare komplekse problemer• Weak methods

• forsøg på ny tilgang (alternativ til f.eks. GPS' udtømmende analyse), der benytter general søgemekanisme til at bestemme en løsning på et problem

• baseret på "weak information" om problem-domænet

Henrik Bulskov Styltsvig 11Efterår 2003

KI's historie: Skuffelse og lukkede pengekasser

• (sidst i 60'erne – først i 70'erne)• Vigtigste problemer for AI

• AI forskere udviklede generelle metoder til brede klasser af problemer

• tidlige programmer indeholdt intet eller kun lidt viden om problem-domænet

• AI programmer baserede sig hovedsageligt på gentagne søgning blandt kombinationer af "små skridt imod en løsning"

• brugbart for små problemer • men typisk ikke skalerbart

• Mange problemer der blev tilgået med AI var for komplekse

Henrik Bulskov Styltsvig 12Efterår 2003

KI's historie: Skuffelse

• F.eks Maskinoversættelse – et skuffende projekt• fra starten et stort velfinansieret projekt

(Amerikanske stat)• automatisk oversættelse af russiske

videnskabelige artikler• beregnet på at studere arbejdet med den russiske

satellit Sputnik i 1957• primært omkring ideen om ord-til-ord

oversættelse udfra en elektronisk ordbog• det måtte konstateres at en generel forståelse var

nødvendig for at kunne vælge den korrekte oversættelse – og at en sådan ikke kunne håndteres af programmet

Henrik Bulskov Styltsvig 13Efterår 2003

KI's historie: Skuffelse og konsekvenser

• USA: • alle oversættelsesprojekter støttet af den

amerikanske stat blev stoppet i 1966

• Generelt: Interessen for AI var forsvundet• bevillinger forsvandt• projekter blev lukket

• eneste håndgribelige resultater var "Game playing"• realistiske problemer kunne ikke håndteres

• England: • Den Britiske regering stoppede i 1971 al støtte til AI

forskning• James Lighthill (Hyret af det Britiske

naturvidenskabelige forskningsråd) konkluderede:• ingen afgørende eller vigtige resultater fra AI forskningen• ingen grund til at bevare AI som forskningsområde

Henrik Bulskov Styltsvig 14Efterår 2003

KI's historie: Ekspert systemer

• Vigtig konklusion fra 70'erne• AI forskere havde forventet at

• smarte søgealgoritmer kunne findes, der ville gøre det muligt at emulere generel menneskelignende problemløsning

• søgning kunne foretages i elementære ræsonneringstrin for at finde komplette løsninger og at "weak knowledge" om domænet kunne anvendes

• da denne tilgang fejlede blev erkendelsen at• domænet for intelligente maskiner måtte

snævres ind• detaljeret viden om domænet måtte

repræsenteres i systemet

Henrik Bulskov Styltsvig 15Efterår 2003

Ekspert system

• Dendral• Edward Feigenbaum, Bruce Buchanan, Joshua

Lederberg, Stanford University

• Udviklet som eksperimentelt system for ræsonnering med organisk kemi og bl.a. anvendt til bestemmelse af molekyle-struktur på månens overflade baseret på massespektral-data

• Støttet af NASA

• Feigenbaum inkoorporerede Lederbergs ekspertviden i programmet for at gøre det i stand tiol at svare på spørgsmål som en menneskelig ekspert.

Henrik Bulskov Styltsvig 16Efterår 2003

Ekspert system

• Paradigmeskift• med DENDRAL skete et skift i AI fra generelle

systemer næsten uden viden til domæne-specifikke systemer med en omfattende videnbase

• Målet med DENDRAL var at udvikle et program der kunne nå niveauet for en menneskelig kemisk ekspert.

• Baseret på regler i form af heuristikker (tommelfingerregler) vistes med DENDRAL at systemet kunne måle sig med en ekspert

• Denne type system var hvad senere fik betegnelsen Ekspert system

• og processen at udlede menneskelig viden (know-how) fik betegnelsen "knowledge engineering"

Henrik Bulskov Styltsvig 17Efterår 2003

Ekspert system

• MYCIN• Et regelbaseret ekspert-system til diagnose af infektions-

sygdomme• kan anvise behandlinger (terapeutisk rådgivning) på en

brugervenlig måde• i kontrollerede omgivelser virker MYCIN bedre end mindre

erfarne læger• omfattede ca 450 regler udledt fra eksperter ved interview• videnbasen med reglerne var klart separeret fra

ræsonerings-mekanismen i systemet• dermed kunne systemet viden manipuleres selvstændigt

• EMYCIN ("Essential MYCIN")• MYCIN tømt for regler og udstyret med en grænseflade til

"knowledge engineering"• dermed et domæne-uafhængigt system der er klar til at

modtage nye regler indenfor et andet domæne

Henrik Bulskov Styltsvig 18Efterår 2003

Ekspert system skal

• Ekspert system skal• Som EMYCIN et system der behandler viden i

form af regler indenfor et domæne og dermed fungere som et ekspertsystem

Henrik Bulskov Styltsvig 19Efterår 2003

Ekspert system

• fra midt-80'erne var ekspert systemer en etableret teknologi.

• 1986-oversigt (Waterman): rapporterede 200 systemer primært indenfor medicin

• 1993-oversigt (Dunkin): rapporterede 2500 systemer, handel og produktion havde da fået overtaget (60% iflg. undersøgelsen)

Henrik Bulskov Styltsvig 20Efterår 2003

Ekspert system begrænsninger

• kun brugbare indenfor meget snævre domæner• følsom overfor ændrede forudsætninger

• MYCIN fungerede godt, men var ubrugelig i situationer hvor en patient havde mere end en sygdom

• kan IKKE relatere akkumuleret heuristisk viden (erfaringer)

• dermed heller ikke opnå en dybere forståelse af problemet

• har problemer med forståelse af "egne begrænsninger"• kan derfor kun bruges ved sikkerhed for at grænserne for

domænet er langt væk

• svært ved at identificere ukorrekt, ufuldstændig eller inkonsistent viden

• fordi heuristiske regler er viden på en abstrakt form løsrevet fra en basal forståelse af domænet

• kan ikke lære af erfaringer • de er individuelle for domænet og koster mange ressourcer

at udvikle

Henrik Bulskov Styltsvig 21Efterår 2003

Systemer der kan indlære: Neurale Netværk

• med erkendelsen af begrænsningerne ved ekspert-systemer blev der i midt-80-erne igen fokuseret på indlærende systemer – specielt på Neurale Netværk

• basale ideer og begreber var allerede udviklet år tidligere, men først i 80-erne var der maskiner der var kraftige nok til implementation

• Neurale Netværk blev "genopdaget" og ideerne blev videreudviklet

• Området fik en opblomstring og det er stadigt aktivt

Henrik Bulskov Styltsvig 22Efterår 2003

Neurale netværk begrænsninger

• NN giver mulighed for bedre interaktion med omgivelserne ræsonnering med regler (symbolsk ræsonnering)

• NN kan • indlære, • indfange ændringer i problemområdet,• etablere "mønstre", hvor ingen regler kendes, • arbejde med upræcis og ufuldstændig information.

• men NN • kan ikke forklare svar,• fungerer som en "black box"• kræver et egnet "træningssæt"• træning svært og dyrt• gentræning er problematisk

Henrik Bulskov Styltsvig 23Efterår 2003

Vag, upræcis, usikker viden: Fuzzy logik

• klart problem med de regelbaserede ekspertsystemer • kan kun etableres hvis der kan indfanges sikker og præcis viden i form

af regler• Fuzzy logik

• formalisme netop til håndtering af vag, upræcis, usikker viden• giver bl.a. mulighed for at repræsentere vage ord / begreber som

• høj, god, dygtig, ...• ofte, sjældent, meget, nogengange, ...

• Fuzzy logik / Fuzzy mængde teori• introduceret af Lotfi Zadeh i 1965• har siden (men især i den første periode) været kontroversiel

• nogen mener at dette skyldes at termen "fuzzy" ikke er seriøs nok• andre at det er fordi ideen er så enkel• dog næppe hele forklaringen

• fik særlig opmærksom og interesse i Japan – både i forskning og industri

• bl.a. success med "fuzzy kontrol" i elektroniske apparater: vaskemasiker fjernsyn, fotoapparater, ...

Henrik Bulskov Styltsvig 24Efterår 2003

Fuzzy logik i kognitiv modellering / vidensmodellering

• Fuzzy regelbaserede systemer performer hurtigere end konventionelle ekspert-systemer fordi de kan klare sig med færre regler

• Fuzzy systemer tillader indkodning af viden på en form som bedre svarer til måden eksperterne tænker på – netop fordi repræsentationen tillader vage og upræcise formuleringer – høj/lav, hurtig/langsom, let/tung, ...

• Fuzzy systemer giver mulighed for at opsummere viden hvori der optræder meningsforskelle – f.eks. imellem forskellige eksperter

Henrik Bulskov Styltsvig 25Efterår 2003

Fuzzy logik og indlæring

• typiske fuzzy systemer er afhængige af regler der er udledt fra ekspertviden

• de senere år har vist en række nye tilgange hvor den viden der repræsenteres til et fuzzy system er skabt baseret på • analyse ved neurale netværk

• datamining

• andre "statistiske" metoder

Henrik Bulskov Styltsvig 26Efterår 2003

KI status

• igen et etableret og respekteret område• dog fragmenteret i delområder hvor flere

kun sjældent bruger betegnelsen KI• succesen i dag skyldes nok først og

fremmest øget regnekraft • grundlaget for de fleste teknikker der

fokuseres på i dag er udviklet for år tilbage• MEN, der kommer hele tiden nye resultater

i en spændende udvikling