Metody analizy decyzji
Wykład 7 – sekwencyjne problemy decyzyjne
2
• Specyfika sekwencyjnych problemów decyzyjnych
• Model sekwencyjnego problemu decyzyjnego
• Parametryzacja modelu
• Rozwiązywanie problemów sekwencyjnych (indukcja wsteczna)
Cele dzisiejszego wykładu
3
• Problemy decyzyjne są często częścią większych problemów
• Wybór dotyczy ciągu działań odseparowanego w czasie
• Akcje spotykają się z reakcjami środowiska– trudno podjąć wszystkie decyzje na zapas– zależności strukturalne (dostępność akcji zależy od reakcji) –
trudno postrzegać „jednocześnie”
• Akcje podejmowane po to, żeby zbadać stan świata (nawet bez 100% pewności)
Sekwencyjne sytuacje decyzyjne
4
Firma zdała sobie sprawę, że wypuściła na rynek wadliwy produkt. Nie jest pewna skali zjawiska – może być duża (40%) lub mała. Jeśli firma nie da po sobie znać, to wina za duży problem na 25% nie zostanie przypisana firmie (za mały na pewno nie). Firma może zignorować problem, upublicznić sprawę lub wszcząć wewnętrzne śledztwo. Wewnętrzne śledztwo na 80% faktycznie pozostanie w ukryciu i da pewną informację nt. skali problemu. Wtedy firma będzie mogła ponownie podjąć decyzję o upublicznieniu lub zignorowaniu przy zachowaniu ww. prawdopodobieństw. Jeśli śledztwo się wyda, pozostaje jedynie niepewność co do skali problemu i reakcji ludzi.Straty – konieczność rekompensat i wymiany sprzętu – wynikające z dużego problemu wynoszą 100 [wszystkie kwoty w mln $], z małego 30. Jeśli problem jest duży, to dodatkowa strata wyniesie: 100 – jeśli firma ignorowała problem, 50 – jeśli firma badała kwestię, ale w ukryciu.Koszt upublicznienia jest równy 1, zaś śledztwa 5.
Przykład
5
• Jakie warianty decyzyjne są dostępne, ile ich jest?• Jakie są możliwe konsekwencje dla poszczególnych
wariantów? Jakie są związane z nimi wypłaty i prawdopodobieństwa wystąpienia?
• Jaka jest optymalna decyzja? Jakie zachowania przewiduje?• Jak wpływa wzrost prawdopodobieństwa przecieku ze
śledztwa? • Ile jest warta możliwość przeprowadzenia śledztwa?• Ile maksymalnie warto zapłacić za informację o skali
problemu?
Przykład – pytania
6
• Brak uwidocznienia struktury• Trudność odgadnięcia niezbędnych parametrów• Trudność reewaluacji• Niewidoczne współzależności między parametrami
Model sekwencyjnego problemu decyzyjnego – złe podejście
Skala jest duża, ale sama z siebie nie wyjdzie; sekretne badania
wyjdą na jaw… …
Zignoruj problem … … …
… … … …Prowadź badania, jeśli uda się utrzymać
sekret i okaże się, że …, to … … … …
7
• Elementy modelu:– struktura (dostępne działania, następstwo czasowe)– parametry (prawdopodobieństwa, koszty, wypłaty)
• Struktura: drzewo decyzyjne – graf (nieskierowany, spójny, acykliczny)– korzeń reprezentuje początek sytuacji decyzyjnej– wierzchołki reprezentują moment oczekiwania lub zakończenie
problemu– wierzchołki: decyzyjne, losowe, końcowe– krawędzie między wierzchołkami reprezentują działania/reakcje– odległość wierzchołków od korzenia reprezentuje następstwo czasowe
Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne
8
9
• Elementy modelu:– struktura (dostępne działania, następstwo czasowe)– parametry (prawdopodobieństwa, koszty, wypłaty)
• Struktura: …
• Parametry:– miary prawdopodobieństwa dla wierzchołków losowych– …
Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne, c.d.
10
11
• Elementy modelu:– struktura (dostępne działania, następstwo czasowe)– parametry (prawdopodobieństwa, koszty, wypłaty)
• Struktura: …
• Parametry:– miary prawdopodobieństwa dla wierzchołków losowych– wypłaty dla wierzchołków końcowych– koszty dla działań i reakcji (krawędzi wychodzących z odpowiednich
węzłów)
Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne, c.d.
12
13
• Stałość parametrów• Czas tylko porządkowo (tylko następstwo
czasowe)• Jeden decydent• Jedno kryterium• Liniowa f. użyteczności (ew. wypłaty w węzłach
końcowych jako użyteczność)
Przyjęte uproszczenia modelu
14
• Wariant decyzyjny jednoznacznie określa zachowanie decydenta poprzez podanie reguł: „jeśli wystąpi stan świata X, podejmij działanie Y”
• Wariant decyzyjny to maksymalny spójny podgraf, w którym każdy wierzchołek decyzyjny ma dokładnie jeden następnik
• Ile jest wariantów decyzyjnych w naszym problemie?
Model sekwencyjnych problemów decyzyjnych – warianty decyzyjne
15
16
Przykładowe warianty decyzyjne
17
• Każdemu wariantowi odpowiada co najmniej jedna konsekwencja, tj. ścieżka działań i reakcji, która może zajść w wyniku wybrania tego wariantu
• Konsekwencje reprezentowane są przez maksymalne spójne podgrafy, w których każdy węzeł (poza końcowymi) ma jeden następnik
• Każdy wariant ma tyle konsekwencji, ile węzłów końcowych
• Konsekwencjom odpowiadają wypłaty dla decydenta oraz prawdopodobieństwo (przy założeniu wybrania wariantu, dla którego dana konsekwencja możliwa)
Konsekwencje
18
Przykładowe konsekwencje
19
• Każdemu wariantowi odpowiada co najmniej jedna konsekwencja, tj. ścieżka działań i reakcji, która może zajść w wyniku wybrania tego wariantu
• Konsekwencje reprezentowane są przez maksymalne spójne podgrafy, w których każdy węzeł (poza końcowymi) ma jeden następnik
• Każdy wariant ma tyle konsekwencji, ile węzłów końcowych
• Konsekwencjom odpowiadają wypłaty dla decydenta oraz prawdopodobieństwo (przy założeniu wybrania wariantu, dla którego dana konsekwencja możliwa)
• Ta sama konsekwencja może wynikać z kilku różnych wariantów (różniących się po reakcjach, które nie zaszły) – wtedy ma takie same wypłaty i prawdopodobieństwa dla każdego wariantu
Konsekwencje, c.d.
20
• Każdej konsekwencji odpowiada:– koszt – suma kosztów na ścieżce konsekwencji– wypłata – z węzła końcowego– prawdopodobieństwo – iloczyn prawdopodobieństw
• Każdemu wariantowi przypisać można rozkład prawdopodobieństwa zysku (wypłat pomniejszonych o koszty)
• Przy porównywaniu można stosować metody poznane na poprzednim wykładzie,…
• …w dalszej części będziemy wykorzystywać wartość oczekiwaną zysku (liniowa funkcja użyteczności)
Ocena wariantu i wybór
21
• W dużych problemach łatwiej wybrać metodą indukcji wstecznej:– przesuwamy się od węzłów końcowych do wierzchołka– dla węzłów końcowych mamy zdefiniowaną wypłatę– z każdym węzłem losowym utożsamiamy wypłatę jako wartość
oczekiwaną wypłaty dla jego następników– z każdym węzłem decyzyjnym utożsamiamy wypłatę jako najwyższą
wypłatę dla któregoś następnika pomniejszoną o koszt działania
• Uwaga:– dla każdego węzła decyzyjnego dokonaliśmy wyboru – te wybory definiują
wariant decyzyjny, który jest rozwiązaniem!– wartość obliczona w korzeniu drzewa definiuje oczekiwaną wypłatę przy
wybraniu rozwiązania – to jest także wartość całego problemu
Wybór metodą indukcji wstecznej
22
23
• Optymalny wariant przewiduje prowadzenie badań i upublicznienie wyników (o ile samoistnie nie nastąpił przeciek), jeśli okaże się, że skala problemu jest duża
• Oczekiwana strata w tej sytuacji decyzyjnej dla optymalnego wariantu wynosi 58,6 mln $
• Druga najlepsza opcja to natychmiastowe upublicznienie wyników – oczekiwana strata jest wówczas równa 59 mln $
Podsumowanie rozwiązania
24
Rockefeller ma pole w umiarkowanie roponośnej okolicy. Zgłosił się do niego oferent, proponując mu za to pole od ręki 750 tys. $, jeśli do transakcji dojdzie natychmiast.
Rockefeller może jednak próbować zarobić większe pieniądze. Wiadomo, że połowa pól w tej okolicy rzeczywiście obfituje w ropę. Można (za 250 tys. $) zbudować instalację pozwalającą na wydobycie. Jeśli pod polem znajdują się złoża, przychód wyniesie 2,5 mln. $. Jeśli nie, przychód wyniesie 0$. Co więcej, wykonanie odwiertu uniemożliwia sprzedaż pola (wszyscy wiedzą, że oznaczać to może wyłącznie to, że pole jest bezwartościowe)
Alternatywnie można zdecydować się na próbne odwierty połączone z badaniami geologicznymi, które kosztują 100 tys. $. Wyniki takich badań są mylne w 10%, jeśli pole jest roponośne (sensitivity = 90%), i w 30%, jeśli ropy nie ma (specificity = 70%).
Po wykonaniu badania można podjąć decyzję o budowaniu instalacji na powyższych warunkach lub sprzedaży pola. Co więcej, uzyskanie pozytywnego sygnału daje możliwość sprzedaży za wyższą kwotę, bo za 1 mln. $ (dostaje się odpowiedni certyfikat). Uzyskanie negatywnego wyniku można ukryć i sprzedać pole za 500 tys. $.
Przykład 2 – czarne złoto
25
Ustal strukturę drzewa
26
Wpisz wypłaty i koszty
27
Podaj prawdopodobieństwa
Prawdopodobieństwo warunkowe Bayes
• Prawdopodobieństwo zdarzenia pod warunkiem innego zdarzenia
• Prawdopodobieństwo całkowite zdarzenia w zależności od zajścia którejś z rozłącznych możliwości
• Prawdopodobieństwo zajścia hipotezy pod warunkiem zajścia skutku
)(
)()|(
HP
HAPHAP
)()|()()|()(
)()()(
)()(
;;,,
11
1
1
11
nn
n
n
njin
HPHAPHPHAPAP
HAPHAPAP
HAHAA
HHHHjiHH
)()|()()|(
)()|(
)(
)()|(
11
1111
nn HPHAPHPHAP
HPHAP
AP
AHPAHP
Paradox Monty Hall’a
• http://www.math.ucsd.edu/~crypto/Monty/montybg.html
Przykład z testowaniem wirusa HIV• Prawdopodobieństwo, że dana
osoba jest zakażona wirusem HIV w danej populacji jest 0,1%
• Test się myli w 1% przypadków, jeśli osoba jest zakażona (sensitivity = 99%)
• Test się myli w 5% przypadków, jeśli osoba jest niezakażona (specificity = 95%)
• Jakie jest prawdopodobieństwo, że dana osoba jest zakażona pod warunkiem, że test wskazał „positive”?
• Jakie jest prawdopodobieństwo, że dana osoba nie jest zakażona pod warunkiem, że test wskazał „negative”?
0,099%
0,001%
4,995%
94,905%
0,099%
0,001%
4,995%
94,905%
Probability tree flipping
Czarne złoto – prawdopodobieńśtwa
• Oznaczenia:– hipotezy:
• H1 – jest ropa• H2 – nie ma ropy
– zdarzenie A – pozytywny wynik testu
• Dane:– P(H1)= 50%– P(H2)= 50%– P(A|H1)= 90%– P(A|H2)= 30%– P(~A|H1)= 10%– P(~A|H2)= 70%
• Potrzebujemy:– P(A)=…– P(H1|A)=…– P(H1|~A)=…
• Obliczenia:P(A) = P(A|H1)P(H1)+P(A|H2)P(H2)==90%*50%+30%*50%=60%
P(H1|A)=P(A|H1)P(H1)/P(A)=90%*50%/60% = 75%
P(H1|~A)=P(~A|H1)P(H1)/P(~A)=10%*50%/40% = 12,5%
34
Prawdopodobieństwa warunkowe intuicyjnie
Pr(test + | wiersz) Pr(test - | wiersz) Pr. wiersza
jest ropa 90% 10% 50%
nie ma 30% 70% 50%
SUMA n.a. n.a. 100%
test + test - SUMA
jest ropa 45% 5% 50%
nie ma 15% 35% 50%
SUMA 60% 40% 100%
test + test - SUMA
Pr(jest ropa | kolumna) 75% 12,5% n.a.
Pr(nie ma | kolumna) 25% 87,5% n.a.
Pr. kolumny 60% 40% 100%
35
Podaj prawdopodobieństwa
36
Rozwiąż metodą indukcji wstecznej
37
• Optymalny wariant przewiduje prowadzenie badań i sprzedaż pola dla negatywnego wyniku oraz budowanie instalacji dla pozytywnego
• Oczekiwany zysk dla optymalnego wariantu wynosi 1,075 mln $
• Druga najlepsza opcja to natychmiastowe budowanie instalacji – oczekiwany zysk jest wówczas równy 1 mln $
Podsumowanie rozwiązania
38
• Darmowe (do celów niekomercyjnych):– InsightTree:
http://www.visionarytools.com/License.htm
• Płatne, wiele funkcji, dostępna wersja testowa:– TreeAge: http://www.treeage.com/
Narzędzia
39
40
• Drzewo decyzyjne jako model sekwencyjnego problemu decyzyjnego (to nie to samo co drzewo klasyfikacyjne z data miningu!)
• Drzewo decyzyjne ułatwia strukturyzację modelu, ale wciąż występują pułapki (jak zawsze) – trzeba zachować perspektywę decydenta
• Parametryzacja często wymaga metod bayesowskich
• Do rozwiązywania można podejść globalnie (wypisanie wariantów) albo rekurencyjnie (indukcja wsteczna) – w ramach modelu i ograniczeń stosowanych dzisiaj podejścia te są równoważne
Podsumowanie