Zasada największej entropii

Problemy:

1. Jak dopasować model matematyczny do danych doświadczalnych gdy liczba punktów pomiarowych jest mniejsza niż liczba wyznaczanych parametrów?

a) Wyznaczanie rozkładu czasów zaniku fluorescencji.

b) Wyznaczanie rozkładu odległości donor-akceptor w badaniach zaniku fluorescencji.

c) Wyznaczanie czasów życia rozkładu czasów życia w badaniach kinetyki reakcji enzymatycznych.

d) Wyznaczanie hiperpowierzchnii energii w reakcjach chemicznych poprzez badania kinetyczne.

e) Określanie zespołu statystycznego konformacji peptydu na podstawie danych NMR.

f) Analiza widmowa “zaszumionych” szeregów czasowych.

2. Rekonstrukcja “zamazanego” obrazu (astronomia, archeologia, itp.)

Ogólna zasada

Przypuśćmy, że “obraz” powstaje poprzez rozłożenie z powtórzeniami N identycznych kul w M pudełkach tak, że w pudełku o numerze j znajduje się nj=fjN kul. Liczba takich ułożeń jest równa

M

jjn

Ng

1

!

!

Definiujemy entropię S obrazu

Jeżeli nie wszystkie pudełka są równocenne i czynnik preferencji j-tego pudełka wynosi Fj to entropię definiujemy następująco:

M

jjj ffNgS

1

lnln

M

ijjjjj FffFfFfS

1

ln),(

Sformułowanie zasady największej entropii

Zmaksymalizować S wzlędem parametrów modelu pod następującymi warunkami:

(1)Obliczona wariancja różnic wielkości zmierzonych i obliczonych jest równa wariancji odpowiadającej błędom pomiarowym (poziomowi szumu) co oznacza 2=1.

(2)Parametry są znormalizowane (np. rozkład czasów życia znormalizowany do jedności).

DN

i i

ii

D

M

jj

fyy

N

fSQ

12

22

1

2

;1

max

x

ND: liczba punktów pomiarowych

x: zmienne objaśniające

y: zmienne zależne

i są formalnie mnożnikami Lagrange’a i powinny być również traktowane jako wyznaczane parametry ale można je potraktować jako stałe parametry metody.

Mjf

Ff

fFf

f

Q

fFffFfQ

jjj

jjj

j

M

i

M

jjjjjjj

,,2,1,exp

0ln

ln

2

2

1 1

2

Równania na fj można rozwiązywać metodą iteracji prostej ale jest to procedura wolno zbieżna. Lepiej zastosować którykolwiek z algorytmów quasi-newtonowskich bezpośrednio do minimalizacji -Q.

Schemat postępowania:

1. Jako przybliżenie początkowe założyć fj=Fj dla każdego j.

2. Wybrać początkową wartość .

3. Zminimalizować -Q.

4. Jeżeli 2 zakończyć proces.

5. Jeżeli 2 jest znacznie większe od 1 zmniejszyć a jeżeli dużo mniejsze od 1 zwiększyć i przejść do punktu 3.

Metoda największej entropii daje wartości parametrów najbardziej zbliżone do ich “apriorycznego” rozkładu danego przez wektor/funkcję F.

Metoda największej entropii należy do bardziej ogólnych metod estymacji Bayesa, tj. estymacji parametrów modelu (dokładniej: wyznaczania aposteriorycznego rozkładu parametrów) przy założeniu, że jeżeli nie ma żadnych dodatkowych informacji to spełniają one pewien rozkład aprioryczny.

Przykład 1: rozkład czasów życia w kinetyce wiązania ligandu z receptorem.

logexplog

)(

max

dtfA

tA

A: różnica pomiędzy absorbancją kompleksu ligand-receptor a absorbancją wolnego ligandu.

Steinbach, P.J., K. Chu, H. Frauenfelder, J.B. Johnson, D.C. Lamb, G.U. Nienhaus, T.B. Sauke, and R.D.. Biophys. J. 61:235-245 (1992).

Przykład 2: Analiza widmowa zaszumionego sygnału.

dtiftI exp)(

Przykład 3: Określanie udziałów konformacji peptydów na podstawie teoretyczej analizy konformacyjnej i danych NMR

ki

M

iik YwY

1

Yk: średnia wartość k-tej obserwabli (np. sygnału NOE, stałej sprzężenia).

Yki wartość k-tej obserwabli wyliczona dla i-tej konformacji.

wi: waga statystyczna i-tej konformacji.

M. Groth, J. Malicka, C. Czaplewski, S. Ołdziej, L. Łankiewicz, W. Wiczk, A. Liwo, J. Biomol. NMR, 15: 315–330, 1999.

ii

ik ki

kiMki

iii

w

YwwYww

1

,,ln

,2

2exp1

Zadanie o kangurach.

Wiadomo, że 1/3 kangurów w danej grupie ma niebieskie oczy a 1/3 jest leworęczna. Ile jest w tej grupie kangurów, które są niebieskookie i leworęczne?

niebieskookie

leworęczne

tak nie

tak x 1/3-x

nie 1/3-x 1/3+x

1-(1/3-x)-(1/3-x)

9/10

3/1ln3/13/1ln3/12ln

ln1

xx

S

xxxxxx

ffSn

iii

x korelacja

1/9 0

1/12 -

0.13013 +

0.12176 +

ff ln

2f

fln

2/1f

1. Steinbach, P.J. 2002. Inferring lifetime distributions from kinetics by maximizing entropy using a bootstrapped model. J. Chem. Inf. Comput. Sci. 42: 1476-1478.

2. Skilling, J. 1989. Classic maximum entropy. In: Maximum Entropy and Bayesian Methods. J. Skilling, editor. Kluwer Academic, Norwell, MA. 45-52.

3. Skilling, J., and R.K. Bryan. 1984. Maximum entropy image reconstruction: general algorithm. Mon. Notices R. Astron. Soc. 211:111-124.

http://cmm.info.nih.gov/maxent/letsgo.html