-
8/9/2019 MaxEnt
1/9
M a x i m u m E n t r o p y a n d t h e G l a s s e s Y o u a r
e L o o k i n g T h r o u g h
P e t e r G r u n w a l d
E U R A N D O M
P . O . B o x 5 1 3
5 6 0 0 M B E i n d h o v e n
T h e N e t h e r l a n d s
A b s t r a c t
W e g i v e a n i n t e r p r e t a t i o n o f t h e M a x i
-
m u m E n t r o p y ( M a x E n t ) P r i n c i p l e i n g a m
e -
t h e o r e t i c t e r m s . B a s e d o n t h i s i n t e r p
r e t a t i o n ,
w e m a k e a f o r m a l d i s t i n c t i o n b e t w e e n d
i e r -
e n t w a y s o f a p p l y i n g M a x i m u m E n t r o p y d
i s -
t r i b u t i o n s . M a x E n t h a s f r e q u e n t l y b e
e n c r i t -
i c i z e d o n t h e g r o u n d s t h a t i t l e a d s t o h
i g h l y
r e p r e s e n t a t i o n d e p e n d e n t r e s u l t s . O
u r d i s -
t i n c t i o n a l l o w s u s t o a v o i d t h i s p r o b l
e m i n
m a n y c a s e s .
1 I N T R O D U C T I O N
T h e M a x i m u m E n t r o p y P r i n c i p l e ( J a y n e
s , 1 9 8 9 ) i s
a n o f t e n s u c c e s s f u l y e t c o n t r o v e r s i a
l m e t h o d f o r i n -
d u c t i v e i n f e r e n c e . I t h a s b e e n j u s t i e
d a n d c r i t i c i z e d
i n m a n y d i e r e n t w a y s ( J a y n e s , 1 9 8 9 G r o
v e e t a l . ,
1 9 9 4 H a l p e r n & K o l l e r , 1 9 9 5 ) . H e r e w
e g i v e a n o v e l
g a m e - t h e o r e t i c j u s t i c a t i o n t h a t i s f
u n d a m e n t a l l y d i f -
f e r e n t f r o m p r e v i o u s o n e s : w e s h o w t h a
t t h e M a x -
E n t d i s t r i b u t i o n f o r a g i v e n c o n s t r a i
n t i s t h e d i s t r i b u -
t i o n t h a t m i n i m i z e s t h e w o r s t - c a s e e x
p e c t e d l o s s w h e n
u s e d f o r p r e d i c t i o n i n a c e r t a i n g a m e .
W e g i v e s e v -
e r a l i n t e r p r e t a t i o n s o f t h i s g a m e . W e
a r g u e t h a t t h e
g a m e - t h e o r e t i c i n t e r p r e t a t i o n i s m o
r e n a t u r a l t h a n t h e
u s u a l o n e , a n d t h a t i t s h e d s n e w l i g h t o
n t h e c i r c u m -
s t a n c e s i n w h i c h M a x E n t c a n b e f r u i t f u
l l y a p p l i e d .
S p e c i c a l l y , t h e r e a r e a p p l i c a t i o n s o
f M a x E n t w h e r e
t h e s a m e i n f e r e n c e p r o b l e m m a y b e a s s o
c i a t e d w i t h
A l s o : C W I , K r u i s l a a n 4 1 3 , 1 0 9 8
S J A m s t e r d a m , T h e N e t h e r l a n d s . U R L
:
h t t p : / / r o b o t i c s . s t a n f o r d . e d u / ~ g r
u n w a l d . M o s t o f t h e
w o r k r e p o r t e d h e r e w a s d o n e w h i l e t h e a
u t h o r w a s a
p o s t d o c t o r a l f e l l o w a t t h e R o b o t i c s L
a b , C o m p u t e r S c i -
e n c e D e p t . , S t a n f o r d U n i v e r s i t y , S t a
n f o r d C A 9 4 3 0 5 . A t
t h e t i m e t h e a u t h o r w a s s u p p o r t e d b y a T
A L E N T - g r a n t
a w a r d e d b y t h e N e t h e r l a n d s O r g a n i z a t
i o n f o r S c i e n t i c
R e s e a r c h ( N W O ) . A v e r y p r e l i m i n a r y v e
r s i o n o f s o m e o f
t h e w o r k r e p o r t e d h e r e a p p e a r e d i n ( G r
u n w a l d , 1 9 9 8 ) .
s e v e r a l d i e r e n t g a m e s w i t h d i e r e n t w o
r s t - c a s e o p t i -
m a l s t r a t e g i e s . W e u s e t h i s i n s i g h t t o
f o r m a l l y d i s t i n -
g u i s h b e t w e e n q u a l i t a t i v e l y d i e r e n t
w a y s o f a p p l y i n g
a M a x E n t d i s t r i b u t i o n , r a n g i n g f r o m `
c o m p l e t e l y s a f e '
t o ` c o m p l e t e l y u n t r u s t w o r t h y ' a p p l i
c a t i o n s . T h i s a l s o
l e a d s t o a p a r t i a l s o l u t i o n o f B e r t r a n
d ' s p a r a d o x , i . e .
t h e r e p r e s e n t a t i o n d e p e n d e n c y o f M a x
E n t i n f e r e n c e s .
S e c t i o n s 2 - 4 i n t r o d u c e n o t a t i o n a n d r
e v i e w M a x E n t
a n d t h e r e p r e s e n t a t i o n d e p e n d e n c y p r
o b l e m . S e c t i o n 5
g i v e s o u r g a m e - t h e o r e t i c r e i n t e r p r e
t a t i o n . S e c t i o n s 6 - 8
s h o w h o w t h e r e i n t e r p r e t a t i o n c a n b e u
s e d t o d i s t i n -
g u i s h b e t w e e n d i e r e n t w a y s o f a p p l y i n
g M a x E n t a n d
t o ( s o m e t i m e s ) a v o i d B e r t r a n d ' s p a r a
d o x .
2 P R E L I M I N A R I E S
C o n s i d e r a n i t e s a m p l e s p a c e . W e r e s e r
v e t h e u s e o f
r a n d o m v a r i a b l e X t o d e n o t e o u t c o m e s i
n . A l l o t h e r
r a n d o m v a r i a b l e s c a n b e v e c t o r v a l u e d
, i . e . t h e y a r e
b y d e n i t i o n f u n c t i o n s f r o m t o R
k
f o r s o m e k > 0 .
F o r r a n d o m v a r i a b l e Y : ! R
k
, w e d e n e t h e r a n g e
o f Y , d e n o t e d b y
Y
, a s
Y
= f y 2 R
k
j 9 x 2 : Y ( x ) = y g :
B y t h i s n o t a t i o n
X
= . W e l e t P
Y
s t a n d f o r
t h e f a m i l y o f a l l p r o b a b i l i t y d i s t r i b
u t i o n s o v e r
Y
.
F o r a P
Y
2 P
Y
a n d A
Y
Y
, P
Y
( A
Y
) d e n o t e s
t h e p r o b a b i l i t y m a s s o f A
Y
u n d e r P
Y
. F o r d i s t r i -
b u t i o n s P
X
2 P
X
, t h e n o t a t i o n P
X
( Y = y ) i s s h o r t
f o r P
X
( f x 2
X
j Y ( x ) = y g ) . L e t P
Y
2 P
Y
a n d
P
Z
2 P
Z
b e d i s t r i b u t i o n s o v e r
Y
a n d
Z
r e s p e c -
t i v e l y . W e s a y t h a t P
Y
a n d P
Z
a r e c o m p a t i b l e ( w i t h
u n d e r l y i n g s p a c e
X
) i f t h e r e e x i s t s a P
X
2 P
X
s u c h
t h a t f o r a l l y 2
Y
P
X
( Y = y ) = P
Y
( f y g ) a n d f o r
a l l z 2
Z
P
X
( Z = z ) = P
Z
( f z g ) . I n t u i t i v e l y , P
Y
a n d P
Z
a r e c o m p a t i b l e i f t h e y c a n b e t h o u g h t o
f a s
m a r g i n a l d i s t r i b u t i o n s o f a s i n g l e d i
s t r i b u t i o n P
X
d e -
n e d o v e r t h e m o r e n e - g r a i n e d s p a c e
X
. W e f r e -
q u e n t l y u s e r a n d o m v a r i a b l e s t h a t a r e
i n d i c a t o r f u n c -
t i o n s . T h e i n d i c a t o r f u n c t i o n f o r e v e
n t A
X
i s
d e n o t e d b y 1
X 2 A
a n d d e n e d b y 1
X 2 A
= 1 i f X 2 A
-
8/9/2019 MaxEnt
2/9
a n d 0 o t h e r w i s e . A m e a s u r e f o r
Y
i s a f u n c t i o n
M
Y
:
Y
! ( 0 1 ) . I t i s e x t e n d e d t o a r b i t r a r y e v e
n t s
A
Y
Y
b y M ( A
Y
) : =
P
y 2 A
y
M
Y
( y ) . ` C o m p a t i b i l -
i t y ' o f m e a s u r e s M
Y
a n d M
Z
i s d e n e d a n a l o g o u s l y t o
c o m p a t i b i l i t y o f p r o b a b i l i t y d i s t r i
b u t i o n s P
Y
a n d P
Z
.
T h e e n t r o p y o f a d i s t r i b u t i o n P o v e r
X
r e l a t i v e t o
m e a s u r e M o v e r
X
i s d e n e d a s
H
M
( P ) : = E
P
; l n
P ( X )
M ( X )
] =
X
x 2
X
P ( x ) l n
M ( x )
P ( x )
:
N o t a t i o n a l C o n v e n t i o n I f a d i s t r i b u t
i o n , ( o r m e a -
s u r e , o r s e t o f d i s t r i b u t i o n s ) i s d e n o
t e d w i t h a s u b s c r i p t
Y f o r s o m e r a n d o m v a r i a b l e Y , w e m e a n a d
i s t r i b u t i o n
( m e a s u r e , s e t o f d i s t r i b u t i o n s ) o v e
r
Y
( e x a m p l e s a r e
P
Y
M
Y
C
Y
) . I f a d i s t r i b u t i o n ( m e a s u r e , s e t o f d
i s -
t r i b u t i o n s ) i s d e n o t e d w i t h o u t s u b s c
r i p t , i t i s a l w a y s
a d i s t r i b u t i o n ( m e a s u r e , s e t o f d i s t r
i b u t i o n s ) o v e r t h e
b a s i c s a m p l e s p a c e
X
= .
3 R E V I E W O F M A X E N T
L e t
1
: : :
k
b e f u n c t i o n s f r o m
X
t o R . I n t h e
u s u a l M a x E n t s e t t i n g , w e a r e g i v e n a s e
t o f c o n s t r a i n t s
r e g a r d i n g t h e e x p e c t e d v a l u e s o f t h e f
u n c t i o n s
i
u n d e r
s o m e u n k n o w n d i s t r i b u t i o n P
:
E
P
1
( X ) ] = t
1
: : : E
P
k
( X ) ] = t
k
( 1 )
w h e r e t h e t
i
a r e v a l u e s i n R . B y t a k i n g t h e
i
t o b e
i n d i c a t o r f u n c t i o n s w e c a n e x p r e s s c o
n s t r a i n t s o f t h e
f o r m P
( Y = y ) = t f o r a r b i t r a r y r a n d o m v a r i a b l
e s Y .
W e n o w a s k t h e f o l l o w i n g q u e s t i o n : i f t
h e o n l y k n o w l -
e d g e w e h a v e a b o u t P
a r e t h e c o n s t r a i n t s g i v e n b y
( 1 ) , w h a t i s t h e n o u r ` b e s t ' g u e s s f o r
P
? ( f o r i n -
t e r p r e t a t i o n s o f ` b e s t ' s e e S e c t i o n 6
) . A c c o r d i n g t o
t h e a d h e r e n t s o f m a x i m u m e n t r o p y w e s h
o u l d a d o p t
t h e d i s t r i b u t i o n P t h a t , a m o n g a l l t h e
d i s t r i b u t i o n s
s a t i s f y i n g t h e c o n s t r a i n t s ( 1 ) , m a x i
m i z e s t h e e n t r o p y
H
M
( P ) . T o f o r m a l i z e t h i s i d e a w e r s t a b b r
e v i a t e t h e
c o n s t r a i n t s ( 1 ) t o
E
P
( X ) ] = t : ( 2 )
H e r e ( X ) = (
1
( X ) : : :
k
( X ) )
T
i s a f u n c t i o n f r o m
X
t o R
k
a n d t i s a k - d i m e n s i o n a l v e c t o r ( t
1
: : : t
k
)
T
.
E a c h c o n s t r a i n t o f f o r m ( 2 ) d e t e r m i n e
s a s e t o f p r o b a -
b i l i t y d i s t r i b u t i o n s s a t i s f y i n g t h e
c o n s t r a i n t . T h i s s e t
i s d e n o t e d b y C :
C : = f P 2 P
X
j E
P
( X ) ] = t g : ( 3 )
I n a l l o u r t h e o r e m s a n d p r o p o s i t i o n s ,
w e w i l l a s s u m e
t h e f o l l o w i n g
R e g u l a r i t y c o n d i t i o n s ( A )
X
i s n i t e ( B ) t h e s e t
C m e n t i o n e d i n t h e t h e o r e m s i s d e n e d a s
i n ( 3 ) a n d i s
n o n - e m p t y ( t h i s m e a n s t h a t e v e r y c o n c
e i v a b l e a n d t
a r e a l l o w e d a s l o n g a s C i s n o n - e m p t y )
.
W e c a n n o w d e n e m a x i m u m e n t r o p y i n f e r e
n c e f o r -
m a l l y : g i v e n a t u p l e ( M C ) , w h e r e M i s a m
e a -
s u r e o v e r a n d a n d C a r e a s i n ( 3 ) , M a x E n t
t e l l s u s
t o a d o p t t h e d i s t r i b u t i o n P
m e
M
g i v e n b y
P
m e
M
: = a r g m a x
P 2 C
H
M
( P ) = a r g m a x
P 2 C
E
P
; l n
P ( X )
M ( X )
] :
( 4 )
O u r r e g u l a r i t y c o n d i t i o n s a r e s u c i e n
t t o e n s u r e t h a t
a u n i q u e P
m e
M
a l w a y s e x i s t s .
4 M A X E N T , M E A S U R E A N D
R E P R E S E N T A T I O N D E P E N D E N C Y
S e v e r a l v e r s i o n s o f M a x E n t a n d o f t h e r
e l a t e d m i n i -
m u m r e l a t i v e e n t r o p y p r i n c i p l e s e x i s
t i n t h e l i t e r a t u r e .
B y m a k i n g t h e e n t r o p y H
M
d e p e n d e n t o n a n u n d e r l y -
i n g m e a s u r e M , w e c a n a c c o u n t f o r a l l o f
t h e s e w i t h o u r
E q u a t i o n 4 . W e d i s t i n g u i s h b e t w e e n t w
o m a i n f o r m s :
C a s e A : M N O T a v a i l a b l e ( U - M a x E n t ) T h i
s
i s t h e ` c l a s s i c a l ' f o r m o f M a x E n t f o r d
i s c r e t e s a m p l e
s p a c e s ( J a y n e s , 1 9 8 9 ) . I t d o e s n o t m e n
t i o n a n y u n -
d e r l y i n g m e a s u r e a n d t e l l s u s t o p i c k t
h e d i s t r i b u t i o n
P 2 C m a x i m i z i n g E
P
; l n P ( X ) ] . I t c a n b e i m p l e -
m e n t e d i n ( 4 ) b y t a k i n g M t o b e t h e u n i f o
r m m e a s u r e
o v e r t h e s a m p l e s p a c e
X
, d e n e d b y M ( x ) 1 . W e
w i l l r e f e r t o t h i s f o r m o f M a x E n t a s U - M
a x E n t .
C a s e B : M a v a i l a b l e W e w i l l r e f e r t o t h i
s c a s e
s i m p l y a s ` M a x E n t ' . I t h a s t w o s u b - c a s
e s : r s t , t h e
c a s e w h e r e a u n i q u e m e a s u r e ( ` n a t u r a l
w a y o f c o u n t i n g
o u t c o m e s ' ) i s a v a i l a b l e a p r i o r i . S o m
e t i m e s , t h r o u g h
k n o w l e d g e o f t h e p h y s i c s o f t h e d o m a i n
t h a t i s b e i n g
m o d e l e d , o n e c a n d e c i d e o n a u n i q u e u n d
e r l y i n g m e a -
s u r e M t h a t i s a p p r o p r i a t e f o r t h e d o m a
i n a t h a n d ( f o r
w a y s t o d e t e r m i n e s u c h a m e a s u r e , s e e (
J a y n e s , 1 9 8 9 ) ) .
( 4 ) c a n b e d i r e c t l y a p p l i e d h e r e . S e c o
n d , t h e M i n i m u m
R e l a t i v e E n t r o p y P r i n c i p l e . T h i s i s t
h e c a s e w h e r e a
p r i o r p r o b a b i l i t y Q o v e r
X
i s k n o w n , a n d t h e g o a l
i s t o ` u p d a t e ' t h i s p r i o r p r o b a b i l i t y
b a s e d o n t h e c o n -
s t r a i n t ( 2 ) . T h e m i n i m u m r e l a t i v e e n t
r o p y p r i n c i p l e
t e l l s u s t o p i c k t h e P m i n i m i z i n g E
P
l n ( P ( X ) = Q ( X ) ) ] .
B y p i c k i n g M = Q , t h i s c a n b e r e p r e s e n t e
d a s m a x i -
m i z i n g e n t r o p y r e l a t i v e t o M .
I f a p r i o r i k n o w l e d g e a b o u t t h e d o m a i n
o t h e r t h a n
t h e g i v e n c o n s t r a i n t ( 2 ) i s c o m p l e t e l
y l a c k i n g , t h e n
U - M a x E n t ( c a s e A ) i s t h e o n l y f o r m w e c a
n a p p l y .
U n f o r t u n a t e l y , c a s e A i s a l s o t h e m o s t
p r o b l e m a t i c b y
f a r . I n c o n t r a s t t o c a s e B , c a s e A t y p i c
a l l y g i v e s r e s u l t s
-
8/9/2019 MaxEnt
3/9
t h a t a r e h i g h l y r e p r e s e n t a t i o n d e p e n
d e n t : i f t h e s a m e
d o m a i n i s r e p r e s e n t e d i n a d i e r e n t l a n
g u a g e , M a x -
E n t m a y l e a d t o d i e r e n t r e s u l t s . S i n c e
t h e c h o i c e o f
r e p r e s e n t a t i o n s e e m s a r b i t r a r y , t h e
r e s u l t s o n e o b t a i n s
u s i n g U - M a x E n t s e e m a r b i t r a r y a s w e l l
. T h i s f a c t i s {
a t l e a s t i n t h e c a s e o f c o n t i n u o u s d a t a
{ o f t e n r e f e r r e d
t o a s B e r t r a n d ' s P a r a d o x .
E x a m p l e 1 ( a s i m p l e B e r t r a n d ' s P a r a d o
x ) L e t
X
= f 1 2 3 g a n d l e t t h e r e b e n o f u r t h e r c o n s
t r a i n t s
( i n o u r f o r m u l a t i o n , t h i s c a n b e e x p r e
s s e d b y p i c k i n g
( x ) 0 a n d c o n s t r a i n t E
P
( X ) ] = 0 ) . C o n s i d e r a n
a g e n t ( c a l l h i m M r . X ) w h o w a n t s t o i n f e
r a d i s t r i -
b u t i o n o v e r
X
a n d w h o u s e s U - M a x E n t . H e n c e h e
p i c k s P
m e
U
X
a s g i v e n b y ( 4 ) w i t h U
X
t h e u n i f o r m m e a -
s u r e o v e r
X
. A s i s w e l l k n o w n , t h e r e s u l t i n g P
m e
U
X
i s
t h e u n i f o r m d i s t r i b u t i o n o v e r
X
. N o w c o n s i d e r a n -
o t h e r a g e n t ( M r s . Y ) w h o l o o k s a t t h e s a
m e d o m a i n
a t a c o a r s e r l e v e l . S p e c i c a l l y , s h e c a
n o n l y d i s t i n -
g u i s h b e t w e e n t h e c a s e w h e r e X = 1 o n t h e
o n e h a n d
a n d X 2 f 2 3 g o n t h e o t h e r h a n d . M r s . Y ' s s
a m p l e
s p a c e i s t h e r e f o r e
Y
= f f 1 g f 2 3 g g . I f M r s . Y u s e s
U - M a x E n t s h e w i l l a d o p t a u n i f o r m m e a s
u r e U
Y
o v e r
Y
. S h e w i l l t h e n i n f e r a d i s t r i b u t i o n
P
m e
U
Y
u n i f o r m
o v e r
Y
. T h e n P
m e
U
Y
( f 1 g ) = 1 = 2 , P
m e
U
X
( f 1 g ) = 1 = 3 : t h e
d i s t r i b u t i o n s i n f e r r e d b y M r . X a n d M r
s . Y a r e i n c o m -
p a t i b l e , e v e n t h o u g h t h e y a r e b a s e d o n
t h e s a m e d o -
m a i n . F o r m o r e s u b t l e e x a m p l e s o f t h i s
p h e n o m e n o n ,
s e e f o r e x a m p l e ( H a l p e r n & K o l l e r , 1
9 9 5 ) . I n o u r f o r -
m u l a t i o n ( w i t h u n d e r l y i n g m e a s u r e ) ,
B e r t r a n d ' s p a r a -
d o x c a n b e e q u i v a l e n t l y e x p r e s s e d a s t
h e d e p e n d e n c y
o f P
m e
M
o n t h e c h o i c e o f u n d e r l y i n g m e a s u r e M .
I n o u r
e x a m p l e , i f M r s . Y u s e s t h e m e a s u r e M
0
Y
d e n e d b y
M
0
Y
( f 2 3 g ) : = 2 a n d M
0
Y
( f 1 g ) : = 1 t h e n s h e w i l l i n f e r
P
m e
M
0
Y
( f 1 g ) = 1 = 3 a f t e r a l l : t h i s c h a n g e o f m e
a s u r e o v e r
Y
h a s t h e s a m e e e c t o n t h e p r o b a b i l i t y a s
s i g n m e n t s
t o e l e m e n t s o f
Y
a s t h e r e p r e s e n t a t i o n c h a n g e f r o m
Y
( w i t h m e a s u r e U
Y
) t o t h e m o r e n e - g r a i n e d
X
( w i t h m e a s u r e U
X
) . T h i s o b s e r v a t i o n w i l l b e m a d e
p r e c i s e i n T h e o r e m 2 , S e c t i o n 7 .
I m p o r t a n t I n m a n y c a s e s , p h y s i c a l b a c
k g r o u n d k n o w l -
e d g e p r o v i d e s a ` n a t u r a l ' s p a c e f o r r e
p r e s e n t i n g t h e
d o m a i n a t h a n d . F o r e x a m p l e , i f w e a r e t
o i n v e s t i g a t e
t h e p r o b a b i l i t i e s o f t h e f a c e s o f a ( p o
s s i b l y l o a d e d )
d i e , t h e n b y s y m m e t r y c o n s i d e r a t i o n s
, w e s h o u l d n o t
d i s t i n g u i s h a p r i o r i b e t w e e n t h e s i x f
a c e s . I t i s t h e n
o n l y n a t u r a l t o t a k e a s b a s i c s a m p l e s p
a c e t h e s p a c e
w i t h e x a c t l y o n e o u t c o m e f o r e a c h f a c e
, a n d t o t a k e a
u n i f o r m m e a s u r e o v e r t h i s s p a c e . T h e r
e p r e s e n t a t i o n
d e p e n d e n c y s h o u l d b e c o n s i d e r e d p r o b
l e m a t i c o n l y i f
t h e r e i s n o p r e f e r r e d ` n a t u r a l ' s a m p l
e s p a c e o r ( e q u i v -
a l e n t l y , b y T h e o r e m 2 ) , n o n a t u r a l u n d
e r l y i n g m e a -
s u r e / p r i o r .
S o m e p e o p l e d o n o t s e e t h e a b o v e e x a m p l
e a s p r o b l e m -
a t i c : t h e t w o a g e n t s a r e f a c i n g d i e r e n
t ` e x p e r i m e n t a l
s i t u a t i o n s ' , s o i t i s n o t s o s t r a n g e t h
a t t h e y o b t a i n
d i e r e n t r e s u l t s . B u t t h e n t h e q u e s t i o
n i s : w h a t e x -
a c t l y c o n s t i t u t e s a n ` e x p e r i m e n t a l s
i t u a t i o n ' ? I t i s t h i s
q u e s t i o n w e w i l l p a r t i a l l y a n s w e r t h r
o u g h o u r g a m e -
t h e o r e t i c r e i n t e r p r e t a t i o n o f M a x E n
t , w h i c h w e p r o -
c e e d t o d i s c u s s .
5 M A X E N T A S A G A M E
T h e i n f o r m a t i o n i n e q u a l i t y ( C o v e r
& T h o m a s , 1 9 9 1 )
t e l l s u s t h a t f o r a l l d i s t r i b u t i o n s P a
n d Q o v e r
X
,
E
P
; l n P ( X ) ] E
P
; l n Q ( X ) ] ( 5 )
w i t h e q u a l i t y i P = Q . T h i s i m p l i e s i n
f
Q 2 P
X
E
P
; l n ( Q ( X ) = M ( X ) ) ] = E
P
; l n ( P ( X ) = M ( X ) ) ]
a n d h e n c e e n t r o p y c a n b e c h a r a c t e r i z e
d a s : H
M
( P ) =
i n f
Q 2 P
X
E
P
; l n ( Q ( X ) = M ( X ) ) ] . T h e m a x i m u m a t -
t a i n a b l e e n t r o p y f o r d i s t r i b u t i o n s i
n a s e t C i s t h e r e f o r e
g i v e n b y
s u p
P 2 C
H
M
( P ) = s u p
P 2 C
i n f
Q 2 P
X
E
P
; l n
Q ( X )
M ( X )
] : ( 6 )
R e a d e r s f a m i l i a r w i t h g a m e t h e o r y ( s e
e e . g . ( B e r g e r ,
1 9 8 5 ) ) w i l l r e c o g n i z e ( 6 ) a s t h e m a x i m
i n g a i n o f a t w o -
p l a y e r z e r o - s u m g a m e . I f t h e y a r e a c q u
a i n t e d w i t h
V o n N e u m a n n ' s m i n i m a x t h e o r e m , t h e y m
a y f u r t h e r
s u s p e c t t h a t t h e f o l l o w i n g e q u a l i t y h
o l d s :
i n f
Q 2 P
X
s u p
P 2 C
E
P
; l n
Q ( X )
M ( X )
] =
s u p
P 2 C
i n f
Q 2 P
X
E
P
; l n
Q ( X )
M ( X )
] = H
M
( P
m e
M
) : ( 7 )
T h i s e q u a l i t y i n d e e d h o l d s u n d e r v e r y
m i l d c o n d i t i o n s ,
a l t h o u g h t h i s d o e s n o t f o l l o w d i r e c t l
y f r o m V o n N e u -
m a n n o r N a s h ' s t h e o r e m s ( w h i c h c a n n o t
h a n d l e a r b i -
t r a r y c o n v e x s e t s o f m i x e d s t r a t e g i e s
s u c h a s C ) :
T h e o r e m 1 U n d e r t h e r e g u l a r i t y c o n d i t
i o n s o f
S e c t i o n 3 , E q u a t i o n 7 h o l d s . M o r e o v e r
, ( a )
s u p
P 2 C
i n f
Q 2 P
X
E
P
; l n ( Q ( X ) = M ( X ) ) ] i s r e a c h e d f o r
( a n d o n l y f o r ) P = P
m e
M
( b ) i n f
Q 2 P
X
s u p
P 2 C
E
P
; l n ( Q ( X ) = M ( X ) ) ] i s r e a c h e d
f o r ( a n d o n l y f o r ) Q = P
m e
M
. H e n c e ( c ) w e h a v e
P
m e
M
= a r g m i n
P 2 P
X
s u p
P
2 C
E
P
; l n
P ( X )
M ( X )
] ( 8 )
( d ) P
m e
M
i s a n ` e q u a l i z e r s t r a t e g y ' , i . e . f o r a
l l P
2 C ,
E
P
; l n
P
m e
M
( X )
M ( X )
] = E
P
m e
M
; l n
P
m e
M
( X )
M ( X )
] ( 9 )
A s i m i l a r t h e o r e m w i t h m u c h l e s s c o n d i
t i o n s o n
X
a n d C w i l l b e p r o v i d e d i n ( G r u n w a l d &
D a w i d , 2 0 0 0 ) .
-
8/9/2019 MaxEnt
4/9
B a s i c I n t e r p r e t a t i o n C o n s i d e r t h e d e
c i s i o n -
t h e o r e t i c s e t t i n g w h e r e a n A g e n t h a s t
o m a k e d e c i -
s i o n s a b o u t t h e o u t c o m e s i n s o m e s p a c
e
X
. A g e n t ' s
d e c i s i o n s c o m e f r o m a d e c i s i o n s p a c e D
a n d t h e l o s s i s
m e a s u r e d b y s o m e f u n c t i o n l o s s :
X
D ! R f 1 g .
A f t e r m a k i n g a d e c i s i o n 2 D , t h e a c t u a l
o u t c o m e
x 2
X
i s r e v e a l e d a n d A g e n t i n c u r s a l o s s l o s
s ( x ) .
S o m e t i m e s t h e d e c i s i o n s a r e b e s t i n t e
r p r e t e d a s
p r e d i c t i o n s o f t h e v a l u e s o f x , s o m e t i
m e s t h e y a r e b e s t
i n t e r p r e t e d a s g a m e p l a y i n g s t r a t e g i
e s .
T h e l o g a r i t h m i c l o s s f u n c t i o n i s a l o s
s f u n c t i o n t h a t
o c c u r s i n s e v e r a l g a m e s w i t h s e v e r a l i
n t e r p r e t a t i o n s
( B e r g e r , 1 9 8 5 C o v e r & T h o m a s , 1 9 9 1 )
. T h e s e t D
o f a v a i l a b l e d e c i s i o n s f o r t h e s e g a m e
s c o n s i s t s o f a l l
f u n c t i o n s P :
X
! 0 1 ] s u c h t h a t
P
x 2
X
P ( x ) = 1 .
H e n c e D i s f o r m a l l y e q u i v a l e n t t o P
X
. H o w e v e r , a s w e
w i l l s e e , t h e e l e m e n t s o f D s o m e t i m e s h
a v e i n t e r p r e t a -
t i o n s v e r y d i e r e n t f r o m p r o b a b i l i t y d
i s t r i b u t i o n s . T h e
l o g a r i t h m i c l o s s f u n c t i o n ( r e l a t i v e
t o m e a s u r e M ) i s d e -
n e d b y l o s s ( x P ) = ; l n ( P ( x ) = M ( x ) ) f o r e
a c h x 2
X
a n d P 2 D . C o n s i d e r n o w a g a m e w h e r e N a t u
r e
c h o o s e s a ` t r u e ' d i s t r i b u t i o n P
a n d A g e n t w a n t s t o
m i n i m i z e h i s e x p e c t e d l o g a r i t h m i c l o
s s . I f A g e n t k n e w
P
, h e w o u l d c h o o s e a r g m i n
P 2 P
X
E
P
l o s s ( X P ) ] .
B y t h e i n f o r m a t i o n i n e q u a l i t y ( 5 ) w e s
e e t h a t t h i s i s
g i v e n b y P = P
. B u t n o w c o n s i d e r t h e c a s e w h e r e
A g e n t o n l y k n o w s t h a t P
2 C f o r s o m e s e t C . H e m a y
n o w w a n t t o m i n i m i z e h i s w o r s t - c a s e ( m
a x i m a l ) e x -
p e c t e d l o g a r i t h m i c l o s s o v e r a l l c h o i
c e s o f N a t u r e . T h i s
i s e x a c t l y w h a t i s e x p r e s s e d b y ( 8 ) : t h
e m a x i m u m e n -
t r o p y d i s t r i b u t i o n i s t h e w o r s t - c a s e
o p t i m a l d i s t r i b u t i o n
f o r p r e d i c t i n g o u t c o m e s o f
X
w h e n l o s s i s m e a s u r e d
b y t h e l o g a r i t h m i c l o s s f u n c t i o n .
W h y w o u l d A g e n t a t a l l b e i n t e r e s t e d i n
m i n i m i z i n g
l o g a r i t h m i c l o s s ? T h i s g a m e h a s s e v e r
a l i m p o r t a n t i n -
t e r p r e t a t i o n s . B e l o w w e d i s c u s s o n e t
h a t i s o f s p e c i c
i n t e r e s t i n t h e r e m a i n d e r o f t h i s p a p e
r o t h e r s a r e s u m -
m a r i z e d i n S e c t i o n 5 . 2 .
5 . 1 K E L L Y G A M B L I N G I N T E R P R E T A T I O N
I m a g i n e a l o t t e r y w h e r e t h e r e a r e t i c k
e t s f o r s a l e f o r
b e t t i n g o n o u t c o m e s i n
X
= f 1 : : : m g . T i c k e t j
( f o r 1 j m ) p a y s b u n i t s i f o u t c o m e j a c t u
a l l y
o c c u r s o t h e r w i s e , i t p a y s n o t h i n g . A l
l t i c k e t s c o s t 1
u n i t , s o a l l o u t c o m e s s h a r e t h e s a m e o d
d s . A g e n t h a s
s o m e c a p i t a l K w h i c h h e w a n t s t o i n v e s t
i n l o t t e r y
t i c k e t s . S u p p o s e t h a t A g e n t t h i n k s t h
a t t h e a c t u a l
o u t c o m e s a r e d i s t r i b u t e d a c c o r d i n g t
o s o m e d i s t r i b u -
t i o n P
. A g e n t ' s g a m b l i n g s t r a t e g y c a n b e d e s
c r i b e d
b y a v e c t o r P = ( P ( 1 ) : : : P ( m ) ) w h e r e P ( j
) i s t h e
f r a c t i o n o f c a p i t a l K t h a t A g e n t i n v e s
t s i n o u t c o m e
j . T h a t i s , h e b u y s P ( j ) K t i c k e t s f o r o u
t c o m e j
f o r c o n v e n i e n c e w e a l l o w b u y i n g a n o n -
i n t e g e r a m o u n t
o f t i c k e t s . I f A g e n t p l a y s t h e g a m e o n l
y o n c e , t h e n
h i s e x p e c t e d g a i n E
P
b K P ( X ) ] i s m a x i m i z e d b y t h e
s t r a t e g y w i t h P ( j ) = 1 f o r t h e j w i t h m a x
i m u m p r o b -
a b i l i t y P
( j ) . B u t n o w s u p p o s e A g e n t p l a y s t h e s a
m e
g a m e s e v e r a l t i m e s . A f t e r e a c h r o u n d ,
h e r e i n v e s t s h i s
r e m a i n i n g c a p i t a l b y b u y i n g t i c k e t s f
o r t h e n e x t r o u n d .
S o a f t e r r o u n d 1 , h i s c a p i t a l i s K
1
= P ( x
1
) b K w h e r e
x
1
i s t h e a c t u a l o u t c o m e a t r o u n d 1 . A f t e r
r o u n d 2 ,
h i s c a p i t a l i s K
2
= P ( x
2
) b K
1
e t c . I f t h e n u m b e r o f
r o u n d s n i s n o t t o o s m a l l o r i f i t i s n o t k
n o w n i n
a d v a n c e h o w m a n y r o u n d s t h e r e w i l l b e ,
i t b e c o m e s
b e t t e r f o r A g e n t t o a d o p t a f u n d a m e n t a
l l y d i e r e n t
s t r a t e g y , s o m e t i m e s c a l l e d p r o p o r t i
o n a l g a m b l i n g o r
t h e K e l l y g a m b l i n g s c h e m e ( C o v e r & T
h o m a s , 1 9 9 1 ,
C h a p t e r 7 ) . T h i s i s d e n e d a s t h e g a m b l i
n g s t r a t e g y
P m a x i m i z i n g E
P
l n P ( X ) ] . T h i s q u a n t i t y m a y b e
i n t e r p r e t e d a s t h e e x p e c t e d g r o w t h r a
t e o f t h e i n v e s t e d
c a p i t a l . T o s e e w h y t h i s i s a s e n s i b l e s
t r a t e g y , l e t P
a n d Q b e t w o d i s t r i b u t i o n s s u c h t h a t
E
P
l n P ( X ) ] >
E
P
l n Q ( X ) ] . S u p p o s e t h e g a m e i s p l a y e d n t
i m e s ,
a n d o u t c o m e s X
1
: : : X
n
a r e a l l i n d e p e n d e n t l y d i s -
t r i b u t e d P
. T h e n , b y t h e s t r o n g l a w o f l a r g e
n u m b e r s , ( 1 = n )
P
n
i = 1
l n P ( X
i
) ! E
P
l n P ( X ) ] a n d
( 1 = n )
P
n
i = 1
l n Q ( X
i
) ! E
P
l n Q ( X ) ] w i t h p r o b a b i l -
i t y 1 . I t f o l l o w s t h a t t h e r e e x i s t s a n
> 0 s u c h t h a t
w i t h p r o b a b i l i t y 1 , f o r a l l l a r g e n ,
P
n
i = 1
l n P ( X
i
) >
P
n
i = 1
l n Q ( X
i
) + n . T h i s i m p l i e s
n
Y
i = 1
P ( X
i
) > e
n
n
Y
i = 1
Q ( X
i
) ( 1 0 )
w i t h P
- p r o b a b i l i t y 1 , f o r a l l n l a r g e r t h a n s
o m e n
0
.
I f A g e n t u s e s s t r a t e g y P a t e a c h r o u n d i
, h i s c a p i -
t a l a f t e r n r o u n d s i s g i v e n b y K b
n
Q
n
i = 1
P ( x
i
) . T o -
g e t h e r w i t h ( 1 0 ) t h i s i m p l i e s t h a t f o r
a n y t w o s t r a t e -
g i e s P a n d Q , w i t h P
p r o b a b i l i t y 1 , A g e n t ' s e n d c a p -
i t a l i s e x p o n e n t i a l l y l a r g e r f o r t h e s
t r a t e g y w i t h l a r g e r
e x p e c t e d g r o w t h r a t e . S o ( a t l e a s t i f n
i s l a r g e o r
u n k n o w n ) a r a t i o n a l A g e n t s h o u l d a d o p
t t h e s t r a t -
e g y P m a x i m i z i n g E
P
l n P ( X ) ] . I f t h e o n l y t h i n g
A g e n t k n o w s a b o u t P
i s t h a t P
2 C , i t i s a g o o d
i d e a f o r t h e A g e n t t o m a x i m i z e h i s w o r s
t - c a s e e x p e c t e d
g r o w t h r a t e , i . e . t o p i c k t h e s t r a t e g y
P t h a t m a x i m i z e s
m i n
P
2 C
E
P
l n P ( X ) ] , w h i c h i s i d e n t i c a l t o t h e d i s
t r i -
b u t i o n m i n i m i z i n g m a x
P
2 C
E
P
; l n P ( X ) ] . T h e l a t -
t e r d i s t r i b u t i o n i s t h e M a x E n t d i s t r i
b u t i o n w i t h u n i -
f o r m m e a s u r e M : P
m e
M
i s t h e w o r s t - c a s e o p t i m a l d i s t r i -
b u t i o n i n t h e K e l l y g a m b l i n g g a m e , m a x
i m i z i n g , w i t h
p r o b a b i l i t y 1 , t h e w o r s t - c a s e e n d - c a
p i t a l f o r a l l l a r g e n .
A u n i f o r m u n d e r l y i n g m e a s u r e M c o r r e s
p o n d s t o t h e
g a m e w i t h e q u a l o d d s f o r a l l o u t c o m e s n
o n - u n i f o r m
m e a s u r e s c o r r e s p o n d t o g a m e s w i t h n o n
- u n i f o r m o d d s .
5 . 2 M D L & O T H E R I N T E R P R E T A T I O N S
T h e m i n i m a x g a m e ( 8 ) h a s s e v e r a l o t h e r
i n t e r p r e t a -
t i o n s . W e m e n t i o n t w o . F i r s t , t h e r e i s
a s t a t i s t i c a l i n -
-
8/9/2019 MaxEnt
5/9
t e r p r e t a t i o n : m a n y s t a t i s t i c a l i n f e
r e n c e p r o c e d u r e s c a n
b e i n t e r p r e t e d a s t r y i n g t o i n f e r , f o r
a g i v e n s e t o f d a t a ,
t h e p r o b a b i l i t y m o d e l w i t h i n s o m e c l a
s s o f m o d e l s M
t h a t i s ` a s c l o s e a s p o s s i b l e ' t o t h e u n
k n o w n , ` t r u e '
d a t a g e n e r a t i n g d i s t r i b u t i o n P
. I n M a x i m u m L i k e l i -
h o o d a n d s o m e B a y e s i a n i n f e r e n c e p r o c
e d u r e s , ` c l o s e -
n e s s ' i s m e a s u r e d b y m e a n s o f t h e K u l l b
a c k - L e i b l e r K L -
d i s t a n c e , w h i c h , f o r x e d P
a n d M , o n l y d i e r s f r o m
t h e e x p e c t e d l o g a r i t h m i c l o s s E
P
; l n ( P ( X ) = M ( X ) ) ]
b y a c o n s t a n t . S e c o n d , t h e r e i s a n i n t e
r p r e t a t i o n
i n t e r m s o f t h e M i n i m u m D e s c r i p t i o n L e
n g t h ( M D L )
P r i n c i p l e ( G r u n w a l d , 1 9 9 8 ) , a m e t h o d
f o r i n d u c t i v e i n -
f e r e n c e t h a t i s b a s e d o n d a t a c o m p r e s s
i o n . M D L c a n
b e s e e n a s a m a t h e m a t i c a l f o r m a l i z a t i
o n o f O c c a m ' s
R a z o r . I t t u r n s o u t t h a t b a s e d o n t h e m i
n i m a x f o r -
m u l a t i o n ( 8 ) , M a x E n t c a n b e i n t e r p r e t
e d a s a f o r m o f
M D L t h i s i s s h o w n i n ( G r u n w a l d , 1 9 9 8 ) .
F i n a l l y , w e
n o t e t h a t e v e n i f w e d o n o t a s s u m e t h e e x
i s t e n c e o f a
u n i q u e t r u e d i s t r i b u t i o n P
( t o w h i c h f o r e x a m p l e t h e
B a y e s i a n s m a y o b j e c t ) a f o r m o f o u r a n a
l y s i s c a n s t i l l
b e p e r f o r m e d . A l l t h i s w i l l b e t r e a t e d
i n d e t a i l i n t h e
j o u r n a l v e r s i o n o f t h i s p a p e r .
6 T H E G L A S S E S Y O U A R E
L O O K I N G T H R O U G H
L e t u s n o w s t a n d b a c k a n d a s k w h y A g e n t w
o u l d l i k e
t o i n f e r a p r o b a b i l i t y d i s t r i b u t i o n o
v e r a d o m a i n i n t h e
r s t p l a c e . U s u a l l y , t h i s i s b e c a u s e h e
w o u l d l i k e t o
m a k e g o o d o r a t l e a s t r e a s o n a b l e p r e d i
c t i o n s o r d e c i -
s i o n s c o n c e r n i n g s o m e r a n d o m v a r i a b l
e Y r e f e r r i n g t o
t h e d o m a i n ( m o r e g e n e r a l p r e d i c t i o n t
a s k s w i l l b e c o n -
s i d e r e d i n l a t e r s e c t i o n s ) . I f Y i s a r a
n d o m v a r i a b l e i n
t h e d o m a i n a n d D i s a s e t o f a v a i l a b l e d e
c i s i o n s , t h e n
t h e q u a l i t y o f s u c h d e c i s i o n s i s u s u a l
l y m e a s u r e d b y
s o m e l o s s f u n c t i o n l o s s :
Y
D ! R f 1 g . I f A g e n t
k n e w t h e ` t r u e ' d i s t r i b u t i o n P
g o v e r n i n g d o m a i n
X
,
t h e n h e c o u l d u s e t h i s k n o w l e d g e t o m a k
e o p t i m a l p r e -
d i c t i o n s f o r a n y g i v e n l o s s f u n c t i o n b
y p r e d i c t i n g u s -
i n g t h e a c t i o n
= a r g m i n
2 D
E
P
l o s s ( Y ) ] ( B e r g e r ,
1 9 8 5 ) .
B u t t h e i n t e r p r e t a t i o n o f P
m e
M
f r o m t h e m i n i m a x p o i n t
o f v i e w ( 8 ) s u g g e s t s t h a t P
m e
M
s h o u l d r s t a n d f o r e -
m o s t b e i n t e r p r e t e d a s t h e s t r a t e g y t o
a d o p t i n t h e
g a m e d e s c r i b e d i n S e c t i o n 5 a n d n o t a s t
h e d i s t r i b u -
t i o n P
a c c o r d i n g t o w h i c h d a t a a r e d i s t r i b u t
e d . T h i s
l e a d s t o a k e y i n s i g h t : p e r h a p s w e s h o u
l d n o t r e g a r d
P
m e
M
a s a g u e s s o f t h e ` t r u e ' P
t o b e u s e d b y A g e n t
i n e v e r y p r e d i c t i o n t a s k t h a t c a n b e d e
n e d o v e r t h e
d o m a i n . I t m a y b e b e t t e r t o t h i n k o f P
m e
M
a s b e i n g
w r o n g y e t u s e f u l i n t h a t i t m a y b e a r e a s
o n a b l e g u e s s
o f P
f o r u s e i n s o m e p o s s i b l e p r e d i c t i o n t a
s k s ( i . e . f o r
s o m e r a n d o m v a r i a b l e s a n d l o s s f u n c t i
o n s ) b u t a q u i t e
u n r e a s o n a b l e g u e s s f o r u s e i n o t h e r c o
m b i n a t i o n s o f
r a n d o m v a r i a b l e s a n d l o s s f u n c t i o n
s
1
. T o m a k e t h i s
i d e a c o n c r e t e , s u p p o s e A g e n t h a s n o a c
c e s s t o P
b u t
a p p r o x i m a t e s i t u s i n g P
m e
M
. F o r g i v e n l o s s f u n c t i o n
l o s s , A g e n t c a n u s e P
m e
M
t o a r r i v e a t a p r e d i c t i o n b y
p i c k i n g
= a r g m i n
2 D
E
P
m e
M
l o s s ( Y ) ] : ( 1 1 )
I n g e n e r a l , t h i s w i l l l e a d t o r e a s o n a b
l e r e s u l t s i f 8 2
D : E
P
m e
M
l o s s ( Y ) ] E
P
l o s s ( Y ) ] . F o r e a c h 2
D , t h e f u n c t i o n d e n e d b y ( x ) : = l o s s ( Y (
x ) ) i s
a r a n d o m v a r i a b l e . H e n c e , i n o r d e r t o b
e a b l e t o d e c i d e
f o r a r b i t r a r y l o s s f u n c t i o n l o s s w h e t
h e r P
m e
M
a s u s e d
i n ( 1 1 ) w i l l l e a d t o r e a s o n a b l e p r e d i c
t i o n s , i t s u c e s i f
f o r a r b i t r a r y r a n d o m v a r i a b l e s :
X
! R
k
, w e c a n
d e c i d e w h e t h e r E
P
m e
M
( X ) ] i s a r e a s o n a b l e g u e s s f o r
E
P
( X ) ] . L e t u s a n a l y z e t h i s q u e s t i o n f u r
t h e r .
I n o r d e r t o p r e d i c t t h e l i k e l y v a l u e o f
E
P
( X ) ] ,
A g e n t m u s t a s s i g n p r o b a b i l i t i e s t o t h
e v a l u e s i n
t h a t r a n d o m v a r i a b l e t a k e s . T h i s i n v o
l v e s ` l o o k i n g
a t t h e d o m a i n ' i n t e r m s o f t h e f u n c t i o n
i n o t h e r
w o r d s , d e t e r m i n e s t h e ` g l a s s e s ' t h r o
u g h w h i c h A g e n t
l o o k s a t d a t a X f r o m s a m p l e s p a c e
X
. B u t w h e n i n -
f e r r i n g P
m e
M
, A g e n t o b s e r v e s a v e r a g e s o f v a l u e s o f
t h e
f u n c t i o n . H e n c e A g e n t l o o k s a t t h e w o r
l d i n t e r m s
o f
. A s d i s c u s s e d i n S e c t i o n 5 . 1 , P
m e
M
m a x i m i z e s
t h e w o r s t - c a s e g a i n w h e n u s e d f o r K e l l
y G a m b l i n g o n
t h e o u t c o m e s i n
X
a g a i n s t o d d s d e t e r m i n e d b y M .
W e m a y n o w a s k o u r s e l v e s w h y A g e n t s h o u
l d b e i n -
t e r e s t e d i n a d i s t r i b u t i o n t h a t m a x i m
i z e s g a i n w h e n
b e t t i n g o n o u t c o m e s i n
X
i f b o t h t h e o b s e r v a b l e s
( ( X ) ) a n d t h e ` p r e d i c t a b l e s ' ( ( X ) ) a r
e o u t c o m e s i n
s p a c e s d i e r e n t f r o m
X
. I f n o a p r i o r i m e a s u r e M
i s a v a i l a b l e , U - M a x E n t a d v o c a t e s a u n
i f o r m M . B u t
s h o u l d A g e n t a d o p t a u n i f o r m M o v e r
X
,
o r
?
I n d e e d , a n d X m a y b e r e l a t e d i n s u c h a w a
y t h a t
t h e o p t i m a l g a m b l i n g s t r a t e g i e s a g a i
n s t u n i f o r m o d d s
f o r o u t c o m e s i n
X
a n d
a r e m u t u a l l y i n c o m -
p a t i b l e . T h i s i m m e d i a t e l y s u g g e s t s t
h a t p o s t u l a t i n g a
u n i f o r m m e a s u r e o v e r
X
m a y n o t b e t h e r i g h t t h i n g
t o d o a n d t h a t i t i s n o t s o s t r a n g e t h a t i
t l e a d s t o
r e p r e s e n t a t i o n d e p e n d e n c e . A n a l y z i
n g t h i s f a c t w i t h
t h e g a m e - t h e o r e t i c i n t e r p r e t a t i o n i
n m i n d , w e n d ( i n
S e c t i o n 8 . 3 ) t h a t i f a n d a r e r e l a t e d i n
a c e r t a i n
w a y , w e c a n d o s o m e t h i n g a b o u t t h i s . N a
m e l y , a s l o n g
a s
i s a t l e a s t a s ` c o a r s e ' a s
( ` l o o k i n g a t a n o u t -
c o m e x t h r o u g h t h e ` g l a s s e s ' a l l o w s a v
i e w o n
X
1
R e l a t e d i d e a s a r e q u i t e c o m m o n i n s t a t
i s t i c s a n d M a -
c h i n e L e a r n i n g . A s a n e x a m p l e , ` N a i v e
B a y e s ' m o d e l s a r e
j o i n t p r o b a b i l i t y d i s t r i b u t i o n s d e n
e d o v e r d i s c r e t e r a n d o m
v a r i a b l e s X
1
: : : X
k
Y o f a c e r t a i n p a r a m e t r i c f o r m . T h e y
u s u a l l y p e r f o r m e x c e e d i n g l y w e l l w h e
n u s e d t o p r e d i c t v a l -
u e s o f Y c o n d i t i o n a l o n X
1
: : : X
k
( F r i e d m a n e t a l . , 1 9 9 7 )
u n d e r t h e 0 = 1 ( c l a s s i c a t i o n ) l o s s f u n
c t i o n . Y e t t h e y m a k e
a l l k i n d s o f u n w a r r a n t e d i n d e p e n d e n c
e a s s u m p t i o n s t h a t
m i g h t l e a d t o d i s a s t r o u s r e s u l t s i f t h
e y w e r e u s e d t o p r e -
d i c t , s a y , t h e v a l u e o f X
2
c o n d i t i o n a l o n t h e v a l u e o f X
1
-
8/9/2019 MaxEnt
6/9
t h a t i s a t l e a s t a s n e - g r a i n e d a s t h e v i
e w t h r o u g h t h e
g l a s s e s ' ) , i t i s s t i l l p o s s i b l e t o p o s
t u l a t e a n a p r i o r i
m e a s u r e M ( n o t n e c e s s a r i l y u n i f o r m o v
e r
X
) s u c h
t h a t t h e K e l l y g a m b l i n g g a m e s o n o u t c o
m e s i n
a n d
a n d
X
a g a i n s t o d d s d e t e r m i n e d b y M s h a r e t h
e
s a m e w o r s t - c a s e o p t i m a l s t r a t e g y P
m e
M
. M o r e o v e r , a s
w e s h a l l s e e , p o s t u l a t i n g M i n t h i s w a y
m a k e s P
m e
M
r e p r e s e n t a t i o n i n d e p e n d e n t a s l o n g a
s i t i s o n l y u s e d
f o r p r e d i c t i o n s c o n c e r n i n g r a n d o m v a
r i a b l e s t h a t a r e
a t l e a s t a s ` c o a r s e ' a s . S i m i l a r l y , u n
d e r s t r o n g e r c o n -
d i t i o n s o n t h e r e l a t i o n b e t w e e n t h e f u
n c t i o n s a n d ,
o n e c a n g u a r a n t e e n o t o n l y t h a t P
m e
M
i s r e p r e s e n t a -
t i o n i n d e p e n d e n t b u t e v e n t h a t E
P
m e
M
] = E
P
] ,
i . e . t h a t t h e M a x E n t g u e s s o f E
P
] i s c o r r e c t .
T h e m o r a l o f t h e s t o r y i s t h a t , d e p e n d i
n g o n h o w t h e
` g l a s s e s ' ( w a y s o f l o o k i n g a t t h e d a t a
) a n d a r e r e -
l a t e d , a p p l y i n g M a x E n t m a y ( a ) b e i n h e
r e n t l y r e p r e -
s e n t a t i o n d e p e n d e n t ( a n d s h o u l d t h e r
e f o r e n o t b e u s e d
a t a l l ) , o r ( b ) b e r e p r e s e n t a t i o n i n d e
p e n d e n t b u t n o t
g u a r a n t e e d t o b e ` o p t i m a l ' o r ` c o r r e c
t ' ( i n t h i s c a s e i t
c a n b e u s e d a s a n i n d u c t i v e g u e s s ) o r ( c
) b e g u a r a n t e e d
t o l e a d t o c o r r e c t o r o p t i m a l p r e d i c t i
o n s ( i n w h i c h c a s e
i t s h o u l d c e r t a i n l y b e u s e d ) . I n S e c t i
o n 8 w e f o r m a l i z e
t h i s d i s t i n c t i o n . W e r s t n e e d t o e s t a b
l i s h t h e r e l a t i o n
b e t w e e n r e p r e s e n t a t i o n s a n d u n d e r l y
i n g m e a s u r e s .
7 R E P R E S E N T A T I O N & M E A S U R E
I n t h i s s e c t i o n w e w i l l s h o w t h a t i f w e s
t i c k t o a x e d
m e a s u r e , t h e r e s u l t s g i v e n b y M a x E n t a
r e i n v a r i a n t
u n d e r a l l r e a s o n a b l e r e p r e s e n t a t i o n
c h a n g e s .
F o r t w o r a n d o m v a r i a b l e s Y a n d Z w e s a y t
h a t Y d e -
t e r m i n e s Z i f t h e r e e x i s t s a f u n c t i o n g
:
Y
!
Z
s u c h
t h a t f o r e a c h x 2 , g ( Y ( x ) ) = Z ( x ) . I n t h e
l a n g u a g e
o f m e a s u r e t h e o r y , t h i s c a n b e s i m p l y e
x p r e s s e d a s ` Z
i s m e a s u r a b l e i n t h e - a l g e b r a g e n e r a t
e d b y Y ' . M o r e
g e n e r a l l y , w e s a y t h a t ` Y d e t e r m i n e s Z
o v e r A
X
'
i f t h e r e e x i s t s g :
Y
!
Z
s u c h t h a t f o r e a c h x 2 A ,
g ( Y ( x ) ) = Z ( x ) . A s e t
V
i s a n u n d e r l y i n g s p a c e f o r
s p a c e
Z
i f t h e r e e x i s t s a f u n c t i o n h :
V
!
Z
s u c h
t h a t f o r a l l z 2
Z
, t h e r e e x i s t s v 2
V
w i t h h ( v ) = z .
W e c a n t h i n k o f a n u n d e r l y i n g s p a c e
V
a s a s p a c e t h a t
i s a t l e a s t a s o r m o r e n e - g r a i n e d t h a
n
Z
. I f V i s a
r a n d o m v a r i a b l e
X
!
V
, t h e n t h i s s i m p l y m e a n s
t h a t V d e t e r m i n e s Z . T h e n o t i o n i s m o r e
g e n e r a l i n
t h a t w e c a n t a k e Z = X . I n t h i s c a s e ,
V
p r o v i d e s a
n e w s a m p l e s p a c e s u c h t h a t a l l r a n d o m v
a r i a b l e s t h a t
c a n b e e x p r e s s e d a s f u n c t i o n s o f
X
c a n a l s o b e e x -
p r e s s e d a s f u n c t i o n s o f
V
. L e t
V
b e a n u n d e r l y i n g
s p a c e f o r
X
. F o r a n y r a n d o m v a r i a b l e Y :
X
! R ,
w e w r i t e Y
V
t o d e n o t e t h e r a n d o m v a r i a b l e
V
! R
t h a t c o r r e s p o n d s t o Y i n t h e u n d e r l y i n
g s p a c e : f o r a l l
v 2
V
, Y
V
( v ) : = Y ( h ( v ) ) w i t h h :
V
!
X
d e -
n e d a s a b o v e . W i t h t h i s c o n v e n t i o n , t h
e f u n c t i o n h
i t s e l f c a n b e w r i t t e n a s h Y
V
. M o r e g e n e r a l l y , l e t
W
V
a n d T
V
b e a n y t w o r a n d o m v a r i a b l e s
V
! R
i n t h e u n d e r l y i n g s p a c e
V
, s u c h t h a t W
V
d e t e r m i n e s
T
V
. T h e n T
W
i s d e n e d a s a f u n c t i o n
W
! R w i t h
8 v 2
V
: T
W
( W
V
( v ) ) : = T
V
( v ) ( i n o t h e r w o r d s , T
W
i s a r a n d o m v a r i a b l e i n t h e i n t e r m e d i a
t e s p a c e
W
t h a t a l w a y s t a k e s o n t h e s a m e v a l u e a s
T
V
) . W i t h t h i s
n o t a t i o n , c a n b e e q u i v a l e n t l y w r i t t e
n a s
X
.
A M a x E n t p r o b l e m w i t h g i v e n u n d e r l y i n
g m e a s u r e
i s c h a r a c t e r i z e d b y a t u p l e (
X
M
X
X
C
X
) ( S e c -
t i o n 3 ) . A v a l i d r e p r e s e n t a t i o n s h i f t
o f M a x E n t p r o b -
l e m (
X
M
X
X
C
X
) i s a t r i p l e (
V
W
M
W
) . H e r e
V
W
a r e s e t s a n d M
W
i s a m e a s u r e o v e r
W
s a t i s -
f y i n g
1 .
V
i s a n u n d e r l y i n g s p a c e b o t h f o r
X
a n d f o r
W
2 . t h e r a n d o m v a r i a b l e W
V
d e t e r m i n e s
V
3 . M
W
a n d M
X
a r e c o m p a t i b l e ( w i t h u n d e r l y i n g
s p a c e
V
s e e S e c t i o n 2 ) .
X
i s c a l l e d t h e o r i g i n a l r e p r e s e n t a t i o
n s p a c e a n d
W
i s c a l l e d t h e n e w r e p r e s e n t a t i o n s p a c
e .
I n t u i t i v e l y , a r e p r e s e n t a t i o n s h i f t
i s ` v a l i d ' i f t h e c o n -
s t r a i n t E
P
] = t c a n s t i l l b e e x p r e s s e d i n t h e n e w
s p a c e . A v a l i d r e p r e s e n t a t i o n s h i f t
(
V
W
M
W
) i n -
d u c e s a n e w M a x E n t p r o b l e m (
W
M
W
W
C
W
) d e -
n e d a s f o l l o w s :
P
m e
W M
W
: = a r g m a x
P
W
2 C
W
E
P
W
; l n
P
W
( W
W
)
M
W
( W
W
)
]
w h e r e C
W
i s t h e s e t o f a l l d i s t r i b u t i o n s P
W
o v e r P
W
t h a t a r e c o m p a t i b l e ( w i t h u n d e r l y i n g
s p a c e
V
) w i t h
s o m e P
X
2 C . B y T h e o r e m 1 w e h a v e t h a t
P
m e
W M
W
= a r g m i n
P
W
2 P
W
s u p
P
W
2 C
W
E
P
W
; l n
P
W
( W
W
)
M
W
( W
W
)
] :
T h e f o l l o w i n g r e s u l t i s a s i m p l e e x t e n
s i o n o f a w e l l -
k n o w n t h e o r e m ( s e e , f o r e x a m p l e ( S h o r
e & J o h n s o n ,
1 9 8 0 ) ) . I t s h o w s t h a t , i f a m e a s u r e M
X
f o r t h e o r i g i -
n a l r e p r e s e n t a t i o n s p a c e i s a v a i l a b l
e , t h e n a v a l i d r e p -
r e s e n t a t i o n s h i f t l e a d s t o t h e s a m e M a
x E n t i n f e r e n c e s
f o r a l l r a n d o m v a r i a b l e s Y t h a t c a n b e e
x p r e s s e d b o t h
i n t e r m s o f t h e o r i g i n a l a n d i n t e r m s o f
t h e n e w r e p -
r e s e n t a t i o n s p a c e . I n o t h e r w o r d s , a s
l o n g a s M
X
i s
a v a i l a b l e , M a x E n t i s r e p r e s e n t a t i o n
i n d e p e n d e n t .
T h e o r e m 2 L e t (
V
W
M
W
) b e a v a l i d r e p r e s e n -
t a t i o n s h i f t f o r M a x E n t p r o b l e m (
X
M
X
X
C
X
) .
T h e n f o r a l l Y :
X
! R s u c h t h a t X d e t e r m i n e s
Y a n d W
V
d e t e r m i n e s Y
V
, w e h a v e f o r a l l y 2
Y
:
P
m e
W M
W
( Y
W
= y ) = P
m e
X M
X
( Y
X
= y )
-
8/9/2019 MaxEnt
7/9
T h e p r e s e n t g a m e - t h e o r e t i c v i e w p r o v
i d e s a n o v e l a n d
s i m p l e i n t e r p r e t a t i o n o f t h i s r e s u l t
. R o u g h l y s p e a k i n g ,
a r e p r e s e n t a t i o n c h a n g e a m o u n t s t o a c
h a n g e i n t h e s e t
o f t i c k e t s o n e c a n b u y i n t h e K e l l y g a m b
l i n g g a m e ( o u t -
c o m e s i n
W
r a t h e r t h a n
X
) b y a d o p t i n g a m e a s u r e
( o d d s ) o v e r
W
t h a t i s c o m p a t i b l e w i t h t h e m e a s u r e
( o d d s ) M
X
o v e r
X
, o n e e n s u r e s t h a t t h e p r i c e s o f t h e
d i e r e n t t i c k e t s w i l l c h a n g e a l o n g w i t
h t h e r e p r e s e n -
t a t i o n c h a n g e s o t h a t t h e g a m b l i n g g a m
e i n t h e n e w
s p a c e i s e s s e n t i a l l y e q u i v a l e n t t o t h
e o r i g i n a l g a m e .
T h i s i m p l i e s t h a t r e p r e s e n t a t i o n d e p
e n d e n c e o f U -
M a x E n t s t e m s o n l y f r o m t h e f a c t t h a t , i
f w e c h a n g e
r e p r e s e n t a t i o n f r o m
X
t o
W
, w e a d o p t m u t u a l l y i n -
c o m p a t i b l e m e a s u r e s ( n a m e l y , t h e u n i
f o r m m e a s u r e s
i n b o t h s p a c e s ) . I n f a c t , w e c a n v i e w e a
c h m e a s u r e
M
X
( a s l o n g a s i t i s r a t i o n a l - v a l u e d ) a s a
n i m p l i c i t r e -
r e p r e s e n t a t i o n o f t h e p r o b l e m t o a d i e
r e n t u n d e r l y i n g
s p a c e
V
i n w h i c h M
X
( o r , m o r e p r e c i s e l y , t h e m e a -
s u r e o v e r
V
t h a t i s c o m p a t i b l e w i t h M
X
) i s u n i f o r m
o v e r
V
. W e w i l l u s e o f t h i s i n s i g h t i n t h e n e x t
s e c -
t i o n , w h e r e w e s h o w h o w t o a p p l y M a x E n t
i n a c a r e f u l
m a n n e r .
8 H O W T O A P P L Y M A X E N T
I n t h i s s e c t i o n w e r e t u r n t o o u r p r e v i o
u s n o t a t i o n , i . e .
P
m e
M
i s s h o r t f o r P
m e
X M
.
W h e n e v e r i n w h a t f o l l o w s w e s a y ` w e a p p
l y M a x E n t f o r
g u e s s i n g E
P
Y j Z ] r e l a t i v e t o m e a s u r e M ' t h i s m e a n
s
t h a t w e u s e P
m e
M
, d e n e d f o r a s e t o f c o n s t r a i n t s C a s
g i v e n b y ( 3 ) a s f o l l o w s : w e o b s e r v e t h e
v a l u e z t a k e n
o n b y Z . T h e n w e i n f e r ( g u e s s ) t h a t
E
P
m e
M
Y j Z = z ] E
P
Y j Z = z ] : ( 1 2 )
w h e r e P
i s t h e u n k n o w n ` t r u e ' d i s t r i b u t i o n . W
e w a n t
t o a r r i v e a t t h e g e n e r a l c o n d i t i o n s o n
, Y a n d Z u n d e r
w h i c h i n f e r e n c e ( 1 2 ) c a n b e e x p e c t e d t
o b e a r e a s o n -
a b l e g u e s s a n d w e w a n t t o k n o w w h a t A g e n
t s h o u l d
d o i f h e d o e s n o t k n o w w h a t M t o p i c k . T o t
r e a t
t h i s q u e s t i o n i n f u l l g e n e r a l i t y , w e w
i l l a s s u m e t h a t
A g e n t u s e s a s e t M o f ` a p r i o r i p o s s i b l e
u n d e r l y i n g
m e a s u r e s ' . T h e c a s e w h e r e a n u n d e r l y i
n g m e a s u r e o r
p r i o r M i s a v a i l a b l e c a n n o w b e f o r m u l a
t e d b y s e t t i n g
M : = f M g . I n t h e c a s e w h e r e w e h a v e a d e n i
t e r e a -
s o n t o p i c k
X
a s o u r b a s i c r e p r e s e n t a t i o n s p a c e ( e .
g .
t h e c a s e o f t h r o w i n g d i c e , s e e E x a m p l e
1 ) , w e c a n t a k e
M : = f U
X
g , w h e r e U
X
i s t h e u n i f o r m m e a s u r e o v e r
X
. I f n o u n d e r l y i n g m e a s u r e c a n b e d e t e r
m i n e d a t
a l l , w e w i l l s e t M t o b e t h e c l a s s o f a l l m
e a s u r e s o v e r
X
. A s w e w i l l s e e , t h i s w i l l m a k e M a x E n t u
n d e n e d
i n m o s t c a s e s . I n o r d e r t o m a k e i t w e l l -
d e n e d , w e
m u s t r s t g u e s s a s u b s e t M
0
o f M t h a t c a s e w i l l b e
t r e a t e d i n S e c t i o n 8 . 3 .
W e a r e n o w r e a d y t o p r e s e n t o u r h i e r a r c
h y o f d i e r e n t
f o r m s o f a p p l y i n g M a x E n t .
D e n i t i o n 1 A p p l i c a t i o n o f M a x E n t f o r g
u e s s i n g
E
P
Y j Z ] r e l a t i v e t o a s e t o f m e a s u r e s M i s c
a l l e d
1 . c o n d i t i o n a l l y c o r r e c t i f E
P
m e
M
Y j Z = z ] =
E
P
Y j Z = z ] f o r a l l M 2 M , a l l z 2
Z
, a l l
P
2 C .
2 . c o n d i t i o n a l l y c a l i b r a t e d i f t h e r e
e x i s t s a r a n -
d o m v a r i a b l e V s u c h t h a t Z d e t e r m i n e s V
, a n d
E
P
m e
M
Y j Z = z ] = E
P
m e
M
Y j V
Z
= V
Z
( z ) ] =
E
P
Y j V
Z
= V
Z
( z ) ] f o r a l l M 2 M , a l l z 2
Z
,
a l l P
2 C .
3 . w e l l - d e n e d i f E
P
m e
M
1
Y j Z = z ] = E
P
m e
M
2
Y j Z =
z ] f o r a l l M
1
M
2
2 M , a l l z 2
Z
.
4 . i l l - d e n e d o t h e r w i s e .
W e n o t e t h a t 1 : ) 2 : ) 3 . C a t e g o r y 2 . , w h i
l e p e r h a p s
t h e m o s t i n t e r e s t i n g , t a k e s t o o l o n g t
o d i s c u s s h e r e .
I t w i l l b e e x p l a i n e d i n d e t a i l i n t h e j o
u r n a l v e r s i o n
o f t h i s p a p e r . C a t e g o r y 4 . c o n c e r n s a p
p l i c a t i o n s o f
M a x i m u m E n t r o p y t h a t l e a d t o a r b i t r a r
y r e s u l t s a n d
h e n c e s h o u l d b e a v o i d e d ( b u t s e e t h e n e
x t s e c t i o n ! ) . B y
t h e d i s c u s s i o n o f t h e p r e v i o u s s e c t i o
n , e v e r y ( r a t i o n a l -
v a l u e d ) m e a s u r e M 2 M c o r r e s p o n d s t o a n
` a l l o w e d '
r e p r e s e n t a t i o n s h i f t . T h e r e f o r e , i l
l - d e n e d a p p l i c a t i o n s
o f M a x E n t w i t h r e s p e c t t o t h e s e t o f a l l
m e a s u r e s
o v e r
X
c o r r e s p o n d t o t h o s e a p p l i c a t i o n s o f U
- M a x E n t
t h a t a r e r e p r e s e n t a t i o n d e p e n d e n t . T
h e o t h e r e x t r e m e
i s C a t e g o r y 1 , w h i c h c o n c e r n s a p p l i c a
t i o n s o f M a x -
i m u m E n t r o p y t h a t a r e c o m p l e t e l y w i t h
o u t r i s k . I f
M a x E n t i s ` c o n d i t i o n a l l y c o r r e c t ' f o
r E
P
Y j Z = z ] ,
t h e g u e s s E
P
m e
M
Y j Z = z ] = E
P
Y j Z = z ] i s g u a r a n -
t e e d t o b e c o r r e c t a n d i n v o l v e s n o i n d u
c t i v e i n f e r e n c e .
T h e o r e m 3 b e l o w d e t e r m i n e s w h e n t h i s i
s t h e c a s e .
8 . 1 C O N D I T I O N A L C O R R E C T N E S S
L e t :
X
! R a n d :
X
! R
k
b e t w o
f u n c t i o n s a n d l e t A
X
. W e s a y t h a t i s a n
a n e f u n c t i o n o f o v e r s u b d o m a i n A i f t h e
r e e x i s t s
(
0
: : :
k
) 2 R
k + 1
s u c h t h a t f o r a l l x 2 A ( x ) =
0
+
P
k
i = 1
i
i
( x ) . W e d e n e t h e s u p p o r t s u p p o f
P
0
X
P
X
b y
s u p p ( P
0
X
) : = f x 2
X
j P ( x ) > 0 f o r s o m e P 2 P
0
X
g :
T h e o r e m 3 I f i s a n a n e f u n c t i o n o f o v e r s
u b d o -
m a i n s u p p ( C ) , t h e n f o r a l l P
1
P
2
2 C , E
P
1
( X ) ] =
E
P
2
( X ) ] . I f i s n o t a n a n e f u n c t i o n o f o v e
r
s u b d o m a i n s u p p ( C ) t h e n t h e r e e x i s t
P
1
P
2
2 C s u c h
t h a t E
P
1
( X ) ] 6= E
P
2
( X ) ] .
-
8/9/2019 MaxEnt
8/9
L e t Z b e a ` t r i v i a l ' r a n d o m v a r i a b l e , i
. e . 8 x 2
X
Z ( x ) = 1 . T h e o r e m 1 i m p l i e s t h a t f o r a n y
M 2 M
a n d a n y C o f f o r m ( 3 ) , P
m e
M
2 C . T h e o r e m 3 n o w
g i v e s t h a t f o r a r b i t r a r y s e t s o f m e a s u
r e s M , a p p l y -
i n g M a x E n t t o g u e s s E
P
Y j Z ] i s c o n d i t i o n a l l y c o r -
r e c t i Y i s a n a n e f u n c t i o n o f o v e r s u b d o
m a i n
s u p p ( C ) . T o d e t e r m i n e w h e t h e r a p p l y i
n g M a x E n t t o
g u e s s E
P
Y j Z ] i s c o n d i t i o n a l l y c o r r e c t f o r n o n
- t r i v i a l
Z ( t h e c a s e t h a t Z ( x ) v a r i e s o v e r s u p p (
C ) ) , w e i n t e r -
p r e t t h e c o n d i t i o n i n g e v e n t Z = z a s t h e
a d d i t i o n a l
c o n s t r a i n t E
P
1
Z = z
] = 1 . C l e a r l y , t h i s c o n s t r a i n t i s
o f t h e r e q u i r e d f o r m ( 2 ) . L e t , f o r z 2
Z
,
C
( z )
= C \ f P
2 P
X
j E
P
1
Z = z
] = 1 g : ( 1 3 )
T h e n , b y t h e s a m e r e a s o n i n g a s a b o v e , a
p p l y i n g M a x -
E n t t o g u e s s E
P
Y j Z ] i s c o n d i t i o n a l l y c o r r e c t i Y
i s a n a n e f u n c t i o n o f o v e r s u b d o m a i n s u
p p ( C
( z )
)
f o r a l l z 2
Z
. T h i s s e e m s t o i m p l y t h a t ` c o r r e c t '
a p p l i c a t i o n s o f M a x E n t a r e t r i v i a l : i
f w e k n o w t h a t
Y i s a n e i n , i . e . Y ( x ) =
0
+
P
k
i = 1
i
i
( x ) ,
w e c a n a l s o d i r e c t l y i n f e r t h a t E
P
Y ] =
0
+
P
k
i = 1
i
E
P
i
( X ) ] =
0
+
P
k
i = 1
i
E
P
m e
M
i
( X ) ] =
E
P
m e
M
Y ( X ) ] ( t h e s e c o n d e q u a l i t y f o l l o w s b e
c a u s e
b o t h P
a n d P
m e
M
a r e m e m b e r s o f C ) . H o w e v e r ,
t h e r e i s a t l e a s t o n e c a s e w h e r e ` c o r r e
c t ' a p p l i c a t i o n s
a r e n o t e n t i r e l y t r i v i a l . F r o m T h e o r e
m 1 w e s e e
t h a t f o r a l l P
2 C , E
P
m e
M
; l n ( P
m e
M
( X ) = M ( X ) ) ] =
E
P
; l n ( P
m e
M
( X ) = M ( X ) ) ] ( i n d e e d , i t t u r n s o u t t h a
t
; l n ( P
m e
M
( ) = M ( ) ) i s a n a n e f u n c t i o n o f ) . T h i s
m e a n s t h a t M a x E n t i s ` c o r r e c t ' f o r i n f
e r r i n g t h e e x -
p e c t e d l o g a r i t h m i c l o s s i n t h e g a m e s d
e s c r i b e d i n S e c -
t i o n 5 , e . g . i n K e l l y G a m b l i n g w i t h o d d
s d e t e r m i n e d
b y M . T h i s c a n b e i n t e r p r e t e d a s f o l l o w
s : i m a g i n e
a n A g e n t w h o a d o p t s P
m e
M
a n d u s e s i t f o r p r e d i c t i o n
o f o u t c o m e s i n
X
w i t h r e s p e c t t o l o g - l o s s r e l a t i v e t
o
m e a s u r e M . F o r g a m b l i n g s t r a t e g y 2 P
X
, h e e x p e c t s
t o i n c u r l o s s E
P
m e
M
; l n
( X )
M ( X )
] . A g e n t t h e r e f o r e d e c i d e s
t o u s e t h e w h i c h m i n i m i z e s t h i s , w h i c h
b y t h e i n f o r -
m a t i o n i n e q u a l i t y ( S e c t i o n 5 ) i s g i v e
n b y = P
m e
M
. U s -
i n g t h i s c h o i c e o f , A g e n t e x p e c t s t o m a
k e a n a v e r a g e
l o s s o f E
P
m e
M
; l n ( P
m e
M
( X ) = M ( X ) ) ] . I n r e a l i t y , h e w i l l
m a k e a n a v e r a g e l o s s o f E
P
; l n ( P
m e
M
( X ) = M ( X ) ) ] .
S i n c e t h e s e t w o a r e e q u a l , A g e n t w i l l h
a v e t h e r i g h t
i d e a o f h o w w e l l h e w i l l b e a b l e t o p r e d i
c t o n a v e r a g e
e v e n i f P
m e
M
i s w r o n g .
8 . 2 R E P R E S E N T A T I O N D E P E N D E N C E
B y D e n i t i o n 1 , i f M c o n t a i n s o n l y a s i n g
l e e l e m e n t ,
M a x E n t i s w e l l - d e n e d f o r g u e s s i n g E
P
Y j Z ] f o r a l l
Y a n d Z . B y T h e o r e m 2 , t h e g u e s s e s a r e a l
s o r e p r e -
s e n t a t i o n i n d e p e n d e n t . T h e o t h e r e x t
r e m e i s t h e c a s e
w h e r e n o u n d e r l y i n g m e a s u r e i s k n o w n a
t a l l a n d M
c o n t a i n s a l l m e a s u r e s o v e r
X
. I t i s s t r a i g h t f o r w a r d
t o s h o w
P r o p o s i t i o n 1 S u p p o s e M c o n t a i n s a l l m
e a s u r e s
o v e r
X
. T h e n M a x E n t i s i l l - d e n e d f o r g u e s s i n
g
E
P
Y j Z ] i i t i s n o t c o n d i t i o n a l l y c o r r e c t
f o r g u e s s i n g
E
P
Y j Z ] .
S i n c e d i e r e n t m e a s u r e s c o r r e s p o n d t o
d i e r e n t r e p r e -
s e n t a t i o n s , t h i s c o r r e s p o n d s t o t h e f
a c t t h a t U - M a x E n t
i s h i g h l y r e p r e s e n t a t i o n d e p e n d e n t .
T h e o n l y w a y w e
c a n g e t t o t h e i n t e r e s t i n g c a s e s 2 . a n d
3 . o f D e n i -
t i o n 1 i s b y r e s t r i c t i n g t h e s e t o f a v a i
l a b l e m e a s u r e s M .
I t s e e m s w e h a v e n o t g a i n e d a n y t h i n g s o
f a r , s i n c e w e
d o n o t k n o w h o w t h i s s h o u l d b e d o n e ( w e h
a v e a l r e a d y
s e e n t h a t c h o o s i n g M = f U
X
g , w i t h U
X
t h e u n i f o r m
m e a s u r e o v e r
X
l e a d s t o r e p r e s e n t a t i o n d e p e n d e n c e )
!
B u t i t t u r n s o u t t h a t i f t h e f u n c t i o n s ,
Y a n d Z a r e
r e l a t e d i n c e r t a i n w a y s , t h e n w e c a n c h
o o s e a s u b s e t o f
M i n a d i e r e n t w a y t h a t d o e s p r e s e r v e r e
p r e s e n t a t i o n
i n d e p e n d e n c e .
8 . 3 R E P R E S E N T A T I O N I N D E P E N D E N C E
W e w a n t t o r s t s e l e c t a s u b s e t M
0
o f M a n d t h e n
a p p l y M a x E n t t o g u e s s E
P
Y j Z ] i n s u c h a w a y t h a t
t h e w h o l e ( 2 - s t e p ) p r o c e d u r e b e c o m e s
r e p r e s e n t a t i o n
i n d e p e n d e n t . S i n c e w e h a v e n o x e d m e a s
u r e o r p r i o r
o v e r
X
, t h e c h o i c e o f
X
a s o u r b a s i c s a m p l e s p a c e i s
e s s e n t i a l l y a r b i t r a r y . T h e r e f o r e o u
r p r o c e d u r e f o r s e -
l e c t i n g m e a s u r e s s h o u l d g i v e t h e s a m e
r e s u l t f o r e v e r y
a l t e r n a t i v e c h o i c e o f s a m p l e s p a c e i n
w h i c h b o t h t h e
c o n s t r a i n t E
P
] = t a n d t h e g u e s s E
P
Y j Z ] c a n b e
e x p r e s s e d . O u r p r e v i o u s a n a l y s i s s u g
g e s t s a n o v e l w a y
o f g u e s s i n g M
0
w h i c h i n m a n y c a s e s a c h i e v e s t h i s . I t i
s
b a s e d o n t h e i d e a t h a t t h e ` o b s e r v a b l e
s ' i n o u r p r o b l e m
a r e r e a l l y t h e o u t c o m e s i n
a n d n o t t h e o u t c o m e s i n
X
. T h i s s u g g e s t s p o s t u l a t i n g a u n i f o r m
m e a s u r e U
o v e r
r a t h e r t h a n
X
. I f w e t h e n r e s t r i c t t h e f u n c -
t i o n s a b o u t w h i c h w e m a k e g u e s s e s t o t h
o s e t h a t a r e
d e t e r m i n e d b y , t h e a r b i t r a r y c h o i c e o
f o u r b a s i c r e p -
r e s e n t a t i o n s p a c e
X
b e c o m e s i r r e l e v a n t a n d w e a r e
g u a r a n t e e d t o m a k e t h e s a m e p r e d i c t i o
n s i n d e p e n d e n t
o f w h a t e v e r
X
w e c h o o s e . W e n o w f o r m a l i z e t h i s
i d e a .
W h e n n o u n d e r l y i n g m e a s u r e i s g i v e n , a
M a x E n t p r o b -
l e m i s d e t e r m i n e d b y a t r i p l e (
X
X
C
X
) . N o t e t h a t ,
c o m p a r e d t o t h e t r e a t m e n t i n S e c t i o n 7
, t h e m e a s u r e
M
X
i s m i s s i n g . A v a l i d r e p r e s e n t a t i o n s h
i f t o f s u c h a
M a x E n t p r o b l e m i s a p a i r (
V
W
) s u c h t h a t ( 1 )
V
i s a n u n d e r l y i n g s p a c e b o t h f o r
X
a n d f o r
W
a n d
( 2 ) , t h e r a n d o m v a r i a b l e W
V
d e t e r m i n e s
V
( a g a i n ,
c o m p a r e t o t h e d e n i t i o n o f v a l i d r e p r e
s e n t a t i o n s h i f t
i n S e c t i o n 7 ) . T h e r e p r e s e n t a t i o n s h i
f t l e a d s t o a n e w
M a x E n t p r o b l e m (
W
W
C
W
) w h e r e C
W
i s t h e s e t o f
d i s t r i b u t i o n s o v e r
W
c o m p a t i b l e t o C
X
( c o m p a t i b i l i t y
w i t h r e s p e c t t o u n d e r l y i n g s p a c e
V
) .
L e t (
V
W
) b e a n y v a l i d r e p r e s e n t a t i o n s h i f t o f
t h e
-
8/9/2019 MaxEnt
9/9
M a x E n t p r o b l e m (
X
X
C
X
) . L e t U
b e t h e u n i f o r m
m e a s u r e o v e r
. L e t M
0
X
b e t h e c l a s s o f a l l m e a s u r e s
o v e r
X
t h a t a r e c o m p a t i b l e w i t h U
, a n d l e t M
0
W
b e
t h e c l a s s o f a l l m e a s u r e s o v e r
W
t h a t a r e c o m p a t i -
b l e w i t h U
( c o m p a t i b i l i t y w i t h r e s p e c t t o u n d e r
l y i n g
s p a c e
V
) .
P r o p o s i t i o n 2 ( B e r t r a n d ' s P a r a d o x ` r
e s o l v e d ' )
L e t :
X
! R b e a r a n d o m v a r i a b l e i n t h e
o r i g i n a l r e p r e s e n t a t i o n s p a c e . I f d e
t e r m i n e s o n
s u p p ( C ) , t h e n f o r a l l M
W
2 M
0
W
a n d a l l M
X
2 M
0
X
,
E
P
m e
W M
W
W
] = E
P
m e
X M
X
X
] i f d o e s n o t d e t e r m i n e
o n s u p p ( C ) , t h e r e e x i s t M
X
M
0
X
2 M
0
X
s u c h t h a t
E
P
m e
X M
X
X
] 6= E
P
m e
X M
0
X
X
] .
T h e p r o p o s i t i o n s a y s t h a t o u r t w o - s t e
p p r o c e d u r e g i v e s
r e p r e s e n t a t i o n i n d e p e n d e n c e i M a x E n
t i s u s e d t o
g u e s s f u n c t i o n s t h a t a r e d e t e r m i n e d b
y . D e n i n g
C
( z )
a s i n ( 1 3 ) a n d r e a s o n i n g e x a c t l y a s b e l
o w T h e o -
r e m 3 , w e o b t a i n t h e f o l l o w i n g ( i n f o r m
a l l y s t a t e d )
C o r o l l a r y 1 T h e p r o c e d u r e o f r s t s e t t i
n g M
X
t o b e
t h e s e t o f m e a s u r e s o v e r
X
t h a t a r e c o m p a t i b l e w i t h
U
a n d t h e n a p p l y i n g M a x E n t t o g u e s s E
P
Y j Z ] r e l -
a t i v e t o s e t o f m e a s u r e s M
X
i s a r e p r e s e n t a t i o n i n d e -
p e n d e n t p r o c e d u r e i , f o r a l l z 2
Z
, d e t e r m i n e s Y
o v e r s u b d o m a i n s u p p ( C
( z )
) . I n p a r t i c u l a r t h i s w i l l b e
t h e c a s e i f d e t e r m i n e s b o t h Y a n d Z .
S u m m a r i z i n g , i f a l l m e a s u r e s M o v e r
X
a r e a p r i o r i
p o s s i b l e , t h e n i n s t e a d o f u s i n g U - M a x
E n t i t m a y b e
b e t t e r t o a d o p t a u n i f o r m m e a s u r e U
o v e r t h e s p a c e
o f o b s e r v a b l e s
. I n t h i s w a y o n e o b t a i n s a p r o c e -
d u r e w h i c h i s r e p r e s e n t a t i o n i n d e p e n
d e n t f o r g u e s s i n g
a l a r g e c l a s s o f r a n d o m v a r i a b l e s Y c o n
d i t i o n a l o n a
l a r g e c l a s s o f r a n d o m v a r i a b l e s Z . T h e
m e a s u r e U
i n d u c e s a s e t M
X
o f c o m p a t i b l e m e a s u r e s o v e r
X
.
I f Y a n d Z a r e s u c h t h a t e v e n f o r t h i s r e s
t r i c t e d s e t
o f m e a s u r e s , a p p l y i n g M a x E n t t o g u e s s
E
P
Y j Z ] i s
i l l - d e n e d , t h e n , i n o u r v i e w , a n y s p e c
i c g u e s s o f
E
P
Y j Z ] o b t a i n e d b y a f u r t h e r r e s t r i c t i o
n o f M
0
X
i s
b a s i c a l l y a r b i t r a r y . W e f e e l t h a t i n s
u c h c a s e s , o n e
s h o u l d r e f r a i n f r o m u s i n g M a x E n t a l t o
g e t h e r .
9 F I N A L R E M A R K S
N o n - c o n v e x c o n s t r a i n t s A m a j o r g o a l f
o r f u t u r e
w o r k i s t o a n a l y z e t h e b e h a v i o r o f P
m e
X
i n m i n i m a x
t e r m s f o r c o n s t r a i n t s t h a t g o b e y o n d f
o r m ( 2 ) . F o r
i n e q u a l i t y c o n s t r a i n t s ( E ( X ) ] t ) , a d
j u s t e d v e r -
s i o n s o f a l l o u r r e s u l t s s t i l l h o l d . F o
r c o n s t r a i n t s s u c h
t h a t C b e c o m e s n o n - c o n v e x , M a x E n t i s k
n o w n t o l e a d
t o r a t h e r s t r a n g e r e s u l t s . I n t e r e s t i
n g l y , f o r s u c h c o n -
s t r a i n t s , T h e o r e m 1 d o e s n o t a p p l y a n d
t h e m i n i m a x
P
m e
M
i s n o t e q u a l a n y m o r e t o t h e t r a d i t i o n a
l m a x -
i m i n P
m e
M
. W e s u s p e c t t h a t t h e m i n i m a x v e r s i o n g
i v e s
p r e f e r a b l e r e s u l t s i n s u c h c a s e s . C o n
s i d e r f o r e x a m -
p l e d i s j u n c t i v e c o n s t r a i n t s ( G r o v e e
t a l . , 1 9 9 4 ) : l e t
X
= f 0 1 g , M u n i f o r m , a n d l e t t h e c o n s t r a i
n t b e
P
( X = 1 ) = 0 : 1 ] _ P
( X = 1 ) = 0 : 9 5 ] . T h e n
t r a d i t i o n a l M a x E n t g i v e s P
m e
M
( X = 1 ) = 0 : 1 w h i c h
s e e m s a d a n g e r o u s g u e s s - i f i t i s w r o n g
, i t w i l l l e a d
t o v e r y b a d p r e d i c t i o n s . I n c o n t r a s t ,
m i n i m a x P
m e
M
g i v e s P
m e
M
( X = 1 ) = 0 : 5 ( o n e c a n s h o w t h a t i t c o -
i n c i d e s w i t h t h e t r a d i t i o n a l M a x E n t d
i s t r i b u t i o n o v e r
t h e c o n v e x h u l l o f C ) w h i c h { t o u s { s e e m
s m o r e r e a -
s o n a b l e .
R e l a t e d W o r k ( H a u s s l e r , 1 9 9 7 ) h a s g i v
e n a r e l a t e d
( b u t s t i l l e s s e n t i a l l y d i e r e n t ) m i n i
m a x r e s u l t i n v o l v -
i n g l o g a r i t h m i c r e g r e t r a t h e r t h a n l o
s s . ( H a l p e r n &
K o l l e r , 1 9 9 5 ) n o t e t h a t M a x E n t c a n b e m
a d e r e p r e -
s e n t a t i o n i n d e p e n d e n t f o r a r e s t r i c t
e d c l a s s o f r e p r e -
s e n t a t i o n s h i f t s b y r e s t r i c t i n g t h e c
l a s s o f p r i o r s M i n
a c e r t a i n w a y , b u t t h e y d o n o t u s e t h i s t
o d i s t i n g u i s h
b e t w e e n d i e r e n t u s e s ( g u e s s e s o f E
P
] f o r d i e r e n t
) o f t h e s a m e P
m e
M
.
A c k n o w l e d g m e n t s T h e a u t h o r i s d e e p l y
i n d e b t e d
t o P h i l D a w i d , w h o h e l p e d i n m a n y c r u c i
a l w a y s .
R e f e r e n c e s
B e r g e r , J . ( 1 9 8 5 ) . S t a t i s t i c a l d e c i s
i o n t h e o r y a n d B a y e s i a n
a n a l y s i s . S p r i n g e r S e r i e s i n S t a t i s t
i c s . N e w Y o r k :
S p r i n g e r - V e r l a g . r e v i s e d a n d e x p a n d
e d s e c o n d e d i t i o n .
C o v e r , T . , & T h o m a s , J . ( 1 9 9 1 ) . E l e m
e n t s o f i n f o r m a t i o n
t h e o r y . N e w Y o r k : W i l e y I n t e r s c i e n c e
.
F r i e d m a n , N . , G e i g e r , D . , & G o l d s z m
i d t , M . ( 1 9 9 7 ) .
B a y e s i a n n e t w o r k c l a s s i e r s . M a c h i n e
L e a r n i n g , 2 9 , 1 3 1 {
1 6 3 .
G r o v e , A . , H a l p e r n , J . , & K o l l e r , D .
( 1 9 9 4 ) . R a n d o m
w o r l d s a n d m a x i m u m e n t r o p y . J o u r n a l o
f A I R e s e a r c h ,
2 , 3 3 { 8 8 .
G r u n w a l d , P . ( 1 9 9 8 ) . T h e M i n i m u m D e s c
r i p t i o n L e n g t h
P r i n c i p l e a n d r e a s o n i n g u n d e r u n c e r t
a i n t y . D o c t o r a l
d i s s e r t a t i o n , U n i v e r s i t y o f A m s t e r d
a m , T h e N e t h e r -
l a n d s . A v a i l a b l e a s I L L C D i s s e r t a t i o
n S e r i e s 1 9 9 8 - 0 3
s e e h t t p : / / r o b o t i c s . s t a n f o r d . e d u /
~ g r u n w a l d .
G r u n w a l d , P . , & D a w i d , A . P . ( 2 0 0 0 ) .
R o b u s t B a y e s a n d
m a x i m u m g e n e r a l i s e d e n t r o p y . I n p r e p
a r a t i o n .
H a l p e r n , J . , & K o l l e r , D . ( 1 9 9 5 ) . R e
p r e s e n t a t i o n d e p e n -
d e n c e i n p r o b a b i l i s t i c i n f e r e n c e . P r
o c e e d i n g s o f t h e F o u r -
t e e n t h I n t e r n a t i o n a l J o i n t C o n f e r e n
c e o n A r t i c i a l I n t e l -
l i g e n c e ( I J C A I - 9 5 )
H a u s s l e r , D . ( 1 9 9 7 ) . A g e n e r a l m i n i m a
x r e s u l t f o r r e l a t i v e
e n t r o p y . I E E E T r a n s a c t i o n s o n I n f o r m
a t i o n T h e o r y , 4 3 ,
1 2 7 6 { 1 2 8 0 .
J a y n e s , E . ( 1 9 8 9 ) . P a p e r s o n p r o b a b i l
i t y , s t a t i s t i c s a n d
s t a t i s t i c a l p h y s i c s . K l u w e r A c a d e m i
c P u b l i s h e r s . S e c o n d
e d i t i o n .
S h o r e , J . , & J o h n s o n , R . ( 1 9 8 0 ) . A x i
o m a t i c d e r i v a t i o n o f
t h e p r i n c i p l e o f m a x i m u m e n t r o p y a n d t
h e p r i n c i p l e o f
m i n i m u m c r o s s - e n t r o p y . I E E E T r a n s a c
t i o n s o n I n f o r -
m a t i o n T h e o r y , I T - 2 6 , 2 6 { 3 7 .
![MaxEnt user guide - usherbrooke.ca...7 observables having the same signature under time reversal. In that case, the code takes into account the fact that Im[GR(!)], where GR(!) is](https://img.pdfslide.tips/doc/110x75/60cf8e9d575d1b5ad74fcf46/maxent-user-guide-7-observables-having-the-same-signature-under-time-reversal.jpg)
