HoV94.Arithmetic Coding

8/2/2019 HoV94.Arithmetic Coding

1/8

A r i t h m e t i c C o d i n g f o r D a t a C o m p r e s s i o n

P A U L G . H O W A R D a n d J E F F R E Y S C O T T V I T T E R , f e l l o w , i e e e

A r i t h m e t i c c o d i n g p r o v i d e s a n e e c t i v e m e c h a n i s m f o r r e m o v -

i n g r e d u n d a n c y i n t h e e n c o d i n g o f d a t a . W e s h o w h o w a r i t h m e t i c

c o d i n g w o r k s a n d d e s c r i b e a n e c i e n t i m p l e m e n t a t i o n t h a t u s e s

t a b l e l o o k u p a s a f a s t a l t e r n a t i v e t o a r i t h m e t i c o p e r a t i o n s . T h e

r e d u c e d - p r e c i s i o n a r i t h m e t i c h a s a p r o v a b l y n e g l i g i b l e e e c t o n t h e

a m o u n t o f c o m p r e s s i o n a c h i e v e d . W e c a n s p e e d u p t h e i m p l e m e n -

t a t i o n f u r t h e r b y u s e o f p a r a l l e l p r o c e s s i n g . W e d i s c u s s t h e r o l e o f

p r o b a b i l i t y m o d e l s a n d h o w t h e y p r o v i d e p r o b a b i l i t y i n f o r m a t i o n

t o t h e a r i t h m e t i c c o d e r . W e c o n c l u d e w i t h p e r s p e c t i v e s o n t h e

c o m p a r a t i v e a d v a n t a g e s a n d d i s a d v a n t a g e s o f a r i t h m e t i c c o d i n g .

I n d e x t e r m s | D a t a c o m p r e s s i o n , a r i t h m e t i c c o d i n g , l o s s l e s s

c o m p r e s s i o n , t e x t m o d e l i n g , i m a g e c o m p r e s s i o n , t e x t c o m p r e s -

s i o n , a d a p t i v e , s e m i - a d a p t i v e .

I . A r i t h m e t i c c o d i n g

T h e f u n d a m e n t a l p r o b l e m o f l o s s l e s s c o m p r e s s i o n i s t o d e -

c o m p o s e a d a t a s e t f o r e x a m p l e , a t e x t l e o r a n i m a g e

i n t o a s e q u e n c e o f e v e n t s , t h e n t o e n c o d e t h e e v e n t s u s i n g a s

f e w b i t s a s p o s s i b l e . T h e i d e a i s t o a s s i g n s h o r t c o d e w o r d s

t o m o r e p r o b a b l e e v e n t s a n d l o n g e r c o d e w o r d s t o l e s s p r o b -

a b l e e v e n t s . D a t a c a n b e c o m p r e s s e d w h e n e v e r s o m e e v e n t s

a r e m o r e l i k e l y t h a n o t h e r s . S t a t i s t i c a l c o d i n g t e c h n i q u e s

u s e e s t i m a t e s o f t h e p r o b a b i l i t i e s o f t h e e v e n t s t o a s s i g n t h e

c o d e w o r d s . G i v e n a s e t o f m u t u a l l y d i s t i n c t e v e n t s e

1

e

2

e

3

e

n

, a n d a n a c c u r a t e a s s e s s m e n t o f t h e p r o b a b i l i t y d i s -

t r i b u t i o n P o f t h e e v e n t s , S h a n n o n 1 p r o v e d t h a t t h e t h e

s m a l l e s t p o s s i b l e e x p e c t e d n u m b e r o f b i t s n e e d e d t o e n c o d e

a n e v e n t i s t h e e n t r o p y o f P , d e n o t e d b y

H P =

n

X

k = 1

, p f e

k

g l o g

2

p f e

k

g

w h e r e p f e

k

g i s t h e p r o b a b i l i t y t h a t e v e n t e

k

o c c u r s . A n o p -

t i m a l c o d e o u t p u t s , l o g

2

p b i t s t o e n c o d e a n e v e n t w h o s e

p r o b a b i l i t y o f o c c u r r e n c e i s p . P u r e a r i t h m e t i c c o d e s s u p -

p l i e d w i t h a c c u r a t e p r o b a b i l i t i e s p r o v i d e s o p t i m a l c o m p r e s -

s i o n . T h e o l d e r a n d b e t t e r - k n o w n H u m a n c o d e s 2 a r e

o p t i m a l o n l y a m o n g i n s t a n t a n e o u s c o d e s , t h a t i s , t h o s e i n

w h i c h t h e e n c o d i n g o f o n e e v e n t c a n b e d e c o d e d b e f o r e e n -

c o d i n g h a s b e g u n f o r t h e n e x t e v e n t .

I n t h e o r y , a r i t h m e t i c c o d e s a s s i g n o n e c o d e w o r d " t o e a c h

p o s s i b l e d a t a s e t . T h e c o d e w o r d s c o n s i s t o f h a l f - o p e n s u b i n -

t e r v a l s o f t h e h a l f - o p e n u n i t i n t e r v a l 0 1 , a n d a r e e x p r e s s e d

b y s p e c i f y i n g e n o u g h b i t s t o d i s t i n g u i s h t h e s u b i n t e r v a l c o r -

r e s p o n d i n g t o t h e a c t u a l d a t a s e t f r o m a l l o t h e r p o s s i b l e

s u b i n t e r v a l s . S h o r t e r c o d e s c o r r e s p o n d t o l a r g e r s u b i n t e r -

v a l s a n d t h u s m o r e p r o b a b l e i n p u t d a t a s e t s . I n p r a c t i c e ,

M a n u s c r i p t r e c e i v e d M m m D D , 1 9 9 3 . S o m e o f t h i s w o r k w a s p e r -

f o r m e d w h i l e b o t h a u t h o r s w e r e a t B r o w n U n i v e r s i t y a n d w h i l e t h e

r s t a u t h o r w a s a t D u k e U n i v e r s i t y . S u p p o r t w a s p r o v i d e d i n p a r t b y

N A S A G r a d u a t e S t u d e n t R e s e a r c h e r s P r o g r a m g r a n t N G T 5 0 4 2 0 , b y

a N a t i o n a l S c i e n c e F o u n d a t i o n P r e s i d e n t i a l Y o u n g I n v e s t i g a t o r A w a r d

w i t h m a t c h i n g f u n d s f r o m I B M , a n d b y A i r F o r c e O c e o f S c i e n t i c

R e s e a r c h g r a n t n u m b e r F 4 9 6 2 0 9 2 J 0 5 1 5 . A d d i t i o n a l s u p p o r t w a s

p r o v i d e d b y U n i v e r s i t i e s S p a c e R e s e a r c h A s s o c i a t i o n C E S D I S a s s o -

c i a t e m e m b e r s h i p s .

P . G . H o w a r d i s w i t h A T & T B e l l L a b o r a t o r i e s , V i s u a l C o m m u n i c a -

t i o n s R e s e a r c h , R o o m 4 C 5 1 6 , 1 0 1 C r a w f o r d s C o r n e r R o a d , H o l m d e l ,

N J 0 7 7 3 3 3 0 3 0 .

J . S . V i t t e r i s w i t h t h e D e p a r t m e n t o f C o m p u t e r S c i e n c e , D u k e

U n i v e r s i t y , B o x 9 0 1 2 9 , D u r h a m , N C 2 7 7 0 8 0 1 2 9 .

I E E E L o g N u m b e r 0 0 0 0 0 0 0 .

t h e s u b i n t e r v a l i s r e n e d i n c r e m e n t a l l y u s i n g t h e p r o b a b i l i -

t i e s o f t h e i n d i v i d u a l e v e n t s , w i t h b i t s b e i n g o u t p u t a s s o o n

a s t h e y a r e k n o w n . A r i t h m e t i c c o d e s a l m o s t a l w a y s g i v e b e t -

t e r c o m p r e s s i o n t h a n p r e x c o d e s , b u t t h e y l a c k t h e d i r e c t

c o r r e s p o n d e n c e b e t w e e n t h e e v e n t s i n t h e i n p u t d a t a s e t a n d

b i t s o r g r o u p s o f b i t s i n t h e c o d e d o u t p u t l e .

A s t a t i s t i c a l c o d e r m u s t w o r k i n c o n j u n c t i o n w i t h a m o d -

e l e r t h a t e s t i m a t e s t h e p r o b a b i l i t y o f e a c h p o s s i b l e e v e n t a t

e a c h p o i n t i n t h e c o d i n g . T h e p r o b a b i l i t y m o d e l n e e d n o t

d e s c r i b e t h e p r o c e s s t h a t g e n e r a t e s t h e d a t a ; i t m e r e l y h a s

t o p r o v i d e a p r o b a b i l i t y d i s t r i b u t i o n f o r t h e d a t a i t e m s . T h e

p r o b a b i l i t i e s d o n o t e v e n h a v e t o b e p a r t i c u l a r l y a c c u r a t e ,

b u t t h e m o r e a c c u r a t e t h e y a r e , t h e b e t t e r t h e c o m p r e s s i o n

w i l l b e . I f t h e p r o b a b i l i t i e s a r e w i l d l y i n a c c u r a t e , t h e l e m a y

e v e n b e e x p a n d e d r a t h e r t h a n c o m p r e s s e d , b u t t h e o r i g i n a l

d a t a c a n s t i l l b e r e c o v e r e d . T o o b t a i n m a x i m u m c o m p r e s -

s i o n o f a l e , w e n e e d b o t h a g o o d p r o b a b i l i t y m o d e l a n d

a n e c i e n t w a y o f r e p r e s e n t i n g o r l e a r n i n g t h e p r o b a b i l i t y

m o d e l .

T o e n s u r e d e c o d a b i l i t y , t h e e n c o d e r i s l i m i t e d t o t h e u s e

o f m o d e l i n f o r m a t i o n t h a t i s a v a i l a b l e t o t h e d e c o d e r . T h e r e

a r e n o o t h e r r e s t r i c t i o n s o n t h e m o d e l ; i n p a r t i c u l a r , i t c a n

c h a n g e a s t h e l e i s b e i n g e n c o d e d . T h e m o d e l s c a n b e a d a p -

t i v e d y n a m i c a l l y e s t i m a t i n g t h e p r o b a b i l i t y o f e a c h e v e n t

b a s e d o n a l l e v e n t s t h a t p r e c e d e i t , s e m i - a d a p t i v e u s i n g

a p r e l i m i n a r y p a s s o f t h e i n p u t l e t o g a t h e r s t a t i s t i c s , o r

n o n - a d a p t i v e u s i n g x e d p r o b a b i l i t i e s f o r a l l l e s . N o n -

a d a p t i v e m o d e l s c a n p e r f o r m a r b i t r a r i l y p o o r l y 3 . A d a p t i v e

c o d e s a l l o w o n e - p a s s c o d i n g b u t r e q u i r e a m o r e c o m p l i c a t e d

d a t a s t r u c t u r e . S e m i - a d a p t i v e c o d e s r e q u i r e t w o p a s s e s a n d

t r a n s m i s s i o n o f m o d e l d a t a a s s i d e i n f o r m a t i o n ; i f t h e m o d e l

d a t a i s t r a n s m i t t e d e c i e n t l y t h e y c a n p r o v i d e s l i g h t l y b e t -

t e r c o m p r e s s i o n t h a n a d a p t i v e c o d e s , b u t i n g e n e r a l t h e c o s t

o f t r a n s m i t t i n g t h e m o d e l i s a b o u t t h e s a m e a s t h e l e a r n -

i n g " c o s t i n t h e a d a p t i v e c a s e 4 .

T o g e t g o o d c o m p r e s s i o n w e n e e d m o d e l s t h a t g o b e y o n d

g l o b a l e v e n t c o u n t s a n d t a k e i n t o a c c o u n t t h e s t r u c t u r e o f

t h e d a t a . F o r i m a g e s t h i s u s u a l l y m e a n s u s i n g t h e n u m e r i c

i n t e n s i t y v a l u e s o f n e a r b y p i x e l s t o p r e d i c t t h e i n t e n s i t y o f

e a c h n e w p i x e l a n d u s i n g a s u i t a b l e p r o b a b i l i t y d i s t r i b u t i o n

f o r t h e r e s i d u a l e r r o r t o a l l o w f o r n o i s e a n d v a r i a t i o n b e t w e e n

r e g i o n s w i t h i n t h e i m a g e . F o r t e x t , t h e p r e v i o u s l e t t e r s f o r m

a c o n t e x t , i n t h e m a n n e r o f a M a r k o v p r o c e s s .

I n S e c t i o n I I , w e p r o v i d e a d e t a i l e d d e s c r i p t i o n o f p u r e

a r i t h m e t i c c o d i n g , a l o n g w i t h a n e x a m p l e t o i l l u s t r a t e t h e

p r o c e s s . W e a l s o s h o w e n h a n c e m e n t s t h a t a l l o w i n c r e m e n t a l

t r a n s m i s s i o n a n d x e d - p r e c i s i o n a r i t h m e t i c . I n S e c t i o n I I I

w e e x t e n d t h e x e d - p r e c i s i o n i d e a t o l o w p r e c i s i o n , a n d s h o w

h o w w e c a n s p e e d u p a r i t h m e t i c c o d i n g w i t h l i t t l e d e g r a d a -

t i o n o f c o m p r e s s i o n p e r f o r m a n c e b y d o i n g a l l t h e a r i t h m e t i c

a h e a d o f t i m e a n d s t o r i n g t h e r e s u l t s i n l o o k u p t a b l e s . W e

c a l l t h e r e s u l t i n g p r o c e d u r e q u a s i - a r i t h m e t i c c o d i n g . I n S e c -

t i o n I V w e b r i e y e x p l o r e t h e p o s s i b i l i t y o f p a r a l l e l c o d i n g

u s i n g q u a s i - a r i t h m e t i c c o d i n g . I n S e c t i o n V w e d i s c u s s t h e

m o d e l i n g p r o c e s s , s e p a r a t i n g i t i n t o s t r u c t u r a l a n d p r o b a b i l -

i t y e s t i m a t i o n c o m p o n e n t s . E a c h c o m p o n e n t c a n b e a d a p -

t i v e , s e m i - a d a p t i v e , o r s t a t i c ; t h e r e a r e t w o a p p r o a c h e s t o

t h e p r o b a b i l i t y e s t i m a t i o n p r o b l e m . F i n a l l y , S e c t i o n V I p r o -

1


2/8

v i d e s a d i s c u s s i o n o f t h e a d v a n t a g e s a n d d i s a d v a n t a g e s o f

a r i t h m e t i c c o d i n g a n d s u g g e s t i o n s o f a l t e r n a t i v e m e t h o d s .

I I . H o w a r i t h m e t i c c o d i n g w o r k s

I n t h i s s e c t i o n w e e x p l a i n h o w a r i t h m e t i c c o d i n g w o r k s

a n d g i v e o p e r a t i o n a l d e t a i l s ; o u r t r e a t m e n t i s b a s e d o n t h a t

o f W i t t e n , N e a l , a n d C l e a r y 5 . O u r f o c u s i s o n e n c o d i n g ,

b u t t h e d e c o d i n g p r o c e s s i s s i m i l a r .

A . B a s i c a l g o r i t h m f o r a r i t h m e t i c c o d i n g

T h e a l g o r i t h m f o r e n c o d i n g a l e u s i n g a r i t h m e t i c c o d i n g

w o r k s c o n c e p t u a l l y a s f o l l o w s :

1 . W e b e g i n w i t h a c u r r e n t i n t e r v a l " L H i n i t i a l i z e d t o

0 1

2 . F o r e a c h e v e n t i n t h e l e , w e p e r f o r m t w o s t e p s .

a W e s u b d i v i d e t h e c u r r e n t i n t e r v a l i n t o s u b i n t e r v a l s ,

o n e f o r e a c h p o s s i b l e e v e n t . T h e s i z e o f a e v e n t ' s

s u b i n t e r v a l i s p r o p o r t i o n a l t o t h e e s t i m a t e d p r o b a -

b i l i t y t h a t t h e e v e n t w i l l b e t h e n e x t e v e n t i n t h e

l e , a c c o r d i n g t o t h e m o d e l o f t h e i n p u t .

b W e s e l e c t t h e s u b i n t e r v a l c o r r e s p o n d i n g t o t h e

e v e n t t h a t a c t u a l l y o c c u r s n e x t , a n d m a k e i t t h e

n e w c u r r e n t i n t e r v a l .

3 . W e o u t p u t e n o u g h b i t s t o d i s t i n g u i s h t h e n a l c u r r e n t

i n t e r v a l f r o m a l l o t h e r p o s s i b l e n a l i n t e r v a l s .

T h e l e n g t h o f t h e n a l s u b i n t e r v a l i s c l e a r l y e q u a l t o t h e

p r o d u c t o f t h e p r o b a b i l i t i e s o f t h e i n d i v i d u a l e v e n t s , w h i c h

i s t h e p r o b a b i l i t y p o f t h e p a r t i c u l a r s e q u e n c e o f e v e n t s i n

t h e l e . T h e n a l s t e p u s e s a t m o s t b , l o g

2

p c + 2 b i t s t o

d i s t i n g u i s h t h e l e f r o m a l l o t h e r p o s s i b l e l e s . W e n e e d s o m e

m e c h a n i s m t o i n d i c a t e t h e e n d o f t h e l e , e i t h e r a s p e c i a l e n d -

o f - l e e v e n t c o d e d j u s t o n c e , o r s o m e e x t e r n a l i n d i c a t i o n o f

t h e l e ' s l e n g t h . E i t h e r m e t h o d a d d s o n l y a s m a l l a m o u n t

t o t h e c o d e l e n g t h .

I n s t e p 2 , w e n e e d t o c o m p u t e o n l y t h e s u b i n t e r v a l c o r r e -

s p o n d i n g t o t h e e v e n t a t h a t a c t u a l l y o c c u r s . T o d o t h i s i t i s

c o n v e n i e n t t o u s e t w o c u m u l a t i v e " p r o b a b i l i t i e s : t h e c u m u -

l a t i v e p r o b a b i l i t y P

C

=

P

1

k = 1

p

k

a n d t h e n e x t - c u m u l a t i v e

p r o b a b i l i t y P

N

= P

C

+ p =

P

k = 1

p

k

. T h e n e w s u b i n t e r v a l

i s L + P

C

H , L L + P

N

H , L . T h e n e e d t o m a i n -

t a i n a n d s u p p l y c u m u l a t i v e p r o b a b i l i t i e s r e q u i r e s t h e m o d e l

t o h a v e a c o m p l i c a t e d d a t a s t r u c t u r e , e s p e c i a l l y w h e n m a n y

m o r e t h a n t w o e v e n t s a r e p o s s i b l e .

W e n o w p r o v i d e a n e x a m p l e , r e p e a t e d a n u m b e r o f t i m e s

t o i l l u s t r a t e d i e r e n t s t e p s i n t h e d e v e l o p m e n t o f a r i t h m e t i c

c o d i n g . F o r s i m p l i c i t y w e c h o o s e b e t w e e n j u s t t w o e v e n t s a t

e a c h s t e p , a l t h o u g h t h e p r i n c i p l e s a p p l y t o t h e m u l t i - e v e n t

c a s e a s w e l l . W e a s s u m e t h a t w e k n o w a p r i o r i t h a t w e

h a v e a l e c o n s i s t i n g o f t h r e e e v e n t s o r t h r e e l e t t e r s i n t h e

c a s e o f t e x t c o m p r e s s i o n ; t h e r s t e v e n t i s e i t h e r a

1

w i t h

p r o b a b i l i t y p f a

1

g =

2

3

o r b

1

w i t h p r o b a b i l i t y p f b

1

g =

1

3

t h e s e c o n d e v e n t i s a

2

w i t h p r o b a b i l i t y p f a

2

g =

1

2

o r b

2


2

g =

1

2

; a n d t h e t h i r d e v e n t i s a

3

w i t h

p r o b a b i l i t y p f a

3

g =

3

5

o r b

3


3

g =

2

5

T h e a c t u a l l e t o b e e n c o d e d i s t h e s e q u e n c e b

1

a

2

b

3

T h e s t e p s i n v o l v e d i n p u r e a r i t h m e t i c c o d i n g a r e i l l u s -

t r a t e d i n T a b l e 1 a n d F i g . 1 . I n t h i s e x a m p l e t h e n a l i n t e r v a l

c o r r e s p o n d i n g t o t h e a c t u a l l e b

1

a

2

b

3

i s

2 3

3 0

5

6

. T h e l e n g t h

o f t h e i n t e r v a l i s

1

1 5

, w h i c h i s t h e p r o b a b i l i t y o f b

1

a

2

b

3

, c o m -

p u t e d b y m u l t i p l y i n g t h e p r o b a b i l i t i e s o f t h e t h r e e e v e n t s :

p f b

1

g p f a

2

g p f b

3

g =

1

3

1

2

2

5

=

1

1 5

. I n b i n a r y , t h e n a l i n t e r -

v a l i s 0 1 1 0 0 0 1 : : : ; 0 1 1 0 1 0 1 . S i n c e a l l b i n a r y n u m b e r s

t h a t b e g i n w i t h 0 1 1 0 0 1 a r e e n t i r e l y w i t h i n t h i s i n t e r v a l , o u t -

p u t t i n g 1 1 0 0 1 s u c e s t o u n i q u e l y i d e n t i f y t h e i n t e r v a l .

T a b l e 1 E x a m p l e o f p u r e a r i t h m e t i c c o d i n g

A c t i o n S u b i n t e r v a l s

S t a r t 0 1

S u b d i v i d e w i t h l e f t p r o b . p f a

1

g =

2

3

0

2

3

2

3

1

I n p u t b

1

, s e l e c t r i g h t s u b i n t e r v a l

2

3

1


2

g =

1

2

2

3

5

6

5

6

1

I n p u t a

2

, s e l e c t l e f t s u b i n t e r v a l

2

3

5

6


3

g =

3

5

2

3

2 3

3 0

2 3

3 0

5

6

I n p u t b

3


2 3

3 0

5

6

= 0 1 1 0 0 0 1

2

0 1 1 0 1 0 1

2

O u t p u t 1 1 0 0 1 0 1 1 0 0 1

2

i s t h e s h o r t e s t b i n a r y

f r a c t i o n t h a t l i e s w i t h i n

2 3

3 0

5

6

i n i t i a l c u r r e n t i n t e r v a l

0 1

s u b d i v i d e

2

3

1

3

0

2

3

a

1

1

b

1

s e l e c t b

1

1

2

1

2

s u b d i v i d e

2

3

5

6

a

2

1

b

2

s e l e c t a

2

3

5

2

5

s u b d i v i d e

2

3

2 3

3 0

a

3

5

6

b

3

s e l e c t b

3

2 3

3 0

5

6

0 1 1 0 0 1

2

0 1 1 0 1 0

2

o u t p u t 1 1 0 0 1

F i g . 1 . P u r e a r i t h m e t i c c o d i n g g r a p h i c a l l y i l l u s t r a t e d

B . I n c r e m e n t a l o u t p u t

T h e b a s i c i m p l e m e n t a t i o n o f a r i t h m e t i c c o d i n g d e s c r i b e d

a b o v e h a s t w o m a j o r d i c u l t i e s : t h e s h r i n k i n g c u r r e n t i n -

t e r v a l r e q u i r e s t h e u s e o f h i g h p r e c i s i o n a r i t h m e t i c , a n d n o

o u t p u t i s p r o d u c e d u n t i l t h e e n t i r e l e h a s b e e n r e a d . T h e

m o s t s t r a i g h t f o r w a r d s o l u t i o n t o b o t h o f t h e s e p r o b l e m s i s

t o o u t p u t e a c h l e a d i n g b i t a s s o o n a s i t i s k n o w n , a n d t h e n

t o d o u b l e t h e l e n g t h o f t h e c u r r e n t i n t e r v a l s o t h a t i t r e -

e c t s o n l y t h e u n k n o w n p a r t o f t h e n a l i n t e r v a l . W i t t e n ,

N e a l , a n d C l e a r y 5 a d d a c l e v e r m e c h a n i s m f o r p r e v e n t i n g

t h e c u r r e n t i n t e r v a l f r o m s h r i n k i n g t o o m u c h w h e n t h e e n d -

p o i n t s a r e c l o s e t o

1

2

b u t s t r a d d l e

1

2

. I n t h a t c a s e w e d o n o t

y e t k n o w t h e n e x t o u t p u t b i t , b u t w e d o k n o w t h a t w h a t -

e v e r i t i s , t h e f o l l o w i n g b i t w i l l h a v e t h e o p p o s i t e v a l u e ; w e

m e r e l y k e e p t r a c k o f t h a t f a c t , a n d e x p a n d t h e c u r r e n t i n t e r -

v a l s y m m e t r i c a l l y a b o u t

1

2

. T h i s f o l l o w - o n p r o c e d u r e m a y

b e r e p e a t e d a n y n u m b e r o f t i m e s , s o t h e c u r r e n t i n t e r v a l s i z e

i s a l w a y s s t r i c t l y l o n g e r t h a n

1

4

M e c h a n i s m s f o r i n c r e m e n t a l t r a n s m i s s i o n a n d x e d p r e c i -

s i o n a r i t h m e t i c h a v e b e e n d e v e l o p e d t h r o u g h t h e y e a r s b y

P a s c o 6 , R i s s a n e n 7 , R u b i n 8 , R i s s a n e n a n d L a n g d o n

9 , G u a z z o 1 0 , a n d W i t t e n , N e a l , a n d C l e a r y 5 . T h e

b i t - s t u n g i d e a o f L a n g d o n a n d o t h e r s a t I B M t h a t l i m i t s

t h e p r o p a g a t i o n o f c a r r i e s i n t h e a d d i t i o n s s e r v e s a f u n c t i o n

s i m i l a r t o t h a t o f t h e f o l l o w - o n p r o c e d u r e d e s c r i b e d a b o v e .

2


3/8

T a b l e 2 E x a m p l e o f p u r e a r i t h m e t i c c o d i n g w i t h i n c r e m e n t a l

t r a n s m i s s i o n a n d i n t e r v a l e x p a n s i o n


S t a r t 0 1


1

g =

2

3

0

2

3

2

3

1

I n p u t b

1


2

3

1

O u t p u t 1 , e x p a n d

1

3

1


2

g =

1

2

1

3

2

3

2

3

1

I n p u t a

2

, s e l e c t l e f t s u b i n t e r v a l

1

3

2

3

I n c r e m e n t f o l l o w c o u n t , e x p a n d

1

6

5

6


3

g =

3

5

1

6

1 7

3 0

1 7

3 0

5

6

I n p u t b

3


1 7

3 0

5

6

O u t p u t 1 , o u t p u t 0 f o l l o w b i t , e x p a n d

2

1 5

2

3

O u t p u t 0 1

1

4

1

2

i s e n t i r e l y w i t h i n

2

1 5

2

3

i n i t i a l c u r r e n t i n t e r v a l

0 1

s u b d i v i d e

2

3

1

3

0

2

3

a

1

1

b

1

s e l e c t b

1

2

3

1

o u t p u t 1 ; e x p a n d

1

3

1

s u b d i v i d e

1

2

1

2

1

3

2

3

a

2

1

b

2

s e l e c t a

2

1

3

2

3

f o l l o w ; e x p a n d

1

6

5

6

s u b d i v i d e

3

5

2

5

1

6

1 7

3 0

a

3

5

6

b

3

s e l e c t b

3

1 7

3 0

5

6

o u t p u t 1 f = 1 0 ; e x p a n d

2

1 5

2

3

0 0 1

2

0 1 0

2

o u t p u t 0 1

F i g . 2 . P u r e a r i t h m e t i c c o d i n g w i t h i n c r e m e n t a l t r a n s m i s s i o n

a n d i n t e r v a l e x p a n s i o n , g r a p h i c a l l y i l l u s t r a t e d

W e n o w d e s c r i b e i n d e t a i l h o w t h e i n c r e m e n t a l o u t p u t a n d

i n t e r v a l e x p a n s i o n w o r k . W e a d d t h e f o l l o w i n g s t e p i m m e d i -

a t e l y a f t e r t h e s e l e c t i o n o f t h e s u b i n t e r v a l c o r r e s p o n d i n g t o

a n i n p u t e v e n t , s t e p 2 b i n t h e b a s i c a l g o r i t h m a b o v e .

2 . c W e r e p e a t e d l y e x e c u t e t h e f o l l o w i n g s t e p s i n s e -

q u e n c e u n t i l t h e l o o p i s e x p l i c i t l y h a l t e d :

1 . I f t h e n e w s u b i n t e r v a l i s n o t e n t i r e l y w i t h i n o n e

o f t h e i n t e r v a l s 0

1

2

1

4

3

4

, o r

1

2

1 , w e e x i t

t h e l o o p a n d r e t u r n .

2 . I f t h e n e w s u b i n t e r v a l l i e s e n t i r e l y w i t h i n 0

1

2

w e o u t p u t 0 a n d a n y f o l l o w i n g 1 s l e f t o v e r f r o m

p r e v i o u s e v e n t s ; t h e n w e d o u b l e t h e s i z e o f t h e

s u b i n t e r v a l b y l i n e a r l y e x p a n d i n g 0

1

2

t o 0 1

3 . I f t h e n e w s u b i n t e r v a l l i e s e n t i r e l y w i t h i n

1

2

1

w e o u t p u t 1 a n d a n y f o l l o w i n g 0 s l e f t o v e r f r o m

p r e v i o u s e v e n t s ; t h e n w e d o u b l e t h e s i z e o f t h e

s u b i n t e r v a l b y l i n e a r l y e x p a n d i n g

1

2

1 t o 0 1

4 . I f t h e n e w s u b i n t e r v a l l i e s e n t i r e l y w i t h i n

1

4

3

4

w e k e e p t r a c k o f t h i s f a c t f o r f u t u r e o u t p u t b y

i n c r e m e n t i n g t h e f o l l o w c o u n t ; t h e n w e d o u b l e

t h e s i z e o f t h e s u b i n t e r v a l b y l i n e a r l y e x p a n d i n g

1

4

3

4

t o 0 1

T a b l e 2 a n d F i g . 2 i l l u s t r a t e t h i s p r o c e s s . I n t h e e x a m -

p l e , i n t e r v a l e x p a n s i o n o c c u r s e x a c t l y o n c e f o r e a c h i n p u t

e v e n t , b u t i n o t h e r c a s e s i t m a y o c c u r m o r e t h a n o n c e o r n o t

a t a l l . T h e f o l l o w - o n p r o c e d u r e i s a p p l i e d w h e n p r o c e s s i n g

t h e s e c o n d i n p u t e v e n t a

2

. T h e 1 o u t p u t a f t e r p r o c e s s i n g

t h e t h i r d e v e n t b

3

i s t h e r e f o r e f o l l o w e d b y i t s c o m p l e m e n t 0

T h e n a l i n t e r v a l i s

2

1 5

2

3

. S i n c e a l l b i n a r y n u m b e r s t h a t

s t a r t w i t h 0 0 1 a r e w i t h i n t h i s r a n g e , o u t p u t t i n g 0 1 s u c e s

t o u n i q u e l y i d e n t i f y t h e r a n g e . T h e e n c o d e d l e i s 1 1 0 0 1

a s b e f o r e . T h i s i s n o c o i n c i d e n c e : t h e c o m p u t a t i o n s a r e e s -

s e n t i a l l y t h e s a m e . T h e n a l i n t e r v a l i s e i g h t t i m e s a s l o n g

a s i n t h e p r e v i o u s e x a m p l e b e c a u s e o f t h e t h r e e d o u b l i n g s o f

t h e c u r r e n t i n t e r v a l .

C l e a r l y t h e c u r r e n t i n t e r v a l c o n t a i n s s o m e i n f o r m a t i o n

a b o u t t h e p r e c e d i n g i n p u t s ; t h i s i n f o r m a t i o n h a s n o t y e t

b e e n o u t p u t , s o w e c a n t h i n k o f i t a s t h e c o d e r ' s s t a t e . I f a

i s t h e l e n g t h o f t h e c u r r e n t i n t e r v a l , t h e s t a t e h o l d s , l o g

2

a

b i t s n o t y e t o u t p u t . I n t h e b a s i c m e t h o d t h e s t a t e c o n t a i n s

a l l t h e i n f o r m a t i o n a b o u t t h e o u t p u t , s i n c e n o t h i n g i s o u t -

p u t u n t i l t h e e n d . I n t h e i n c r e m e n t a l i m p l e m e n t a t i o n , t h e

s t a t e a l w a y s c o n t a i n s f e w e r t h a n t w o b i t s o f o u t p u t i n f o r m a -

t i o n , s i n c e t h e l e n g t h o f t h e c u r r e n t i n t e r v a l i s a l w a y s m o r e

t h a n

1

4

. T h e n a l s t a t e i n t h e i n c r e m e n t a l e x a m p l e i s

2

1 5

2

3

w h i c h c o n t a i n s , l o g

2

8

1 5

0 9 0 7 b i t s o f i n f o r m a t i o n ; t h e -

n a l t w o o u t p u t b i t s a r e n e e d e d t o u n a m b i g u o u s l y t r a n s m i t

t h i s i n f o r m a t i o n .

C . U s e o f i n t e g e r a r i t h m e t i c

I n p r a c t i c e , t h e a r i t h m e t i c c a n b e d o n e b y s t o r i n g t h e

e n d p o i n t s o f t h e c u r r e n t i n t e r v a l a s s u c i e n t l y l a r g e i n t e -

g e r s r a t h e r t h a n i n o a t i n g p o i n t o r e x a c t r a t i o n a l n u m b e r s .

W e a l s o u s e i n t e g e r s f o r t h e f r e q u e n c y c o u n t s u s e d t o e s t i -

m a t e e v e n t p r o b a b i l i t i e s . T h e s u b d i v i s i o n p r o c e s s i n v o l v e s

s e l e c t i n g n o n - o v e r l a p p i n g i n t e r v a l s o f l e n g t h a t l e a s t 1 w i t h

l e n g t h s a p p r o x i m a t e l y p r o p o r t i o n a l t o t h e c o u n t s . T a b l e 3

i l l u s t r a t e s t h e u s e o f i n t e g e r a r i t h m e t i c u s i n g a f u l l i n t e r -

v a l o f 0 N = 0 1 0 2 4 . T h e g r a p h i c a l v e r s i o n o f T a b l e 3

i s e s s e n t i a l l y t h e s a m e a s F i g . 2 a n d i s n o t i n c l u d e d . T h e

l e n g t h o f t h e c u r r e n t i n t e r v a l i s a l w a y s a t l e a s t N = 4 + 2 , 2 5 8

i n t h i s c a s e , s o w e c a n a l w a y s u s e p r o b a b i l i t i e s p r e c i s e t o a t

l e a s t 1 = 2 5 8 ; o f t e n t h e p r e c i s i o n w i l l b e n e a r 1 = 1 0 2 4 . I n p r a c -

t i c e w e u s e e v e n l a r g e r i n t e g e r s ; t h e i n t e r v a l 0 6 5 5 3 6 i s a

c o m m o n c h o i c e , a n d g i v e s a p r a c t i c a l l y c o n t i n u o u s c h o i c e o f

p r o b a b i l i t i e s a t e a c h s t e p . T h e s u b d i v i s i o n s i n t h i s e x a m p l e

a r e n o t q u i t e t h e s a m e a s t h o s e i n T a b l e 2 b e c a u s e t h e r e -

s u l t i n g i n t e r v a l s a r e r o u n d e d t o i n t e g e r s . T h e e n c o d e d l e

i s 1 1 0 0 1 a s b e f o r e , b u t f o r a l o n g e r i n p u t l e t h e e n c o d i n g s

w o u l d e v e n t u a l l y d i v e r g e .

3


4/8

T a b l e 3 E x a m p l e o f a r i t h m e t i c c o d i n g w i t h i n c r e m e n t a l t r a n s -

m i s s i o n , i n t e r v a l e x p a n s i o n , a n d i n t e g e r a r i t h m e t i c . F u l l i n t e r v a l

i s 0 1 0 2 4 , s o i n e e c t s u b i n t e r v a l e n d p o i n t s a r e c o n s t r a i n e d t o

b e m u l t i p l e s o f

1

1 0 2 4


S t a r t 0 1 0 2 4

p f a

1

g =

2

3

; s u b d i v i d e w i t h

l e f t p r o b a b i l i t y =

6 8 3

1 0 2 4

0 6 6 6 9 9 0 6 8 3 6 8 3 1 0 2 4

I n p u t b

1

, s e l e c t r i g h t s u b i n t e r v a l 6 8 3 1 0 2 4

O u t p u t 1 , e x p a n d 3 4 2 1 0 2 4


2

g =

1

2

3 4 2 6 8 3 6 8 3 1 0 2 4

I n p u t a

2

, s e l e c t l e f t s u b i n t e r v a l 3 4 2 6 8 3

I n c r e m e n t f o l l o w c o u n t , e x p a n d 1 7 2 8 5 4

p f a

1

g =

3

5

; s u b d i v i d e w i t h

l e f t p r o b a b i l i t y =

4 0 9

6 8 2

0 5 9 9 7 1 1 7 2 5 8 1 5 8 1 8 5 4

I n p u t b

3

, s e l e c t r i g h t s u b i n t e r v a l 5 8 1 8 5 4

O u t p u t 1 , o u t p u t 0 f o l l o w b i t , e x p a n d 1 3 8 6 5 4

O u t p u t 0 1 2 5 6 5 1 2 i s e n t i r e l y w i t h i n 1 3 8 6 5 4

T a b l e 4 E x a m p l e o f a r i t h m e t i c c o d i n g w i t h i n c r e m e n t a l t r a n s -

m i s s i o n , i n t e r v a l e x p a n s i o n , a n d s m a l l i n t e g e r a r i t h m e t i c . F u l l

i n t e r v a l i s 0 8 , s o i n e e c t s u b i n t e r v a l e n d p o i n t s a r e c o n s t r a i n e d

t o b e m u l t i p l e s o f

1

8


S t a r t 0 8

p f a

1

g =

2

3

; s u b d i v i d e w i t h l e f t p r o b . =

5

8

0 5 5 8

I n p u t b

1

, s e l e c t r i g h t s u b i n t e r v a l 5 8

O u t p u t 1 , e x p a n d 2 8


2

g =

1

2

2 5 5 8

I n p u t a

2

, s e l e c t l e f t s u b i n t e r v a l 2 5

I n c r e m e n t f o l l o w c o u n t , e x p a n d 0 6

p f a

3

g =

3

5

; s u b d i v i d e w i t h l e f t p r o b . =

2

3

0 4 4 6

I n p u t b

3

, s e l e c t r i g h t s u b i n t e r v a l 4 6

O u t p u t 1 , o u t p u t 0 f o l l o w b i t , e x p a n d 0 4

O u t p u t 0 , e x p a n d 0 8

I I I . L i m i t e d - p r e c i s i o n a r i t h m e t i c c o d i n g

A r i t h m e t i c c o d i n g a s i t i s u s u a l l y i m p l e m e n t e d i s s l o w b e -

c a u s e o f t h e m u l t i p l i c a t i o n s a n d i n s o m e i m p l e m e n t a t i o n s ,

d i v i s i o n s r e q u i r e d i n s u b d i v i d i n g t h e c u r r e n t i n t e r v a l a c -

c o r d i n g t o t h e p r o b a b i l i t y i n f o r m a t i o n . S i n c e s m a l l e r r o r s

i n p r o b a b i l i t y e s t i m a t e s c a u s e v e r y s m a l l i n c r e a s e s i n c o d e

l e n g t h , w e e x p e c t t h a t b y i n t r o d u c i n g a p p r o x i m a t i o n s i n t o

t h e a r i t h m e t i c c o d i n g p r o c e s s i n a c o n t r o l l e d w a y w e c a n

i m p r o v e c o d i n g s p e e d w i t h o u t s i g n i c a n t l y d e g r a d i n g c o m -

p r e s s i o n p e r f o r m a n c e . I n t h e Q - C o d e r w o r k a t I B M 1 1 ,

t h e t i m e - c o n s u m i n g m u l t i p l i c a t i o n s a r e r e p l a c e d b y a d d i t i o n s

a n d s h i f t s , a n d l o w - o r d e r b i t s a r e i g n o r e d . I n 1 2 w e d e s c r i b e

a d i e r e n t a p p r o a c h t o a p p r o x i m a t e a r i t h m e t i c c o d i n g . R e -

c a l l i n g t h a t t h e f r a c t i o n a l b i t s c h a r a c t e r i s t i c o f a r i t h m e t i c

c o d i n g a r e s t o r e d a s s t a t e i n f o r m a t i o n i n t h e c o d e r , w e r e -

d u c e t h e n u m b e r o f p o s s i b l e s t a t e s , a n d r e p l a c e a r i t h m e t i c

o p e r a t i o n s b y t a b l e l o o k u p s ; t h e l o o k u p t a b l e s c a n b e p r e -

c o m p u t e d . H e r e w e r e v i e w t h i s r e d u c e d p r e c i s i o n b i n a r y

a r i t h m e t i c c o d e r , w h i c h w e c a l l a q u a s i - a r i t h m e t i c c o d e r I t

s h o u l d b e n o t e d t h a t t h e c o m p r e s s i o n i s s t i l l c o m p l e t e l y r e -

v e r s i b l e ; u s i n g r e d u c e d p r e c i s i o n m e r e l y a e c t s t h e a v e r a g e

c o d e l e n g t h .

T a b l e 5 E x c e r p t s f r o m q u a s i - a r i t h m e t i c c o d i n g t a b l e , N = 8

O n l y t h e t h r e e s t a t e s n e e d e d f o r t h e e x a m p l e a r e s h o w n ; t h e r e

a r e n i n e m o r e s t a t e s . A n f " o u t p u t i n d i c a t e s a p p l i c a t i o n o f t h e

f o l l o w - o n p r o c e d u r e d e s c r i b e d i n t h e t e x t .

S t a r t P r o b a b i l i t y

L e f t a i n p u t R i g h t b i n p u t

s t a t e o f l e f t i n p u t O u t p u t

N e x t

O u t p u t

N e x t

s t a t e s t a t e

0 , 8 0 . 0 0 0 0 . 1 8 2 0 0 0 0 8 , 1 8

0 . 1 8 2 0 . 3 1 0 0 0 0 8 , 2 8

0 . 3 1 0 0 . 4 3 7 0 0 6 , 3 8

0 . 4 3 7 0 . 5 6 3 0 0 8 1 0 8

0 . 5 6 3 0 . 6 9 0 , 0 5 1 2 8

0 . 6 9 0 0 . 8 1 8 , 0 6 1 1 0 8

0 . 8 1 8 1 . 0 0 0 , 0 7 1 1 1 0 8

0 , 6 0 . 0 0 0 0 . 2 4 4 0 0 0 0 8 , 1 6

0 . 2 4 4 0 . 4 1 5 0 0 0 8 f 0 8

0 . 4 1 5 0 . 5 8 5 0 0 6 f 2 8

0 . 5 8 5 0 . 7 5 6 0 0 8 1 0 0 8

0 . 7 5 6 1 . 0 0 0 , 0 5 1 0 1 0 8

2 , 8 0 . 0 0 0 0 . 2 4 4 0 1 0 0 8 , 3 8

0 . 2 4 4 0 . 4 1 5 0 1 0 8 1 0 8

0 . 4 1 5 0 . 5 8 5 f 0 6 1 2 8

0 . 5 8 5 0 . 7 5 6 f 0 8 1 1 0 8

0 . 7 5 6 1 . 0 0 0 , 2 7 1 1 1 0 8

T a b l e 6 E x a m p l e o f o p e r a t i o n o f q u a s i - a r i t h m e t i c c o d i n g

S t a r t i n s t a t e 0 8

P r o b f a

1

g =

2

3

, s o c h o o s e r a n g e 0 . 5 6 3 0 . 6 9 0 i n 0 8

F i r s t e v e n t i s b

1

, s o c h o o s e r i g h t b i n p u t .

O u t p u t 1 . N e x t s t a t e i s 2 8

P r o b f a

2

g =

1

2


S e c o n d e v e n t i s a

2

, s o c h o o s e l e f t a i n p u t .

f m e a n s i n c r e m e n t f o l l o w c o u n t . N e x t s t a t e i s 0 6

P r o b f a

3

g =

3

5


T h i r d e v e n t i s b

3

, s o c h o o s e r i g h t b i n p u t .

I n d i c a t e d o u t p u t i s 1 0 . O u t p u t 1 ; o u t p u t 0 t o a c c o u n t

f o r f o l l o w b i t ; o u t p u t 0 . N e x t s t a t e i s 0 8

A . D e v e l o p m e n t o f b i n a r y q u a s i - a r i t h m e t i c c o d i n g

W e h a v e s e e n t h a t d o i n g a r i t h m e t i c c o d i n g w i t h l a r g e i n -

t e g e r s i n s t e a d o f r e a l o r r a t i o n a l n u m b e r s h a r d l y d e g r a d e s

c o m p r e s s i o n p e r f o r m a n c e a t a l l . I n T a b l e 4 w e s h o w t h e e n -

c o d i n g o f t h e s a m e l e u s i n g s m a l l i n t e g e r s : t h e f u l l i n t e r v a l

0 N i s o n l y 0 8

T h e n u m b e r o f p o s s i b l e s t a t e s a f t e r a p p l y i n g t h e i n t e r v a l

e x p a n s i o n p r o c e d u r e o f a n a r i t h m e t i c c o d e r u s i n g t h e i n t e -

g e r i n t e r v a l 0 N i s 3 N

2

= 1 6 . I f w e c a n r e d u c e t h e n u m b e r

o f s t a t e s t o a m o r e m a n a g e a b l e l e v e l , w e c a n p r e c o m p u t e a l l

s t a t e t r a n s i t i o n s a n d o u t p u t s a n d s u b s t i t u t e t a b l e l o o k u p s

f o r a r i t h m e t i c i n t h e c o d e r . T h e o b v i o u s w a y t o r e d u c e t h e

n u m b e r o f s t a t e s i s t o r e d u c e N . T h e v a l u e o f N s h o u l d b e a

p o w e r o f 2 ; i t s v a l u e m u s t b e a t l e a s t 4 . I f w e c h o o s e N = 8

a n d a p p l y t h e a r i t h m e t i c c o d i n g a l g o r i t h m i n a s t r a i g h t f o r -

w a r d w a y , w e o b t a i n a t a b l e w i t h 1 2 s t a t e s , e a c h s t a t e o e r i n g

a c h o i c e o f b e t w e e n 3 a n d 7 p r o b a b i l i t y r a n g e s . P o r t i o n s o f

t h e t a b l e a r e s h o w n i n T a b l e 5 .

T a b l e 6 s h o w s h o w T a b l e 5 i s u s e d t o e n c o d e o u r s a m -

p l e l e . B e f o r e c o d i n g e a c h i n p u t e v e n t t h e c o d e r i s i n a

c e r t a i n c u r r e n t s t a t e , c o r r e s p o n d i n g t o t h e c u r r e n t s u b i n t e r -

v a l . F o r e a c h s t a t e t h e r e a r e a n u m b e r o f p r o b a b i l i t y r a n g e s ;

4


5/8

w e c h o o s e t h e o n e t h a t i n c l u d e s t h e e s t i m a t e d p r o b a b i l i t y

f o r t h e n e x t e v e n t . T h e n w e s i m p l y s e l e c t t h e i n p u t e v e n t

t h a t a c t u a l l y o c c u r s a n d p e r f o r m t h e i n d i c a t e d a c t i o n s : o u t -

p u t t i n g b i t s , i n c r e m e n t i n g t h e f o l l o w c o u n t , a n d c h a n g i n g t o

a n e w c u r r e n t s t a t e . I n t h e e x a m p l e t h e e n c o d e d o u t p u t l e

i s 1 1 0 0 . B e c a u s e w e w e r e u s i n g s u c h l o w p r e c i s i o n , t h e s u b -

d i v i s i o n p r o b a b i l i t i e s b e c a m e d i s t o r t e d , l e a d i n g t o a l o w e r

p r o b a b i l i t y f o r t h e l e 1 = 1 6 , b u t o n e w h i c h e n d s i n t h e f u l l

i n t e r v a l 0 8 , r e q u i r i n g n o d i s a m b i g u a t i n g b i t s . W e u s u a l l y

u s e a s o m e w h a t l a r g e r v a l u e o f N ; i n p r a c t i c e t h e c o m p r e s -

s i o n i n e c i e n c y o f a b i n a r y q u a s i - a r i t h m e t i c c o d e r n e g l e c t -

i n g v e r y l a r g e a n d v e r y s m a l l p r o b a b i l i t i e s i s l e s s t h a n o n e

p e r c e n t f o r N = 3 2 a n d a b o u t 0 . 2 p e r c e n t f o r N = 1 2 8 .

I n i m p l e m e n t a t i o n s , t h e c o d i n g t a b l e s c a n b e s t r i p p e d

d o w n s o t h a t t h e n u m e r i c a l v a l u e s o f t h e i n t e r v a l e n d p o i n t s

a n d p r o b a b i l i t y r a n g e s d o n o t a p p e a r . F u l l d e t a i l s a n d e x -

a m p l e s a p p e a r i n 1 3 . T h e n e x t s e c t i o n e x p l a i n s t h e c o m p u -

t a t i o n o f t h e p r o b a b i l i t y r a n g e s . D e c o d i n g u s e s e s s e n t i a l l y

t h e s a m e t a b l e s , a n d i n f a c t i s e a s i e r t h a n e n c o d i n g .

B . A n a l y s i s o f b i n a r y q u a s i - a r i t h m e t i c c o d i n g

W e n o w p r o v e t h a t u s i n g b i n a r y q u a s i - a r i t h m e t i c c o d i n g

c a u s e s a n i n s i g n i c a n t i n c r e a s e i n t h e c o d e l e n g t h c o m p a r e d

w i t h p u r e a r i t h m e t i c c o d i n g . W e m a t h e m a t i c a l l y a n a l y z e

s e v e r a l c a s e s .

I n t h i s a n a l y s i s w e e x c l u d e v e r y l a r g e a n d v e r y s m a l l p r o b -

a b i l i t i e s , n a m e l y t h o s e t h a t a r e l e s s t h a n 1 = W o r g r e a t e r t h a n

W , 1 = W , w h e r e W i s t h e w i d t h o f t h e c u r r e n t i n t e r v a l .

F o r t h e s e p r o b a b i l i t i e s t h e r e l a t i v e e x c e s s c o d e l e n g t h c a n b e

l a r g e .

F i r s t w e a s s u m e t h a t w e k n o w t h e p r o b a b i l i t y p o f t h e l e f t

b r a n c h o f e a c h e v e n t , a n d w e s h o w b o t h h o w t o m i n i m i z e

t h e a v e r a g e e x c e s s c o d e l e n g t h a n d h o w s m a l l t h e e x c e s s

i s . I n a r i t h m e t i c c o d i n g w e d i v i d e t h e c u r r e n t i n t e r v a l o f

w i d t h W i n t o s u b i n t e r v a l s o f l e n g t h L a n d R ; t h i s g i v e s

a n e e c t i v e c o d i n g p r o b a b i l i t y q = L = W s i n c e t h e r e s u l t i n g

c o d e l e n g t h i s , l o g

2

q f o r t h e l e f t b r a n c h a n d , l o g

2

1 , q f o r

t h e r i g h t . W h e n w e e n c o d e a s e q u e n c e o f b i n a r y e v e n t s w i t h

p r o b a b i l i t i e s p a n d 1 , p u s i n g e e c t i v e c o d i n g p r o b a b i l i t i e s q

a n d 1 , q , t h e a v e r a g e c o d e l e n g t h L p q i s g i v e n b y

L p q = , p l o g

2

q , 1 , p l o g

2

1 , q

I f w e u s e p u r e a r i t h m e t i c c o d i n g , w e c a n s u b d i v i d e t h e i n -

t e r v a l i n t o l e n g t h s p W a n d 1 , p W , t h u s m a k i n g q = p

a n d g i v i n g a n a v e r a g e c o d e l e n g t h e q u a l t o t h e e n t r o p y ,

H p = , p l o g

2

p , 1 , p l o g

2

1 , p ; t h i s i s o p t i m a l .

C o n s i d e r t w o p r o b a b i l i t i e s p

1

a n d p

2

t h a t a r e a d j a c e n t

b a s e d o n t h e s u b d i v i s i o n o f a n i n t e r v a l o f w i d t h W ; i n o t h e r

w o r d s , p

1

= W ,

1

= W p

2

= W ,

2

= W , a n d

2

=

1

, 1 . F o r a n y p r o b a b i l i t y p b e t w e e n p

1

a n d p

2

, e i t h e r

p

1

o r p

2

s h o u l d b e c h o s e n , w h i c h e v e r g i v e s a s h o r t e r a v e r a g e

c o d e l e n g t h . T h e r e i s a c u t o p r o b a b i l i t y p

f o r w h i c h p

1

a n d

p

2

g i v e t h e s a m e a v e r a g e c o d e l e n g t h . W e c a n c o m p u t e p

b y s o l v i n g t h e e q u a t i o n L p

p

1

= L p

p

2

, g i v i n g

p

=

1

1 +

l o g

p

2

p

1

l o g

1 , p

1

1 , p

2

1

W e c a n u s e E q u a t i o n 1 t o c o m p u t e t h e p r o b a b i l i t y r a n g e s

i n t h e c o d i n g t a b l e s . A s a n e x a m p l e , w e c o m p u t e t h e c u t o

p r o b a b i l i t y u s e d i n d e c i d i n g w h e t h e r t o s u b d i v i d e i n t e r v a l

0 6 a s f 0 3 3 6 g o r f 0 4 4 6 g ; t h i s i s t h e n u m b e r

0 5 8 5 t h a t a p p e a r s i n T a b l e 5 . I n t h i s c a s e p

1

=

1

2

a n d p

2

=

2

3

. W e c o m p u t e p

= l o g 3 = 2 = l o g 2 0 5 8 5 . H e n c e w h e n

w e e n c o d e t h e t h i r d e v e n t i n t h e e x a m p l e w i t h p f a

3

g =

3

5

w e u s e t h e f 0 4 4 6 g s u b d i v i s i o n .

P r o b a b i l i t y p

i s t h e p r o b a b i l i t y b e t w e e n p

1

a n d p

2

w i t h

t h e w o r s t a v e r a g e q u a s i - a r i t h m e t i c c o d i n g p e r f o r m a n c e , b o t h

i n e x c e s s b i t s p e r e v e n t a n d i n e x c e s s b i t s r e l a t i v e t o o p t i m a l

c o m p r e s s i o n . T h i s c a n b e s h o w n b y m o n o t o n i c i t y a r g u m e n t s .

T h e o r e m 1 I f w e c o n s t r u c t a q u a s i - a r i t h m e t i c c o d e r b a s e d

o n f u l l i n t e r v a l 0 N , a n d u s e c o r r e c t p r o b a b i l i t y e s t i m a t e s ,

t h e n u m b e r o f b i t s p e r i n p u t e v e n t b y w h i c h t h e a v e r a g e c o d e

l e n g t h o b t a i n e d b y t h e q u a s i - a r i t h m e t i c c o d e r e x c e e d s t h a t o f

a n e x a c t a r i t h m e t i c c o d e r i s a t m o s t

4

l n 2

l o g

2

2

e l n 2

1

N

+ O

1

N

2

0 4 9 7

N

+ O

1

N

2

a n d t h e f r a c t i o n b y w h i c h t h e a v e r a g e c o d e l e n g t h o b t a i n e d b y

t h e q u a s i - a r i t h m e t i c c o d e r e x c e e d s t h a t o f a n e x a c t a r i t h m e t i c

c o d e r i s a t m o s t

l o g

2

2

e l n 2

1

l o g

2

N

+ O

1

l o g N

2

0 0 8 6 1

l o g

2

N

+ O

1

l o g N

2

P r o o f : F o r a q u a s i - a r i t h m e t i c c o d e r w i t h f u l l i n t e r v a l 0 N

t h e s h o r t e s t t e r m i n a l s t a t e i n t e r v a l s h a v e s i z e W = N = 4 + 2 .

T h e w o r s t a v e r a g e e r r o r o c c u r s f o r t h e s m a l l e s t W a n d

t h e m o s t e x t r e m e p r o b a b i l i t i e s , t h a t i s , f o r W = N = 4 + 2 ,

p

1

= W , 2 = W , a n d p

2

= W , 1 = W o r s y m m e t r i c a l l y ,

p

1

= 1 = W a n d p

2

= 2 = W . F o r t h e s e p r o b a b i l i t i e s , w e n d

t h e c u t o p r o b a b i l i t y p

. T h e n f o r t h e r s t p a r t o f t h e t h e o -

r e m w e t a k e t h e a s y m p t o t i c e x p a n s i o n o f L p

2

p

, H p

2

a n d f o r t h e s e c o n d p a r t w e t a k e t h e a s y m p t o t i c e x p a n s i o n o f

L p

2

p

, H p

2

= H p

2

2

I f w e l e t p = p

1

+ p

2

= 2 , w e c a n e x p a n d E q u a t i o n 1

a s y m p t o t i c a l l y i n W a n d o b t a i n a n e x c e l l e n t r a t i o n a l a p -

p r o x i m a t i o n f o r p

e

p

= p +

1

6 W

2

p , 1 = 2

p 1 , p

T h e c o m p r e s s i o n l o s s i n t r o d u c e d b y u s i n g

e

p

i n s t e a d o f p

i s

c o m p l e t e l y n e g l i g i b l e , n e v e r m o r e t h a n 0 0 6 . I n t h e e x a m -

p l e a b o v e w i t h p

1

=

1

2

p

2

=

2

3

, a n d W = 6 , w e n d t h a t p

=

l o g 3 = 2 = l o g 2 0 5 8 4 9 6 a n d

e

p

= 7 3 7 = 1 2 6 0 0 5 8 4 9 2 . A s

w e e x p e c t , o n l y f o r s m a l l v a l u e s o f W t h e s h o r t i n t e r v a l s

t h a t o c c u r w h e n u s i n g v e r y l o w p r e c i s i o n a r i t h m e t i c d o w e

n e e d t o b e c a r e f u l a b o u t r o u n d o w h e n s u b d i v i d i n g i n t e r -

v a l s ; f o r l a r g e r v a l u e s o f W w e c a n p r a c t i c a l l y r o u n d t h e

i n t e r v a l e n d p o i n t s t o t h e n e a r e s t i n t e g e r .

W e c a n p r o v e a s i m i l a r t h e o r e m f o r a m o r e g e n e r a l c a s e , i n

w h i c h w e c o m p a r e q u a s i - a r i t h m e t i c c o d i n g w i t h a r i t h m e t i c

c o d i n g f o r a s i n g l e w o r s t - c a s e e v e n t . W e a s s u m e t h a t b o t h

c o d e r s u s e t h e s a m e e s t i m a t e d p r o b a b i l i t y , b u t t h a t t h e e s t i -

m a t e m a y b e a r b i t r a r i l y b a d . T h e p r o o f i s o m i t t e d t o s a v e

s p a c e .

T h e o r e m 2 I f w e c o n s t r u c t a q u a s i - a r i t h m e t i c c o d e r b a s e d

o n f u l l i n t e r v a l 0 N , a n d u s e a r b i t r a r y p r o b a b i l i t y e s t i -

m a t e s , t h e n u m b e r o f b i t s p e r i n p u t e v e n t b y w h i c h t h e c o d e

l e n g t h o b t a i n e d b y t h e q u a s i - a r i t h m e t i c c o d e r e x c e e d s t h a t o f

a n e x a c t a r i t h m e t i c c o d e r i n t h e w o r s t c a s e i s a t m o s t

l o g

2

N + 8

N + 4

4

N l n 2

5 7 7 1

N

5


6/8

I V . P a r a l l e l c o d i n g

I n 1 4 w e p r e s e n t g e n e r a l - p u r p o s e a l g o r i t h m s f o r e n c o d i n g

a n d d e c o d i n g u s i n g b o t h H u m a n a n d q u a s i - a r i t h m e t i c c o d -

i n g . W e a r e c o n s i d e r i n g t h e c a s e w h e r e w e w i s h t o d o b o t h

e n c o d i n g a n d d e c o d i n g i n p a r a l l e l , s o t h e l o c a t i o n o f b i t s i n

t h e e n c o d e d l e m u s t b e c o m p u t a b l e b y t h e d e c o d i n g p r o c e s -

s o r s b e f o r e t h e y b e g i n d e c o d i n g . T h e m a i n r e q u i r e m e n t f o r

o u r p a r a l l e l c o d e r i s t h a t t h e m o d e l f o r e a c h e v e n t i s k n o w n

a h e a d o f t i m e ; i t i s n o t n e c e s s a r y f o r e a c h e v e n t t o h a v e t h e

s a m e m o d e l . W e u s e t h e P R A M m o d e l o f p a r a l l e l c o m p u -

t a t i o n ; t h e n u m b e r o f p r o c e s s o r s i s p . W e a l l o w c o n c u r r e n t

r e a d i n g o f t h e p a r a l l e l m e m o r y , a n d l i m i t e d c o n c u r r e n t w r i t -

i n g , t o a s i n g l e o n e - b i t r e g i s t e r , w h i c h w e c a l l t h e c o m p l e t i o n

r e g i s t e r . I t i s i n i t i a l i z e d t o 0 a t t h e b e g i n n i n g o f e a c h t i m e

s t e p ; d u r i n g t h e t i m e s t e p a n y n u m b e r o f p r o c e s s o r s o r n o n e

a t a l l m a y w r i t e 1 t o i t . W e a s s u m e t h a t n e v e n t s a r e t o

b e c o d e d . T h e m a i n i s s u e i s i n d e a l i n g w i t h t h e d i e r e n c e s

i n c o d e l e n g t h s o f d i e r e n t e v e n t s . F o r s i m p l i c i t y w e d o n o t

c o n s i d e r i n p u t d a t a r o u t i n g .

W e d e s c r i b e t h e a l g o r i t h m f o r t h e H u m a n c o d i n g c a s e ,

s i n c e p r e x c o d e s a r e e a s i e r t o h a n d l e , a n d t h e n e x t e n d i t t o

q u a s i - a r i t h m e t i c c o d i n g . F i r s t t h e n e v e n t s a r e d i s t r i b u t e d

a s e v e n l y a s p o s s i b l e a m o n g t h e p p r o c e s s o r s . T h e n e a c h p r o -

c e s s o r b e g i n s e n c o d i n g i t s a s s i g n e d e v e n t s i n a d e t e r m i n i s t i c

s e q u e n c e , o u t p u t t i n g o n e b i t i n e a c h t i m e s t e p ; t h e b i t s o u t -

p u t i n e a c h t i m e s t e p a r e c o n t i g u o u s i n t h e o u t p u t s t r e a m .

A s s o o n a s o n e o r m o r e p r o c e s s o r s c o m p l e t e a l l o f t h e i r a s -

s i g n e d e v e n t s , t h e y i n d i c a t e t h i s f a c t b y w r i t i n g 1 t o t h e

c o m p l e t i o n r e g i s t e r . W h e n t h e c o m p l e t i o n r e g i s t e r i s 1 , t h e

o u t p u t p r o c e s s i s i n t e r r u p t e d . E v e n t s w h o s e p r o c e s s i n g h a s

n o t b e g u n a r e d i s t r i b u t e d e v e n l y a m o n g t h e p r o c e s s o r s , u s -

i n g a p r e x o p e r a t i o n ; e v e n t s w h o s e p r o c e s s i n g h a s b e g u n

b u t n o t n i s h e d r e m a i n a s s i g n e d t o t h e i r c u r r e n t p r o c e s s o r s .

P r o c e s s i n g o f t h e r e a l l o c a t e d e v e n t s t h e n c o n t i n u e s u n t i l t h e

n e x t t i m e t h a t o n e o r m o r e p r o c e s s o r s n i s h e s a l l t h e i r a l -

l o c a t e d e v e n t s . T o w a r d t h e e n d o f p r o c e s s i n g , t h e n u m b e r

o f r e m a i n i n g e v e n t s w i l l b e c o m e l e s s t h a n t h e n u m b e r o f

a v a i l a b l e p r o c e s s o r s . A t t h i s t i m e w e d e a c t i v a t e p r o c e s s o r s ,

m a k i n g t h e n u m b e r o f a c t i v e p r o c e s s o r s e q u a l t o t h e n u m b e r

o f r e m a i n i n g e v e n t s ; w e m u s t r e d i r e c t t h e o u t p u t b i t s f r o m

t h e r e m a i n i n g p r o c e s s o r s . N o f u r t h e r e v e n t r e a l l o c a t i o n s a r e

n e e d e d , b u t w e s t i l l h a v e t o d e a c t i v a t e p r o c e s s o r s w h e n e v e r

a n y o f t h e m n i s h .

W e a n a l y z e t h e t i m e r e q u i r e d b y t h e p a r a l l e l a l g o r i t h m .

A s s u m i n g t h a t i n o n e t i m e u n i t e a c h p r o c e s s o r c a n o u t p u t

o n e b i t , w e c a n e a s i l y s h o w t h a t t h e t i m e r e q u i r e d f o r b i t

o u t p u t i s b e t w e e n d n H = p e a n d d n H = p e + L . T h e m o r e i n -

t e r e s t i n g a n a l y s i s c o n c e r n s t h e n u m b e r o f p r e x o p e r a t i o n s

r e q u i r e d . W e d e n e a p h a s e t o b e t h e p e r i o d b e t w e e n p r e x

o p e r a t i o n s . E a r l y p h a s e s a r e t h o s e w h i c h t a k e p l a c e w h i l e

t h e n u m b e r o f e v e n t s i s g r e a t e r t h a n t h e n u m b e r o f p r o c e s -

s o r s ; e a c h i s f o l l o w e d b y a n e v e n t r e a l l o c a t i o n . L a t e p h a s e s

a r e t h o s e n e e d e d t o c o d e t h e n a l p o r f e w e r e v e n t s ; e a c h l a t e

p h a s e r e q u i r e s a p r e x o p e r a t i o n t o r e d i r e c t o u t p u t b i t s . W e

b o u n d t h e n u m b e r o f p r e x o p e r a t i o n s n e e d e d i n t h e f o l l o w -

i n g t h e o r e m .

T h e o r e m 3 W h e n c o d i n g n e v e n t s u s i n g p p r o c e s s o r s , t h e

n u m b e r o f p r e x o p e r a t i o n s n e e d e d b y t h e r e a l l o c a t i o n c o d i n g

a l g o r i t h m i s a t m o s t L l o g

2

2 n = p i n t h e w o r s t c a s e .

P r o o f : W e d e n e a s u p e r p h a s e t o b e t h e t i m e n e e d e d t o

h a l v e t h e n u m b e r o f r e m a i n i n g e v e n t s . C o n s i d e r t h e r s t

s u p e r p h a s e . T h e n u m b e r o f e v e n t s a s s i g n e d t o e a c h p r o c e s s o r

r a n g e s f r o m n = p i n t h e r s t p h a s e d o w n t o n = 2 p i n t h e l a s t .

A t l e a s t o n e p r o c e s s o r c o m p l e t e s a l l i t s e v e n t s i n e a c h p h a s e ;

s u c h a p r o c e s s o r m u s t o u t p u t a t l e a s t o n e b i t p e r e v e n t ,

s i n c e a l l c o d e w o r d s i n a H u m a n c o d e h a v e a t l e a s t o n e

b i t . T h i s p r o c e s s o r a n d h e n c e a l l p r o c e s s o r s t h u s o u t p u t

a t l e a s t n = 2 p b i t s i n e a c h p h a s e , m a k i n g a t o t a l o f a t l e a s t

n = 2 b i t s o u t p u t i n e a c h p h a s e . T h e t o t a l n u m b e r o f b i t s t h a t

m u s t b e o u t p u t i n t h e r s t s u p e r p h a s e i s a t m o s t n L = 2 , s o

t h e n u m b e r o f p h a s e s i n t h e r s t s u p e r p h a s e i s a t m o s t L

T h e s a m e r e a s o n i n g h o l d s f o r a l l s u p e r p h a s e s . T h e n u m b e r

o f s u p e r p h a s e s n e e d e d t o r e d u c e t h e n u m b e r o f r e m a i n i n g

e v e n t s f r o m n t o p i s l o g

2

n = p , s o t h e n u m b e r o f p h a s e s

n e e d e d i s j u s t L l o g

2

n = p . O n c e p o r f e w e r e v e n t s r e m a i n ,

a t m o s t L l a t e p h a s e s a r e r e q u i r e d , s o t h e t o t a l n u m b e r o f

p h a s e s n e e d e d i s a t m o s t L l o g

2

2 n = p 2

T h e e x t e n s i o n o f t h e p a r a l l e l H u m a n a l g o r i t h m t o q u a s i -

a r i t h m e t i c c o d i n g i s f a i r l y s t r a i g h t f o r w a r d . T h e o n l y c o m p l i -

c a t i o n a r i s e s w h e n t h e l a s t e v e n t o f a p r o c e s s o r ' s a l l o c a t i o n

l e a v e s t h e p r o c e s s o r i n a s t a t e o t h e r t h a n t h e s t a r t i n g s t a t e .

W e d e a l w i t h t h i s b y o u t p u t t i n g t h e s m a l l e s t p o s s i b l e n u m -

b e r o f b i t s 0 , 1 , o r 2 n e e d e d t o i d e n t i f y a s u b i n t e r v a l t h a t

l i e s w i t h i n t h e n a l i n t e r v a l ; t h i s i s t h e e n d - o f - l e d i s a m -

b i g u a t i o n p r o b l e m t h a t w e h a v e s e e n i n S e c t i o n I I .

V . M o d e l i n g

T h e g o a l o f m o d e l i n g f o r s t a t i s t i c a l d a t a c o m p r e s s i o n i s

t o p r o v i d e p r o b a b i l i t y i n f o r m a t i o n t o t h e c o d e r . T h e m o d -

e l i n g p r o c e s s c o n s i s t s o f s t r u c t u r a l a n d p r o b a b i l i t y e s t i m a -

t i o n c o m p o n e n t s ; e a c h m a y b e a d a p t i v e , s e m i - a d a p t i v e , o r

s t a t i c . I n a d d i t i o n t h e r e a r e t w o s t r a t e g i e s f o r p r o b a b i l i t y

e s t i m a t i o n . T h e r s t i s t o e s t i m a t e e a c h e v e n t ' s p r o b a b i l -

i t y i n d i v i d u a l l y b a s e d o n i t s f r e q u e n c y w i t h i n t h e d a t a s e t .

T h e o t h e r s t r a t e g y i s t o e s t i m a t e t h e p r o b a b i l i t i e s c o l l e c -

t i v e l y , a s s u m i n g a p r o b a b i l i t y d i s t r i b u t i o n o f a p a r t i c u l a r

f o r m a n d e s t i m a t i n g t h e p a r a m e t e r s o f t h e d i s t r i b u t i o n , e i -

t h e r d i r e c t l y o r i n d i r e c t l y . F o r d i r e c t e s t i m a t i o n , w e s i m p l y

c o m p u t e a n e s t i m a t e o f t h e p a r a m e t e r t h e v a r i a n c e , f o r i n -

s t a n c e f r o m t h e d a t a . F o r i n d i r e c t e s t i m a t i o n 1 5 , w e s t a r t

w i t h a s m a l l n u m b e r o f p o s s i b l e d i s t r i b u t i o n s , a n d c o m p u t e

t h e c o d e l e n g t h t h a t w e w o u l d o b t a i n w i t h e a c h ; t h e n w e

s e l e c t t h e o n e w i t h t h e s m a l l e s t c o d e l e n g t h . T h i s m e t h o d

i s v e r y g e n e r a l a n d c a n b e u s e d e v e n f o r d i s t r i b u t i o n s f r o m

d i e r e n t f a m i l i e s , w i t h o u t c o m m o n p a r a m e t e r s .

F o r l o s s l e s s i m a g e c o m p r e s s i o n , t h e s t r u c t u r a l c o m p o n e n t

i s u s u a l l y x e d , s i n c e f o r m o s t i m a g e s p i x e l i n t e n s i t i e s a r e

c l o s e i n v a l u e t o t h e i n t e n s i t i e s o f n e a r b y p i x e l s . W e c o d e

p i x e l s i n a p r e d e t e r m i n e d s e q u e n c e , p r e d i c t i n g e a c h p i x e l ' s

i n t e n s i t y u s i n g a x e d l i n e a r c o m b i n a t i o n o f a x e d c o n s t e l l a -

t i o n o f n e a r b y p i x e l s , t h e n c o d i n g t h e p r e d i c t i o n e r r o r . T y p -

i c a l l y t h e p r e d i c t i o n e r r o r s h a v e a s y m m e t r i c a l e x p o n e n t i a l -

l i k e d i s t r i b u t i o n w i t h z e r o m e a n , s o t h e p r o b a b i l i t y e s t i m a -

t i o n c o m p o n e n t c o n s i s t s o f e s t i m a t i n g t h e v a r i a n c e a n d p o s s i -

b l y s o m e o t h e r p a r a m e t e r s o f t h e d i s t r i b u t i o n , e i t h e r d i r e c t l y

o r i n d i r e c t l y . A c o l l e c t i o n o f o n l y a f e w d o z e n d i s t r i b u t i o n s

i s s u c i e n t t o c o d e m o s t i m a g e s w i t h m i n i m a l c o m p r e s s i o n

l o s s .

F o r t e x t , o n t h e o t h e r h a n d , t h e b e s t m e t h o d s i n v o l v e c o n -

s t a n t l y c h a n g i n g s t r u c t u r e s . I n t e x t c o m p r e s s i o n t h e e v e n t s

t o b e c o d e d a r e j u s t t h e l e t t e r s i n t h e l e . T y p i c a l l y w e

b e g i n b y a s s u m i n g o n l y t h a t s o m e u n s p e c i e d s e q u e n c e s o f

l e t t e r s w i l l o c c u r f r e q u e n t l y . W e m a y a l s o s p e c i f y a m a x -

i m u m l e n g t h f o r t h e f r e q u e n t l y o c c u r r i n g s e q u e n c e s . A s

e n c o d i n g p r o c e e d s w e d e t e r m i n e w h i c h s e q u e n c e s a r e m o s t

f r e q u e n t . I n t h e Z i v - L e m p e l d i c t i o n a r y - b a s e d m e t h o d s 1 6 ,

1 7 , t h e s e q u e n c e s a r e p l a c e d d i r e c t l y i n t h e d i c t i o n a r y . T h e

6


7/8

a d v a n t a g e o f Z i v - L e m p e l m e t h o d s i s t h e i r s p e e d , o b t a i n e d b y

c o d i n g d i r e c t l y f r o m t h e d i c t i o n a r y d a t a s t r u c t u r e , b y p a s s -

i n g t h e e x p l i c i t p r o b a b i l i t y e s t i m a t i o n a n d s t a t i s t i c a l c o d i n g

s t a g e s . T h e P P M m e t h o d 1 8 o b t a i n s b e t t e r c o m p r e s s i o n b y

c o n s t r u c t i n g a M a r k o v m o d e l o f m o d e r a t e o r d e r , p r o c e e d i n g

t o h i g h e r o r d e r s a s m o r e o f t h e l e i s e n c o d e d . C o m p l i c a t e d

d a t a s t r u c t u r e s a r e u s e d t o b u i l d a n d u p d a t e t h e c o n t e x t

i n f o r m a t i o n .

M o s t m o d e l s f o r t e x t c o m p r e s s i o n i n v o l v e e s t i m a t i n g t h e

l e t t e r p r o b a b i l i t i e s i n d i v i d u a l l y , s i n c e t h e r e i s n o o b v i o u s

m a t h e m a t i c a l r e l a t i o n s h i p b e t w e e n t h e p r o b a b i l i t i e s o f d i e r -

e n t l e t t e r s . N u m e r i c a l p r o x i m i t y o f A S C I I r e p r e s e n t a t i o n s

d o e s n o t i m p l y a n y t h i n g a b o u t p r o b a b i l i t i e s . W e u s u a l l y

e s t i m a t e t h e p r o b a b i l i t y p o f a g i v e n l e t t e r b y

p =

w e i g h t o f l e t t e r

t o t a l w e i g h t o f a l l l e t t e r s

T h e w e i g h t o f a l e t t e r i s u s u a l l y b a s e d o n t h e n u m b e r o f

o c c u r r e n c e s o f t h e l e t t e r i n a p a r t i c u l a r c o n d i t i o n i n g c o n t e x t .

S i n c e w e a r e o f t e n d e a l i n g w i t h c o n t e x t s t h a t h a v e o c -

c u r r e d o n l y a f e w t i m e s , w e h a v e t o d e a l w i t h l e t t e r s t h a t

h a v e n e v e r o c c u r r e d . W e c a n n o t g i v e a w e i g h t o f 0 t o s u c h

l e t t e r s b e c a u s e t h a t w o u l d l e a d t o p r o b a b i l i t y e s t i m a t e s o f 0 ,

w h i c h a r i t h m e t i c c o d i n g c a n n o t h a n d l e . T h i s i s t h e z e r o -

f r e q u e n c y p r o b l e m , t h o r o u g h l y i n v e s t i g a t e d b y W i t t e n a n d

B e l l 1 9 . I t i s p o s s i b l e t o a s s i g n a n i n i t i a l w e i g h t o f 1 t o

a l l p o s s i b l e l e t t e r s , b u t a b e t t e r s t r a t e g y i s t o a s s i g n i n i t i a l

0 w e i g h t s a n d t o i n c l u d e a s p e c i a l e s c a p e e v e n t i n d i c a t i n g

s o m e l e t t e r t h a t h a s n e v e r o c c u r r e d b e f o r e i n t h i s c o n t e x t " ;

t h i s e v e n t h a s i t s o w n w e i g h t , a n d m u s t b e e n c o d e d l i k e a n

o r d i n a r y l e t t e r w h e n e v e r a n e w l e t t e r o c c u r s . T h e r e a r e a

n u m b e r o f m e t h o d s o f d e a l i n g w i t h t h e z e r o - f r e q u e n c y p r o b -

l e m , d i e r i n g m a i n l y i n t h e c o m p u t a t i o n o f t h e e s c a p e p r o b -

a b i l i t y .

A s e c o n d i s s u e t h a t a r i s e s i n t e x t c o m p r e s s i o n i s l o c a l i t y

o f r e f e r e n c e : s t r i n g s t e n d t o o c c u r i n c l u s t e r s w i t h i n a t e x t

l e . O n e w a y t o t a k e a d v a n t a g e o f l o c a l i t y i s t o s c a l e t h e

c o u n t s p e r i o d i c a l l y , t y p i c a l l y b y h a l v i n g a l l w e i g h t s w h e n

t h e t o t a l w e i g h t r e a c h e s a s p e c i e d n u m b e r . T h i s e e c t i v e l y

g i v e s m o r e w e i g h t t o m o r e r e c e n t o c c u r r e n c e s o f e a c h l e t t e r ,

a n d h a s t h e a d d i t i o n a l b e n e t o f k e e p i n g t h e c o u n t s s m a l l

e n o u g h t o t i n t o s m a l l r e g i s t e r s . A n a l y s i s 4 s h o w s t h a t

s c a l i n g o f t e n h e l p s c o m p r e s s i o n , a n d c a n n e v e r h u r t i t b y

v e r y m u c h .

O n e t e c h n i q u e f o r p r o b a b i l i t y e s t i m a t i o n w h e n o n l y t w o

e v e n t s a r e p o s s i b l e i s t o u s e s m a l l s c a l e d c o u n t s , c o n s i d e r i n g

e a c h c o u n t p a i r t o b e a p r o b a b i l i t y s t a t e . W e c a n t h e n p r e -

c o m p u t e b o t h t h e c o r r e s p o n d i n g p r o b a b i l i t i e s a n d t h e s t a t e

t r a n s i t i o n s c a u s e d b y t h e o c c u r r e n c e o f a d d i t i o n a l e v e n t s .

T h e s t a t e s c a n b e i d e n t i e d b y i n d e x n u m b e r s , w h i c h i n

t u r n c a n b e u s e d t o i n d e x i n t o t h e p r o b a b i l i t y r a n g e l i s t s

i n q u a s i - a r i t h m e t i c c o d e t a b l e s l i k e t h o s e i n T a b l e 5 .

V I . C o n c l u s i o n

T h e m a i n a d v a n t a g e s o f a r i t h m e t i c c o d i n g f o r s t a t i s t i c a l

d a t a c o m p r e s s i o n a r e i t s o p t i m a l i t y a n d i t s i n h e r e n t s e p a -

r a t i o n o f c o d i n g a n d m o d e l i n g . P u r e a r i t h m e t i c c o d i n g , a s

d e s c r i b e d i n S e c t i o n I I , i s s t r i c t l y o p t i m a l f o r a s t o c h a s t i c

d a t a s o u r c e w h o s e p r o b a b i l i t i e s a r e a c c u r a t e l y k n o w n , b u t

i t r e l i e s o n r e l a t i v e l y s l o w a r i t h m e t i c o p e r a t i o n s l i k e m u l t i -

p l i c a t i o n a n d d i v i s i o n . T h e q u a s i - a r i t h m e t i c c o d i n g m e t h o d

d e s c r i b e d i n S e c t i o n I I I , w h i c h u s e s t a b l e l o o k u p a s a l o w -

p r e c i s i o n a l t e r n a t i v e t o f u l l - p r e c i s i o n a r i t h m e t i c , i s n e a r l y

o p t i m a l a n d f a i r l y f a s t , e v e n w h e n t h e p r o b a b i l i t i e s a r e c l o s e

t o 1 o r 0 .

T h e s e p a r a t i o n o f c o d i n g a n d m o d e l i n g i s i m p o r t a n t b e -

c a u s e i t p e r m i t s a n y d e g r e e o f c o m p l e x i t y i n t h e m o d e l e r

w i t h o u t r e q u i r i n g a n y c h a n g e t o t h e c o d e r . I n p a r t i c u l a r ,

t h e m o d e l s t r u c t u r e a n d p r o b a b i l i t y e s t i m a t e s c a n c h a n g e

a d a p t i v e l y . I n H u m a n c o d i n g , b y c o n t r a s t , t h e p r o b a b i l -

i t y i n f o r m a t i o n m u s t b e b u i l t i n t o t h e c o d i n g t a b l e s , m a k i n g

a d a p t i v e c o d i n g d i c u l t . E v e n t o t a l l y d i s j o i n t d a t a s t r e a m s

c a n b e i n t e r t w i n e d ; t h e o n l y r e q u i r e m e n t i s t h a t t h e d e c o d e r

m u s t b e a b l e t o t r a c k t h e m o d e l s t r u c t u r e o f t h e e n c o d e r .

O n e o c c a s i o n a l l y u s e f u l a d v a n t a g e t o a r i t h m e t i c c o d i n g i s

t h a t i t i s e a s y t o m a i n t a i n l e x i c o g r a p h i c o r d e r w i t h o u t a n y

l o s s i n c o m p r e s s i o n e c i e n c y , s o t h a t e n c o d e d s t r i n g s c a n

h a v e t h e s a m e o r d e r a s t h e o r i g i n a l u n e n c o d e d d a t a ; m a i n -

t a i n i n g l e x i c o g r a p h i c o r d e r w i t h a p r e x c o d e r e q u i r e s a m o r e

c o m p l i c a t e d a l g o r i t h m t h e H u - T u c k e r a l g o r i t h m 2 0 a n d e n -

t a i l s s o m e s a c r i c e i n e c i e n c y .

T h e d i s a d v a n t a g e s o f a r i t h m e t i c c o d i n g a r e t h a t i t r u n s

s l o w l y , i t i s f a i r l y c o m p l i c a t e d t o i m p l e m e n t , a n d i t d o e s

n o t p r o d u c e p r e x c o d e s . I t c a n b e s p e e d e d u p w i t h o n l y a

s l i g h t l o s s i n c o m p r e s s i o n e c i e n c y b y u s i n g a p p r o x i m a t i o n s

l i k e q u a s i - a r i t h m e t i c c o d i n g , t h e p a t e n t e d I B M Q - C o d e r , o r

N e a l ' s l o w - p r e c i s i o n c o d e r 2 1 . T h e i m p l e m e n t a t i o n d i -

c u l t i e s a r e n o t i n s u r m o u n t a b l e , b u t a r i t h m e t i c c o d i n g w i l l

n o t b e a v a i l a b l e a s a n o - t h e - s h e l f p a c k a g e u n t i l a f a s t , e -

c i e n t , p a t e n t - f r e e m e t h o d i s a g r e e d u p o n a s a s t a n d a r d . T h e

n o n - p r e x - c o d e p r o p e r t y l e a d s t o s o m e t e c h n i c a l d i c u l t i e s :

e r r o r r e s i s t a n c e c a n b e a s e r i o u s p r o b l e m , e s p e c i a l l y w i t h

a d a p t i v e m o d e l s , a n d t h e o u t p u t d e l a y c a n b e u n b o u n d e d

i n t h e W i t t e n - N e a l - C l e a r y v e r s i o n d e s c r i b e d h e r e , a l t h o u g h

n o t i n t h e Q - C o d e r .

F o r b i n a r y a l p h a b e t s , v a r i o u s f o r m s o f r u n - l e n g t h e n c o d -

i n g c a n b e u s e d i n s t e a d o f a r i t h m e t i c c o d i n g , e v e n i f t h e

p r o b a b i l i t i e s a r e h i g h l y s k e w e d . G o l o m b c o d i n g 2 2 a n d

t h e r e l a t e d R i c e c o d i n g 2 3 a r e b a s e d o n e x p o n e n t i a l l y d i s -

t r i b u t e d r u n l e n g t h s . T h e G o l o m b a n d R i c e m e t h o d s e a c h

c o n s i s t o f a f a m i l y o f c o d e s p a r a m e t e r i z e d b y a s i n g l e p a r a m -

e t e r ; t h e p a r a m e t e r c a n b e e s t i m a t e d a d a p t i v e l y 1 5 g i v i n g

g o o d c o m p r e s s i o n e c i e n c y . T h e s e c o d e s a r e e x t r e m e l y f a s t

p r e x c o d e s a n d a r e e a s i l y i m p l e m e n t e d i n s o f t w a r e o r h a r d -

w a r e . O t h e r n o n - p a r a m e t e r i z e d r u n - l e n g t h c o d e s l i k e E l i a s

c o d e s 2 4 a r e l e s s e x i b l e a n d h e n c e l e s s u s e f u l .

W h e n m o r e t h a n t w o i n p u t e v e n t s a r e p o s s i b l e , t h e m a i n

a l t e r n a t i v e s t o a r i t h m e t i c c o d i n g a r e H u m a n c o d i n g a n d

c o d i n g b a s e d o n s p l a y t r e e s 2 5 . M o a t e t a l . 2 6 c o m p a r e

a r i t h m e t i c c o d i n g w i t h t h e s e m e t h o d s . H u m a n c o d i n g i s

v e r y e e c t i v e i n c o n j u n c t i o n w i t h a s e m i - a d a p t i v e m o d e l ;

t h e p r o b a b i l i t y i n f o r m a t i o n c a n b e b u i l t i n t o t h e c o d i n g t a -

b l e s , l e a d i n g t o f a s t e x e c u t i o n . S p l a y t r e e s a r e e v e n f a s t e r ,

s i n c e t h e d a t a s t r u c t u r e f o r c o d i n g i s t h e s t a t i s t i c a l " m o d e l ;

c o m p r e s s i o n e c i e n c y s u e r s s o m e w h a t . G o l o m b a n d R i c e

c o d i n g c a n b e u s e d w h e n m a n y e v e n t s a r e p o s s i b l e , m a i n -

t a i n i n g l i s t s o f t h e e v e n t s i n a p p r o x i m a t e p r o b a b i l i t y o r d e r

a n d c o d i n g t h e p o s i t i o n s o f t h e e v e n t s w i t h i n t h e l i s t s . T h i s

i s a n e s p e c i a l l y u s e f u l t e c h n i q u e f o r v e r y l a r g e a l p h a b e t s 2 7 .

T h e m a i n u s e f u l n e s s o f a r i t h m e t i c c o d i n g i s i n o b t a i n -

i n g m a x i m u m c o m p r e s s i o n i n c o n j u n c t i o n w i t h a n a d a p t i v e

m o d e l , o r w h e n t h e p r o b a b i l i t y o f o n e e v e n t i s m u c h l a r g e r

t h a n 1 = 2 . A r i t h m e t i c c o d i n g g i v e s o p t i m a l c o m p r e s s i o n , b u t

i t s s l o w e x e c u t i o n c a n b e p r o b l e m a t i c a l . A p p r o x i m a t e v e r -

s i o n s o f a r i t h m e t i c c o d i n g g i v e a l m o s t o p t i m a l c o m p r e s s i o n

a t i m p r o v e d s p e e d s . P r o b a b i l i t i e s c a n b e e s t i m a t e d a p p r o x i -

m a t e l y t o o , a g a i n l e a d i n g t o o n l y s l i g h t d e g r a d a t i o n o f c o m -

p r e s s i o n p e r f o r m a n c e .

7


8/8

A c k n o w l e d g m e n t s

T h e a u t h o r s w o u l d l i k e t o a c k n o w l e d g e h e l p f u l s u g g e s t i o n s

m a d e b y M a r t y C o h n .

R e f e r e n c e s

1 C . E . S h a n n o n , A M a t h e m a t i c a l T h e o r y o f C o m m u n i c a t i o n , "

B e l l S y s t . T e c h . J . , 2 7 , p p . 3 9 8 4 0 3 , J u l y 1 9 4 8 .

2 D . A . H u m a n , A M e t h o d f o r t h e C o n s t r u c t i o n o f M i n i m u m

R e d u n d a n c y C o d e s , " P r o c e e d i n g s o f t h e I n s t i t u t e o f R a d i o E n -

g i n e e r s , 4 0 , p p . 1 0 9 8 1 1 0 1 , 1 9 5 2 .

3 T . C . B e l l , J . G . C l e a r y a n d I . H . W i t t e n , T e x t C o m p r e s s i o n

E n g l e w o o d C l i s , N J , P r e n t i c e - H a l l , 1 9 9 0 .

4 P . G . H o w a r d a n d J . S . V i t t e r , A n a l y s i s o f A r i t h m e t i c C o d i n g

f o r D a t a C o m p r e s s i o n , " I n f o r m a t i o n P r o c e s s i n g a n d M a n a g e -

m e n t , 2 8 , n o . 6 , p p . 7 4 9 7 6 3 , 1 9 9 2 .

5 I . H . W i t t e n , R . M . N e a l a n d J . G . C l e a r y , A r i t h m e t i c C o d i n g

f o r D a t a C o m p r e s s i o n , " C o m m . A C M , 3 0 , n o . 6 , p p . 5 2 0 5 4 0 ,

J u n e 1 9 8 7 .

6 R . P a s c o , S o u r c e C o d i n g A l g o r i t h m s f o r F a s t D a t a C o m p r e s -

s i o n , " S t a n f o r d U n i v . , P h . D . T h e s i s , 1 9 7 6 .

7 J . J . R i s s a n e n , G e n e r a l i z e d K r a f t I n e q u a l i t y a n d A r i t h m e t i c

C o d i n g , " I B M J . R e s . D e v e l o p . , 2 0 , n o . 3 , p p . 1 9 8 2 0 3 , M a y

1 9 7 6 .

8 F . R u b i n , A r i t h m e t i c S t r e a m C o d i n g U s i n g F i x e d P r e c i s i o n

R e g i s t e r s , " I E E E T r a n s . I n f o r m . T h e o r y , I T 2 5 , n o . 6 , p p . 6 7 2

6 7 5 , N o v . 1 9 7 9 .

9 J . J . R i s s a n e n a n d G . G . L a n g d o n , A r i t h m e t i c C o d i n g , " I B M

J . R e s . D e v e l o p . , 2 3 , n o . 2 , p p . 1 4 6 1 6 2 , M a r . 1 9 7 9 .

1 0 M . G u a z z o , A G e n e r a l M i n i m u m - R e d u n d a n c y S o u r c e - C o d i n g

A l g o r i t h m , " I E E E T r a n s . I n f o r m . T h e o r y , I T 2 6 , n o . 1 , p p . 1 5

2 5 , J a n . 1 9 8 0 .

1 1 W . B . P e n n e b a k e r , J . L . M i t c h e l l , G . G . L a n g d o n a n d R . B .

A r p s , A n O v e r v i e w o f t h e B a s i c P r i n c i p l e s o f t h e Q - C o d e r

A d a p t i v e B i n a r y A r i t h m e t i c C o d e r , " I B M J . R e s . D e v e l o p .

3 2 , n o . 6 , p p . 7 1 7 7 2 6 , N o v . 1 9 8 8 .

1 2 P . G . H o w a r d a n d J . S . V i t t e r , P r a c t i c a l I m p l e m e n t a t i o n s

o f A r i t h m e t i c C o d i n g , " i n I m a g e a n d T e x t C o m p r e s s i o n J

A . S t o r e r , E d . N o r w e l l , M A : K l u w e r A c a d e m i c P u b l i s h e r s ,

p p . 8 5 1 1 2 , 1 9 9 2 .

1 3 , D e s i g n a n d A n a l y s i s o f F a s t T e x t C o m p r e s s i o n

B a s e d o n Q u a s i - A r i t h m e t i c C o d i n g , " i n P r o c . D a t a C o m p r e s -

s i o n C o n f e r e n c e , J . A . S t o r e r a n d M . C o h n , E d s . S n o w b i r d ,

U t a h : p p . 9 8 1 0 7 , M a r . 3 0 - A p r . 1 , 1 9 9 3 .

1 4 , P a r a l l e l L o s s l e s s I m a g e C o m p r e s s i o n U s i n g H u -

m a n a n d A r i t h m e t i c C o d i n g , " i n P r o c . D a t a C o m p r e s s i o n C o n -

f e r e n c e , J . A . S t o r e r a n d M . C o h n , E d s . S n o w b i r d , U t a h :

p p . 2 9 9 3 0 8 , M a r . 2 4 - 2 6 , 1 9 9 2 .

1 5 , F a s t a n d E c i e n t L o s s l e s s I m a g e C o m p r e s s i o n , "

n P r o c . D a t a C o m p r e s s i o n C o n f e r e n c e , J . A . S t o r e r a n d M .

C o h n , E d s . S n o w b i r d , U t a h : p p . 3 5 1 3 6 0 , M a r . 3 0 - A p r . 1 ,

1 9 9 3 .

1 6 J . Z i v a n d A . L e m p e l , A U n i v e r s a l A l g o r i t h m f o r S e q u e n t i a l

D a t a C o m p r e s s i o n , " I E E E T r a n s . I n f o r m . T h e o r y , I T 2 3 , n o .

3 , p p . 3 3 7 3 4 3 , M a y 1 9 7 7 .

1 7 , C o m p r e s s i o n o f I n d i v i d u a l S e q u e n c e s v i a V a r i a b l e

R a t e C o d i n g , " I E E E T r a n s . I n f o r m . T h e o r y , I T 2 4 , n o . 5 ,

p p . 5 3 0 5 3 6 , S e p t . 1 9 7 8 .

1 8 J . G . C l e a r y a n d I . H . W i t t e n , D a t a C o m p r e s s i o n U s i n g

A d a p t i v e C o d i n g a n d P a r t i a l S t r i n g M a t c h i n g , " I E E E T r a n s .

C o m m . , C O M 3 2 , n o . 4 , p p . 3 9 6 4 0 2 , A p r . 1 9 8 4 .

1 9 I . H . W i t t e n a n d T . C . B e l l , T h e Z e r o F r e q u e n c y P r o b l e m :

E s t i m a t i n g t h e P r o b a b i l i t i e s o f N o v e l E v e n t s i n A d a p t i v e T e x t

C o m p r e s s i o n , " I E E E T r a n s . I n f o r m . T h e o r y , I T 3 7 , n o . 4 ,

p p . 1 0 8 5 1 0 9 4 , J u l y 1 9 9 1 .

2 0 T . C . H u a n d A . C . T u c k e r , O p t i m a l C o m p u t e r - S e a r c h

T r e e s a n d V a r i a b l e - L e n g t h A l p h a b e t i c C o d e s , " S I A M J . A p p l .

M a t h . , 2 1 , n o . 4 , p p . 5 1 4 5 3 2 , 1 9 7 1 .

2 1 R . M . N e a l , F a s t A r i t h m e t i c C o d i n g U s i n g L o w - P r e c i s i o n D i -

v i s i o n , " U n p u b l i s h e d m a n u s c r i p t , 1 9 8 7 .

2 2 S . W . G o l o m b , R u n - L e n g t h E n c o d i n g s , " I E E E T r a n s . I n f o r m .

T h e o r y , I T 1 2 , n o . 4 , p p . 3 9 9 4 0 1 , J u l y 1 9 6 6 .

2 3 R . F . R i c e , S o m e P r a c t i c a l U n i v e r s a l N o i s e l e s s C o d i n g T e c h -

n i q u e s , " J e t P r o p u l s i o n L a b o r a t o r y , P a s a d e n a , C a l i f o r n i a , J P L

P u b l i c a t i o n 7 9 2 2 , M a r . 1 9 7 9 .

2 4 P . E l i a s , U n i v e r s a l C o d e w o r d S e t s a n d R e p r e s e n t a t i o n s o f I n -

t e g e r s , " I E E E T r a n s . I n f o r m . T h e o r y , I T 2 1 , n o . 2 , p p . 1 9 4

2 0 3 , M a r . 1 9 7 5 .

2 5 D . W . J o n e s , A p p l i c a t i o n o f S p l a y T r e e s t o D a t a C o m p r e s -

s i o n , " C o m m . A C M , 3 1 , n o . 8 , p p . 9 9 6 1 0 0 7 , A u g . 1 9 8 8 .

2 6 A . M . M o a t , N . S h a r m a n , I . H . W i t t e n a n d T . C . B e l l , A n

E m p i r i c a l E v a l u a t i o n o f C o d i n g M e t h o d s f o r M u l t i - S y m b o l A l -

p h a b e t s , " i n P r o c . D a t a C o m p r e s s i o n C o n f e r e n c e , J . A . S t o r e r

a n d M . C o h n , E d s . S n o w b i r d , U t a h : p p . 1 0 8 1 1 7 , M a r . 3 0 -

A p r . 1 , 1 9 9 3 .

2 7 A . M . M o a t , E c o n o m i c a l I n v e r s i o n o f L a r g e T e x t F i l e s , " p r e -

s e n t e d a t C o m p u t i n g S y s t e m s , 1 9 9 2 .

P a u l G . H o w a r d i s a M e m b e r o f T e c h n i -

c a l S t a i n t h e V i s u a l C o m m u n i c a t i o n s R e -

s e a r c h D e p a r t m e n t o f A T & T B e l l L a b o r a t o -

r i e s . H e r e c e i v e d t h e B . S . d e g r e e i n c o m -

p u t e r s c i e n c e f r o m M . I . T . i n 1 9 7 7 a n d t h e

M . S . a n d P h . D . d e g r e e s i n c o m p u t e r s c i e n c e

f r o m B r o w n U n i v e r s i t y i n 1 9 8 9 a n d 1 9 9 3 r e -

s p e c t i v e l y . H i s r e s e a r c h i n t e r e s t s a r e i n d a t a

c o m p r e s s i o n , i n c l u d i n g c o d i n g , i m a g e m o d e l -

i n g , a n d t e x t m o d e l i n g . H e i s a m e m b e r o f

S i g m a X i a n d a n a s s o c i a t e m e m b e r o f t h e C e n -

t e r o f E x c e l l e n c e i n S p a c e D a t a a n d I n f o r m a -

t i o n S c i e n c e s . H e w a s b r i e y a R e s e a r c h A s s o c i a t e a t D u k e U n i v e r s i t y

b e f o r e j o i n i n g A T & T i n 1 9 9 3 .

J e r e y S c o t t V i t t e r F e l l o w , I E E E i s t h e

G i l b e r t , L o u i s , a n d E d w a r d L e h r m a n P r o f e s -

s o r o f C o m p u t e r S c i e n c e a n d t h e C h a i r o f

t h e D e p a r t m e n t o f C o m p u t e r S c i e n c e a t D u k e

U n i v e r s i t y . P r e v i o u s l y h e w a s P r o f e s s o r a t

B r o w n U n i v e r s i t y , w h e r e h e w a s o n t h e f a c -

u l t y s i n c e 1 9 8 0 . H e r e c e i v e d t h e B . S . d e g r e e

i n m a t h e m a t i c s w i t h h i g h e s t h o n o r s f r o m t h e

U n i v e r s i t y o f N o t r e D a m e i n 1 9 7 7 a n d t h e

P h . D . d e g r e e i n c o m p u t e r s c i e n c e f r o m S t a n -

f o r d U n i v e r s i t y i n 1 9 8 0 . H e i s a G u g g e n h e i m

F e l l o w , a n N S F P r e s i d e n t i a l Y o u n g I n v e s t i g a -

t o r , a n d a n I B M F a c u l t y D e v e l o p m e n t A w a r d e e . H e i s c o a u t h o r o f t h e

b o o k D e s i g n a n d A n a l y s i s o f C o a l e s c e d H a s h i n g O x f o r d U n i v e r s i t y

P r e s s , 1 9 8 7 a n d i s c o h o l d e r o f a p a t e n t i n t h e a r e a o f e x t e r n a l s o r t -

i n g . H e h a s w r i t t e n n u m e r o u s a r t i c l e s a n d h a

Documents

HoV94.Arithmetic Coding