Pyramid Para Metrics

  • Upload
    he-yang

  • View
    223

  • Download
    0

Embed Size (px)

Citation preview

  • 8/6/2019 Pyramid Para Metrics

    1/11

    P y r a m i d a l P a r a m e t r i c s

    L a n c e W i l l i a m sC o m p u t e r G r a p h i c s L a b o r a t o r y

    N e w Y o rk I n s t i t u t e o f T e c h n o l o g yO l d W e s t b u r y , N e w Y o r k

    A b s t r a c tT h e m a p p i n g o f i m a g e s o n t o s u r f a c e s

    m a y s u b s t a n t i a l l y i n c r e a s e t h e r e a l i s m a n di n f o r m a t i o n c o n t e n t o f c o m p u t e r - g e n e r a t e di m a g e r y. T h e p r o j e c t i o n o f a f l a t s o u r c ei m a g e o n t o a c u r v e d s u r f a c e m a y i n v o l v es a m p l i n g d i f f i c u l t i e s , h o w e v e r , w h i c h a r ec o m p o u n d e d a s t h e v i e w o f t h e s u r f a c ec h a n g e s . A s t h e p r o j e c t e d s c a l e o f t h es u r f a c e i n c r e a s e s , i n t e r p o l a t i o n b e t w e e nt h e o r i g i n a l s a m p l e s o f t h e s o u r c e i m a g ei s n e c e s s a r y ; a s t h e s c a l e i s r e d u c e d ,a p p r o x i m a t i o n o f m u l t i p l e s a m p l e s i n t h es o u r c e i s r e q u i r e d . T h u s a c o n s t a n t l yc h a n g i n g s a m p l i ng w i n d o w o f v i e w - d e p e n d e n ts h a p e m u s t t r a v e r s e t h e s o u r c e i m a g e.

    T o r e d u c e t h e c o m p u t a t i o n i m p l i e d b yt h e s e r e q u i r e m e n t s , a s e t o f p r e f i l t e r e ds o u r c e i m a g e s m a y b e c r e a t e d . T h i sa p p r o a c h c a n b e a p p l i e d t o p a r t i c u l a ra d v a n t a g e i n a n i m a t i o n , w h e r e a l a r g en u m b e r o f f r a m e s u s i n g t h e s a m e s o u r c ei m a g e m u s t b e g e n e r a t e d . T h i s p a p e ra d v a n c e s a " p y r a m i d a l p a r a m e t r i c " p r e -f i l t e r i n g an d s a m p l i n g g e o m e t r y w h i c hm i n i m i z e s a l i a s i n g e f f e c t s a n d a s s u r e sc o n t i n u i t y w i t h i n a n d b e t w e e n t a r g e ti m a g e s .

    A l t h o u g h t h e m a p p i n g o f t e x t u r e o n t os u r f a c e s i s a n e x c e l l e n t e x a m p l e o f t h ep r o c e s s a n d p r o v i d e d t h e o r i g i n a l m o t i v a -t i o n f or i t s d e v e l o p m e n t , p y r a m i d a lp a r a m e t r i c d a t a s t r u c t u r e s a d m i t o f w i d e ra p p l i c a t i o n . T h e a l i a s i n g o f n o t o n l ys u r f a c e t e x t u r e , b u t a l s o h i g h l i g h t s a n de v e n t h e s u r f a c e r e p r e s e n t a t i o n s t h e m -s e l ve s , m a y b e m i n i m i z e d b y p y r a m i d a lp a r a m e t r i c m e a ns .G e n e r a l T e r m s : A l g o r i t h m s .K e y w o r d s an d P h r a s e s : A n t i a l i a s i n g ,I l l u m i n a t i o n M o d e l s , M o d e l i n g , P y r a m i d a lD a t a S t r u c t u r e s , R e f l e c t a n c e M a p p i n g , T e x -t u r e M a p p i n g , V i s i b l e S u r f a c e A l g o r i t h m s .C R C a t e g o r i e s : 1 . 3 . 3 [ C o m p u t e r G r a p h i c s ] :P i c t u r e / I m a g e G e n e r a t i o n - - ~ a l g o-r i t h m s; 1 . 3 . 5 [ C o m p u t e r G r a p h l c ~ : C o m p u -t a t i o n a l G e o m e t r y a n d O b j e c t M o d e l i n g - -c u r ve , s u r f a ce , s o l i d a n d o b j e c t r e p r e s e n -t a t i o ns , g e o m e t r i c a l g o r i t h m s , l a n g u a g e sa n d s y s t e m s; 1 . 3 . 7 [ C o m p u t e r G r a p h i c s ] :T h r e e - D i m e n s i o n a l G r a p h i c s a n d R e a l i s m- -c o l o r , s h a d i n g , s h a d o w i n g , a n d t e x t u r e .Permission to copy without ~e a ll or par t of this material is grantedprovided that the copies are not made or distributed ~r directcommercial advantage, the ACM copyrigh t notice and the title of the

    ~ . P y r a m i d a l D a t a S t r u c t u r e sP y r a m i d a l d a t a s t r u c t u r e s m a y b e

    b a s e d o n v a r i o u s s u b d i v i s i o n s : b i n a r yt r e e s , q u a d t re e s , o c t t r e e s , o r n -d i m e n s i o n a l h i e r a r c h i e s [ 1 7] . T h e c o m m o nf e a t u r e o f t h e s e s t r u c t u r e s i s a s u c c e s -s i o n o f l e v e l s w h i c h v a r y t h e r e s o l u t i o na t w h i c h t h e d a t a i s r e p r e s e n t e d .

    T h e d e c o m p o s i t i o n o f an i m a g e b yt w o - d i m e n s i o n a l b i n a r y s u b d i v i s i o n w a s ap i o n e e r i n g s t r a t e g y i n c o m p u t e r g r a p h i c sf o r v i s i b l e s u r f a c e d e t e r m i n a t i o n [ 1 5] .T h e a p p r o a c h w a s e s s e n t i a l l y a s y n t h e s i s -b y - a n a l y s i s : t h e i m a g e p l a n e w a s s u b d i -v i d e d i n t o q u a d r a n t s r e c u r s i v e l y u n t i la n a l y s i s o f a s u b s e c t i o n s h o w e d t h a t s u r -f a c e o r d e r i n g w a s s u f f i c i e n t l y s i m p l e t op e r m i t r e n d e r i n g . S u c h s u b d i v i s i o n a n da n a l y s i s h a s b e e n s u b s e q u e n t l y a d o p t e d t og e n e r a t e s p a t i a l d a t a s t r u c t u r e s [ 5] ,w h i c h h a v e b e e n u s e d t o r e p r e s e n t i m a g e s[ 9] b o t h f or p a t t e r n r e c o g n i t i o n [ 1 3] a n df o r t r a n s m i s s i o n [ i 0 ] , [ 1 4 ]. I n t h e f i e l do f c o m p u t e r g r a p h i c s , s u c h d a t a s t r u c t u r e sh a v e b e e n a d o p t e d f o r t e x t u r e m a p p i n g [ 4] ,[ 1 6] , a n d g e n e r a l i z e d t o r e p r e s e n t o b j e c t si n s p a c e [ I i ] .

    T h e a p p l i c a t i o n o f p y r a m i d a l d a t a t oi m a g e s t o r a g e a n d t r a n s m i s s i o n m a y p e r m i ts i g n i f i c a n t c o m p r e s s i o n o f t h e d a t a t o b es t o r e d or t r a n s m i t t e d . T h i s is s o b e c a u s eh i g h l y d e t a i l e d f e a t u r e s m a y b e l o c a l i z e dw i t h i n a n o t h e r w i s e l o w - f r e q u e n c y i m a ge ,p e r m i t t i n g t h e s a m p l i n g r a t e t o b e r e d u c e df o r l a r g e s e c t i o n s o f t h e i m a g e. B e s i d e sp e r m i t t i n g b a n d w i d t h c o m p r e s s i o n , t h er e p r e s e n t a t i o n o r d e r s d a t a i n s u c h a w a yt h a t t h e g e n e r a l c h a r a c t e r o f i m a g e s m a yb e r e c a l l e d o r t r a n s m i t t e d b e f o r e t h es p e c i f i c d e t a i l s .

    P a t t e r n r e c o g n i t i o n a n d c l a s s i f i c a -t i o n o f t e n r e q u i r e t h e c o m p a r i s o n o f ac a n d i d a t e i m a g e a g a i n s t a s e t o f c a n o n i c a lp a t t e r n s . T h i s i s a n o p e r a t i o n t h ee x p e n s e o f w h i c h i n c r e a s e s a s t h e s q u a r eo f t h e r e s o l u t i o n a t w h i c h i t i s p e r -f o r m e d. T h e u s e o f p y r a m i d a l d a t a s t r u c -t u r e s i n p a t t e r n r e c o g n i t i o n a n d c l a s s i f i -c a t i o n p e r m i t s t h e c o m p a r i s o n o f t h e g r o s sf e a t u r e s o f t w o - d i m e n s i o n a l f u n c t i o n sp r e l i m i n a r y t o t h e m i n u t e p a r t i c u l a r s ; ag o o d g e n e r a l r e f e r e n c e o n t h i s a p p l i c a t i o ni s [ 1 2 ] .publication and its date appear, and notice is given that copying is bypermission of the Association for Computing Machinery. To copyotherwise, or to republish, requires a fee an d/ or specific permission.

    ACM 0-897 91-109-1/83/ 007/0001 $00.75

  • 8/6/2019 Pyramid Para Metrics

    2/11

    I n c o m p u t e r g r a p h i c s , p y r a m i d a l t e x -t u r e m a p s m a y b e u s e d t o p e r f o r m a r b i t r a r ym a p p i n g s o f a f u n c t i o n w i t h m i n i m a l a l i a s -i n g a r t i f a c t s a n d r e d u c e d c o m p u t a t i o n .O n c e a g a i n, i m a g e s m a y b e r e p r e s e n t e d a td i f f e r e n t s p a t i a l b a n d w i d t h s . T h e c o n c e r ni s t h a t i n a p p r o p r i a t e r e s o l u t i o nm i s r e p r e s e n t s t h e d a t a ; t h a t i s, s a m p l i n gh i g h - r e s o l u t i o n d a t a a t l a r g e r s a m p l ei n t e r v a l s i n v i t e s a l i as i n g .2 . P a r a m e t r i c I n t e r p o l a t i o n

    B y a p y r a m i d a l p a r a m e t r i c d a t a s t r u c -t u re , w e w i l l m e a n s i m p l y a p y r a m i d a ls t r u c t u r e w i t h b o t h i n t r a - a n d i n t e r - l e v e li n t e r p o l a t i o n . C o n s i d e r t h e c a s e o f a ni m a g e r e p r e s e n t e d a s a t w o - d i m e n s i o n a la r r a y o f s a m p l e s . I n t e r p o l a t i o n i s n e c e s -s a r y t o p r o d u c e a c o n t i n u o u s f u n c t i o n o ft w o p a r a m e t e r s , U a n d V . I f, i n a d d i t i o n ,a t h i r d p a r a m e t e r ( c a l l i t D ) m o v e s u s u pa n d d o w n a h i e r a r c h y o f c o r r e s p o n d i n gt w o - d i m e n s i o n a l f u n c t i o n s , w i t h i n t e r p o l a -t i o n b e t w e e n ( or a m o n g) t h e l e v e l s o f t h ep y r a m i d p r o v i d i n g c o n t i n u i t y , t h e s t r u c -t u r e i s p y r a m i d a l p a r a m e t r i c .

    ~ h e p r a c t i c a l d i s t i n c t i o n b e t w e e ns u c h a s t r u c t u r e a n d a n o r d i n a r y i n t e r p o -l a n t o v e r a n n - d i m e n s i o n a l a r r a y o f s a m -p l e s i s t h a t t h e n u m b e r of s a m p l e sr e p r e s e n t i n g e a c h l e ve l o f t h e p y r a m i d m a yb e d i f f e r e n t .~ . M i p M a p p i n g

    " M i p" m a p p i n g i s a p a r t i c u l a r f o r m a tf o r t w o - d i m e n s i o n a l p a r a m e t r i c f u n c t i o n s ,w h i c h , a l o n g w i t h i t s a s s o c i a t e d a d d r e s s -i n g s c h e m e , h a s b e e n u s e d s u c c e s s f u l l y t ob a n d l i m i t t e x t u r e m a p p i n g a t N e w Y or kI n s t i t u t e o f T e c h n o l o g y s i n c e 1 9 7 9. T h ea c r o n y m " m i p" i s f r o m t h e L a t i n p h r a s e" m u l t u m i n p a r v o , " m e a n i n g " m a n y t h i n g s i na s m a l l p l a c e . " M i p m a p p i n g s u p p l e m e n t sb i l i n e a r i n t e r p o l a t i o n o f p i x e l v a l u e s i nt h e t e x t u r e m a p ( w h i c h m a y b e u s e d t os m o o t h l y t r a n s l a t e a n d m a g n i f y t h e t e x -t u r e) w i t h i n t e r p o l a t i o n b e t w e e n p r e f i l -t e r e d v e r s i o n s o f t h e m a p ( w h i c h m a y b eu s e d t o c o m p r e s s m a n y p i x e l s i n t o a s m a l lp l a c e ) . I n t h i s l a t t e r c a p a c i t y , m i po f f e r s m u c h g r e a t e r s p e e d t h a n t e x t u r i n ga l g o r i t h m s w h i c h p e r f o r m e x p l i c i t c o n v o l u -t i o n o v e r a n a r e a in t h e t e x t u r e m a p f o re a c h p i x e l r e n d e r e d [ I ] , [ 6 ] .

    M i p o w e s i t s s p e e d i n c o m p r e s s i n gt e x t u r e t o t w o f a c t o r s . F i r s t , a f a i ra m o u n t o f f i l t e r i n g o f t h e o r i g i n a l t e x -t u r e t a k e s p l a c e w h e n t h e m i p m a p i s f i rs tc r e a t e d . S e c o n d , s u b s e q u e n t f i l t e r i n g i sa p p r o x i m a t e d b y b l e n d i n g d i f f e r en t l e v e lso f t h e m i p m a p . T h i s m e a n s t h a t a l lf i l t e r s a r e a p p r o x i m a t e d b y l i n e a r l yi n t e r p o l a t i n g a s e t o f s q u a r e b o x f i l t e r s ,t h e s i d e s o f w h i c h a re p o w e r s - o f - t w o p i x -e l s i n l e n g t h . T h u s, m a p p i n g e n t a i l s af i x e d o v e r h e a d , w h i c h i s i n d e p e n d e n t o ft h e a r e a f i l t e r e d t o c o m p u t e a s a m p le .

    G

    F i g u r e ( i )S t r u c t u r e o f a C o l o r M i p M a p

    S m a l l e r a n d s m a l l e r i m a g e s d i m i n i s h i n t ot h e u p p e r l e f t c o r n e r o f t h e m a p . E a c h o ft h e i m a g e s i s a v e r a g e d d o w n f r o m i t sl a r g e r p r e d e c e s s o r .

    ( B e l o w : )M i p m a p s a r e i n d e x e d b y t h r e e c o o r d i n a t e s :U , V , a n d D . U a n d V a r e s p a t i a l c o o r d i -n a t e s o f t h e m a p ; D i s t h e v a r i a b l e u s e dt o i n d ex , a n d i n t e r p o l a t e b e t w e e n , t h ~d i f f e r e n t l e v e l s o f t h e p y r a m i d .

    V

    ~ L L

    V

    V

    F i g u r e ( I) i l l u s t r a t e s t h e m e m o r yo r g a n i z a t i o n o f a c o l o r m i p m a p . T h ei m a g e i s s e p a r a t e d i n t o i t s r e d , g r e e n ,a n d b l u e c o m p o n e n t s ( R, G , a n d B i n t h ed i a g r a m ) . S u c c e s s i v e l y f i l t e r e d a n d d o w n -s a m p l e d v e r s i o n s o f e a c h c o m p o n e n t a r ei n s t a n c e d a b o v e a n d t o t h e l e f t o f t h eo r i g i n a l s , i n a s e r i e s o f s m a l l e r a n ds m a l l e r i m a g e s, e a c h h a l f t h e l i n e a rd i m e n s i o n ( a n d a q u a r t e r t h e n u m b e r o f

  • 8/6/2019 Pyramid Para Metrics

    3/11

    s a m p l e s ) o f i t s p a r e n t . S u c c e s s i v e d i v i -s i o n s b y f o u r p a r t i t i o n t he f r a m e b u f f e re q u a l l y a m o n g t h e t h r e e c o m p o n e n t s , w i t h as i n g l e u n u s e d p i x e l r e m a i n i n g i n t h e u p pe rl e f t - h a n d c o r n e r .

    T h e c o n c e p t b e h i n d t h i s m e m o r y o r g a n -i z a t i o n i s t h a t c o r r e s p o n d i n g p o i n t s i nd i f f e r e n t p r e f i l t e r e d m ap s ca n b ea d d r e s s e d s i m p l y b y a b i n a r y s h i f t o f a n Ii n p u t U , V c o o r d i n a t e p a i r . S i n c e t h ef i l t e r i n g a n d s a m p l i n g a r e p e r f o r m e d a ts c a l e s w h i c h a r e p o w e r s o f t w o, i n d e x i n gt h e m a p s i s p o s s i b l e w i t h i n e x p e n s i v eb i n a r y s c a l i n g . I n a h a r d w a r e i m p l e m e n t a -t i o n , t h e a d d r e s s e s i n a l l t h e c o r r e s p o n d -i n g m a p s ( n o w s e p a r a t e m e m o r i e s ) w o u l d b ei n s t a n t l y a n d s i m u l t a n e o u s l y a va i l a b l ef r o m t h e U , V i n p u t .

    T h e r o u t i n e s f o r c r e a t i n g a n d a c c e s s -i n g m i p m a p s at N Y I T a r e b a s e d o n s i m p l eb o x ( F o u r ie r ) w i n d o w p r e f i l t e r i n g , b i l -i n e a r i n t e r p o l a t i o n o f p i x e l s w i t h i n e a c hm a p i n st a n c e , a n d l i n e a r i n t e r p o l a t i o nb e t w e e n t w o m a p s f o r e a c h v a l ue o f D (t h ep y r a m i d ' s v e r t i c a l c o o r d i n a t e ) . F o r e a c ho f t h e t h r e e c o m p o n e n t s o f a c o l o r m i pm a p , t h i s r e q u i r e s 8 p i x e l r e a d s a n d 7m u l t i p l i c a t i o n s . T h i s c h o i c e o f f i l t e r si s s t r i c t l y f o r t h e s a k e o f s p e e d . N o t et h a t t h e b i l i n e a r i n t e r p o l a t i o n o f p i x e lv a l u e s a t t h e e x t r e m e e d g e s o f e a c h m a pi n s t a n c e m u s t b e p e r f o r m e d w i t h p i x e l sf r o m t h e o p p o s i t e e d g e ( s ) o f t h a t m a p , f o rt e x t u r e w h i c h i s p e r i o d i c . F o r n o n -p e r i o d i c t e x t u r e, s c a l i n g o r c l i p p i n g o ft h e U , V c o o r d i n a t e s p r e v e n t s t h e i n t r u -s i o n of a n i n a p p r o p r i a t e m a p o r c o l o r c o m -p o n e n t i n t o t he i n t e r p o l a t i o n .

    T h e b o x ( F o u ri e r ) w i n d o w u s e d t oc r e a t e t h e m i p m a p s i l l u s t r a t e d h e r e , a n dt h e t e n t ( B a r t l et t ) w i n d o w u s e d t o i n t e r -p o l a t e t h e m , a r e f a r f r o m i d e a l ; y e t p r o b -a b l y t h e m o s t s e v e r e c o m p r o m i s e m a d e b ym i p f i l t e r i n g i s t h a t i t i s s y m m e t r i c a l .E a c h o f t h e p r e f i l t e r e d l e v e l s of t h e m a pi s f i l t e r e d e q u a l l y in X a n d Y . C h o o s i n ga v a l u e o f D t r a d e s o f f a l i a s i n g a g a i n s tb l u r r i n g , w h i c h b e c o m e s a t r i c k y p r o p o s i -t i o n a s a p i x e l ' s p r o j e c t i o n i n t h e t e x -t u r e m a p d e v i a t e s f r o m s y m m e t r y . H e c k b e r t[ 8 ] s u g g e s t s :

    d = max Ou 2+ v 2 _ / / ~ u ~ 2 + / a v ~ 2 ~w h e r e D i s p r o p o r t i o n a l t o t h e " d i a m e t e r "o f t h e a r e a i n t h e t e x t u r e t o b e f i l t e r e d ,a n d t h e p a r t i a l s o f U a n d V ( t h e t e x t u r e -m a p c o o r d i n a t e s ) w i t h r e s p e c t to X a n d Y( t he s c r e e n c o o r d i n a t e s ) c a n b e c a l c u l a t e df r o m t h e s u r f a c e p r o j e c t i o n .

    I l l u s t r a t i o n s o f m a p p i n g p e r f o r m e d b yt h e m i p t e c h n i q u e a r e t h e s u b j e c t o f F i g -u r e s ( 2 ) t h r o u g h ( i 0 ) . T h e N Y I T T e s t F r o gi n F i g u r e ( 2) i s m a g n i f i e d b y s i m p l e p o i n ts a m p l i n g in ( 3) , a n d b y i n t e r p o l a t i o n i n( 4) . T h e h a p l e s s a m p h i b i a n i s s i m i l a r l y

    F i g u r e ( 2 )M i p m a p o f t h e f l e x i b l e N Y I T T e s t F r o g .

    c o m p r e s s e d b y p o i n t s a m p l i n g i n (5 ) a n d b ym i p p i n g i n ( 6 ).

    T h e m o r e g e n e r a l a n d i n t e r e s t i n g c a s e- - c o n t i n u o u s l y v a r i a b l e u p s a m p l i n g a n dd o w n s a m p l i n g o f t h e o r i g i n a l t e x t u r e - - isi l l u s t r a t e d i n ( 7) o n a v a r i e t y o f s u r -f a c e s. S i n c e t h e s y m m e t r y o f m i p f i l t e r -i n g w o u l d b e e x p e c t e d t o s h o w u p b a d l yw h e n t e x t u r e i s c o m p r e s s e d i n o n l y o n ed i m e n s i o n , f i g u r e s ( 8 ) t h r o u g h ( i 0) a r e o fe s p e c i a l i n t e r e s t . T h e s e p i c t u r e s ,c r e a t e d b y E d E m s h w i l l e r a t N Y I T f o r h i sv i d e o t a p e , " S u n s t o n e , " w e r e m a p p e d u s i n gA l v y R a y S m i t h ' s T E X A S a n i m a t i o n p r og r a m ,w h i c h in t u r n u s e d M I P t o a n t i a l i a s t e x -t u r e . A s t h e p a n e l s r o t a t e e d g e - o n , t h et e x t u r e c o l l a p s e s t o a l i n e s m o o t h l y a n dw i t h o u t a p p a r e n t a r t i f a c t s .

    F i g u r e ( 7 )G e n e r al m a p p i n g: i n t e r p o l a t i o n a n d

    p y r a m i d a l c o m p r e s s i o n .

  • 8/6/2019 Pyramid Para Metrics

    4/11

    Figure (3)Upsampling the frog: magnif icatio n bypoint samplinq.

    Figure (4)Upsampl ing the frog: magni ficati on bybilinear interpolation.

    Figure (5)Downsamplin g the frog= compress ion by point sampling (detail, right).

    Figure (6)Downsampling: compressi on by pyramidal interpolation (detail, right).

    4

  • 8/6/2019 Pyramid Para Metrics

    5/11

    Figures (8)-(9)" S u n s t on e " b y E d E m s h w i l l er , s e g m e n t a n i m a t e d b y A l v y R a y S m i t hP y r a m i d a l p a r a m e t r i c t e x t u r e m a p p i n g o n p o ly g o n s .

  • 8/6/2019 Pyramid Para Metrics

    6/11

    F i g u r e s ( i 0 ) - ( i i )" S u n s t o ne " b y E d E m s hw i l l e r , s e g m e n t a n i m a t e d b y A l v y R a y S m i t hP y r a m i d a l p a r a m e t r i c t e x t u r e m a p p i n g o n p o l y g o ns .

  • 8/6/2019 Pyramid Para Metrics

    7/11

    4 . H i @ b l i g h t A n t i a l i a s i n @A s s m a l l o r h i g h l y c u r v e d o b j e c t sm o v e a c r o s s a r a s t e r , t h e i r s u r f a c e n o r -

    m a l s m a y b e a t e r r a t i c a l l y w i t h t h e s a m -p l i n g g r i d . T h i s c a u s e s t h e s h a d i n gv a l u e s t o f l a s h a n n o y i n g l y i n m o t i o ns e q u e n c e s , a s y m p t o m o f i l l u m i n a t i o na l i a s i n g . T h e s u r f a c e n o r m a l s e s s e n t i a l l yp o i n t - s a m p l e t h e i l l u m i n a t i o n f u n c t i o n .

    F i g u r e ( 12 ) i l l u s t r a t e s s a m p l e s o ft h e s u r f a c e n o r m a l s o f a s e t o f p a r a l l e lc y l i n d e r s . T h e c y l i n d e r s i n t h e d i a g r a ma r e d e p i c t e d a s i f f r o m t h e e d g e o f t h ei m a g e p l a n e ; t h e r e g u l a r l y - s p a c e d v e r t i c a ll i n e s e g m e n t s a r e t he s a m p l e s a l o n g a s in -g l e a x i s . T h e a r r o w s a t t h e s a m p l e p o i n t si n d i c a t e t h e d i r e c t i o n s o f t h e s u r f a c en o r m a l s . D e p e n d i n g o n t h e s h a d i n g f o r m u l ai n v o k ed , t h e r e m a y b e v e r y h i g h c o n t r a s tb e t w e e n s a m p l e s w h e r e t h e n o r m a l i s n e a r l yp a r a l l e l t o t h e s a m p l e a x i s, a n d s a m p l e sw h e r e t h e n o r m a l p o i n t s d i r e c t l y a t t h eo b s e r v e r ' s e y e .

    F i g u r e ( 1 2 )

    4)

    T h e s h a d i n g f u n c t i o n d e p e n d s n o t o n l yo n th e s h a p e o f t h e s u r f a c e , b u t i t s l i g h tr e f l e c t i o n p r o p e r t i e s ( c h a r a c t e r i ze d b yt h e s h a d i n g f o r m u la ) , t h e p o s i t i o n o f t h el i g h t s o u r c e, a n d t h e p o s i t i o n o f t h eo b s e r v e r ' s ey e . H a n r a h a n [ 7] e x p r e s s e s i ti n h o n e s t G r e e k :

    I x l y ~ ( E , N , L ) ~(u,v)0(x,y) d x d y

    w h e r e t h e n o r m a l , N , t h e l i g h t s o u r c e s , L ,a n d t he e y e , E , a re v e c t o r s w h i c h m a y e a c hb e f u n c t i o n s o f U a n d V , a n d t h e l i m i t s o fi n t e g r a t i o n a r e t h e X, Y b o u n d a r i e s o f t hep i x e l .

    F i g u r e ( 13 ) i l l u s t r a t e s h i g h l i g h ta l i a s i n g o n a p e r f e c t l y f l a t s u r f a c e . T h ev i e w i n g c o n v e n t i o n s o f t h e d i a g r a m a r e t h es a m e as i n F i g u r e ( 1 2 ). " L " i s t h e d i r e c -t i o n v e c t o r o f t h e l i g h t s o u r c e ; t h e s u r -f a c e i s a p o l y g o n a t a n a n g l e t o t h e i m a g ep l a n e ; t h e d o t t e d b u m p i s a g r a p h o f t h er e f l e c t e d l i g ht , c h a r a c t e r i s t i c o f a

    F i g u r e ( 1 3 )

    F i g u r e ( 1 4 )

    . - " , . .

    : i ' .i s

    /

    : i

    ' \ ! i~

    s p e c u l a r s u r f a c e r e f l e c t i o n f un c t i o n . T h eh i g h l i g h t i n d i c a t e d b y t h e b u m p f a l l se n t i r e l y b e t w e e n t h e s a m p l e s . ( N o te t h a tt h i s i s o n l y p o s s i b l e o n a f l a t s u r f a c e i fe i t h e r t h e e y e o r t h e l i g h t i s l o c a l , ap o i n t i n s p a c e r a t h e r t h a n s i m p l y a d i r e c -t i o n v e c t o r . S o m e b o r i n g s h a d i n g f o r m u l a ee x c l u d e t h e p o s s i b i l i t y o f h i g h l i g h ta l i a s i n g o n p o l y g o n s b y r e q u i r i n g a l l f la ts u r f a c e s t o b e f l a t i n s h a d i n g . )

    A f i r s t a t t e m p t t o o v e r c o m e t h e l i m i -t a t i o n s o f p o i n t - s a m p l i n g t h e i l l u m i n a t i o nf u n c t i o n i s t o i n t e g r a t e t h e f u n c t i o n o v e rt h e p r o j e c t e d a r e a r e p r e s e n t e d b y e a c hs a m p l e p o i n t . T h i s a p p r o a c h i s i l l u s -t r a t e d i n F i g u r e ( 1 4 ). T h e b r a c k e t s a te a c h s a m p l e r e p r e s e n t t h e a r e a o f t h e s u r -f a c e o v e r w h i c h t h e i l l u m i n a t i o n f u n c t i o ni s i n t e g r a t e d . T h i s p r o c e d u r e i s a n a l o -g o u s t o a r e a - a v e r a g i n g o f s a m p l e d e d g e s o rt e x t u r e [ 3 ] .

    I n o r d e r t o g e n e r a l i z e t h i s a p p r o a c ht o c u r v e d s u rf a c e s , t h e " s a m p l e i n t e r v a l "o v e r w h i c h i l l u m i n a t i o n i s i n t e g r a t e d m u s tb e m o d i f i e d a c c o r d i n g t o t h e l o c a l c u r v a -t u r e o f t h e s u r f a c e a t a s a m p l e . I n F i g -u r e ( 1 5) , t h e a r e a o f a s u r f a c er e p r e s e n t e d b y a p i x e l h a s b e e n p r o j e c t e do n t o a c u r v e d s u r f a c e . T h e s o l i d a n g l eo v e r w h i c h i l l u m i n a t i o n m u s t b e i n t e g r a t e di s a p p r o x i m a t e d b y t h e v o l u m e e n c l o s e d b yt h e n o r m a l s a t t h e p i x e l c o r n e r s . T h ed i s t r i b u t i o n o f l i g h t w i t h i n t h i s v o l u m ew i l l s u m t o a n e s t i m a t e o f t h e d i f f u s er e f l e c t i o n o v e r t h e p i x e l . I f t h e s u r f a c ee x h i b i t s u n d u l a t i o n s a t t h e p i x e l l e v el ,h o w e v e r , a l i a s i n g w i l l r es u l t .

    F i g u r e ( 1 5 )

  • 8/6/2019 Pyramid Para Metrics

    8/11

    F i g u r e ( 1 6 )M i c h a e l C h o u ( r ig h t ) p o s e s w i t h a n i m a -g i n a r y c o m p a n i o n . R e f l e c t a n c e m a p s c a ne n h a n c e t h e r e a l i s m o f s y n t h e t i c s h a d i n g .

    F i g u r e ( 1 7 )A p y r a m i d a l p a r a m e t r i c r e f l e c t a n c e m a p ,c o n t a i n i n g 9 l i g h t s o u r c e s . T h e r e g i o no u t s i d e t h e " s D h e r e " i s u n u s e d .

    W e m i g h t d i v i d e t h e s u r f a c e u p i n t or e g i o n s o f r e l a t i v e l y l o w c u r v a t u r e ( as i sd o n e i n s o m e p a t c h r e n d e r i n g a l g o r i t h m s ) ,a n d r e l y o n " e d g e a n t i a l i a s i n g " toi n t e g r at e t h e d i f f e r e n t s u r f a c e s w i t h i n ap i x e l . A l t e r n a t i v e l y , w e m a y d e v e l o p s o m em e c h a n i s m f o r l i m i t i n g t h e lo c a l c u r v a t u r eo f s u r f a c e s b e f o r e r e n d e r i n g . T h i s p o s s i -b i l i t y i s e x p l o r e d i n t h e n e x t s e c t i o n .

    I f w e r e p r e s e n t t h e i l l u m i n a t i o n o f as c e n e as a t w o - d i m e n s i o n a l m a p , h i g h l i g h t sc a n b e e f f e c t i v e l y a n t i a l i a s e d i n m u c h t h es a m e w a y a s t e x t u r e s . B l i n n a n d N e w e l l[ I] d e m o n s t r a t e d s p e c u la r r e f l e c t i o n u s i n ga n i l l u m i n a t i o n m a p . T h e m a p w a s a n i m a g eo f t h e e n v i r o n m e n t ( a s p h e r i c a l p r o j e c t i o no f t h e s c e n e , i n d e x e d b y t h e X a n d Y c o m -p o n e n t s o f th e s u r f a c e n o r m a l s) w h i c hc o u l d b e u s e d t o c a s t r e f l e c t i o n s o n t os p e c u l a r s u r f a c e s . T h e i m p r e s s i o n o f m i r -r o r e d f a c e t s a n d c h r o m e o b j e c t s w h i c h c a nb e a c h i e v e d w i t h t hi s m e t h o d i s s t r i k i n g ;F i g u r e ( 16 ) p r o v i d e s a n i l l u s t r a t i o n .R e f l e c t a n c e m a p p i n g i s n o t, h o w e v e r , a c c u -r a t e f o r l o c a l r e f l e c t i o n s . T o a c h i e v es i m i l a r r e s u l t s w i t h t h r e e d i m e n s i o n a la c c u r a c y r e q u i r e s r a y - t r a c i n g.

    A p y r a m i d a l p a r a m e t r i c i l l u m i n a t i o nm a p p e r m i t s c o n v e n i e n t a n t i a l i a s i n g o fh i g h l i g h t s a s l o n g a s a g o o d m e a s u r e o fl o c a l s u r f a c e c u r v a t u r e i s a v a i l a b l e . T h ev a l u e o f " D " u s e d t o i n d e x t h e m a p i s p r o -p o r t i o n a l t o t ~ e s o l i d a n g l e s u b t e n d e d b yt h e s u r f a c e o v e r t h e p i x e l b e i n g c o m p u t e d ;t h i s m a y b e e s t i m a t e d b y t h e s am e f o r m u l au s e d t o c o m p u t e D f o r o r d i n a r y t e x t u r em a p p i n g . N i n e l i g h t s o u r c e s o f v a r y i n gb r i g h t n e s s g l i n t r a g g e d l y f r o m t h e t e s to b j e c t i n F i g u r e ( 1 8) ; t h e r e f l e c t a n c e m a pi n F i g u r e ( 1 7) p r o v i d e d t h e i l l u m i n a t i o n .I n F i g u r e ( 19 ) , c o n v i n c i n g h i g h l l g h ta n t i a l i a s i n g r e s u l t s f r o m t h e f u l l p y r a m i -d a l p a r a m e t r i c t r e a t m e n t .

    F i g u r e ( 18) B e f o r e F i g u r e ( 19 ) A f t e r

  • 8/6/2019 Pyramid Para Metrics

    9/11

    32 x 32

    64 x 64F i g u r e s ( 20 -2 3) D i f f e r e n t r e s o l u t i o n m e s h e s .

    5 . L e v e l s o f D e t a i l in S u r f a c e R e p r e s e n -t a t i o n

    I n a d d i t i o n t o b a n d l i m i t i n g t e x t u r ea n d i l l u m i n a t i o n f u n c t i o n s f o r m a p p i n go n t o a s u r f a ce , p y r a m i d a l p a r a m e t r i c s m a yb e u s e d t o l i m i t t h e l e v e l o f d e t a i l w i t hw h i c h t h e s u r f a c e i t s e l f i s r e p r e s e n t e d .T h e g o a l i s t o r e p r e s e n t a n o b j e c t f o rg r a p h i c d i s p l a y a s e c o n o m i c a l l y a s i t sp r o j e c t i o n o n t h e i m a g e p l a n e p e r m i t s ,w i t h o u t b o i l i n g a n d s p a r k l i n g a l i a s i n ga r t i f a c t s a s t h e p r o j e c t i o n c h a n g e s .

    T h e e x p e n s e o f c o m p u t i n g a n d s h a d i n ge a c h p i x e l d o m i n a t e s t h e c o s t o f m a n ya l g o r i t h m s f o r r e n d e r i n g h i g h e r - o r d e r s u r -f a c es . F o r m e s h e s o f p o l y g o n s o r p a t c hc o n t r o l p o i n t s w h i c h p r o j e c t o n t o a s m a l lp o r t i o n o f t h e i m a g e, h o w e v e r , t h e v e r t e x( or c o n t r o l - p o i n t ) e x p e n s e d o m i n a t e s . I nt h e s e s i t u a t i o n s i t i s d e s i r a b l e t o r e d u c et h e n u m b e r o f p o i n t s u s e d t o r e p r e s e n t t h eo b j e c t .

    A p y r a m i d a l p a r a m e t r i c d a t a s t r u c t u r et h e c o m p o n e n t s o f w h i c h a r e s p a t i a l c o or -d i n a t e s ( t he X - Y - Z o f t h e v e r t i c e s o f ar e c t a n g u l a r m e s h , f or e x a m p l e , a s o p p o s e dt o t h e R - G - B o f a t e x t u r e o r i l l u m i n a t i o nm a p ) p r o v i d e s a c o n t i n u o u s l y - v a r i a b l e f i l-t e r e d i n s t a n c e o f t he s u r f a c e f o r s a m p l i n ga t a ny d e s i r e d d e g r e e o f r e s o l u t i o n .

    F i g u r e s (2 0 ) t h r o u g h ( 2 3) i l l u s t r a t ea s i m p l e s u r f a c e b a s e d o n a h u m a n f a c em o d e l d e v e l o p e d b y F r e d P a r k e a t t h eU n i v e r s i t y o f U t a h . A s t h e s a m p l i n g d e n -s i t y v a r i e s , s o d o e s t h e f i l t e r i n g o f t h es u r f a c e . T h e s e f a c e s a r e f i l t e r e d a n ds a m p l e d b y t h e s a m e m e t h o d s p r e v i o u s l yd i s c u s s e d f o r t e x t u r e a n d r e f l e c t a n c em a p s . P y r a m i d a l p a r a m e t r i c r e p r e s e n t a -t i o n s s u c h a s t h e s e a p p e a r p r o m i s i n g fo rr e d u c i n g a l i a s i n g e f f e c t s as w e l l as s y s -t e m a t i c a l l y s a m p l i n g v e r y l a r g e d a t a b a s e so v e r a w i d e r a n g e o f s c a l e s a n d v i e w i n ga n g l e s .

  • 8/6/2019 Pyramid Para Metrics

    10/11

    6 . C o n c l u s i o n sP y r a m i d a l d a t a s t r u c t u r e s a r e o f p r o -

    v e n v a l u e i n i m a g e a n a l y s i s a n d h a v ei n t e r e s t i n g a p p l i c a t i o n t o i m a g e b a n d w i d t hc o m p r e s s i o n a n d t r a n s m i s s i o n . " P y r a m i d a lp a r a m e t r i c s ," p y r a m i d a l d a t a s t r u c t u r e sw i t h i n t r a - a n d i n t e r - l e v e l i n t e r p o l a t i o n ,a r e h e r e p r o p o s e d f o r u s e i n i m a g e s y n -t h e s i s. B y c o n t i n u o u s l y v a r y i n g t h ed e t a i l w i t h w h i c h d a t a a r e r e s o l v e d ,p y r a m i d al p a r a m e t r i c s p r o v i d e e c o n o m i c a la p p r o x i m a t e s o l u t i o n s t o f i l t e r i n g p r o b -l e m s i n m a p p i n g t e x t u r e a n d i l l u m i n a t i o no n t o s u r f a ce s , a n d p r e l i m i n a r y e x p e r i m e n t ss u g g e s t t h e y m a y p r o v i d e f l e x i b l e s u r f a c er e p r e s e n t a t i o n s a s w e ll .

    7 . A c k n o w l e d g m e n t sI w o u l d l i ke t o a c k n o w l e d g e E d C a t -

    m u l l , t h e f i r s t ( t o m y k n o w l e d g e ) t o a p p l ym u l t i p l e p r e f i l t e r e d i m a g e s t o t e x t u r em a p p i n g : t h e m e t h o d w a s a p p l i e d t o t h eb i c u b i c p a t c h e s i n h i s t h e s is , a l t h o u g h i tw a s n o t d e s c r i b e d . C r e d i t i s a l s o d u e T o mD u ff , w h o w r o t e b o t h r e c u r s i v e a n d s c a n -o r d e r r o u t i n e s f o r c r e a t i n g m i p m a p s w h i c hp r e s e r v e d n u m e r i c a l p r e c i s i o n o v e r a l l m a pi n s t a n c e s ; D i c k L u n d in , w h o w r o t e t h ef i r st a s s e m b l y - c o d e d m i p m a p a c c e s s i n gr o u t i n e s ; E p h r a i m C o h e n, w h o w r o t e t h es e c o n d; R i c k Ac e , w h o t r a n s l a t e d E p h r a i m ' sP D P - I I v e r s i o n s f o r t h e V A X a s s e m b l e r ;P a u l H e c k b e r t , f o r r e f i n i n g a n d s p e e d i n gu p b o t h c r e a t i o n a n d a c c e s s i n g r o u t i n e s ,a n d i n v e s t i g a t i n g v a r i o u s e s t i m a t e s o f" D" ; M i c h a e l C h o u, f o r i m p l e m e n t i n gh i g h l i g h t a n t i a l i a s i n g a n d h i g h - r e s o l u t i o nr e f l e c t a n c e m a p p i n g o n q u a d r i c s u r f a c e s .

    I o w e s p e c i a l t h a n k s t o J u l e sB l o o m e n t h a l , M i c h a e l C h o u, P a t H a n r a h a n ,a n d P au l H e c k b e r t f o r c r i t i c a l r e a d i n g a n dn u m e r o u s h e l p f u l s u g g e s t i o n s i n t h e c o u r s eo f p r e p a r i n g t h i s t e x t . P h o t o g r a p h i c s u p -p o r t w a s p r o v i d e d b y M i c h a e l L e h m a n .

    10

  • 8/6/2019 Pyramid Para Metrics

    11/11

    8 . R e f e r e n c e s[ 1 ] B l i n n , J . , a n d N e w e l l , M . , " T e x t u r ea n d R e f l e c t i o n o n C o m p u t e r G e n e r a t e dImages ," CACM, Vol. 19, #i0, Oct.1976, pp. 542-547.

    E l e c t r i c a l a n d S y s t e m s E n g i n e e r i n gD e pt . , R e n s s e l a e r P o l y t e c h n i c I n s t i -t u t e , O c t o b e r 1 980.

    [ 2] B u i - T u o n g P h o ng , " I l l u m i n a t i o n f o rC o m p u t e r G e n e r a t e d P i c t u r e s , " P h D.d i s s e r t a t i o n , D e p a r t m e n t o f C o m p u t e rS c i e n c e, U n i v e r s i t y o f U t a h, D e c e m b e r1978.

    [3 ] C r o w , F . C . , " T h e A l i a s i n g P r o b l e m i nC o m p u t e r S y n t h e s i z e d S h a d e d I m a g e s ,"P h D . d i s s e r t a t i o n , D e p a r t m e n t o f C o m-p u t e r S c i e nc e , U n i v e r s i t y o f U t a h,T e c h . R e p o r t U T E C - C S c - 7 6 - 0 1 5 , M a r c h1976.

    [4] Dungan, W., Stenger , A., and Sutty,G ., " T e x t u r e T i l e C o n s i d e r a t i o n s f o rR a s t e r G r a p h i c s, " S I G G R A P H 1 9 7 8P r o c e e d i n g s , V o l . 1 2, # 3, A u g u s t1978.

    [ 5 ] E a s t m a n , C h a r l e s M . , " R e p r e s e n t a t i o n sf o r S p a c e P l a n n i n g , " C A C M , V o l . 1 3,#4, April 1970.

    [ 6] Feibus h, E.A., Levoy, M., and Cook,R . L. , " S y n t h e t i c T e x t u r i n g U s i n gD i g i t a l F i l t e r s , " C o m p u t e r G r a p h i c s ,Vol. 14, July, 1980.

    [ 7 ] Ha n r a h a n , P at , p r i v a t e c o m m u n i c a t i o n ,1983.

    [8] He c k b e r t , P a u l , " T e x t u r e M a p p i n gP o l y g o n s i n P e r s p e c t i v e , " N Y I T C o m -p u t e r G r a p h i c s L a b T e c h . M e m o # 13 ,April, 1983.

    [ 1 2 ] T a n i m o t o , S . L. , a n d K l i n g e r , A . ,S t r u c t u r e d C o m p u t e r V i s i o n , A c a d e m i cPress, N ew York, 1980.

    [ 1 3 ] T a n i m o t o , S . L ., a n d P a v l i d i s , T . , " AH i e r a r c h i c a l D a t a S t r u c t u r e fo r P i c -t u r e P r o c e s s i n g , " C o m p u t e r G r a p h i c sa n d I m a g e P r o c e s s i n g , V o l . 4 , # 2,J u n e 1 9 7 5 .

    [ 1 4 ] T a n i m o t o , S . L . , " I m a g e P r o c e s s i n gw i t h G r o s s I n f o r m a t i o n F i r s t ," C o m -p u t e r G r a p h i c s a n d I m a g e P r o c e s s i n g9, 1979.

    [ 1 5 ] W a r n o c k , J .E . , " A Hi d d e n - L i n e A l g o -r i t h m f o r H a l f t o n e P i c t u r e R ep r e s e n -t a t i o n , " D e p a r t m e n t o f C o m p u t e r S c i -e n c e , U n i v e r s i t y o f U t a h , T R 4 - 1 5 ,1969.

    [ 1 6 ] W i l l i a m s , L ., " P y r a m i d a lP a r a m e t r i c s , " S I G G R A P H t u t o r i a ln o t e s, " A d v a n c e d I m a g e S y n t h e s i s , "1981.

    [17] Yau, M.M., and Srihar i, S.N., "Recu r-s i v e G e n e r a t i o n o f H i e r a r c h i c a l D a t aS t r u c t u r e s f o r M u l t i d i m e n s i o n a l D i g i -t a l I m a g e s, " P r o c e e d i n g s o f t h e I E E EC o m p u t e r S o c i e t y C o n f e r e n c e o n P a t -t e r n R e c o g n i t i o n a n d I m a g e P r o c e s s -ing, Aug ust 1981.

    [9 ] K l i n g e r , A . , a n d D y e r , C . R . , " E x p e r i -m e n t s o n P i c t u r e R e p r e s e n t a t i o n U s i n gR e g u l a r D e c o m p o s i t i o n , " C o m p u t e rG r a p h i c s a n d I m a g e P r o c e s s i n g , # 5,March, 1976.

    [ i 0] K n o w l t o n , K. , " P r o g r e s s i v e T r a n s m i s -s i o n o f G r a y - S c a l e a n d B i n a r y P i c -t u r e s b y S i m pl e , E f f i c i e n t , a n d L o s s -l e s s E n c o d i n g S c h e m e s , " P r o c e e d i n g sof the IEEE, Vol. 68, #7, July 1980,pp. 885-896.

    [ i i ] M e a g h e r , D . , " O c t r e e E n c o d i n g : A N e wT e c h n i q u e f o r t h e R e p r e s e n t a t i o n ,M a n i p u l a t i o n , a n d D i s p l a y o f A r b i -t r a r y 3 D O b j e c t s b y C o m p u t e r , " I P L-T R -80 - 1 1 1 , I m a g e P r o c e s s i n g L a b ,

    11