תונומתו רוביד תותוא לש · : 1960 ב - Joel Max ידי לע גצוה הנודנה היעבל ןורתפ .רתוי “Quantizing for Minimum Distortion”, IRE Trans.,

לימודי מוסמכים - הנדסת חשמל מלאך קידוד ספרתי של אותות דיבור ותמונות. ד ז" אביב תשס 048955

1 - 1 –' עמ

מכון טכנולוגי לישראל- הטכניון Technion Israel Institute of Technology

הפקולטה להנדסת חשמל

לימודי מוסמכים

048955

מלאך. ד

ז"שסאביב ת, חיפה

כל הזכויות שמורות ©

קובץ שקפים להרצאות

דיבור ותמונותקידוד ספרתי של אותות Digital Coding of Speech and Images


modems)פיתוח (התאמה לערוצים אנלוגיים •

שגיאות ערוץ •

• הרחבת רוחב הסרט צורך בדחיסה

בעיות2. • )הצפנה, ערבול(אבטחת פרטיות

• בערוץ יחיד) ממספר מקורות(העברת נתונים ואותות

• )טכנולוגיה( רמחי/אמינות

• חסינות לרעש

יתרונות 1.

תמסורת ספרתית

– תמסורת ספרתית יעילהDSP ושיתוף זמנים) , מחשב(עיבוד מתוחכם –

– הצגה חוזרת ללא פגיעה באיכות/השמעה

– אפשרויות אכסון נוחות ויעילות

יתרונות הייצוג הספרתי

.1 מבוא

1 - 2 –' עמ


מבנה כללי של מערכת תמסורת ספרתית

מקורSource

יעדDestination

מקודד מקורSource Encoder

מקודד ערוץChannel Encoder

ערוץChannel

מפענח ערוץChannel Decoder

מפענח מקורSource Decoder

הבסיס לדחיסת מידע באותות מולטימדיה(Redundancy) יתירות1.

:זמנית/ יתירות הנובעת מתלות מרחבית -

.תאי תמונה עוקבים/ תלות בין דגימות •

(Image)בלוקים סמוכים ) / שמע(תלות בין קטעים •

(Video).או בין מסגרות סמוכות

יתירות סטטיסטית-

האות או רמות אמפליטודותפילוג בלתי אחיד של •

.האפור או של פרמטרים מייצגים

Perceptual( אי רלוונטיות למערכת הקליטה האנושית2.

Coding(

.רוחב סרט מוגבל של מערכות השמיעה והראיה-

.רזולוציה ורגישות מוגבלות-

.(Masking)מיסוך -

1 - 3 –' עמ


1 - 4 –' עמ


1 - 4 –' עמ


CSF – Contrast Sensitivity Function

1 - 5 –' עמ


(SIPL) המעבדה לעיבוד אותות – השקף באדיבותו של יאיר משה

1 - 6 –' עמ


(SIPL) המעבדה לעיבוד אותות –השקף באדיבותו של יאיר משה

1 - 7 –' עמ


(Lossy)

סינון • המרה•הדגשה/ שיפור•

(Enhancement/Pre-emphasis)

שינוי קצב • שינוי סריקה•מישוריהפרדת•

צבע

…

אבני בנין של מערכות קידוד מקור

1 - 8 –' עמ

חיזוי•(Prediction)

) קבוע או אדפטיבי( התמרה •

(Transform) - KLT- DCT- DFT- DWT

…

פירמידליייצוג •) תמונות (תדר הפרדה לפסי•

(Filter-banks)- QMF - CQF- DSTFT- Wavelets

סקלרית • בבלוקים •

- VQ- Tree- Trellis- MQ

פרדיקטיבית•) בחוג סגור ( אדפטיבית• של אות או •

רמטריפשל מודל

הקצאת () סיביות דינמית

• Huffman• Arithmetic• Run-Length• (Ziv-Lempel)

…

אותמקור

למקודדערוץ

עיבוד קדםPre-Proc.

קורלציה-דהDecorrelation

קוונטיזציהQuantization

קידוד אנטרופיהEntropy Coding


דוגמאות לצרכים ולמערכות קידוד

אותות דיבור ושמע. א (Telephony)שימושי טלפוניה .1

Hz 200-3200: רוחב סרט האות - kHz 8: קצב דגימה -

לדגםbit 8: ייצוג- kbps 64קצב מקור

(PCM – ITU G.711 Std.)

kbps 8 16 32 מערכות כפל דיבור •… Store & Forward 32 16 מערכות • 13 6.5 5.3 kbps (GSM) סלולרי טלפון • Low Delay 16 kbps) (לווינים תמסורת •

) G.728 LD-CELP ITU - ( (MBE / IMBE / AMBE - INMARSAT) 16 8 3.6 kbps

AMR (multirate): 12.2, 10.2, … 5.15, 4.75 kbps (8 rates)

(Broadcasting)שימושי שידור . 2kHz 7: רוחב סרט- kHz 16: קצב דגימה- לדגם) לוגריתמי (bit 8: ייצוג-

128 kbps

ITU – G.722: 64, 56, 48 kbpsITU – G.722.1: 32, 24 kbpsAMR-WB (G.722.2) 23.85, 19.85, …,8.85, 6.6 kbps (9 rates)

1 - 9 –' עמ


(שימושים צבאיים . 3

1 - 10 –' עמ

USA- DOD(

LPC-10E (FS-1015) 2.4 kbpsCELP (FS-1016) 4.8 kbpsMELP / MELPe (NATO STANG 4951) 2.4 / 1.2 kbps / 600 bps

(CD-ROM Quality Audio) קידוד אותות שמע. 4

kHz 20: רוחב סרט האות - kHz44: קצב דגימה-

לדגםbit 16: ייצוג- Single channel: 704 kbps

Stereo: 1.4 Mbps

ISO – MPEG-1 -Audio: 128/64 kbps – single channel (MP3)– Advanced Audio Coder (AAC) – down to 16 kbps– MPEG-4 – Audio: Twin-VQ, HILN: 16 – 8 kbps– MPEG-4 – HVXC (speech): 4 – 2 kbps


איכותלעומתקצבים–דיבורלקידודשיטות

56 9.6 4.8 2.4 1.2

kbps

64 32 16 8 4 2 0.05

PCMADPCM

ADM

MPE-LP

ATCAPC

CELP (VSELP; ACELP)

IMBE MELP/MELPe

SBC

Vocoders (LPC)TTS

Waveform Coders HybridCoders

Vocoders

גלצורת“מקודדי מקודדיםהיברידיים

“ווקודרים

AMR

ective: Speech

1 - 11 –' עמ

ObjFor : PESQ - Perceptual Evaluation of Speech Quality.

AudioFor : PEAQ – Perceptual Evaluation of Audio Quality. VideoFor : VQM – Video Quality Measure.

ality EvaluationQuSubjective: MOS – Mean Opinion Score


מקרא

DOD – Department of Defense ITU – International Telecommunication UnionISO – International Standards OrganizationJPEG – Joint Picture Expert Group MPEG – Motion Picture Expert Group

ADM – Adaptive Delta ModulationADPCM – Adaptive Differential PCMAMR – Adaptive Multi-RateAMR-WB – Wide-band AMRAPC – Adaptive Predictive CodingATC – Adaptive Transform CodingCELP – Code Excited Linear PredictionLPC – Linear Prediction CoderMBE – Multiband ExcitationAMBE – Advanced MBEIMBE – Improved MBE; MELP – Mixed Excitation Linear PredictionMELPe – Enhanced MELPMPE-LP – Multipulse Excitation Linear PredictionPCM – Pulse Code ModulationSBC – Subband Coding

1 - 12 –' עמ


R. Cox: IEEE Comm. Magazine, Sept. 1997, pp.40-47 :מתוך המאמר

1 - 13 –' עמ


1 - 14 –' עמ


. ב וידאו / תמונות( Still Images

1 - 15 –' עמ

( תמונות בודדות .1

:( R,G,B ( תמונת צבע - bit/pixel, 512 5123 8 ××786 Kbytes ⇐

- (JPEG 1( דחיסה טיפוסית 0.5 bit/pixel÷16 32

יחס דחיסהKbytes÷ ⇐

24 48 :÷ ון לשימושי אחס

(Image Sequences; Video )רצף תמונות .2

Fr/sec )25 (דגימת תמונות טלביזיה צבעוניות - – PAL

( ) ( )( ) ( ) ( )

Luminance : 25 576 720 8166

Chrominance , :25 2 576 360 8 Active Orea

YMbps

U V

⎫× × × ⎪⇒⎬× × × × ⎪⎭

- CCIR-601 – Digital TV (206 Mbps) 140; 30-45 Mbps →

- ITU – H.120/H.130 Video Conf. 2.048-1.544 Mbps

H.261/H.263 Video Conf. /Video Phone: ( )× 64 K bps = 1, 2 , ..., 30p p

- ISO/MPEG – Storage on Digital Media of Motion Pict. MPEG-1 1.15 Mbps ( )288 360×

MPEG-2 4-9 Mbps ( )576 720× MPEG-4 / H.264 (10Kbps – 1.5Mbps) Digital HDTV > 1Gbps Source → > 20Mbps Coded

(720x1280; 1080x1920)


1 - 16 –' עמ

1 Aspect ratio: 16:9


MEM

ME

1 - 17 –' עמ


מקודדי תמונות – שיטות וקצבים

Recent Developments

8 5 3 2 1 0.8 0.5 0.3 0.2 0.1

PCM

DPCM

Transform (DCT)

Wavelet T.C.

Inter-Frame (Video)

= Adaptive

bits/pixel

1. Wavelet Transform Coding - JPEG-2000.

2. Advanced Video Coder - H.264.

3. Wavelet Video Coders (No standard yet).

4. Transrating and Transcoding (in Compressed Domain). 5. Development of Video Quality Measures (VQM).

1 - 18 –' עמ

לימודי מוסמכים - הנדסת חשמל קידוד ספרתי של אותות דיבור ותמונותמלאך . ד ז" אביב תשס 048955

IWaveform Coding (" צורת גל"קידוד :

) –חלק

מקורות ספרות

ספרי לימוד

1. A. Gersho and R.M. Gray, Vector Quantization and Signal Compression, Kluwer, 1991.

2. N.S. Jayant and P. Noll, Digital Coding of Waveforms,

Prentice-Hall, 1984.

3. A.K. Jain, Fundamentals of Digital Image Processing, Prentice-Hall, 1989.

4. M. Vetterli & J. Kovacevic, Wavelets and Subband Coding, Kluwer, 1995.

ספרי עזר

ndA1. K. Sayood, Introduction to Data Compression, 2 ed.,

Academic Press, 2000.

A2. D. Salomon, Data Compression: the complete reference, 2

nd ed., Springer-Verlag, 2000.

1 2 - - 'עמ


קוונטיזציה סקלרית 2.

2.1 מבוא

שיכולים גם (מטרת הקוונטייזר היא לתרגם ערכי דגמים בכניסתו

שהם בעקרון רציפים , )להיות מקדמי התמרה או פרמטרי מודל

למספר , )או בעלי מספר גדול מאוד של רמות ייצוג(באמפליטודה

אותן ניתן לייצג במספר –קטן של רמות אמפליטודה אפשריות

בקורס הקודם דנו בהשפעת אורך מילה סופי . קטן של סיביות

נדגים כאן . אחידיםבקוונטייזרים , כלומר. במסננים ספרתיים

.קוונטייזרים אחידים סימטריים

.

x

x x

Xmax

-Xmax

y=Q(x)

e=Q(x)-x e=Q(x)-x

Granular Region Granular Region Overload Region

−Δ

Δ

/ 2Δ / 2−Δ

2− Δ 3 / 2− Δ

/ 2Δ / 2Δ

Midtread Quantizer

x-Xmax

Xmax

N=4 (levels)

Δ

−Δ

y=Q(x)

N=5 (levels)

y=Q(x)

Midrise Quantizer

2 2 - - 'עמ


/maxLoading factor X

:מגדירים, כזכור

= γ = xσ

כ להזניח את שגיאת "ניתן בד, ) מספיק גדולעבור

Oה L גרגירית(" ביחס לשגיאה הגרנולרית.("

γ )3 4γ > ÷- . .

ניתן להשתמש במודל , N<<1 -ובהנחה ש L.O.בהזנחת שגיאות

כניסה אקראי בעל פילוג סגולי עבור אות (פשוט לרעש הקוונטיזציה

( )Xp xx σ ). וסטית תקן

2212eΔσ =

).O.Lבהזנחת ( e

pe(e)

0 / 2Δ / 2−Δ

1Δ

[ ]2

10 210log x

eSNR dBσ

σ

:ובהצגת

N( Δ: הרמות' מס( = 2B=max max2 22B

X XN

=

max X :וכן = γ xσ

B2

10 23 210logSNRγ⋅

=

O.L.( [dBבהזנחת (2

106 10log 3SNR B= − γ ]

3 6 4.77 : 4 6 7.2SNR B dB SNR B dB= ⇒ = − = ⇒ = −γ γ :למשל

3 2 - - 'עמ


לכל סיבית - ב -ומקבלים את התוצאה הידועה של שיפור ה

, עם הקטנת -י לעיל משתפר העל פי הביטו. שמוסיפים לייצוג

O-אך יש לזכור שאז שגיאת ה Lעולה :

SNR6dB

SNRγ

. .

רעש גרגרי

רויה

פרושה הקטנתγהגדלת

בתחום, הפילוג" זנבות"

. ולכן הקטנת השגיאה.O.L -ה

( O.L.= Overload)

≈ ÷3 4 עבור אות גאוסי

γהקטנת פרושה כאן שבתחום

X(מצומצם יותר )קטן יותרmax

2B יש מוי ולכן השגיאהי רמות כ

O.L. יותר קטנה ללא .

4 2 - - 'עמ


תכן קוונטייזר אופטימלי לפילוג נתון 2.2

) Max Quantizer–yod Ll: or Optimized Quantizer–PDF (

במובן של (נדון כעת בבעיה של מציאת הקוונטייזר האופטימלי

נתון ומספר ) PDF(לפילוג סגולי ) מינימיזציה של שגיאת הקוונטיזציה

N -ללא הזנחת שגיאת ה, הפעם ( -רמות רצוי

( )

Overload .(

PDF הרי שגם , אחידאינו) (ברור למדי שאם הפילוג הסגולי

שכן נצפה לקבל צפיפות , הקוונטייזר האופטימלי צפוי שלא יהיה אחיד

גדולה יותר של רמות קוונטיזציה בתחומי האמפליטודה השכיחים

: 1960 - בJoel Maxפתרון לבעיה הנדונה הוצג על ידי . יותר

“Quantizing for Minimum Distortion”, IRE Trans., Information Theory, March 1960, pp. 7-12.

Lloyd אך התוצאה לא ) 1957 -ב( פתר בעיה זו קודם לכן -מסתבר ש

הצגה מחודשת ניתן למצוא בקובץ (התפרסמה ברבים באותה עת

).IEEE Trans. Infor. Theory, March 82 -מאמרים על קוונטיזציה ב

Max עם שינוי מה הפתרון שיוצג להלן מתבסס בעיקרו על גישתו של

): בסימונים

( ,(- לנגדיר מדד עוות בין :y y Q xd x x=

: בועיתיהמקרה השכיח הוא כמובן השגיאה הר

( ) ( ) (2,x y x y squared error= − −

( )( ){ } ( )( ) ( ), , XD E d X Q X d x Q x p x d∞

)d

: העוות הממוצע

x

−∞

= = ∫

5 2 - - 'עמ


k

x באינטרוול כל ערכי הקוונטיזציה מתבצעת על ידי כך שממפים את

y : - )ערך מייצג(לערך נתון , על ציר הממשייםמסוים Ik

I1 I2 I3 I4 IN-1 IN

Decision Levels( רמות החלטה )

:כלומר

( ) ( ]1ky Q x x I x x += = ∈ =

D

( ) ( )1

1, .X

xiN

ii xi

D d x y p+

=

=∑ ∫

,k k ky if

: על ידי הסכום ניתן לכן לבטא את

x dx

} רמות ההחלטהלמציאת ערכי } רמות הייצוג ו{ } 2N

i ix =1N

i iy =

DD ביחס לערכים הללו -נגזור את הבטוי ל, יהיה מינימלי -כך ש

: לאופטימליותתנאים הכרחייםנקבל כך . ונשווה לאפס

0 , 2,3,4,...,

0 , 1,2,3,...,

j

i

D j Nx

D i Ny

∂= =

∂

∂= =

∂

:מקבלים לפיכך

( ) ( ) ( ) ( )1

1

1

, ,

2,3,...,

X X

x xj j

j jj j x xj j

D d x y p x dx d x y p x dxx x

j N

+

−

−

⎡ ⎤⎢ ⎥∂ ∂

= +⎢ ⎥∂ ∂ ⎢ ⎥⎣ ⎦

=

∫ ∫ 0=

x1= - ∞ x2 x3 x x4 5 · · · · · · · · · · · · · · · · · · xN-1 · · xN xN +1= ∞

6 2 - - 'עמ


לגבי גזירה לפי גבולות )כלל לייבניץ (נשתמש בתוצאה הידועה

:ינטגרלא

( ) ( ) ( )( )

( )1

0

011 0

u

u

dud dug x dx g u g ud d

= −∫ d

α

α α α

α

, ולפיכך

( ) ( ) ( ) ( )1, ,X Xj j j j j jj

D d x y p x d x y p xx −∂

= −∂

0=

התנאי ההכרחינקבל את , הרלוונטיםלכל , -ובהנחה ש

:")השכן הקרוב"כתנאי הידוע (

( ) 0X jp x ≠j

( ) ( )1, , , 2,3,..., (1)j j j jd x y d x y j N−= =

dאם , כלומר x יימצא -הרי ש, היא מונוטונית עולה

- לבאמצע בין

( ), y- בx y−ix

|× × jy1

1

1

:i j

j j I j

y y

I xy

−

−

j

j−

): רלוונטילכל (עתה נמצא תנאי הכרחי נוסף

): חהשכי, כאמור, אך(כעת את המקרה הספציפי נבחן

( ) ( )1

, 0 , 1,2,..., (2)X

j

j

x

jj jx

D d x y p x dx j Ny y

+∂ ∂

= = =∂ ∂∫

( ) ( )2 2, y x y e= − = ( d x squared-error –שגיאה רבועית (

: { }2D E e= MSE -כך שהעוות הממוצע הוא ה

7 2 - - 'עמ


( )2 21 | | |j j j jx y x y −− = − × ×

): 1(ונקבל מתוך

( )1

1 1

j j

j j

y y

x x

−

jx− +

, ולכן

1 , 2,3,..., (1)2

j jj

y yx j N− ′

+= =

1 1, Nx x

= ∞−+ : כזכור( = ∞

( ) ( ) ( )1

2 0X

j

j

x

jx

x y p x dx+

′− − =∫

( )

( )

(

MSE :( מתוך)(יתקבל כאן ) 2

2

:ולפיכך

1

1, 1,2,..., (2)

X

X

j

j

j

j

x

xj x

x

xp x dx

y j N

p x dx

+

+′′= =

∫

∫

Centroid Condition מכיוון ) (כתנאי הצנטרואידתנאי הכרחי זה ידוע

)-שהביטוי ב 2 : הוא למעשה( ′′

} )תוחלת מותנית( }y j jE X X I= ∈

) . באינטרוול של Centroid -וזהו ה )Xp xI j

8 2 - - 'עמ


jx באמצע בין jy1 - לjy −

Centroid

yj-1

xj-1 xj yj xj+1

Ij

( )X

p x

x

ניתן אולם . לאופטימליותתנאים הכרחייםל הם "התנאים הנ, כאמור

) הוא loלהראות שאם )g p x∩ Concave) כלומר , )קונבקסי

( )2

2 log 0p xx∂

< ∂

כלומר מבטיחים , תנאים מספיקיםל הם גם "אזי התנאים הנ

.אופטימום גלובלי

;Gaussian ;: תכונה זו מתקיימת למשל עבור הפילוגים הבאים

onentialExp⎜ ⎟ Rayleigh ; Laplacian; 2 2/ 2

2 , 0 ;xx e xσ

σ−⎛ ⎞≥

⎝ ⎠

ללא , ל" יותר למציאת התנאים ההכרחיים הנתגישה כללינציג כעת

גישה זו תשרת אותנו גם בנושא של . צורך בביצוע פעולות גזירה

Gersho & Grayקוונטיזציה וקטורית והיא לקוחה מספרם של

Vector Quantization & Signal Compression, Kluwer, 1992 ,

.6פרק

9 2 - - 'עמ


: םהגישה היא לבחון בנפרד את שני המקרים הבאי

מציאת סט רמות 1

} 2

Nj{x נתונות רמות הייצוגכאשר , . ההחלטה

j=

{ } 1

Njy

j= -הדבר שקול למציאת ה. (לקבלת עיוות ממוצע מינימלי,

). - האופטימלי כאשר נתון ה

נתונות רמות ההחלטהכאשר , מציאת סט רמות הייצוג2

Encoder Decoder

, כלומר, .

1,2,3,..., , jjם האינטרוולים נתוני N=) . הדבר שקול למציאת

). - האופטימלי כאשר נתון ה -ה

הערה

I

Encoder Decoder

) " ). חלוקה"ל סט רמות ההחלטה קרוי " בספר הנ:

תנאים ברור שהתנאים שיימצאו עבור שני המקרים לעיל יהוו

Partition

-ציאת המ( לאופטימליות עבור המקרה הכללי הכרחיים

). שיביא למינימיזציה של העוות הממוצע-וה

: ל"נבחן כעת את התנאים המתקבלים עבור שני המקרים הנ

נתונות.1

Encoder

Decoder

} רמות הייצוג }1N

y kC y=") ספר הקוד("

מכיוון

:כלומר

הרי שתנאי הכרחי jI באינטרוולx מייצג את כל ערכי jy - ש

Ixבקביעת קצות האינטרוול(לאופטימליות הוא שכל ערכי) j בתוך

. מייצג אחרy מאשר לכל ערך yיותר" קרובים"האינטרוול

( )

j - ל

( ){ }: , , ;j j kI x d x y d x y k⊂ ≤ ∀

תנאי השכן הקרוב זהו לפיכך

j≠

Nearest Neighbor Condition) (

).תנאי הכרחי(

10 2 - - 'עמ


, ומכאן

( )

( ) ( ), ,j j kQ x y only if d x y d x y k= ≤

למשל , על קצות האינטרוול לפי חוקיות נתונהxנהוג לשייך נקודה

j≠∀

( I j

(( ( )) ,( , מתקיים אז לכן mink Y

ky Cd x Q x d x y

∈=.

הוא גם ) .Nearest Neighbor Cond(נראה כעת שתנאי השכן הקרוב

,

: YC לאופטימליות כשנתון סט רמות הייצוג תנאי מספיק

( ) ( ) ( ) ( )⎡ ⎤( ), min ,X X

k Y

ky C

D d x Q x p x dx d x y p x∈

= ≥ ⎣ ⎦∫ ∫

)מוגשם על ידי) אגף ימין (Dמכיוון שהחסם התחתון ו )Q x

)Encoding(י תנאי השכן הקרוב " עפ)כשנתוןYC( , הרי שזהו גם תנאי

YC .(

נשים לב שמימוש תנאי השכן הקרוב אינו כרוך בידיעת פונקצית

X

dx

ביצוע על

תון כשנDמינימום (מספיק לאופטימליות

)הפילוג )p x .עבור מדד עוות , כזכור( ),d x y שהוא מונוטוני עולה

jy . jy-ב jI jx של האינטרוול x y הקצה - ל−1 הוא באמצע בין −

{ } 2N

k kx ההחלטה נתונות רמות .2=

, ( )1 1, Nx x += −∞ = ∞

}רמות אלו קובעות את } 1N

k kI האינטרוולים

= ")החלוקה" (

דון תחילה

( )MSED נ :בעוות רבועי −

11 2 - - 'עמ


( ) ( )2

1X

k

N

kk I

D x y p=

= −∑ ∫

Dמינימיזציה

x dx

y לפי מסוים דורשת התייחסות לאיבר אחד בלבד jשל

( ) ( ) ( ) (

( )

: בסכום

)2 2

2

|X X

j

j j jI

j j j

x y p x dx P x y p x x I d

P E X y X I

∞

j x−∞

− = −

⎧ ⎫= − ∈⎨ ⎬

⎩ ⎭

∫ ∫

)כאשר )X

j

jI

∈

, P p x d= x∫.

jשל שמביא למינימום את האיבר yמתורת השערוך ידוע שהערך

):פתרון יחיד ( הואD -הנדון ב

{ }j jy E X X=

שזהו הצנטרואיד

I∈

I X של באינטרוולj ,כפי שקבלנו קודם .

יחיד הצנטרואיד הוא ל "נשים לב שמכיוון שהפתרון הנ הרי שתנאי

רמות ההחלטה נתונות לאופטימליות עבור תנאי הכרחי ומספיק

)Encoderועוות רבועי) נתון.

:די עוות אחריםלמדנכליל כעת את התוצאה

12 2 - - 'עמ


צנטרואיד מוכלל נגדיר

) Generalized Centroid(של משתנה אקראי X

I באינטרוול על ידיk

( ) ( ){ }X Iarg min ,k ky

Cent I E d X y= ∈

} עבור סט אינטרוולים נתון :טענה } 1N

k kI ,רמות הייצוג

= המביאות

)ד עוות נתון (Dלמינימום את העוות הממוצע מדעבור ),d x y (

: נתונות על ידי

( ) , 1,2,...,j jy Cent I j N= =

:הוכחה

( )( ){ } { )( }( ){ }

, ,

min ,

j jj

j

j jyj

E d X Q X P E d X y X I

P E d X y X I

= ∈

≥ ∈

∑

∑

מתקבל בשוויון כאשר ) אגף ימין(והחסם התחתון

( )j jy y Cent I= =

הוא תנאי מספיק לאופטימליות ) המוכלל(ך שתנאי הצנטרואיד

קבלנו כ

}כאשר הסט } 1k kI

= . נתון

N

בועי הוא הכרחי ומספיק במקרה זה שעבור עוות רי . ת אראינו עם ז

13 2 - - 'עמ


:לסיכום

י השכן הקרוב

:קבלנו

תנאים הכרחיים הם ותנאי הצנטרואיד תנא .1

תנאים הכרחיים הם , כזכור. במקרה הכללילאופטימליות

concave-log .ם עבור פילוגי שהם ומספיקים

ן כשנתו אופטימליותלתנאי הכרחי ומספיק הוא תנאי השכן הקרוב.2

.סט רמות הייצוג

תנאי מספיק הוא לאופטימליות כשנתונה תנאי הצנטרואיד.3

יא האינטרוולים הכרח ומספיקוהו תנאי , )סט" (חלוקה"ה

).נתונה" חלוקה("מקרה זה בעוות ריבועילאופטימליות עבור

עבור פילוג נתון בעזרת בחישוב רמות ההחלטה והייצוגנדון כעת

מלבד , ל אינם מאפשרים פתרון אנליטי"הבעיה היא שהתנאים הנ

1N =

. התנאים שמצאנו לעיל

: דוגמת, למקרים פשוטים במיוחד

y=Q(x)

p( )x

x

x

0

0

x1 = - ∞ x2 = ∞

)1 (

( ) (0,1X

p x )= Ν

( )2

212X

xp x e−⎛ ⎞=⎜ ⎟⎝ ⎠π

14 2 - - 'עמ


2=

)2 ( N

( ) (0,1X

p x )= Ν

: במקרה הכללי נדרש פתרון נומרי איטרטיבי אותו נציג להלן

).Max-Llyodאו (Max אלגוריתם .א

)194-5' עמGersho & Gray בספר של Llyod-IIנקרא גם (

: לרמות ההחלטההתחלתייםבחר באופן שרירותי ערכים .1

{ } .

., קבע

{ } 2,3,,...,x k ;: ולרמות הייצוג= 1,2,,...,k ,k Ny k N=

1j =1x = −∞

. )טרואיד של הקטע כך שהוא יהיה הצנמצא .2 jy1,j jx x +⎤⎦

1

כך שהוא יהיה נקודת האמצא .3

)., כלומר(

jx +1, jמצע של jy y +⎡ ⎤⎢ ⎥⎣ ⎦

11 2

j jj

y yx ++

+=

j N=1, אחרתj j+ →

,Nx ∞

. 2צעד וחזור ל. 5לך לצעד , א .4 ם

) שהוא הצנטרואיד של cחשב את הגודל .5 אם . (

.6לך לצעד , אחרת. עצור,

הקטע

Ny c− < ε

p( )x

x1 = - ∞ 1 2y y= − 2

2y =π

22y =π

21y =−π

0

y=Q(x)

x

x

0 x2 = ∞

15 2 - - 'עמ


( N( :בצע .6 N Ny y c y− ⋅ − →α1j . 2חזור לצעד . וקבע =

מספר חיובי קטן . הנבחר מראשן מספר קט :הערה

.1 -מ

( )0>εα ε

כ שוב קדימה " ואחהצעה אחר

).(וחוזר חלילה

) לנוע אחורה :ת )1j j N= ← =

1=α

Llyodאלגוריתם .ב

בחר באופן שרירותי את סט רמות ההחלטה .1

,{ ). אינדקס איטרציה (קבע . } 2,3,,...,jx j N=1m =

.חשב .2 { ,...,{את N, 1,2,jy j } מתוך = }j j jy E x X I= ∈

2

}הגדר סט חדש של רמות החלטה j .3 כך שיתקיים{

Njx =

1 ; 2,3,...,2

j jj

y yx j−+

= = N

. וצע חשב את העוות הממ .4( )mD

( ) ( )) .עצור, אם )

1m m

mD D

D

− −< ε

1m, אחרת .2 וחזור לצעד m+ →16 2 - - 'עמ


D של שגיאת הקוונטיזציה כאשר תכונות סטטיסטיותנציג כעת מספר

).שגיאה ריבועית ממוצעת (MSEהוא

e : נגדיר Q ( )X X Y X− = −

MMSE(: לי מעבור הקוונטייזר האופטי, אזי)

)1( {{ } ( ) } 0E e E Q X X= − =

:הוכחה

( ){ } { }

( ) ( )1

1 1

1X

j

j

N N

j j j jj j

xN

j x

E Q X P y P E X X I

xp x dx E X+

= =

=

= =

= =

∑ ∑

∑ ∫

∈

)ל ישירות ממשווא" ניתן לקבל את התוצאה הנ:הערה 2ה ).2-8' עמ (( '

{ } { }( ) )2( { } min

22 2 2mine E e E e E e D= − = =σ

)3 (

min

2 2

max 10 102min

10log 10 logx x

eSNR

Dσ σ

σ= =

} : ולכן ניתן להראות כי )4( } 0E eY =

)5( { } ( ){ } min

2eE eX E e Y e σ= − = −

17 2 - - 'עמ


:מקדם הקורלציה בין השגיאה לכניסה, לפיכך

{ } mineex

e x x

E eX σρ

σ σ σ=−

{ } ( ){ } { }

, כמו כן

{ }2E XY E X e X E eX E X= + = +

} : -שנחה ובה } 0E X =

)6 ( { } min

2 2x eE XY σ σ= −

{ } ( ){ } :ולבסוף

{ } { } { }22 2 2E Y E X e E X E Xe E e= + = + + 2

} : -ובהנחה } 0E X =

)7 ( min

2 2 2 2miny x e x Dσ σ σ σ= − = −

: ומקדם הקורלציה בין הכניסה ליציאה

{ } min

min

2 2 2

22 21

x e exy

x y xx x e

E XY σ σ σρ

σ σ σσ σ σ

−= = = −

−

:הערה

ל אינן מתאימות להנחות שעשינו בהקשר של "שים לב שהתוצאות הנ

אורך מילה סופי במסננים ("שגיאת קוונטיזציה עבור קוונטייזר אחיד

18 2 - - 'עמ


ושגיאת קוונטיזציה שהיא רעש אדיטיבי שם הנחנו מודל , ")ספרתיים

כאשר , עם זאת. ) באות הכניסה בלתי תלויה

השגיאה עקב ההנחות הללו היא קטנה מספר הרמות גדול

. ביותר

)2 2 2y x eσ σ σ= + ⇐

( )1N >>

קוונטייזר אחיד אופטימלי

המימוש של קוונטייזר אחיד הוא נוח יותר ולכן מעונינים למצוא את

N . ,מספר רמות רצוי ולפלוג נתון האופטימלי Δהצעד

optΔoptOverload factor γ ( שקולה לקביעת קביעת = γ ( מכיוון

N ):זוגי וקוונטייזר סימטרי בהנחה של (שקיים

max2 ;

2opt

opt optx

NNXγ

σ

Δ ⋅= = Δ ⋅

Overloadכאשר הפעם גם שגיאת ה . נלקחת בחשבון-

x2

yN-1

2

Δ

2

Δ−

-Xmax

Xmax

y=Q(x)

x

N=6 (levels)

Δ

−Δ

yN

xN

y2

y1

19 2 - - 'עמ


D

תלוי רק -במקרה זה בעיית האופטימיזציה פשוטה יותר מכיוון ש

Δ( .כ פתרון נומרי"למרות זאת נדרש עדיין בד. )בפרמטר אחד בלבד הרי הם במכיוון שרמות הייצוג

תנאי "שהקביעה של רמות ההחלטה כמשורטט מתאימה לדרישות

". השכן הקרוב

)1מרחקים שוים )j jy y+ − = Δ

כמובן שעבור אות כניסה בעל פילוג אחיד הקוונטייזר האופטימלי גם

)הוא אחיד )max 6 SNR B dB=optΔ עבור ) (תוצאות נומריות .

. פילוגים שונים יוצגו בהמשך

N MSEעבור ) גדול (חישוב מקורב של העוות הריבועי הממוצע

:מקור ספרות

A. Gersho, “Principles of Quantization”, IEEE Trans. Circuits &

Systems, July 1978, pp. 427-436.

: המקרה הכללי. א

( ) ( )2

1X

i

N

ii x I

D x y p= ∈

= −∑ ∫

N

1, N

x dx p( )x

גדול ובהזנחת תרומת שני האינטרוולים הקיצוניים -בהנחה ש

( I - אזורי ה- ( IOverload –ניתן לרשום, לשגיאה:

x

20 2 - - 'עמ


( ) ( )

( )

11 2

2

12 2

2;

12

X

X

i

i

xN

i ii x

Ni

i ii

D x y p y d

p y

+−

=

−

=

≅ −

3

i

x

Δ≅ =

∑ ∫

∑ σ σ

) נגדיר )Xi iP p y i⋅ Δ

1N >>

: ונקבל

.ת ובהזנח( .O L ( 1

2

2

112

N

i ii

D P−

=

≅ Δ∑

קוונטייזר אחיד .ב

12 2

2

, 2,3,..., 1

12 12

iN

ii

i N

D P−

=

Δ = Δ = −

Δ Δ⇒ ≅ ≅∑

. וזו תוצאה שכבר הכרנו

Oבהזנח( Lו - ( .ת .1N >>

xi yi xi+1

iΔ

( )X ip y ( )X ip y

21 2 - - 'עמ


סיכום תוצאות עבור מקור גאוסי חסר זכרון

). מלילא אופטי (קוונטייזר אחיד. א

2

106 10 log3

4 6 7.25

SNR B

SNR B dBB SNR dB

= −

= ⇒ = −= ⇒ = 22.8

γ

γ

קוונטייזר אחיד אופטימלי .באו על ידי , Bב(מתוך טבלה

התאמת קו לטבלה של

5) המשך 24.57SNR dB= ⇒ =

( )5 MaxB ≤ :

5 0.63 ; 5SNR B dB B dB≅ − = ⇒ 24.37

קוונטייזר אופטימלי לפילוג .ג

56 ) התאמת קו( 4.3 ,SNR B dB B= − ≥

5B = 5: בהמשך Max ) ראה טבלת עד ( 26.1B d= ⇒ B

5 6 5 4.3 25.7B dB= ⇒ ⋅ − =

על פי תורת האינפורמציה SNR -חסם עליון ל .ד

2

2

20

1te-Distortion Bound: log / 2

xRaD x

R bit sample RateD σ

σ

≤ ≤= =

( )2

2max

min10 log 10 log 2 6 6RxSNR R B

Dσ

= = =

5= ⇒ 30

)חסם עליון( ≡

B d B

כאשר משתמשים ) Shanonעל פי משפט (עוות זה יתקבל בגבול

.∞ -השואף ל) וקטור(עם אורך בלוק . בקוונטיזציה וקטורית

O.L.: בהזנחת

22 2 - - 'עמ


:טבלאות מהספר

N.S. Jayant and P. Noll, Digital Coding of Waveforms, Prentice Hall, 1984.

23 2 - - 'עמ


24 2 - - 'עמ

לימודי מוסמכים - הנדסת חשמל קידוד ספרתי של אותות דיבור ותמונותמלאך . ד ז" אביב תשס 048955 : מהמאמרטבלאות

J. Max, "Quantizing for Minimum Distrotion", IRE Trans. Information Theory, March 1960, pp. 7-12.

25 2 - - 'עמ


26 2 - - 'עמ

לימודי מוסמכים - הנדסת חשמל מלאך קידוד ספרתי של אותות דיבור ותמונות. ד

ז" אביב תשס 048955

27 2 - –' עמ

מימוש פעולת הקוונטיזציה הסקלרית 2.3

אחיד-קוונטייזר לא. 1

כלומר למציאת אינדקס האינטרוול אליו –נתייחס לשלב הקידוד

.xשייך דגם הכניסה

שיטת החיפוש המלא (1)

: נציג שתי גישות

הקרוב ביותר jyהפעלת כלל השכן הקרוב במובן של מציאת . א

: כלומר, x-ל

argmin , kk

j d x y

מספר החישובים עולה – גישה זו היא עתירת חישובים

B אקספוננציאלית עם מספר הסיביות 2BN .

:(משווים) שימוש בקומפרטורים .ב

לערך של כל אחד מקצות האינטרוולים x השוואת

2

Nk k

x

ומציאת

, jI האינטרוול

: שעבורו מתקיים

1ANDj jx x x x

(From Gersho & Gray)



28 2 - –' עמ

אך מספר ההשוואות עולה , גישה זו דורשת אמנם השוואות בלבד

. Bאקספוננציאלית עם

, שיטה יעילה יותר היא שיטת ההשוואה בשלבים במבנה עץ

: כמתואר להלן

(.Successive Approx ) חיפוש בעץ (2)

הרעיון הוא לצמצם את

בפקטור)התחום בשלבים

. ( בכל שלב2

xתחילה משווים את

לנקודת האמצע של תחום

בתנאים מתאימים)הקוונטייזר

- ל( 1)

2 2

22

N N

N

y y

x

)

בתחום העליוןxוקובעים אם

0 1u או בתחום התחתון

0 0u .ממשיכים בצורה זו ,

8Nכמודגם משמאל עבור ,עד

. xלקבלת האינטרוול בו נמצא

מספר השוואות הנדרש הוא רק

2log N B .

Fig. 6.4: Successive Approximation Quantizer




29 2 - –' עמ

קוונטייזר אחיד. 2

. ניתן כמובן להפעיל את כל אחת מהשיטות לעיל גם במקרה זה

בעיקר במימוש )כיוון שהקוונטייזר אחיד נוח לעיתים , אולם

על ידי xלקבוע את האינדקס של האינטרוול אליו שייך (בתכנה

: החישוב הבא

max maxx

m X x X

max כאשר קיים

2

X N

1 , ולכן2

Nj m

j,...,1,2 : המתקבליםjכך שערכי N

:אפשרות אחרת

max max,

sgn 12

1,2,...,

xm X x X

Nj m x

j N



30 2 - –' עמ

Companding 2.4

:מקורות ספרות

1. A. Gersho “Principles of Quantization”, IEEE Trans. Circuits & Systems,

July 1978, pp. 427-436.

2. N.S. Jayant and P. Noll: Digital Coding of Waveforms, Prentice Hall,

1984. Ch. 4.

גישה אחרת לתכן ומימוש קוונטייזרים לא אחידים היא באמצעות

האיור מתוך )לינאריות לפני ואחרי קוונטייזר אחיד כמוצג להלן -אי

(:Jayant & Nollספרם של

(From Jayant & Noll)



31 2 - –' עמ

:אילוצים max max0 0 ;c c X X

max1

1

2k k k k

N

Xc x c x c x

N

max2

kk k k

X

c x g x Ng x

,כאשר g x c x

: ראינו קודם לכן את הקירוב

1

2

2

1; Pr

12

N

k k kkk

MSE D P P ob X I

1N- זאת בהנחה ש) ושניתן להזניח את שגיאת ה -Overload)

:נקבל, וחזרה לאינטגרלk- בהצגת הבטוי לעיל ל

max2X

N

(“Distortion Integral” –

Bennet, 1948)

max2

2

max12

X

X

p xD dx

g x



32 2 - –' עמ

( Gersho & Grayלעיל וכן בספרם של [2]מקור ספרות ' ר)- ניתן להראות

:כי

3max

32

max

1

12

X

X

D p x dxN

והחסם התחתון ממומש עבור

3

maxmax

3

max

2X

X

p xg x X

p x dx

,כלומר

(Panter & Dite, 1951)

:הגדרות(1) Companding Gain:

min

0 0/ 0

CG g cg

(2) Dynamic Range:

maxmax

min max

/ 0. .

/ 0

g X gD R

g g X

1N

ובהזנחת

Overload

3max

32

max

1

12

X

opt

X

D p x dxN



33 2 - –' עמ

היתה להגיע לקוונטייזר Companding- מטרה נוספת בפיתוח רעיון ה

ובמיוחד לשינויים בעצמת האות PDF- לא אחיד שהוא עמיד לשינויים ב

(. xהמתבטאת בשינויים בערכו של )

(Robust Quantization) קוונטיזציה עמידה 2.4.1

אחת הבעיות היא , (כמו אותות דיבור)בקידוד אותות לא סטציונריים

המתוכנן ) הגורמים לכך שביצועי קוונטייזר xהשינוי בערכו של

. כמודגם באיור, יורדים ( נתוןx- ל

עם עקום Companding- הרעיון שהוצע הוא להשתמש בגישת ה c x

. מתאים שיקטין את הרגישות לשינויי עצמה

: נבחן תחילה את הבחירה התיאורטית

maxXg x c x

b x




34 2 - –' עמ

max max2 22max

2 2 2

max max3 3

X X

X X

p xX bD dx x p x dx

N g x N

בהנחה ) 0E X ) 2

223

xb

N

,ומכאן

2 2

103

10log 10 logx NSNR dB

D b

.בהזנחת ) x- אינו תלוי בSNR- וקבלנו שה .O L ,כמובן) .

בהינתן g xל נמצא את " הנ c x:

0

max max10 : ln

X Xx g x c x c x

b x b

ובהצגת max maxc X X

נמצא את 0

cונקבל : maxmax

max

lnX x

c x Xb X

: וקיים c x c x

ל מכיוון שאינו "אך הוא אינו מעשי בצורה הנ, התקבל עקום לוגריתמי

. מוגדר בראשית

משתמשים לכן בעקום שונה במקצת שהוצע על ידי



35 2 - –' עמ

B. Smith, “Instantaneous Companding of Quantized Signals”, BSTJ,

pp. 653-709, May 1957.

law ידוע כעקום Smithהעקום שהוצע על ידי :

maxmax

ln 1

ln 1

x

Xc x X sign x

:תכונות

העקום בקרוב לינארי xעבור ערכים נמוכים של (1)

ln 1 x x

max

1 ln 1

xc x x

X

(השפוע בראשית)

ln 1

g x c x

: העקום לוגריתמי, xעבור ערכים גבוהים מספיק של (2)




36 2 - –' עמ

max

max max

1 lnln 1

x Xc x x sign x

X X

max 1 ln 1

ln 1

Xg x b

x

22 22 2

2 2 2

ln 1 3 10 log

3 3 ln 1x x

b ND SNR

N N

2BN : סיביותBעבור קוונטייזר בעל

2

10ln 1

6 10log3

SNR B dB

255: (אמריקאי)ערך סטנדרטי 6 10.1 SNR B dB

: כן מתקבל

min 255

0 46 33ln 1

cG g dB

max

min max 255

0. . 1 256 48

gD R dB

g X

Companding

Gain

Dynamic

Range

PinD . R.

Gc

Mu-Law

44

38

]dB[

]dB[

SNRUnif . Quant.

B=8



37 2 - –' עמ

A-Law Companding

כאן . 1969- בCattermoleזהו סטנדרט אירופי שהוצע על ידי

משתמשים בקו ישר מדויק באיזור הראשית ובעקום לוגריתמי עבור

: גדוליםxערכי

max

maxmax

max

1, 0

1 ln

1 ln / 1, 1

1 ln

A x xsign x

A X Ac x

A x X xX sign x

A A X

87.56Aהסטנדרט משתמש בערך

Jayant & Noll זה מפורטות בספר של Companderתכונות

:נציין כאן

87.5687.56

87.56

/ 1 ln 24 ; . . 39

6 4.77 20log 1 6 - 9.99

c AA

A

G A A dB D R A dB

SNR B A B dB




38 2 - –' עמ

Law Companderמימוש ספרתי של

(PCM Codec- ב)

(Texas Instrumentsהאיור מתוך חוברת של )

: סיביות8י " סיביות ע14ייצוג של מספר בן

P - Polarity bit

S - 3-bit segment No.

Q - 4-bit quantization bin No.

P S QY X XXX XXXX

ˆ 2 33 2 33 0S

Bias

x Q x



39 2 - –' עמ

PCM 255טבלת קידוד ופענוח עבור



40 2 - –' עמ

(Adaptive Quantization)קוונטיזציה אדפטיבית 2.5

(APCM – Adaptive PCMקרויה גם )

)4 פרק – Jayant & Nollהחומר על פי ספרם של (

סטציונריות -להתמודדות עם בעיית האי, Companding-דרך חילופית ל

היא להשתמש בקוונטייזר בעל , (במיוחד שינויי הספק)של אות הכניסה

גישה שקולה היא נרמול . צעד משתנה בזמן בתלות באות הכניסה

בדרך כלל משתמשים . שונות אות הכניסה על ידי הגבר משתנה בזמן

: נציג להלן את שתי הגישות שהוזכרו. בקוונטייזר אחיד

AGC- בקרת הגבר אות הכניסה 2.5.1

(a) AQF – Adapt. Quant Forward ( Forward Gain Adaptation)

:הערה

באיור לעיל אין הפרדה בין הקדוד והפענוח ולא מוצגת התמסורת

. בערוץ של האינדקסים של הקוונטייזר

(From Gersho and Gray)

Q

Q



41 2 - –' עמ

(b) AQB – Adapt. Quant. Backward

( Backward (or Feedback) Adaptation)

שערוך ההגבר

בהנחה שאות הכניסה בעל ממוצע אפס ניתן לשערך את שונותו

: על ידי

2 2

1

1ˆ

M

x

i

n v n iM

, כאשר

ˆ

x n for AQFv n

x n for AQB

c, -קבוע : וההגבר ˆxg n c n

חלון אקספוננציאלי ) שערוך רקורסיבי – מקובלת גישה חילופית

: (דועך

2 2 2ˆ ˆ 1 1 1x xn n x n

(From Gersho and Gray)

Q

Q



42 2 - –' עמ

הוא פרמטר שבאמצעותו ניתן לבקר את קצב המעקב אחר כאשר

: שינויי הספק האות

10 Samples 0.90 - מעקב מהיר(Instantaneous)

100 Samples 0.99 - מעקב איטי(Syllabic –בדיבור )

הערות

כ את " משדרים בדAQF-ב (1) g nרק אחת ל -L דגימות

1L כדי להקטין את כמות מידע הצד שיש לשדר .

נהוג בדרך כלל להגביל את תחום ההשתנות של (2) g n:

0 maxming g n g ( עבורAQB0- זה חיוני שming )

max הדבר שקול לקביעת היחס min/ על פי התחום הדינמי

. הנדרש

משתמשים לעיתים בסכום ערכים , לשם פישוט החישובים (3)

במקום )מוחלטים של דגמי האות 2

) ומשתמשים בערך

. לתקון ההטיה בשערוךcמתאים של הקבוע

(Step-Size Adaptation) אדפטציה של גודל צעד הקוונטייזר 2.5.2

גישה חילופית לבקרת הגבר אות הכניסה היא לשנות את צעד

הקוונטייזר אפשר כמובן . על פי שינויי ההספק של אות הכניסה

לנצל את g nמהגישה הקודמת כדי לעשות זאת : 0

n g n



43 2 - –' עמ

אולם הסיבה שאנו דנים בגישה זו בנפרד היא שפותחו שיטות לפיהן

ללא , (האינדקסים)י המידע שנשלח בערוץ "משנים את גודל הצעד עפ

נציג כאן את הגישה שהוצעה . הצורך בפענוח רמות הייצוג גם במשדר

. והיא מקובלת בשימושים רביםJayantי "ע

Adapt. Quant. With One Word Memory (Instantenous Time-Varying Step Size)

(:AQB)נוסחת האדפטציה

min max

1 1n M c n n

n

,כאשר

M– כופל (multiplier) שערכו תלוי בערך מילת הקוד הבינרית

.(הקודמת)

c n -מילת הקוד הבינרית הנשלחת לערוץ.

/ישנם במקרה הכללי , רמותN בהנחת קוונטייזר סימטרי בעל 2N

,: שוניםMערכי 1,2,..., / 2iM i N ,כמודגם באיור הבא:



44 2 - –' עמ

:הכופלים מקיימים

11

14

M

M

1 2 3 4M M M M

. כ את הכופלים באופן אמפירי"סטציונריות האות קובעים בד-עקב אי

, Jayant & Nollי "עפ)עבור אותות דיבור התקבלו התוצאות הבאות

(:4פרק

N=8




45 2 - –' עמ

:בחירה מקובלת אחרת

1; 1; 1, 2,3, , 11 / 22

NM M M iiN

הערה

אם ידוע0

האופטימלי לאות הכניסה ניתן לקבל בטוי אנליטי לכופלים

.(Jayant & Noll, Ch. 4)הבעיה היא ש -0

האופטימלי אינו ידוע בדרך

.כלל

התמודדות עם שגיאות ערוץ 2.5.3

בערוצים רועשים קיימת הסכנה של אי עקיבה של המפענח אחר גודל

: בגלל הקשר הרקורסיבי, הצעד במקודד 1n M ni .

של גודל הצעד (leakage)לשם הקטנת אפקט זה משתמשים בזליגה

:באופן הבא




46 2 - –' עמ

21 ; 1

20 1

n M ni

("גורם השכחה "– קרוי לכן )של ההפרעה " שכחה"הדבר מביא ל

:י"גישה זו הוצעה ע. והיא דועכת כעבור פרק זמן

D. J. Goodman and R. M. Wilkinson “A robust Adaptive Quantizer”,

IEEE Trans. Comm., pp. 1362-1365, Nov. 1975.

הערה

למטרות מימוש בחמרה נהוג להמנע מהעלאה בחזקה

:ומשתמשים בפונקציה לוגריתמית של הצעד

log

1 ; logi i i

n n

n n m m M

למציאת (LUT)ומשתמשים בדרך כלל בטבלה n.

לימודי מוסמכים - הנדסת חשמל תות דיבור ותמונותמלאך קידוד ספרתי של או. ד ז" אביב תשס 048955

3 - 1 – 'עמ

Predictive Quantization -קוונטיזציה פרדיקטיבית . 3

)Predictive Coding -קידוד פרדיקטיבי (

]7 פרק Gersho & Gray; 6,7 פרקים – Jayant & Noll: מקורות [

הרעיון הבסיסי הוא ניצול הקורלציה הקיימת בין דגמים סמוכים באות

. המקודד וקידוד שגיאת חיזוי במקום את האות עצמו

שלמרות שאינה מנצלת קורלציה באות , נתבונן תחילה בגישת הקידוד הבאה

: היא חשובה להבנת הנושא

( )u n היא סדרה המוחסרת מאות הכניסה לפני הקוונטיזציה ומוסיפים

. אותה חזרה במוצא

) : מכיוון ש ) ( ) ( )d n x n u n= −

) , וגם ) ( ) ( )ˆ ˆd n x n u n= −

)הרי שמתקיים ) ( ) ˆˆ ( ) ( )x n x n d n d n− = −

x(n) + Q

d(n) d(n) x(n)

u(n) u(n)

++ +

- +

Difference Quantizer


3 - 2 – 'עמ

) ללא כל הנחה על הסדרה, כלומר )u n , או (השגיאה הריבועית הממוצעת

אה הנגרמת על ידי הקוונטייזר בין היציאה לכניסה שווה לשגי) אחרDכל

)לכניסתו )d n .בחירה נאותה של , לפיכך( )u n יכולה להביא לשיפור

)ביצועי הקוונטייזר ביחס )x n.

)למשל אם )u n כול גם להשתנות שי( היא הערך הממוצע של אות הכניסה

–למשל (הרי שאם הקוונטייזר תוכנן לערך ממוצע שונה , )באיטיות עם הזמן

. ביצועי הקוונטייזר ישתפרו בגישה הנדונה, )אפס

)כאן : Dithering: מקרה שימושי אחר )u n היא סדרה אקראית מפולגת

,באופן אחיד בתחום 2 2Δ Δ⎡ ⎤−⎢ ⎥⎣ ⎦

קוונטייזר ( הוא צעד הקוונטייזר Δכאשר ,

)שים לב שגם אם לא נוסיף את ). אחיד במקרה זה )u nבמוצא המערכת ,

-השגיאה הריבועית תגדל לכל היותר ב2

12Δ

.

הכניסה משתנה לאט היא בכך שכאשר אות Dithering -התועלת שיש ב

בתמונת ) קונטורים(מתקבלים קווי גבול ) למשל איזור כמעט שטוח בתמונה(

השימוש ). מבחינה סובייקטיבית(המוצא המפריעים לצופה

קונטורים אלה בכך שאות הכניסה עובר באופן " שובר "Dithering -ב

. אקראי מתא אחד לסמוך לו בקוונטייזר


3 - 3 – 'עמ

שימוש בחיזוי

)נניח שאות הכניסה בעל ממוצע אפס ונבחר את . רה אחרנבחן כעת מק )u n

) : להיות חיזוי פשוט של אות הכניסה ) ( )1u n x n= −.

)מכיוון שבמוצא אין בידינו את )x nהרי סכימה הגיונית לכאורה , המקורי

: היא הסכמה הבאה

)נבחן תחילה את השגיאה הנגרמת על ידי הקוונטייזר ביחס לכניסתו )d n

: י"הנתון ע

( ) ( ) ( )

( ){ } ( )2 2 2

1

2 1xd

d n x n x n

E d nσ σ ρ

= − −

= = −

,כאשר

( ) ( ){ }2

1

x

E x n x nρ

σ

−=

x(n) + Q

d(n) d(n)= d(n)+ε(n) x(n)

u(n) u(n)

+ + -

D D

אלמנט השהיה

מקדם הקורלציה בין דגמים סמוכים


3 - 4 – 'עמ

0.5ρ המקיימים ρעבור ערכי , לפיכך 2 נקבל < 2xdσ σ<ולכן ,

תהיה שגיאה קטנה יותר מאשר לאותו dלקוונטייזר המותאם לכניסה

)קוונטייזר כשהוא מותאם לאות הכניסה )x n.

: היא לכן) במוצא הקוונטייזר (SNR -מידת השיפור ב

( )2

21

2 1x

pd

G σρσ

= =−

:dB -וב

( ) [ ]10 10 [ ]110log 10log

2 1p dB pG G dBρ

= =−

0.864ρעבור , למשל מתקבל ) ערך טיפוסי לאות דיבור קולי (=

[ ] 5.6p dBG dB= .

)ניתן להבטיח שיפור )1pG השונה מאפס על ידי ρ עבור כל ערך של <

דבר זה גם יבטיח ( במקום הפרש פשוט בחזאי ליניארי מסדר ראשוןשימוש

שבמקרה הקודם הוא בגבול , את יציבות המסנן הרקורסיבי במפענח

):היציבות

)במקום , כלומר ) ( )1u n x n= ) : נשתמש ב− ) ( )1u n x n= −α

. היא מקדם החיזויαכאשר

x(n) u(n) D

α

Prediction Gain


3 - 5 – 'עמ

), נעיר ששגיאת החיזוי הריבועית הממוצעת ) ( ){ }2[ 1 ]E X n X nα− − ,

α=היא מינימלית עבור ρ ,כש-ρ הוא מקדם הקורלציה בין דגמים

. סמוכים

,עתכ

( ) ( ) ( )2 2 2

2

1

1 2

11 2

xd

p

d n x n x n

G

= − −

⎡ ⎤= − +⎣ ⎦

=− +

α

σ σ αρ α

αρ α

: הוא לכןαהערך האופטימלי של

0popt

Gα ρ

α

∂= ⇒ =

∂

, ולפיכך

( )2 2 21xdσ σ ρ= −

21 1 0 1

1popt

G = > ∀ < ≤−

ρρ

6 כאן ערך של 0.864poptG dB ρ= ⇐ =

די שימוש בחזאי ליניארי מסדר גבוה תוצאה טובה עוד יותר ניתן לקבל על י

. אנו נדון בהרחבה במציאת חזאי כזה בהמשך. יותר


3 - 6 – 'עמ

עד כה בחנו את שגיאת הקוונטיזציה בין הכניסה לבין מוצא הקוונטייזר אך

)לא בין הכניסה המקורית )x nלאות המוצא .

) -נסמן ב )e nיאה בה אנו מתעניינים את השג :

( ) ( ) ( )ˆe n x n x n= −

)השגיאה במוצא הקוונטייזר הוא )nεהיא לבנההשגיאהבהנחה ש, ולכן :

( )2 2 2e

nh nεσ σ= ∑

)כאשר )h nהיא התגובה להלם של המסנן במפענח :

( ) ( )21 1 2

1 1 1

1 1 1H z h n

z zα ρ ρ− −= = ⇒ =

− − −∑

ואנו מקבלים

2 2 22

11

e poptG= ⋅ = ⋅−

ε εσ σ σρ

. כלומר לא התקבל בסופו של דבר שום רווח במוצא

) -שים לב שניתן לייחס את אי ההצלחה של הסכמה לעובדה ש )u nשונה מ -

( )u n .סכמה כזו אכן . יש צורך לכן למצוא סכמה שבה אין שוני בין השניים

DPCM – Diferential PCM. : קיימת ומכונה


3 - 7 – 'עמ

DPCM–Differential PCM

: הבסיס לסכמה זו היא הסכמה הבאה

יש צורך לשחזר את אות ) Encoder(על פי סכמה זו ברור שגם במקודד

)המוצא )x n , ות הא(מכיוון שהחיזוי( )u n (נגזר ממנו .

שרטוט מחודש של הדיאגרמה האחרונה נותן את הסכמה המקובלת של

DPCMשבה הקוונטייזר מופיע בחוג סגור :

) : במערכת זו ) ( ) ( )d n x n x n= − %

x(n) + Q

d(n) d(n)

u(n) u(n)

+ + -

Px(n) ~

(predictor)

x(n)

x(n) + Q

d(n) x(n)=x(n)+e(n)

+

+ -

P

x(n) ~

(predictor)

P

+d(n) = d(n)+ε(n)

(u(n)=x(n)) ~ (u(n)=x(n)) ~

x(n) כאשר אין(

שגיאות )ערוץ


3 - 8 – 'עמ

)כאשר )x n%הוא אות החיזוי :( ) ( )1

ˆp

ii

x n a x n i=

= −∑%

: במערכת משמאל

( ) ( ) ( ) ( ) ( ) ( )( ) ( )

ˆx n x n d n x n d n n

x n n

ε

ε

= + = + +

= +

% %

): מפענח(במערכת מימין

( ) ( ) ( )x n x n e n= +

: בהעדר שגיאות ערוץ, ומכאן

( ) ( )e n nε=

2 ולכן הפעם 2e εσ σ=

:רעש הכוללוהיחס אות ל

[ ]1010logTotal Q pSNR SNR G dB= +

:מקדמי החזאי הלינארינדון כעת בדרך למציאת

: נתייחס תחילה לסכמה בחוג פתוח

( ) ( ) ( )1

p

ii

d n x n a x n i=

= − −∑

2ונדרוש מינימיזציה של dσ על ידי בחירה אופטימלית של מקדמי החיזוי

{ } 1p

i ia = :


3 - 9 – 'עמ

( ) ( )2

2

1

p

idi

E x n a x n i=

⎧ ⎫⎛ ⎞⎪ ⎪⎜ ⎟= − −⎨ ⎬⎜ ⎟⎪ ⎪⎝ ⎠⎩ ⎭

∑σ

( ) ( ) ( )2

12 0

pd

ij i

E x n a x n i x n jaσ

=

⎧ ⎫⎛ ⎞∂ ⎪ ⎪⎜ ⎟= − − − − =⎨ ⎬∂ ⎜ ⎟⎪ ⎪⎝ ⎠⎩ ⎭∑

1,2,...,j p=

( ) ( ){ } ( ) ( ){ }1

p

ii

E x n x n j a E x n i x n j=

− = − −∑

1,2,...,j p=

: מקבלים כך את סט המשוואות הבא

( ) ( )1

, 1,2,...,p

ii

a r j i r j j p=

− = =∑

,כאשר

( ) ( ) ( ){ }( ) ( ) ( ){ }

r j E x n x n j

r j i E x n i x n j

= −

− = − −

)מניחים כי ( )x nבעל ממוצע אפס וסטציונרי במובן הרחב .(

: נקבל, בתיאור מטריצי

R a r=

האוטוקורלציה' פ


3 - 10 – 'עמ

-תוך שימוש ב, וביתר פרוט

( )( )0i

r ir

ρ =

1 2 1 1 11 1 2 2 2

1 2

1

1

1

p

p

p pp paC

aa

aρ

ρ ρ ρ ρρ ρ ρ ρ

ρρ ρ

−

−

− −=

⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥⋅ =⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎣ ⎦ ⎣ ⎦⎣ ⎦

L

L

M MM

L L

ואנו נראה בהמשך הקורס " וואות נורמליותמש"משוואות אלו ידועות בשם

. שיטות לפתרונן היעיל

: פורמלית 1

opta C ρ−=

1: או(a opt

R r−=(

: ונראה בהמשך שמתקבל אז

2 2min

11

p

x i id opti

a=

⎡ ⎤⎢ ⎥= −⎢ ⎥⎣ ⎦∑σ σ ρ

,ולכן

Toeplitzמטריצת סימטרית


3 - 11 – 'עמ

1

1

1p popt

i iopti

G

a=

=

−∑ ρ

1pועבור 1אכן מתקבל , = 1a ρ=2 - ו1

11

poptG

ρ=

− .כפי שכבר קבלנו,

שם החזאי פועל על האות המשוחזר ולא על , DPCM -נחזור כעת לסכמת ה

מקדמי החיזוי האופטימליים צפויים להיות שונים , לפיכך. אות הכניסה

קוונטייזר עם מספר רמות גדול עבור . במידת מה מאלה שמצאנו לעיל

ההבדל אינו רב ומקובל להשתמש במקדמי ) שגיאת קוונטיזציה קטנה(

. החיזוי של החוג הפתוח

ניתן לצפות ) כמקובל במערכות דחיסה(עבור מספר רמות קטן יחסית , אולם

הבעיה היא שהקוונטייזר נמצא בחוג סגור . להבדלים יותר משמעותיים

. ח מקורבוניתן לעשות רק ניתו

ניתוח כזה ניתן למצוא בספרם של

L.R. Rabiner & R.W. Schafer, Digital Processing of Speech

Signals, Prentice Hall 1978, Ch-5. . ולפתרון נדרש להפעיל חישוב איטרטיבי

: המשוואות המקורבות הן, בהנחות מתאימות, למשל

C a ρ=%

כאשר2

2x

C C Iεσ

σ= + ⋅%


3 - 12 – 'עמ

2והגודל 2/x εσ σהוא בעצם ה - SNR , אשר אינו ידוע מראש הואיל ומקדמי

. החיזוי אינם ידועים

-ניתן להשתמש ב, כיוון שהקוונטייזר נתון

Q pSNR SNR G= ⋅

ים אכן מתקבל בקירוב לאחר שמניחpG -ולבצע איטרציות עד אשר ה

. חישוב המקדמים

1pשעבור המקרה המיוחד של , נעיר : מקבלים=

11opt

SNR

ρα =+

αואם משתמשים במקדם ρ=) שכעת אין זו בחירה אופטימלית(,

מקבלים

2 2

2 21 1

1x

pQd

GSNR

σ ρ

σ ρ

⎡ ⎤= = −⎢ ⎥

⎢ ⎥− ⎣ ⎦

2הימני המכפיל את והפקטור 1

1 ρ− מציין את הרעת הביצועים עקב

אם מספר הרמות של , כמובן. העובדה שהחזאי פועל על האות המשוחזר

. פקטור זה קרוב ליחידה, הקוונטייזר גדול מספיק


3 - 13 – 'עמ

, שהיה לה שימוש רב בעבר, אחת ממערכות הקידוד הפשוטות אך מועילות

–סיבית אחת ( עם קוונטייזר בעל שתי רמות בלבד DPCMהיא מערכת

כמתואר בעמוד , )המייצגת את הסימן של אות ההפרש בכניסת הקוונטייזר

.הבא

:Modulation-Deltaמערכת זו קרויה

LDM-Linear DM . I

1

1

ˆˆ sgn( )

ˆˆ ˆ

n n

n n n

n nn

x x

d x xx x d

α

α

−

−

=

= −

= +Δ

d(n)

D

dn Σ

Σ

xn

x

+1 -1

ENCODER DECODER bn

ACCUMULATOR (LEAKY FOR < 1)

Δ

Σ

Δ D

LP

^ xn

_ xn

ACCUMULATOR

x(t)

T

Slope l d

x(nT)

t

n

^ dn

n

Granular Noise

~

^

^

1 -1

+

+

bn: 1 1 1 1 1 0 0 0 1 0 0 1 0 1

xn + -

3

5

Single Integration: SNR Double Integration: SNR (sine wave) - Sampling frequency (= bit rate)

s

s

s

ff

f

∝∝


3 - 14 – 'עמ

II. Adaptive DM - ADM

A. Instantenous companding

bit memory ADM1 s 'Jayant 1

1

min max

; 1 2n nd dn n opt

n

P P−−Δ =Δ < <

Δ ≤Δ ≤Δ

Constant Factor DM - CFDM

1

min max

n n i

n

A−Δ =Δ

Δ ≤Δ ≤Δ Mode bn bn-1 bn-2 Ai (40 kbps)

1. Alt. polarity 0 1 0

1 0 1 A1 (0.9)

2. Sign reversal 0 1 1

1 0 0 A2 (0.4)

3. Semi-overload 0 0 1

1 1 0 A3 (1.5)

4. Overload 0 0 0

1 1 1 A4 (2.0)

Δ n ACC

x(n)

Σ

D

Δn-1 dn-1

dn D STEPSIZE

LOGIC

ENCODER dn={ } 1

1- bn={ } 1 0

~

x(t)

x(nT) ^

a

1 -1

xn + - xn


3 - 15 – 'עמ

B. Syllabic Companding

General Principle:

CVSD - Continuously Variable Slope DM

1

1 0 1 2

1,

0min max

,

; 0 11

n n n n

n n n nn

n otherwise

x x dif d d d

α

ββ

ββ

−

− − −

−

= +Δ

Δ +Δ = =⎧Δ = ⎨ Δ⎩

ΔΔ ≤Δ≤Δ ≤ < <

−

% %

Leaky Integrator: Time Constant: 1 1 secmτ =

/ 11 1 316 101 / 0.94Te T for Tτα τ−

⋅= ≈ − = =

Syllabic Filter: Time Constant: 2 6 secmτ ≅

/ 12 2 316 101 / 0.99Te T for Tτβ τ−

⋅= ≈ − = =

xn

dn

Δ n

"Syllabic Filter" - τ2

Bias +

1 -1

xn

+ - ~

Σ

ACC τ1

• Suitable for Low bit-rates

(16-32 kbps)

• Immunity to Transmission

errors


3 - 16 – 'עמ

ADPCM – עם אדפטציה DPCMמערכת

)Addptive DPCM(

. DMהמערכות שהוצגו לעיל הדגימו אדפטציה של הקוונטייזר במערכות

מקובלות ) בקרת הגבר(שיטות אדפטציה אלו והשיטות בהן דנו קודם

גם ADPCMבשלב מאוחר יותר הכלילו בשם . DPCMבמערכות

-לקבלת חיזוי טוב יותר של אות הכניסה הלא, אדפטציה של החזאי

. שתנות תכונותיו הספקטרליותסטציונרי תוך כדי ה

)APF( עם חיזוי אדפטיבי קדמי ADPCMמערכת . א

לנוכח ההשהיה הארוכה , ADPCMבהקשר של , גישה זו פחות מקובלת

יחסית הנדרשת לשם חישוב מקדמי החיזוי וכן לנוכח הצורך לשלוח מידע

. המגדיל את קצב המערכת, נוסף בערוץ

x(n) Q

d(n)

+

+-

P

x(n) ~

d(n)

x(n)

Side Information

Input signal חוצץ

חישוב מקדמי חיזוי לינארי

(a=C-1ρ)

a )לאחר כימוי(


3 - 17 – 'עמ

)APB( עם חיזוי אדפטיבי אחורי ADPCMמערכת . ב

)Adaptive predictive coding( דבור לקדודAPCמערכת . ג

מותאם למחזוריות אות ( עם חזאי נוסף לזמן ארוך ADPCMמערכת

את החזאי לזמן ארוך מוסיפים בחוג . APCנקראה בשם ) pitch –הדיבור

:כמתואר באיור הבא

APB,כ "בד(החזאים והקוונטייזרים אדפטיביים AQB(

pN -נדרש שערוך מחזור ה( pitch−.(

Q d(n)

+

+-

x(n) ~

d(n)

S2(n)

PS

PL

+

+

S1(n)

S2(n)

S1(n)

x(n) ~

~

x(n)

x(n) Q

d(n)

+

+-

x(n)~

d(n)

x(n)

חישוב מקדמי חיזוי לינארי

P

(a=C-1ρ)


3 - 18 – 'עמ

"חזאי אפסים"הוספת

שכן מערכת , "חזאי קטבים"תים החזאי הליניארי שראינו קודם קרוי לעי

במפענח היא בעלת פונקצית תמסורת שיש לה קטבים ") סינטזה("השחזור

:בלבד

( ) ( ) ( ) ( ) ( )1

ˆ ˆˆ ˆp

ii

x n d n x n d n a x n i=

= + = + −∑%

: נותנתZ –והתמרת

( ) ( )ˆ ˆ1 ii

iX z a z D z−

⎡ ⎤⎢ ⎥− =⎢ ⎥⎣ ⎦∑

:פונקצית התמסורת היא, ולכן

( ) ( )( ) ( ) ( )

ˆ 1ˆ 1P

X zH z All pole

P zD z=

−

,שרכא

( )1

pi

ii

P z a z−

=

=∑

בחוג " חזאי אפסים"על מנת לשפר את החיזוי נוהגים לעיתים להוסיף גם

:באופן הבא, )ובהתאמה במפענח(

i

+x(n) ^ d(n)

x(n) ~

P Σai x(n-i)


3 - 19 – 'עמ

עם חזאי אפסיםDPCMמקודד

: עם חזאי אפסיםDPCMשחזור במערכת

zP שמוצאו " חזאי האפסים" מסמן את( )zx n%י" נתון ע

( ) ( )2

1

ˆL

z ii

x n b d n i=

= −∑%

:פונקצית התמסורת של מסנן השחזור במפענח היא, ולפיכך

( ) ( ) ( ) ( ) ( )( )1 11p z zH z H z H z P z

P z= = ⋅ +

−

d(n)+

x(n)

Pz

P

Q d(n)

+

+ -

x(n) ~

d(n)

Pz

P

+ xz(n)

x(n)

~

x(n)


3 - 20 – 'עמ

,כלומר

( ) ( )( )

11

zP zH z

P z+

=−

,כאשר

( ) ( )1 1

;lp z

i ii z i

i iP z a z P z b z− −

= =

= =∑ ∑

הערה

הוגדרה ) סיביות לדגם32Kbps) 4 לקידוד דיבור בקצב ADPCMמערכת

של ועדת התקינה הבינלאומית (G.721) כסטנדרט 1984 -ב

)CCITT , הנקראת כעתITU .(אחיד עם -מערכת זו כוללת קוונטייזר לא

מסדר שני ) החזאי המקובל" (חזאי קטבים", )בשיטת הכופלים(אדפטציה

אשר מקדמיהם מעודכנים באופן סדרתי , מסדר שישי" חזאי אפסים"ו

(Sequential Adaptation)י אלגוריתם " עפLMS – 6.5 ראה סעיף

.Jayant & Nollבספרם של

-וב) G.723*ונקרא (kbps 40 ,24 הורחב הסטנדרט גם לקצבים 1988 -ב

. kbps 16,24,32,40לקצבים, G.726, נקבע סטנדרט מאוחד1992

המשודרים בעזרת ) Data(ים גם לקדוד אותות נתונים המקודד מתא

Modems .

G.723.1)קרא שנ 5.3Kbps -קיים היום סטנדרט ל*


3 - 21 – 'עמ

קידוד פרדיקטיבי של תמונות

1. Frame Prediction-Intra ) תמונתי-תוךחיזוי(:

1D ← באותה שורה ) Pixels( תמונה –חיזוי מתאי

2D ← תמונה משורה נוכחית וקודמת –חיזוי מתאי

2 . Frame Prediction-Inter) תמונתי-ביןחיזוי:(

:דוגמא לטבלה של מקדמי חיזוי קבועים

D C B A - - - 1 - 5/8 3/8- 3/4

1/8 1/2 -1/2 7/8

1/8 1/4 1/8 1/2

1/8 3/8 1/4- 3/4

B C D

Arow i-1

row i

Frame k-1

Frame k

B C D

Arow i-1

row i

1D/2D/3D &

Switched Prediction


3 - 22 – 'עמ

)Video( קידוד פרדיקטיבי של רצף תמונותהתלות בין פיקסלים בתמונה אלא גם עבור אותות וידאו מנצלים לא רק את

מכיון . עוקבות) Frames -מסגרות (בין תמונות ) כ"בד(את הדמיון הרב

תנועה של עצמים בין מסגרת למסגרת מבצעים שיערוך וקיזוז שתתכן

:תנועה

Motion Estimation and Compensation –שיערוך וקיזוז תנועה

) H.264, MPEG1,2,4, H.263,H.261ראה סטנדרטים (בקידוד וידאו

8למשל (נוהגים לחזות בלוק של תאי תמונה 16 או ×8 בתמונה ). ×16

בתחום חיפוש (שיכול להיות מוזז , מתוך המסגרת הקודמת, הנוכחית

גם את וקטור ההזזה של כל את שגיאת החיזוי ולמקלט משדרים ). מסויים

.בלוק

Reference frame Current Frame

Matchingblock

MotionVector

AB

C

SearchWindow

(dx,dy)

Prediction error

Motion Vector

Examined Block


3 - 23 – 'עמ

Motion Compensation Example (“Flower Garden” Sequence)


3 - 24 – 'עמ

Generic Hybrid Video Encoder

Image sequence

0101

+DCT Q VL

Q-1-

DCT-1

+

MEM

-+

Intra / Interswitch

++

ME

MC - Motion CompensationME - Motion EstimationMEM - Frame store

DCT - Discrete Cosine TransformQ - QuantizationVLC - Variable Length Coding

BRC

Buffer

MC

BRC - Bit Rate Control


3 - 25 – 'עמ

). טלביזיה(ות וידאו צבעוניים המיועדת לקידוד אותDPCMדוגמא למערכת

. 45Mbps: קצב טיפוסי

From Channel

DPCM reconstruct

DPCM reconstruct

Horizontal Interpola-

Tion filter

CRCB Vertical

Interpola- Tion filter CB

CR

Y Delay

Dematrix

D/A

D/A

D/A

R

G

B

Luma

R

G

B

A/D

A/D

A/D

Matrix

Delay Y

CR

CB

Vertical filter

& decimate

CRCB

Horizontalfilter

& decimate

DPCM Compress

DPCM Compress

Luma

Chroma

Chroma


3 - 26 – 'עמ

Y’CbCrמרחב

. לטלויזיותPALזהו מרחב צבע הנמצא בשימוש בתקן

Rלהלן נוסחאותהמעבר בין G B′ ′ רי כלומר אח, מסמן לא לינארי' -ה( ′

Gamma Correction ( לביןb rY C C′:

298.082 0.002 408.583 161 298.082 100.291 208.12 128

256298.082 516.412 0.001 128

RY

GCb

BCr

′⎛ ⎞ ′− −⎛ ⎞ ⎛ ⎞⎜ ⎟′ ⎜ ⎟ ⎜ ⎟⎜ ⎟ = − − ⋅ −⎜ ⎟ ⎜ ⎟′⎜ ⎟ ⎜ ⎟ ⎜ ⎟− −⎜ ⎟ ⎝ ⎠ ⎝ ⎠⎝ ⎠

1665.738 129057 25.06

128 1 37.945 74.494 112.439128 256

112.439 94.154 18.285

YR

CbG

CrB

′⎛ ⎞ ⎛ ⎞ ′⎛ ⎞ ⎛ ⎞⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ′= + − − ⋅⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟′− −⎜ ⎟ ⎜ ⎟ ⎝ ⎠ ⎝ ⎠

⎝ ⎠ ⎝ ⎠

Y -תחום הערכים המותר ל יתר המספרים שמורים לנתונים ] (16,235[ הוא ′

).מיוחדים


3 - 27 – 'עמ

סיכום סטנדרטים

From Wikipedia, the free encyclopedia ( http://en.wikipedia.org/wiki/G.726 )


3 - 28 – 'עמ

עיצוב ספקטרלי של שגיאת הקוונטיזציה

)NFC – Noise Feedback Coding(

Jayant & Noll Ch.7 :מקור ספרות

:DPCMנתבונן שוב בסכימה של מקודד

: בסכימה זו

( ) ( ) ( ) ( ) ( )1

ˆP

ii

d n x n x n x n a x n i=

= − = − −∑%

) ומכיוון שקיים ) ( ) ( )x n x n nε= +

: מתקבל

( ) ( ) ( )

( )

( )

( )1 1*

P P

i ii i

q nd n

d n x n a x n i a n iε= =

= − − − −∑ ∑144424443 1442443

d(n) = d(n)+ε(n) x(n) Q

d(n)

+

+ -

P(z)

x(n) ~

x(n) = x(n)+ ε(n)

)את חיזוי בחוג פתוחשגי(


3 - 29 – 'עמ

:ל הוא לכן"תיאור שקול לסכימה הנ

רעש הקוונטיזציה כך מבוקרת של" צביעה"הסכימה השקולה מאפשרת

שניתן יהיה לנצל את תכונות המיסוך של מערכות השמיעה והראיה

. האנושית

)העיצוב הספקטרלי של שגיאת הקוונטיזציה מושג על ידי החלפת )P z

)שבחוג הסגור בפונקצית תמסורת אחרת )F z .מקבלים אז :

( ) ( ){ } ( ) ( )

( ) ( ){ } ( ) ( )( ) ( ) ( )

*

1

Q z Z q n z F z

D z Z d n D z Q z

X z P z Q z

ε= = ⋅

= = −

⎡ ⎤= − −⎣ ⎦

: במקלט

( ) ( ) ( )( )

( )1ˆ

ˆ ˆP

iid n

x n d n n a x n iε=

= + + −∑14243

, כלומר

( ) ( ) ( )( )

ˆ1

D z zX z

P zε+

=−

d(n) = d(n)+ε(n)

d*(n) Q

d(n)

+

+-

P(z)

+

P(z) -

ε(n)

q(n)

x(n)

-


3 - 30 – 'עמ

)ובהצבת )D zמהביטוי לעיל :( ) ( ) ( ) ( )( )

ˆ1z Q z

X z X zP z

ε −= +

−

)ובהצבת ) ( ) ( )Q z z F zε= ,מתקבל :

( ) ( ) ( ) ( )( )

1ˆ1

F zX z X z z

P zε

−= +

−

: ת השחזור במקלט נתונה על ידישגיא, כלומר

( ) ( ) ( )( )

11

F zE z z

P zε

−=

−

)ואכן ) ( )F z P z= נותן ( ) ( )E z zε=כנדרש .

קבלנו כך ששגיאת הקוונטיזציה מעוצבת על ידי פונקצית התמסורת

( )( )

11

F zP z

−−

די הסכימה השקולה הבאה ניתן לממש את הסכימה שהראינו לעיל על י

): בחוג סגור(

d(n) = d(n)+ε(n) x(n) Q

d(n)

+

+ -

x(n) ~

x(n)

+

-

P(z)

G(z)ε(n)

-


3 - 31 – 'עמ

: ניתן להראות שבמקרה זה מתקיים

( ) ( ) ( ) ( )ˆ 1X z X z z G zε= + −⎡ ⎤⎣ ⎦

קיים הקשר , כלומר

( ) ( ) ( )( )1

F z P zG z

P z−

=−

)כאשר , ואכן ) ( )F z P z= מתקבל כנדרש ( ) 0G z =.

)עבור הבחירה : לבשים ) 1F z ) נקבל = ) 1G z ולכן לכאורה אין כלל =

): שגיאה ) ( )X z X z=) כלומר ,( ) 0E z אך זה כמובן בלתי אפשרי ). =

)ונובע מכך שבפועל חייבת להיות השהיה בתמסורת של )nε אל הכניסה

)שמוצאו עובר כימוי היוצר את , למסכם )nε .ניתן לבחור , כלומר

( ) 1F z z−= אך לא ( ) 1F z =.


4 - 1 –' עמ

Vector Quantization -קוונטיזציה וקטורית .4


1. R.M. Gray, “Vector Quantization”, IEEE ASSP Magazine, Vol. 1, No. 2, April 1984, pp. 4-29.

2. J. Makhoul et. al., “Vector Quantization in Speech Coding”, Proc. IEEE Vol. 73, No. 11, November 1985, pp. 1551-1588.

3. Y. Linde, A. Buzo and R. Gray, “An Algorithm for Vector Quantizer Design”, IEEE Trans. Commun. Vol. COM-28, No. 1, Jan. 1980, pp. 84-95.

4. A. Gersho & R.M. Gray, Vector Quantization and Signal Compression, Kluwer Academic publishers, Boston 1992.

5. N.M. Nasrabadi and R.A. King, “Image Coding using Vector Quantization, A Review”, IEEE Trans. Comm. Aug. 1988.

הגדרות ותכונות 4.1

י "קוונטייזר וקטורי מהווה הרחבה של קוונטייזר סקלרי ומוגדר ע •

: פוייהמ kQ Y→R,כאשר , { } 1

Ni i

Y y=

Nהיא קבוצה של =

קוד -או ספר' מילון'הקרויה , kוקטורים ממשיים במימד

(codebook).

:פויית המהגדר

( ) iiQ x y if x S= ∈

}כאשר } 1

Ni i

S=

ממדיים המהווה חלוקה של -kהיא קבוצת אזורים

kRכך ש :

1;

Nk

mS S S m=

= = ≠l l

l

lU I φR


4 - 2 –' עמ

על ידי הוקטור המייצג את האזור אליו מיוצגxוקטור כניסה , כאמור

): xשייך )i ix S Q x y∈ → = .

א "הרי ניתן לייצג כ) במפענח(בהנחה שספר הקוד ידוע גם במקלט

2logי "מוקטורי המילון ע N אלמנט בסיביות ל הקצב סיביות ולכן

: הואבוקטור

[ ]2log / ; 2kRNR bits element Nk

= =

.קצב לא שלםקוונטיזציה וקטורית מאפשרת לכן השגת

-לתי אחר משחיפוי " עתלהיעשו יכול xלת מקור יהקידוד של מ •

לוקטור xשנותנת עוות מינימלי בין הוקטור ) וקטור מייצג(קוד

ˆהמייצג אותו ix y= ,כלומר, על פני כל מילות הקוד במילון:

( ){ }arg min , , 1,2, ,i jy j

y d x y j N= = K

)כאשר )ˆ,d x xי "דחיסת מידע מתקבלת ע. היא מידת עוות נתונה

).בינריבייצוג (iי האינדקס " עxייצוג הוקטור

עם פונקצית עוות , לוןיל על פני כל המ"פוש כניבמקום לבצע ח •

),נתונה ),d x y , לקבוע סט של אזורי החלטה עקרוניתאפשרי

(Decision regions) { } 1N

i iS ixכך שאם , = S∈ אזי( ) iQ x y= ,

) , כלומר ) ( ), , i i jx S d x y d x y i j∈ ⇒ ≤ ∀ ≠


4 - 3 –' עמ

הגישה אינה מעשית מלבד למקרה של חלוקה אחידה של המרחב

. (Lattice)י סריג "ע

k - של המרחב ה(Partition) חלוקה הם כאמור לעיל iSהאזורים •

.kRממדי ) אחידלא ( מקור מסוים גופילוממדיים -עבור וקטורים דו: למשל

:התקבלה החלוקה הבאה

קוונטיזציה וקטורית יכולה לנצל בצורה יעילה את התכונות •

(k = 2 ) דוגמה : מקורה שלהבאות

1 .ארית בין רכיבי הוקטוריתלות לינ .1 2{ } 0E X X ≠

1 2{ } { } 0E X E X= =

.אריתילא לינ תלות .2( ) ( ) ( ){ }

1 2 1 2

1 2

,

0

p x x p x p x

E X X

≠

=

.ממד הוקטור .3

x2

x1

Si

ix S∈

Overload cell Granular cell

•yi


4 - 4 –' עמ

.צורת פונקצית ההסתברות המשותפת .4

יכול לתת ביצועים טובים יותר (VQ)קוונטייזר וקטורי , לפיכך

. הפועל על כל רכיב בנפרד(SQ)מאשר קוונטייזר סקלרי

הדגמות •

אריתיתלות לינ .א

:י סיבוב צירים ניתן לבטל התלות"ע

X'1

X'2

X1

X2

p(X1,X2)

x Ax′ =


4 - 5 –' עמ

אריתילינ-תלות לא. ב

)1(

)2(

יתרון הממדיות. ג

ממדי –kהיא במרחב ) החלוקה" (אזורי ההחלטה"העובדה ש

-במקרה החד(מאפשרת גמישות רבה יותר בבחירת צורת האזור

ממדי מדובר על אינטרוולים בלבד והפעלה של קוונטייזר סקלרי

).ממדית– kנפרד לכל ממד נותנת תיבה

ממדיים עם -דוניתן להדגים זאת עבור המקרה הפשוט של וקטורים

:תחום באותו המפולגים אחידים רכיבים בלתי תלוי

X1 → קונטיזציה וקטורית

)בזוגות( Q(x)=Q(x1,x2)

קונטיזציה של כל קוארדינטה בנפרד

Q(x)=(Q(x1),Q(x2))

X1

X2

X2 ↑


4 - 6 –' עמ

- קוונטיזציה סקלרית של כל רכיב בנפרד תביא לאזורי החלטה ב

2Rים כמודגם בציור להלןיבועי שהם ר:

קוונטייזר וקטורי , (Squared Error) יריבועעבור קריטריון עוות

ועוות , כמודגם בציור הבא, תאים משושים חלוקה עם ןיית אופטימלי

]: 2[תאים ליחידת שטח ' נמוך יותר עבור אותו מס

δ X2 ↑

X1 →

X2 ↑

X1 →

Δ

Δ 21A = Δ

4

1 6MSE Δ=

22

3 32

A δ=

42

5 38

MSE δ=

1 2

21

:

0.962

For A AMSEMSE

=

=


4 - 7 –' עמ

קוונטייזר וקטוריכן ת

כלומר –ן את הקוונטייזר הוקטורי הבעיה המרכזית היא כיצד לתכנ

למינימיזציה של ) ספר הקוד(למצוא את הוקטורים המייצגים

:Dהעוות הממוצע

( ){ }ˆ,D E d X X=

: וארגודי אפשר להשתמש ביסטציונראם המקור הוא

( )1

0

1 ˆlim ,n

j jn jD d x x

n

−

→∞ =

= ∑

}כאשר } 0j jx

∞=

על ידי סדרת דגם של הם הוקטורים המיוצרים

. המקור

תנאים לאופטימליות. א

הרחבה מיידית של התוצאות שהצגנו עבור (קיימת הוכחה לכך

תנאים שהם (שתנאים הכרחיים לאופטימליות )המקרה הסקלרי

:]4[ הם )מספיקים לאופטימום מקומי

} בהינתן המילון }1 2, ,..., Ny y y, אזורי ההחלטה חייבים

:םלקיי

( ) ( ), ,i i jS x d x y d x y j i⎧ ⎫= < ∀ ≠⎨ ⎬⎩ ⎭

). כים לפי כלל שרירותי כלשהויושכאשר וקטורים גבוליים מ(


4 - 8 –' עמ

Nearest Neighbor ("תנאי השכן הקרוב"תנאי זה קרוי גם Condition (פוס ישכזכור מתקיים עבור קוונטייזר סקלרי מטLlyod

–Max . שם אזורי ההחלטה הם אינטרוולים על הציר הממשי

i iS I= צע הם באמ,שהם גבולות האינטרוולים, ורמות ההחלטה

) כאשר ו"שכן הקרוב"י האעל פי תנ( ),d x yמונוטוני ב - x y− (

אזורים אלו ממדי- במקרה הרב.סמוכים) רמות ייצוג(ים -yבין

.Voronoi Regions ייםקרו

}בהינתן קבוצת אזורי החלטה ) 2( } 1N

i iS אזי וקטורי הייצוג , =

}) המילון( } 1N

i iy

= : מקיימים

( ){ } ( ){ }, min , i iiE d X y X S E d X u X S

u∈ = ∈

מקבלים עוות ממוצע ו שעבורממדי -k וקטור וא אותוה iy ,כלומר

הוא iSאם . iS בייצוג כל וקטורי הכניסה ששייכים לאזור ינימלימ

הקרוב ועיוות ריבועי ןתנאי השכ (iS יהיה בתוך iy ,קמור

ניתן ". ר רגולריקוונטייז"קוונטייזר כזה קרוי ). מבטיחים זאת

iu - לuלהגביל אז את S∈.

, כאשר.)Centroid Condition" (תנאי הצנטרואיד" תנאי זה קרוי

:מוגדר על ידי iSשל ) המוכלל(הצנטרואיד

( ) ( ){ }arg min ,i iy

Cent S E d X y X S= ∈


4 - 9 –' עמ

: בועיעוות ריועבור

( ) ( ) ( ){ }

2, T

ii

d x u x u x u x u

y E X X S

= − = − −

= ∈

עוות ממוצע. ב

:העוות הממוצע של קוונטייזר וקטורי נתון על ידי

( )( ){ } ( ) ( ){ }

( ) ( ) ( )

1

1

, Prob ,

Prob , |

N

i iiiN

i iii x Si

D E d X Q X X S E d X y X S

X S d x y p x x S d x

=

= ∈

= = ∈ ∈

= ∈ ∈

∑

∑ ∫

אלגוריתמי תכן. ג

על בסיס שני התנאים ההכרחיים לעיל הוצע אלגוריתם לתכן

כאשר , Generalized Llyod (GL)קוונטייזר וקטורי המכונה בשם

אותם נציג – ודרך בניית המילוןהקשור לתנאי האתחול(יאנט שלו ור

ראשי תיבות של המחברים של מקור ( LBGאלגוריתם קרוי )בהמשך

]3 .([

מהמקרה הסקלרי Llyod מהווה הכללה של שיטת GLאלגוריתם

.למקרה הוקטורי

נתונה ) 2(סטטיסטיקת המקור ידועה ) 1: (מבדילים בין שני מקרים

). Training Sequence –" סדרת אימון(" של המקור רת דגםרק סד


4 - 10 –' עמ

בהן , שהוא השכיח יותר בבעיות מעשיות, תמקד כאן במקרה השנינאנו

יון הסטטיסטי לא ידוע ויש בידנו רק סדרה מייצגת של המקור פהא

. תמונותסדרת אותות דיבור ו קטעי– כמו למשל ,)סדרת אימון(

: הוא כדלקמןGL אלגוריתם

Generalized Llyod אלגוריתם

). מספר וקטורים מייצגים(גודל המילון - N :נתונים

0ε סף עוות - <

(0)Y - מילון התחלתי בגודלN

{ } 1

nj j

x=

סדרת אימון של וקטורי מקור - %

). nבאורך (kבמימד

אתחול) 0(

−1D ) גדולרמספ( )עוות ממוצע( ∞→

0m )צעד איטרציה( =

)בהינתן המילון ) 1( )mY ,של סדרת חלוקה, על פי עוות מינימלי,מצא

האימון ( )

1

Nmi

iS

=

⎧ ⎫⎨ ⎬⎩ ⎭

כך שאם( )m

j ix S∈% אזי

( ) ( ), ,m mj jid x y d x y i≤ ∀ ≠

l% % l


4 - 11 –' עמ

לקבוצה , כלומר(( )miS משתייכים כל הווקטורים מסדרת האימון

) -ש )miyהוא השכן הקרוב ביותר שלהם .(

:חשב את העוות הממוצע המתקבל באיטרציה זו מתוך )2(

( ) ( )( )( )1 |

1 ,N

m mj i

mi j x Sj i

D d x yn

= ∈

= ∑ ∑%

%

) אם) 3( ) ( ) ( )1 /m m mD D D ε−⎡ ⎤− ≤⎢ ⎥⎣ ⎦ . עצור ,

.)4 (-המשך ל, אחרת

)לקבלת ) 4( )1mY +)מתוך ( )mY:( החלף כל וקטור ( )m

iy

: בוקטור

( ) ( )1 mmiiy Cent S+ ⎛ ⎞= ⎜ ⎟

⎝ ⎠

:בועייעוות רעבור , כאשר

( )( ) ( )

1 1 mji m

mi x Sj i

y xS

+

∈

= ∑%

%

). Sהקרדינליות של (S - מסמן את מספר הוקטורים בSוכאשר


4 - 12 –' עמ

) עבור עוות אחר כלשהו ),d x y:

לכל הוקטורים ( )m

j ix S∈% 1,2 ולכל,...,i N= ,מצא iiu S∈

:כך ש, )iSבהנחת קונבקסיות של (

( ) ( )( ) ( ) ( )

( )

1 1, ,j i j im mm mi ix S x Sj ji i

d x u d x vS S

∈ ∈

≤∑ ∑% %

% %

iלכל iv u≠ב -( )miS , וקבע

( )1miiy u+ = .

)5 (1m m→ ). 1 (- וחזור ל+

:ל" של האלגוריתם הנדיאגרמת זרימה •

מילון התחלתי

קטוריחלוקת ו האימון

חישוב העוות הממוצע

בדיקת עצירה

חישוב טרואידיםצנה

של החלוקה

עצור

סדרת אימון

Y

N


4 - 13 –' עמ

:11Ch. (Gersho & Gray ,1992 : ךומת ( דוגמה

(From D.Wolf, P. List and H. Reininger, “Vector Quantization of Random Model Sources”, 12th Seminar on Signal Processing and its Applications, Nice, May 1985.)

K0


4 - 14 –' עמ

(From D.Wolf, P. List and H. Reininger, “Vector Quantization of Random Model Sources”, 12th Seminar on Signal Processing and its Applications, Nice, May 1985.)


4 - 15 –' עמ

)האלגוריתם שהוצג • )GL התכנסות למינימום מקומי בלבדמבטיח .

תלוי לכן במילון ) מבחינת העוות הממוצע(טיב המילון המתקבל

)ההתחלתי )0Y .דוד וקטורי מקור יון לקלמידת ההתאמה של המי

. שלא בסדרת האימון תלויה גם בגודל סדרת האימון 50פחות פי הוא שמספר וקטורי האימון רצוי שיהיה ל כלל אצבע

. 10N - ולא פחות מN מגודל המילון

)המילון ההתחלתי לגבי בחירת )0Y נבחנו בספרות גישות שונות

:וביניהן

. מתוך סדרת הלימודבאקראישימוש במילון התחלתי הנבחר )1(

י"עפ( זה מזה קים ביותרהמרוח הוקטורים Nבחירת )2( ). קריטריון העיוות הנבחר

המילון ההתחלתי הוא– ) Product Codebook (מילון מכפלה )3( , למשל. מכפלה קרטזית של מילונים במימדים נמוכים יותר

k אחד לכל מימד– מילונים סקלרים .

)Splitting Method ("שיטת הפיצול" )4(זו שיטה שבאופן אמפירי נתנה תוצאות טובות במיוחד ויש לה

שנדון בו במבנה עץכמו בניית מילון (גם שימושים נוספים

].LBG ] 3י "הוצעה ע). בהמשך

)י גישה זו מתחילים ממילון בעל וקטור יחיד " עפ )1M ובכל =

תי מילים וממשיכים צעד מבצעים פיצול של כל מילה במילון לש

).2חזקה של (כך עד לקבלת גודל המילון הרצוי

). לעילGLלאחר כל פיצול מבצעים את אלגוריתם (


4 - 16 –' עמ

LBGאלגוריתם

: הוא כדלקמןLBGי "האלגוריתם לבניית המילון עפ •

: אתחול )0(

1Mקבע ומצא=

{ }0 1 1:

nMj j

Y y Cent x=

= %

}בהינתן )1( }0 1

MMi i

Y y=

לשתי המילים iyפצל כל מילת קוד , =

iy δ± , כאשרδלעיתים . ( הוא וקטור פרטובציה קבוע

i,: משתמשים גם ב iy y δ+ .(

2מתקבל כך המילון 0

MY 2 שהוא בעלMמילים .

)2( 2M M←

0 לקבלת GLהפעל את אלגוריתם )3(MY חדש:

( )0 0M MGL Y Y→

Mאם )4( N= ,0המילון . עצורMY Y=הוא המילון המבוקש .

.)1 (-חזור ל, אחרת

הערה

לעיל מתבצעת עם סדרת האימון ) 3( בשלב GL -הרצת אלגוריתם ה

אנו מקבלים מילונים Nכך שבזמן בנית מילון מגודל , כולה

,...,1,2,4בגדלים ) לוקלית(אופטימליים / 2Nגם את , כמובן, ובסוף

. Nהמילון מגודל


4 - 17 –' עמ

הקצאה דינמית , למשל(ניתן לנצל מילונים אלה לקידוד בקצבים שונים

). של סיביות

אופטימליים-מילונים תת. ד

חשובי עיוות בעת קידוד N במבנה שתואר לעיל דורש Nמילון בגודל

מימדי -k גודל המילון הנדרש לקידוד וקטור .וקטור כניסה כלשהו

:הוא) רכיב( סיביות לדגם Rבקצב של

2kRN =

. שוב נתוןיויכול להיות גדול מדי מכדי לעמוד בקצב ח

ים כדי להקטין את מספר החישובים הנדרש לוקטור מקור מתפשר

. נציג כעת מספר מילונים כאלה. אופטימלי-תתלעיתים על מילון

מילון במבנה עץ )1

של אלגוריתם ) 3(בשלב (GLאם בעת הרצת אלגוריתם

רק iyמשתמשים לאחר הפיצול של וקטור מייצג ) לעילLBG -ה

מתקבל , iy ששוייך לאזור אליו שייך חלק של סדרת האימוןבאותו

22logמילון במבנה עץ המאפשר חיפוש מהיר בו עם N חישובי עיוות

כאשר ישנם , בכל שלב) והשוואה ביניהם( חישובי עיוות 2: בלבד

2log Nכמתואר בציור הבא, שלבים:

x

88y

44y 4

1y

81y

21y

83x=y

M=2:

M=4:

M=8:

22y

11y

TSVQ (Tree Structured VQ)


4 - 18 –' עמ

. אופטימלי- כזה הוא כמובן תתמילון

: שים לב שהמילון דורש גם יותר זכרון לאחסון

2 4 8 2 2; 2N N N+ + + = − >L

2, כלומר 2N .k וקטורים במימד −

:הערה

: ניתן לחסוך פעולות חישוב בגישה הבאה

( ) ( ) ( )( )

2 21 2 11 2 1 2 2

2 22 1 1 2

( )

2

T T

T

A B

d d x y x y x y x y x y x y

y y x y y

− = − − − = − − − − −

⎛ ⎞= − + −⎜ ⎟⎝ ⎠1442443 1442443

A,לים את הגד B ולכן ) פעם אחת למילון עץ נתון( אפשר לחשב מראש

חיבור + במקום שני חישובי מרחק מסתפקים במכפלה פנימית אחת

. אחד

Product Codeקוד מכפלה )2

מספר מאפיינים , ביחס לוקטור שיש לקודד,הרעיון כאן הוא להגדיר

ולקודד כל אחד , ר מלא שלושכולם יחד מהווים תאו, )או תכונות(

. מהם בנפרד

i,...,1,2 סיביות ib - מאפיינים ונקודד כל מאפיין בLאם נגדיר L= ,

2biiN מילונים שכל אחד מהם הוא בגודל Lנקבל = .

: הגודל הכולל הוא לכן

1 12

L Lbipc i

i iN N

= =

= =∑ ∑


4 - 19 –' עמ

:במקום מילון אחד שגדלו

12

Lbi

i ii

N N

⎡ ⎤⎢ ⎥⎢ ⎥=⎣ ⎦∑

= = ∏.

אך מביא בדרך כלל לחסכון ניכר במספר , המילון הוא תת אופטימלי

– לקצב נתון,החישובים ובגודל הזכרון לאחסון המילים

.

1

1 L

ii

R bk

=

= ∑

גישה . כזית היא כמובן הגדרה טובה של המאפייניםהבעיה המר

. וקטורים של הוקטור הנתון כמאפיינים-פשטנית היא להשתמש בתת

מקודדים סקלריים עבור וקטור k -במקרה הקיצוני ניתן להשתמש ב(

). ממשVQ -אך אז אין מדובר ב, kמסדר

).Gain/Shape ( צורה/הגברמקודד מקובל הוא מהטיפוס

ומקודדים אותו ) נורמת הוקטור(במקודד זה מחשבים את ההגבר

") צורה"ה(ואילו הוקטור המנורמל ) בדרך כלל לוגריתמית(סקלרית

הדבר משול לקידוד וקטורים שקצותיהם מצויים על (מקודד וקטורית

). מימדי-kקליפת כדור

בו , "מפריד ממוצע"הוא מקודד , המקובל בקידוד תמונות, מקודד אחר

את דולחו) למשל בלוק בתמונה(מקודדים לחוד את ממוצע הוקטור

במקודדים אחרים מפחיתים . הוקטור הנותר לאחר החסרת הממוצע

שכניםים הוקטור ערך ממוצע של אותו רכיב בוקטורשלמכל רכיב

. בתמונה


4 - 20 –' עמ

Multistage Quantizer דרגות-קוונטייזר רב )3

י גישה זו מקודדים תחילה את וקטור הכניסה על ידי מקודד "עפ

ולאחר מכן יוצרים את ) מספר מילים קטן במילון(יחסית " גס"וקטורי

וקטור ההפרש בין הכניסה ליציאת המילון ומקודדים אותו בעזרת

על התהליך הזה ניתן לחזור מספר פעמים . סףקוונטייזר וקטורי נו

סכום הוקטורים המייצגים הוקטור המשוחזר מתקבל על ידי. כרצוננו

: כמודגם בציור הבא, שנתקבלו מהמילונים השונים

L - מספר הדרגות ; bit/element 21

1 logL

ii

R Nk

=

= ∑

: מספר המילים הכולל במילונים הוא

1

L

MS ii

N N=

=∑

, כלומר

12

LbiMS

iN

=

=∑

2logi ,כאשר ib N=

VQ 1

N1

VQ 2

N2

VQ 3

N3

x x ^ (1)

x

Σ Σ

Σ

+ -

+ - +

+ +

x ^ (2) x ^ (3)

x ^ (3)

x ^ (2)

x ^ (1)

x ^


4 - 21 –' עמ

1 : במקום מילון אחד בגודל1

2

Lbi L

i ii

N N

⎡ ⎤⎢ ⎥⎢ ⎥=⎣ ⎦

=

∑= = ותו לקבלת א ,∏

. Rקצב

עם . דרגתי אינו אופטימלי- שהמילון הרב, כמובן, הואהמחיר

נמצא שההפסד אינו גדול ומצדיק , בקידוד אותות דיבור, זאת

.במקרים רבים את השימוש בשיטה

)Partitioned VQ( קוד חלוקה )4 ) Split VQ –או קוד מפוצל (

- ו1k לשני וקטורים במימדים kקטור ממימד הרעיון כאן הוא לפצל ו

2k ,1 כך שקיים , בהתאמה 2k k k= +

לכל אחד מהוקטורים בונים מילון נפרד היכולים להיות מגודל שונה

( )1 2,N N.

1 -מות החישובים יחסית לכ 2TN N N= והקצב הכולל +

2 1 2 21 2

log log bits element

N NRk k

+ ⎡ ⎤= ⎢ ⎥+ ⎣ ⎦

. ומתקבלת כך גמישות המאפשרת התאמה ליכולת החישוב והאחסון

). Product code –זהו בעצם מקרה פרטי של קוד מכפלה (


4 - 22 –' עמ

)Lattice VQ(מקודדים וקטוריים סריגיים 4.3

של נקודות במרחב ) אחיד(הוא סידור רגולרי ) Lattice(סריג

. ממדי הכולל את הראשית-k -ה

k - הוא אוסף של כל הוקטורים הkR - ב Λסריג , באופן פורמלי : ממדיים מהצורה

1

n

i ii

m u=∑

}כאשר } 1n

i iu=

n ,בלתי תלויים לינארית הוא סט וקטורים k≤ו - im

imהם מקדמים שלמים כלשהם ∈Z . עבורn k= הסריג הוא

Nondegenerate .

1 : של הסריג על ידימטריצה יוצרתמגדירים 2, , ..., nU u u u⎡ ⎤= ⎣ ⎦

nועבור k= ,Uהיא לא סינגולרית .

: ממדיים-נדגים שני סריגים דו

:סריג ריבועי )1(

0 11 0

U⎡ ⎤

= ⎢ ⎥⎣ ⎦

( )1 2 1 2

2 1

;,

ix U m mx x x m

x m

= ∈

∈Λ⇒ =

=

Z

cellsVoronoi


4 - 23 –' עמ

משושיםoroniVסריג היוצר תאי )2(

0 32 1

U⎡ ⎤

= ⎢ ⎥⎣ ⎦

( )1 2 1 2

2 1 2

, 32 ; i

x x x mx m m m

∈Λ ⇒ =

= + ∈Z

הנוצר Parrellopiped -של ה" נפח"מימדית ידוע שה-מגיאומטריה רב

נתון על ידי ) Parrellogram בדוגמה לעיל(על ידי וקטורי הבסיס

det U .קטנים מספיקעבור תאים :

( )

2

0

1detMSE

V

D x dxU

≈ ∫

). p. 340 Gersho & Gray:ראה(

V0- Voronoi תא )סביב הראשית(

2 U1

U2

√3

R 2

1


4 - 24 –' עמ

כאשר תאי ) וקטורים מייצגים(נקודות הסריג יכולות לשמש כספר קוד

Voronoi) המהוים חלוקה שלkR ( שוים כולם בצורתם לתא סביב

: י כלל השכן הקרוב על ידי"דר עפהראשית המוג

{ }0 : 0V x x x y for each y= − ≤ − ∈Λ

הסריג הוא סט נקודות במרחקים שוים לאורך מימדי-החדבמקרה

הקוונטייזר האחיד מתקבל על ידי הגבלת התמך לתחום . הציר הממשי

התמך של מימדי מגבילים את הסריג לפי -גם במקרה הרב". ירלוגרנ"ה

. מימדיk -פונקצית הפילוג המשותפת של רכיבי הוקטור ה

:במאמר 10ניתן למצוא ניתוח והשוואה של סריגים שונים עד מימד

J.H. Conway & N.J.A. Sloane, “Voronoi Regions of Lattices, Second

Moments of Polytopes, and Quantization”, IEEE Trans. IT, Vol. IT-28,

pp. 211-216, March 1982.

הוא בכך ) Lattice VQ(היתרון העיקרי של מקודד וקטורי סריגי

שהחיפוש בספר הקוד למציאת הוקטור המייצג וקטור כניסה נתון כרוך

מכיון שניתן לקבוע את התא אליו שייך וקטור , בהרבה פחות חישובים

ללא ביצוע חישובי ) קואורדינטות(הכניסה ישירות מרכיבי הוקטור

: דיון בנושא ניתן למצוא במאמר. עיוות

J.H. Conway & N.J.A. Sloane, “Fast Quantizing and Decoding

Algorithms for Lattice Quantizes and Codes”, IEEE Trans. Inform.

Theory, Vol IT-28, pp. 227-232, March 1982.

לעיוות (וא שבדרך כלל מקבלים קצב גבוה יחסית החסרון של הגישה ה

. אלא אם משתמשים בקידוד אנטרופיה יעיל, )נתון

)yמציין וקטור מייצג (


4 - 25 –' עמ

)בקצרה (נושאים נוספים

Gain Adaptation (G&G Ch. 16) אדפטצית הגבר •

)Forward or Backwardבדומה למקרה הסקלרי (

Switched Codebook Adaptive VQ ספר קוד ממותג • )Classified VQ -ם כידוע ג(

( )2 2log log / [ / ]vR N K M bits Vecor= +

)Feedback VQ (מקודדים וקטוריים עם משוב •

- Finite-State VQ )FSVQ( )G&G Ch.14(

- Predictive VQ )PVQ( )G & G Ch.13(

CKC3C2C1

Frame Buffer (M vectors)

Distortion computation

Classifier (K classes)

Xn Un Codeword index

J Codebook index

Codebooks (N vectors each)


4 - 26 –' עמ

1. FSVQ

14.3) (From Gersho & Gray, Fig.



4 - 27 –' עמ

2. PVQ

Predicitive Vector Quantizer


nˆ1 :מסדר ראשון) וקטורי(חזאי לינארי nx Ax −=%

: למצוא בחוג פתוח נוחAאת

{ }

1

12 1min { }

n n

n n nT

opt n xxn nA

x Axe x x

E e A E x x R

−

−−

=

= −

⇒ =

%

%

} : כאשר }Txx n nR E x x=

Codebook C=

{ci; i=1,…,N}

Vector Predictor

VQ

~ Xn

Xn ^ + -1 +

+ in

Decoder

^ en

Codebook C =

{ci; i=1,…,N}

Vector Predictor

VQ ~ Xn

Xn

Xn ^

+ +

- +

+

+

inen

Encoder

en ^


1 5 - – 'עמ

קידוד בתחום התדר . 5

:גישות מקובלות

).SBC -band Coding -Sub(סי תדר נפרדים פקידוד ב )1(

). TC -Transform Coding(קידוד טרנספורמציה )2(

). Pyramidal Coding) (של תמונות(קידוד פירמידלי )3(

SBC - תדר נפרדים –קידוד בפסי 15.


(1) N. S. Jayant and P. Noll: Digital Coding of Waveforms, Prentice-Hall, 1984.

(2) R.E. Crochiere and L.R. Rabiner: Multirate Digital Signal Processing, Prentice-Hall 1983. (CH.7-Filter Banks).

(3) J.W. Woods, Ed.: Subband Image Coding, Kluwer 1991. (4) N.J. Fliege: Multirate Digital Signal Processing, J. Wiley, 1994

(CH’S 6-9: Filter-banks & Wavelets). (5) M. Vetterli & J. Kovacevic: Wavelets and Subband Coding,

Prentice-Hall, 1995. (6) A.N. Akansu and M.J. Smith Ed.: Subband and Wavelet

Transform Design & Applications, Kluwer 1996.

הרעיון הבסיסי הוא לבצע הפרדה של אות מקור לתחומי תדר נפרדים

של כל אחד מהאותות המתקבלים בתחומי שונה ולבצע קוונטיזציה

ממדיים ובהמשך נטפל גם -נדון תחילה באותות חד. התדר השונים

).ממדיים-אותות דו(בתמונות

מהשיטות שראינותההפרדה לפסי תדר ניתנת להתבצע על ידי כל אח

: דהיינו– )עיבוד ספרתי של אותות (בקורס הקודם


2 5 - – 'עמ

QMF (Quadrature Mirror Filters)שימוש במסנני )1(

המאפשרים ביטול מוחלט של שגיאות קיפול עקב הדצימציה

של מוצא כל מסנן וקבלת סטיה קטנה בלבד ממערכת יחידה

).וונטיזציהאם אין מבצעים ק(

מלבד , ניתןלאעמו (DFTשימוש במערך אחיד של מסנני )2(

ולכן לקבל ביטול מוחלט של שגיאות הקיפול ,חלון מלבניכשה

). FFT יעיל לביצוע בעזרת ואאך ה, מערכת יחידהגם לא

ניתן QMF -אם מוותרים על הפאזה הלינארית של מסנני ה) 3(

להשיג מערכת יחידה כאשר מסנני האנליזה משרתים גם

Conjugate – בשם מסננים אלו ידועים. למטרות הסינתזה

Quadrature Filters (CQF). מסננים אלה מהווים מסנני

Wavelets אורתוגונליים .

אם מרשים שימוש במסננים שונים לאנליזה ולסינתזה ניתן ) 4(

להשיג פאזה לינארית ומערכת יחידה באמצעות מסנני

Wavelet אורתוגונליים-בי .

בעית הקידוד בפסי תדר נפרדים 5.1.1

כיוון שאם מספר פסי התדר גדול זאת מ. פרדיקטיבי-לאן בקידוד דונ

רוב שטוח ולכן הקורלציה בין הדגמים ימספיק הרי שכל פס תדר הוא בק

אם מספר . נמוכה ואין תועלת רבה בשימוש בחזאי) לאחר דצימציה(

פסי התדר אינו גדול הרי שניתן בכל זאת לשפר את ביצועי המקודד על

. אי מתאים בכל פס תדרידי שימוש בחז

. מספר פסי התדר- M : יהי

I -קצב התמסורת בערוץ .


3 5 - – 'עמ

[ ] ( )1

/ secM

sk kk

I f R bits bps=

=∑

, כאשר

skf -קצב הדגימה בפס ה - k) גימות לשניהמספר ד(.

kR -סיביות לדגימה בפס ה' מס- k .

הנחה שלא תמיד מתקיימת (םנניח מעתה כי כל הפסים זהים ברוחב

, )ואפשר כמובן לקחת זאת בחשבון

: אזי

k :k -רוחב סרט הפס הWW WM

Δ = Δ =

. הוא רוחב הסרט של אות הכניסה Wכאשר

2 ,לכן 2sk kWf WM

= Δ =

] :מכאןו ]1

2 M

kk

WI R bpsM

=

= ∑

) Full-band(נשווה תוצאה זו עם התוצאה המתקבלת בקידוד פס מלא

: יחיד

[ ]2 2s FBf W I WR bps= → =

) bps -ולכן נקבל אותו קצב תמסורת ב )FBI I= , אםR הוא הקצב

: של כל פסי התדר) bit/sample -ב(הממוצע


4 5 - – 'עמ

(Average rate in bit/sample)

1

1 M

kk

R RM

=

=∑

קיים , פס תדר באותו מספר סיביות לדגםאם מקודדים כל , כמובן

kR R= ,1,2,...,k M= . במובן (אך זו לא בהכרח הקצאה אופטימלית

. לקצב תמסורת נתון) של מזעור מדד עיוות נתון

)Optimal Bit Allocation (הקצאת סיביות אופטימלית 5.1.2

פטימלית לפסי התדר השונים למזעור העיוות נדון בהקצאת סיביות או

):MMSE(הריבועי הממוצע

: נסמן

2kxσ שונות האות בפס התדר ה - k .

2ek

σ הקוונטיזציה בפס ה) רעש או ( שונות שגיאת- k.

ושהאותות )או בקירוב כך(יחידה ' בהנחה שמערכת המסננים היא מע

, )חפיפה קטנה של המסננים ( תלויים-בפסי התדר השונים בלתי

:יתקיים

2 -אות הכניסה שונות 2

1k

M

x xk

σ σ=

=∑

2 שגיאת השחזורשונות 2

1k SBC

M

e ek

σ σ=

=∑

) רוב גם בקצבים נמוכיםיובק (High Resolution Quantizationעבור

ניתנת לביטוי על ידי k -שגיאת הקוונטיזציה בפס ה


5 5 - – 'עמ

22 2 22 kk k

Re x kdσ σ −= ⋅ ⋅

2כאשר kd מציין פקטור דגרדציה בביצועי המקודד ( )2 1kd התלוי , ≤

2 על ידי Jayant & Nollן בספר של מסומ(בקוונטייזר ובפילוג

kε∗(.

הערה

ל נותן" מהביטוי הנkR ץחילו

22

2 221 1log log2 2

xkk k

ek

R dσ

σ= +

2 -כך ש2

1 log2 kd ביחס לחסם ( מציין את מחיר הדגרדציה בסיביות

). התחתון של המקרה הגאוסי

, ןכמו כ

[ ]2

210 10210log 6 10log ( )xk

k k kek

SNR R d dBσ

σ= = −

2 -כך ש1010log kdהוא מחיר הדגרדציה ב - [ ]dB) ביחס לחסם העליון

). במקרה הגאוסיSNR -ל

בלנו עבור יעבור פילוג גאוסי עם קוונטייזר אופטימלי לפילוג ק, למשל

5R bits= : 26 SNR dB= 2 ולכן1010log 4 kd dB= .

ביטוי שקבלנו עבור קוונטייזר אופטימלי כלשהו מקבלים מהpdfעבור

1Nעם (לפילוג >>:(


6 5 - – 'עמ

( )31/ 32

21 1

12k

kx

d p x dxσ

⎡ ⎤⎡ ⎤= ⋅ ⎣ ⎦⎢ ⎥⎣ ⎦∫

, לפיכך

22 2 2

1

2 kSBC k

MR

e x kk

dσ σ −

=

=∑

):PCM) full-bandזאת לעומת

2 2 2 22PCM

Re x dσ σ −= ⋅

2 -בהנחה ש 2kd d= ,לכל k ,יחס הביצועים:

2 22 2 2

12

2 22 2

1 1

22

2 2

kPCM

SBC k kk k

MR

xRe x k

SBC M Me R R

x xk k

Gσ

σ σσ

σ σ

−−

=

− −

= =

= = =∑

∑ ∑

,כאשר

1

1 M

kk

R RM

=

= ∑

, ומכאן

[ ]10logSBC PCM SBCSNR SNR G dB= +

kRנשים לב שאם R= , לכלk , 1אזיSBCG אין כל רווח , כלומר. =

זו צפויה כמובן להיות ההקצאה האופטימלית אם (בחלוקה לפסי תדר

).ספקטרום אות הכניסה שטוח

,הרי) 'אות וידאו וכד, דוגמת אות דיבור(כאשר אות הכניסה אינו לבן

ן לקבל על ידי הקצאת סיביות מתאימה שיפור בביצועי נית,כפי שנראה

SBC Gain


7 5 - – 'עמ

1SBCGכלומר . PCM לעומת SBCמקודד הדבר מזכיר את . <

חזאי כאשר קיימת קורלציה בין נותןש) Prediction Gain) PG -ה

). כלומר ספקטרום לא שטוח(דגימות סמוכות של האות

: של סיביותבעית ההקצאה האופטימלית 5.1.3

יש לבצע מינימיזציה של :הבעיה

22 2 2

1

2 kSBC k

MR

e xk

dσ σ−

=

= ∑

,...,1,2על ידי בחירת ערכי , kk M R= ,תחת האילוץ :

1

12

M

kk

IR RM W

=

⎛ ⎞= =⎜ ⎟⎝ ⎠∑

ונבצע ) Lagrange Multiplier(' לשם כך נשתמש בכופל לגרנז

: המינימיזציה

22 2

1 12 k

kk

M MR

kxR k kMin d MR Rσ λ−

= =

⎡ ⎤⎛ ⎞⎢ ⎥⎜ ⎟− −

⎜ ⎟⎢ ⎥⎝ ⎠⎣ ⎦∑ ∑

: והשוואה לאפס זירה של הבטוי בסוגרייםג

[ ] 0kR∂

⋅ =∂

:נותנת

( )2

22 2

1 1log 2 ln 2 log2 2

kxkR d

σ

λ= +


8 5 - – 'עמ

: באילוץkRנציג את

1

M

kk

R MR=

kR - נציגו בבטוי ל,λנחלץ את , ∑=

: ונקבל

2

2 1/2

1

1 log , 1,2,...,2

kopt

xk MM

x

R R k Mσ

σ=

= + =⎛ ⎞Π⎜ ⎟⎜ ⎟

⎝ ⎠ll

, כשכל ההספקים של האותות בפסי התדר השונים שוים זה לזה, כצפוי

optkRנקבל R= , לכלk .

2 - בבטוי לoptkRהצבה של keσנותנת, לעיל :

22 2 2min

1/2 2 2

1

2

2

Rkopte xk k

MMR

x

d

d

σ σ

σ

−

−

=

= ⋅

⎛ ⎞⎜ ⎟= ⋅⎜ ⎟⎝ ⎠∏ ll

: והשונות הכוללת

min min

2 2

11/

2 2 2

1

2

SBC k

M

e ek

MMR

xM d

σ σ

σ

=

−

=

=

⎛ ⎞= ⋅⎜ ⎟⎜ ⎟

⎝ ⎠

∑

∏ l

l


9 5 - – 'עמ

ה האופטימלית שהוצגה לעיל מתקבלת אותה אשים לב שעבור ההקצ

2 -הבטוי ל (בכל פסי התדר שונות רעש קוונטיזציהminek

σ אינו תלוי

. )k -ב

בור הספקים שווים בכל פסי התדר ע, כמו כן2

2 xxk M

σσ ,k כלל, =

:מתקבל

min

2 2 2 2 22SBC PCM

Re e x dσ σ σ −= = ⋅ ⋅

:נקבל) הספקי האות בפסים השונים אינם שווים( במקרה הכלליו

22

1max 1/ 1/

2 2

1 1

1

1

M

xkx k

SBC M MM M

x x

MG

M

σσ

σ σ

=

= =

= = ≥⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦

∑

∏ ∏l ll l

ההספקים בפסי של יחס של ממוצע אריתמטי לממוצע גיאומטריזהו

. ≥1התדר השונים ולכן

1SBCG, כאשר ההספקים של הפסים השונים שווים זה לזה, שוב =

עבור אותות . ואין כל יתרון בביצוע הקידוד בפסי תדר נפרדים

1SBCGשהספקטרום שלהם אינו שטוח יתקבל SBC -מוש ב ושי<

. מבחינת העיוות לקצב נתוןPCMעדיף על


10 5 - – 'עמ

הערות

אותות שמע , דוגמת אותות דיבור, סטציונריים-עבור אותות לא )1(

)Audio( ,מקבלים תוצאות טובות יותר כאשר , תמונות ווידאו

) לזמן קצר( האות מכיוון שספקטרוםדינמיתהקצאת הסיביות היא

.משתנה בזמן

2אם ) 2( kdאינו זהה בכל הפסים הרי שיש למזער את :

22 2

12

MRk

k xkk

d σ−

=∑

. Rתחת האילוץ של מספר סיביות ממוצע

:הביטוי המתקבל עבור הקצאת סיביות אופטימלית הוא כעת

2 2

2 21/ 1/2 2

1 1

1 1log log2 2

xk kkopt M MM M

x

dR R

d

σ

σ= =

= + +⎛ ⎞ ⎛ ⎞⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠∏ ∏ lll l

: לעיתים מעונינים למזער את השגיאה המשוקללת) 3 (

( )22 2 2 2

11 0

2 ; M

Rk kk kx xk kk

d W Wγ

γ

σ σ−

=− < <

⋅ =∑


11 5 - – 'עמ

: ההקצאה האופטימלית היא אז

2 21 1log log2 21/ 1/2 2M M2 2

=1 =12

2 1/M2

=1

1 log2

dxk kR Rk opt M Mdx

kM

W

W

σ

σ

= + +⎛ ⎞ ⎛ ⎞⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠∏ ∏

+⎛ ⎞⎜ ⎟⎜ ⎟⎝ ⎠∏

lll l

l

l

כיוון . חייבים להיות חיובייםkoptR -בביטויים לעיל אין הגבלה ש) 4(

הרי , מסוימיםkR ערך שלילי עבור שייתכן שנקבל מהחישוב

0kR -שמשתמשים אז ב ויש אז להפחית סיביות בפסי תדר =

. R שיהיההערך הממוצע שר ואחרים כדי לשמ

אם ( יהיו שלמים kR -ש) אילוץ( אין גם הגבלה לבביטויים לעי) 5(

גדול יחסית הרי שלא נקבל Rאם ). מעונינים בקוונטיזציה סקלרית

ירידה גדולה בביצועים אם נעגל לאחר החישוב את הערכים

ת במידת הצורך סיביו, נורידאו ,ונוסיף(המתקבלים לשלמים

עבור ערכי , אולם). R יהיההערך הממוצע ש מפסים מסוימים כדי

Rנמוכים השינוי יכול להיות משמעותי .

ולאלץ kNבמקרה כזה ניתן להתייחס למספרי רמות הקוונטייזרים

כל ל התייחסול) 2 של שלמהלאו דוקא חזקה(אותם להיות שלמים


12 5 - – 'עמ

)חד כוקטור האינדקסים בי )1 2,...,, Mn n n על ידי המיוצג

21

logM

N=

⎡ ⎤⎛ ⎞Π⎢ ⎥⎜ ⎟⎜ ⎟⎢ ⎥⎝ ⎠⎢ ⎥

ll

. סיביות

1כאשר , )דוגמה פשוטה ( פסים2עבור , למשל 211; 5N N= אנו =

-שלייצוגם ניתן להשתמש ב, זוגות אינדקסים אפשריים55מקבלים

4לעומת , סיביות6 3 7+ . סיביות לייצוג כל פס בנפרד=


13 5 - – 'עמ

TC (Transform Coding (–קידוד התמרה 25.

ונטיזציה וקטורית הרי שניתן לבטל או לפחות קוכפי שהצגנו בהקשר של

להקטין תלות לינארית בין משתנים אקראיים על ידי סיבוב צירים

. המתבצע על ידי התמרה לינארית

דגמים Nשל ) וקטור( בלוק עקרון השיטה הוא לכן לבצע התמרה של

מקדמי התמרה חסרי קורלציה Nשל ) וקטור(של אות הכניסה לסט

). עבור המקרה הגאוסי הם אז גם בלתי תלויים סטטיסטית(ביניהם

עם (נהוג אז לבצע קוונטיזציה סקלרית לכל אחד מהמקדמים בנפרד

כיוון שאין –רמות קוונטיזציה שיכול להיות שונה עבור כל מקדם מספר

). גם אם אות הכניסה סטציונרי, המקדמים שוות זו לזושונויותהכרח ש

. שניתן גם להפעיל קוונטיזציה וקטורית על סט המקדמים, כמובן

. לאספקט זה נתייחס בשלב מאוחר יותר

: הוא לפיכךTCמבנה טיפוסי של מערכת

x y A A-1

Q1

Q2 y ^

^ x

התמרה קוונטיזציה התמרהכית הפ

QN


14 5 - – 'עמ

Aבחירת ההתמרה 2.15.

2בעל שונות , סטציונריאות המקורי הוא הנניח שxσ וממוצע אפס

): קווריאנס(ובעל סדרת אוטוקורלציה

( ) ( ) ( ){ }r m E x n x n m= +

מטריצת אזי , xוקטור דגמים עוקבים של המקור לתוך Nנסדר

: תהיהxשל הקווריאנס

{ }( ) ( ) ( )( ) ( ) ( )

( ) ( )

0 1 11 0 2

1 0

Txx

r r r Nr r r N

R E x x

r N r

⎡ ⎤−⎢ ⎥−⎢ ⎥= =⎢ ⎥⎢ ⎥

−⎢ ⎥⎣ ⎦

L

L

M M

L L

סימטרית ולכן כל הערכים העצמיים שלה הם xxRהמטריצה

.נגולרית אינה סיxxR -נניח ש, כן כמו. ממשיים

N מטריצה Φתהיה N× אשר עמודותיה הם הוקטורים העצמיים

:xxRשל ) אורתונורמלים(המנורמלים

1 2, ,..., Nϕ ϕ ϕ⎡ ⎤Φ = ⎣ ⎦

, כלומר

, 1,2,...,xx i iiR i Nϕ λ ϕ= =

כאשר

10

Ti j

i ji j

ϕ ϕ=⎧

= ⎨ ≠⎩


15 5 - – 'עמ

כיוון שכאן - אורתוגונלית או) (Unitary(טרית י היא מטריצה יונ Φאזי

המקיימת) היא ממשית

1 *T T−Φ =Φ = Φ

:xxRומלכסנת את

1

21

0

0

Txx xx

N

R R

λλ

λ

−

⎡ ⎤⎢ ⎥⎢ ⎥Φ Φ = Φ Φ = = Λ⎢ ⎥⎢ ⎥⎣ ⎦

O

נגדיר כעת את ההתמרה על ידי המטריצה

TA = Φ

,כלומר

Ty Ax x= =Φ

1 :וקיים TA A− = = Φ

T נתון לפיכך על ידי y של i -ה הרכיב i iy xϕ= .

הן , שהן וקטורי הבסיס של ההתמרה, Aבהתמרה זו השורות של

. xxRהוקטורים העצמיים המנורמלים של

: התמרה זו מכונה בספרות בשמות הבאים

Karhnen-Loeve Transform (KLT)

Hotelling Transform

Eigenvector Transform


16 5 - – 'עמ

הם חסרי קורלציה ביניהם y היא שרכיבי תכונה מרכזית של התמרה זו

). ולכן גם בלתי תלויים סטטיסטית עבור מקור גאוסי(

הוכחה

{ } { }{ } { } 1

TT Tyy

NT TTxx i i

R E Y Y E X X

E X X R diag λ =

= = Φ Φ

= Φ Φ = Φ Φ = Λ =

: היאyyRתוצאה חשובה נוספת הנובעת מהביטוי לעיל עבור

{ } { } { }( )2 2 0i i i iyiE y E y E xσ λ= = = =

למרות שקיים , תהיה אותה שונותyאין הכרח שלרכיבי , רכלומ

{ }2 2i xE x σ= , לכלi ,כיוון ש- ( )x nסטציונרי .

:טרית קייםיכיוון שההתמרה יונ, כמו כן

( )( ) ( )2 2T TT T Ty y y x x x x x= = Φ Φ = Φ Φ =

, ")Parsevalמשפט "ום קי(

: וכן

[ ] 2

1

N

xx x yy ii

trace R N trace Rσ λ=

⎡ ⎤= = =⎣ ⎦ ∑

} , כלומר } { }2

1

NT T

x ii

E X X N E Y Yσ λ=

= = =∑


17 5 - – 'עמ

קוונטיזציה של מקדמי ההתמרה 5.2.2

באופן וקטורי (y הוקטור המתקבל לאחר קוונטיזציה של yיהיה

).יברכ, רכיב–או סקלרי

x לכניסה xנראה כעת שהעיוות הריבועי הממוצע בין היציאה

לכניסתו yשווה לעיוות הריבועי הממוצע בין יציאת הקוונטייזר

y:

( ){ } ( ) ( )

( )( ) ( )( )

( ) { ( ) ( ){ }

ˆ ˆ ˆ,

ˆ ˆ

ˆ ˆ ˆ,

TTC

T

T T

I

D E d X X E X X X X

E Y Y Y Y

E Y Y Y Y E d Y Y

⎧ ⎫= = − −⎨ ⎬⎩ ⎭

⎧ ⎫= Φ − Φ −⎨ ⎬

⎩ ⎭⎧ ⎫⎪ ⎪= − Φ Φ − =⎨ ⎬⎪ ⎪⎩ ⎭

טריות של יאה זו היא כמובן פועל יוצא של תכונת היונתוצ

.ההתמרה

2תהיה ei

σשגיאת הקוונטיזציה של הרכיב ה - i בוקטור y . על פי

:ניתן לרשום, )SBCראה (התוצאות שקבלנו קודם

22 2 2 2 Rii ie yi id Dσ σ −= =

: כאשר

2iyi

σ λ= - שונות הרכיב ה - i בוקטור y.

iR - ה מספר הסיביות המוקצות לאלמנט -i.


18 5 - – 'עמ

2id - " ביחס לחסם (בביצועי המקודד " דגרדציהפקטור

).התחתון של העיוות של מקור גאוסי

id, לשם הפשטות, נניח בהמשך d= , לכלi .

: העיוות הריבועי הממוצע

2 2 2

1 1

2 22 2 2

1 1

ˆ ˆ

2 2

N N

TC ieii i

N NR Ri ii KLTyi

i i

D E X X E Y Y D

d d D

σ

σ λ

= =

− −

= =

⎧ ⎫ ⎧ ⎫= − = − = =⎨ ⎬ ⎨ ⎬⎩ ⎭ ⎩ ⎭

= = =

∑ ∑

∑ ∑

R האילוץ של קצב ממוצע תחתKLTDמינימיזציה של

1

1 N

ii

R RN

=

= ∑

סעיף – SBCראה פתרון בעיה דומה לגבי (נותנת את הפתרון

5.1.3 .(

2 1/

1

1 log2

iiopt NN

ij

R R λ

λ=

= +⎛ ⎞Π⎜ ⎟⎜ ⎟

⎝ ⎠

2 , כזכור, כאשרi yiλ σ=

נותנת iD - בביטוי לioptRהצגת


19 5 - – 'עמ

22 2min

1/2 2

12 , 1,2,...,

RioptD di iNNR

jj

d i N

λ

λ

−=

−=

⎡ ⎤= Π =⎢ ⎥

⎢ ⎥⎣ ⎦

. i זהה לכל iDעבור ההקצאה האופטימלית , וכמקודם

: לפיכך

min min

1/2 2 2

11

2 ;j

NN NR

KLT i j j yji

D D Nd λ λ σ−

==

⎡ ⎤= = Π =⎢ ⎥⎣ ⎦∑

קידוד סקלרי של כל (PCMנשווה כעת את הביצועים עם מקודד

). עם אותו קוונטייזרxשל רכיב

)N2 ) דגימות 2 22 RPCM xD d Nσ−= ⋅

) עם הקצאה אופטימלית(ל "והשיפור בביצועים על ידי המקודד הנ

:נתון על ידי היחס

2max 1/

min

1

KLTDPCM xG NDKLT N

jj

σ

λ

= =⎡ ⎤Π⎢ ⎥

⎢ ⎥=⎣ ⎦

: נו קודםירא

[ ] 2

1

N

xx x yy ii

Trace R N trace Rσ λ=

⎡ ⎤= = =⎣ ⎦ ∑

, ולכן


20 5 - – 'עמ

12

1

Nx iN i

σ λ==∑

1:ומכאן

1 1max 1/

1

NiN iGKLT NN

jj

λ

λ

== ≥⎡ ⎤Π⎢ ⎥

⎢ ⎥=⎣ ⎦

∑

)וכמקודם )SBC של ממוצע אריתמטי לממוצע גיאומטרי זהו יחס

}הסט } 1N

i iλ . ≥1 ולפיכך =

maxתנאי השוויון 1KLTG מתקיים כאשר כל הערכים העצמיים =

xxRכלומר האות לבן , שוים זה לזה Iλ= ,2xλ σ= ,IΦ ואין =

). חסרי קורלציהxהאלמנטים של (צורך לבצע התמרה

היא ההתמרה הנותנת ערך מכסימלי של KLT -טרם הוכחנו שאכן ה

/PCM TCD Dזאת נראה . טריות האפשריותי על פני כל ההתמרות היונ

:להלן

KL -על האופטימליות של התמרת 2.35.

TAנראה כעת שהבחירה = Φ , כאשרΦ יוניטרית ומלכסנת את

xxR) כלומרKLT( , מביאה למכסימום של היחסPCMTC

TC

DGD

= ,

. האפשריותAעל פני כל ההתמרות היוניטריות


21 5 - – 'עמ

1 כלשהי Aאם משתמשים בהתמרה יוניטרית *TA A−⎛ ⎞

=⎜ ⎟⎝ ⎠

ולא ,

) KLT -וקא בד )TA = Φ ,מקבלים:

22 1

1/ 1/2 2

1 1

1 N

y jjx

TC N NN Ny yj jj j

NG

σσ

σ σ

=

= =

= =⎡ ⎤ ⎡ ⎤Π Π⎢ ⎥ ⎢ ⎥

⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦

∑

2, כזכור, כאשרy j

σזו שונות הרכיב ה - j של הוקטור המותמר

2 קיים KLTעבור כאשר (jy j

σ λ=( .

כך שיתקבל A יש לבחור את TCGכדי לבצע מכסימיזציה של

מינימום של הממוצע הגיאומטרי

1/2

1

NNy jj

σ=

⎡ ⎤Π⎢ ⎥

⎢ ⎥⎣ ⎦ תחת האילוץ ,

2-ש 2

1

1 N

xy jj

Nσ σ

=

A -קיום האילוץ מובטח על ידי השימוש ב (∑=

).יוניטרית

A: yהתמרה כלשהי עבור Ax=

קיים

{ } TTyy xxR E Y Y AR A= =

: ננצל כעת מספר תכונות של דטרמיננטים

1) Based on Hadamard Determinant Theorem,


22 5 - – 'עמ

since yyR is symmetric and assumed to be PD:

( ) { }2 2 21 1

det , ; N N

yy yy yy jy yj jj jR R R j j E yσ σ

= == ≤ Π = Π =

2) 1

detN

xx xx jj

R R λ=

= = Π

3) ( )T Tyy xx xx yy xxR R AA R R AR A

↑= = =

: התכונות לעיל3מתוך

( ) ( ) ( )

21 1

1 3 2

minN N

yy xx jy jj jR Rσ λ

↑ ↑ ↑= =Π = = = Π

. KLT -ותכונה זו מתקיימת כזכור על ידי ה

כלומר , היא אופטימלית במובן הנדוןKLT, לפיכך

maxKLT TCA U

G G∈

=

רההע

היא תכונת KLTתכונה חשובה נוספת המתקיימת על ידי

רכיבים עבור m -מכסימיזציה של ההספק ב, כלומר". קומפקטיות"ה

m, 1כל ערך של m N≤ כאשר מסדרים את הרכיבים בסדר יורד של (≥

מזעור הפגיעה (ו מסייעת לדחיסה טובה יותר של האות תכונה ז). שונות

). אלו שהם בעלי שונות נמוכה–באות על ידי איפוס חלק מהרכיבים

. 5.11 סעיף A. K. Jainהוכחה לתכונת הקומפקטיות ראה בספר של

Aיוניטרית


23 5 - – 'עמ

Jayant & Noll -וב ("Basis Restriction " שםאיפוס רכיבים מכונה

י הקצאת סיביות אופטימלית מתקבל " ע ."Zonal Sampling")מכונה

כולל אפשרות (בעצם שרכיבים בעלי שונות נמוכה מקבלים פחות סיביות

).איפוס רכיבים

קשר לקידוד פרדיקטיבי 5.2.4

דד באופן יעיל מקור וראינו בפרק על קידוד פרדיקטיבי שניתן לק

עת מעניין כ). קידוד שגיאת החיזוי(מוש בחזאי י שי"כרון עיבעל ז

). pG ) Prediction Gain לבין KLTGלבחון את הקשר בין

לשם כך נגדיר על ידי 2jε את שונות שגיאת החיזוי של חזאי מסדר

j) בחוג פתוח .(

: שקיים) 542' עמJayant & Nollראה (ניתן אז להראות

1 2

0 1

N Nj j

j jε λ

−

= =Π = Π

: שים לב(2 20 xε σ= .(

,ולכן

( ) ( )1/1

0

NNKLT p

jG N G j

−

=

⎡ ⎤= Π⎢ ⎥⎢ ⎥⎣ ⎦

)כאשר )pG j של חזאי מסדר" הגבר החיזוי" הוא j :

( )2

2x

pj

G j σ

ε=


24 5 - – 'עמ

הוא הממוצע הגיאומטרי של הגברי החיזוי של KLTG, כלומר

) עד סדר 0אים מסדר חז )1N − .

) -מכיוון ש )pG jמונוטונית לא יורדת של ' זו פj ,הרי שקיים

( ) ( )1 , 0,1,..., 2p pG N G j j N− ≥ = −

,ולכן

( ) ( ) ( )1p p KLTG N G N G N≥ − ≥

עם KLT מאשר N עדיף השימוש בחזאי מסדר אורטיתית, כלומר

). סופיN) Nבלוק באורך

כיוון שהחזאי מצוי בתוך חוג סגור סביב הקוונטייזר , מעשית

במיוחד כאשר (יותר הרי שהגבר החיזוי קטן , )DPCM סכמת(

) הקצב נמוך

של לשגיאות ערוץהרגישות, נוסף לכך. TC -ויתכן אז יתרון ל

כיוון ששגיאה אינה מ זאת. קטנה יותר,TCמערכת קידוד מטיפוס

יש DPCM -בעוד שב, סמוכים) בלוקים(מתפשטת בין קטעים

התפשטות שגיאה לזמן ארוך עקב הזכרון של החוג הרקורסיבי

. במקלט

אופטימליות-ת תתוהתמר 5.2.5

היא מסובכת יחסית למימוש כיון שיש לחשב את KLהתמרת

. xxRהערכים העצמיים והוקטוריים העצמיים המנורמלים של

יש לחשב את וקטורי ) תמונות, דיבור(סטציונריים -עבור אותות לא

עצמה דרושים גם לביצוע ההתמרה . הבסיס מחדש בכל מסגרת


25 5 - – 'עמ

( חישובים רבים 2( )O N , עבור התמרת וקטור באורךN( , כיוון

. FFT -שלא ידוע אלגוריתם יעיל דוגמת ה

בשימושים מקובלים משתמשים בהתמרות אחרות עבורן , לפיכך

שלהן קיימים אלגוריתמים מהירים לחישובן וכן וקטורי הבסיס

). בלתי תלויים באות(קבועים

: נזכיר בקצרה את ההתמרות המקובלות הבאות

DFT -התמרת פוריה דיסקרטית ) 1(

( ) ( )21

0

1 ,

0,1,..., 1

nkN j NF

ny F x Y k x n e

N

k N

π− −

=

= ⇒ =

= −

∑

התמרה זו יוניטרית 1 *( )

TF F− - גדול מתקרבת לNוכאשר =

KLT.

DCT - ס דיסקרטיתהתמרת קוסינו) 2(

( ) ( )1

(2 1)2

0( ) cos ,

0,1,..., 1

Nn k

C Nn

y C x Y k k x n

k N

πα−

+

=

= ⇒ =

= −

∑


26 5 - – 'עמ

) כאשר )

1 , 0

2 , 1,2,..., 1

kNk

k NN

α

⎧ =⎪⎪=⎨⎪ = −⎪⎩

:כיתוההתמרה ההפ

( ) ( ) ( ) ( )11

0

2 1cos ,

2

0,1,..., 1

NT

Ck

n kC C x n k Y k

N

n N

πα

−−

=

+⎛ ⎞= ⇒ =⎜ ⎟⎝ ⎠

= −

∑

). DCT-II -התמרה זו ידועה גם כ(

) אסימפטוטית(קיימת הוכחה שהתמרה זו מתכנסת גם היא

Nכאשר (KLT -ל DFTות זו מהירה יותר מאשר אך התכנס) ∞→

עבור תהליך מרקובי , במיוחד. עבור תהליכים מרקוביים מסדר סופי

- קרובים ביותר לביצועי הDCT -מסדר ראשון אף נמצא שביצועי ה

KLT גם עבור ערכי N 1 - קרוב ל–אם מקדם הקורלציה גבוה ( קטנים .(

:DCT- ה יתרונות נוספים של

. ההתמרה ממשית •

אפשר לנצל למשל את (שב את ההתמרה ביעילות חניתן ל •

") פרפרים("אך קיימים גם אלגוריתמים יעילים . FFT -ה

. ישירים

:תכונה נוספת

: ניתן להראות


27 5 - – 'עמ

( ) ( ) ( ) cos , 0,1,..., 12C F k

kY k k Y k k NNπα ϕ⎛ ⎞= − = −⎜ ⎟

⎝ ⎠%

,כאשר

( ) ( ){ }

( )

2 10

NF

k F

Y x DFT x n

Y kϕ

−=

= ∠

% %

%

-ו

( ) ( ) 0 10 2 1

x n n Nx n

N n N⎧ ≤ ≤ −

= ⎨≤ ≤ −⎩

%

)המעטפת של , לכןו )CY k) עוקבת אחרי המעטפת ) סדרה ממשית

י "הספקטרלית של האות כך ששיקולים הקשורים בהקצאת סיביות עפ

. המעטפת הספקטרלית תופסים גם כאן

השימושיות במיוחד לקידוד תמונות הן התמרת , תוהתמרות נוספ) 3(

– Hadamard) אוWalsh (ינוס דיסקרטית והתמרת ס- DST , שניתן

ושל Jayant & Nollבספרים של , למשל, למצוא עליהן פרטים נוספים

A.K. Jain .


28 5 - – 'עמ

נדגים כאן את וקטורי הבסיס עבור ההתמרות השונות שהוזכרו

):המדמה אות דיבור (10וביצועיהן עבור תהליך מרקוב מסדר


29 5 - – 'עמ

קידוד תמונות 5.3

ממדיים-קרטיים דובוד אותות דיסיע 5.3.1

הגדרות

): ממדית- סדרה דו- ), ; , int egersx m n m n −

:ממדי- דגם יחידה דו-

( ), 1 00

m n m notherwise

δ = = =

=

) ": ספרבילית" סדרה - ) ( ) ( )1 2,x m n x m x n=

: ממדי- סכום סופרפוזיציה דו-

( ) ( ) ( ), , ,k r

x m n x k r m k n rδ∞ ∞

=−∞ =−∞

= − −∑ ∑

)ממדי -גובה לדגם יחידה דו ת- ),m k n rδ − − :( ), ,k rh m n

): מערכת קבועה במרחב- ) ( ), , ,k rh m n h m k n r= − −

:ממדית- קונבולוציה דו-

( ) ( ) ( )

( ) ( ) ( ) ( )

, , ,

, , , ,

k r

k r

y m n x k r h m k n r

h k r x m k n r h m n x m n

∞ ∞

=−∞ =−∞∞ ∞

↑=−∞ =−∞

= − −

= − − = ∗∗

∑ ∑

∑ ∑קונבולוציה 2Dסימון


30 5 - – 'עמ

: ממדית- התמרת פוריה דו-

( ) ( ) ( )1 2 1 2, , ,F j j j k j r

k r

h m n H e e h k r e eω ω ω ω∞ ∞

− −

=−∞ =−∞

←⎯→ = ∑ ∑

( ),H ⋅ 1 -ב( היא בעלת מחזוריות כפולה ⋅ 2,ω ω ( 2במחזורπ .

":ספרבילית" עבור סדרה -

( ) ( ) ( ) ( ) ( )1 21 2 1 2, F j jh m n h m h n H e H eω ω= ←⎯→


31 5 - – 'עמ

JPEG Transform-Coder

Quality Factor

DCT- based encoder8 ×8 blocks

DCT Quantizer Entropyencoder

Tablespecifications

Tablespecifications

Sourceimage data

Compressedimage data

Zig-zag order

DC AC01 AC07

AC70 AC77Zig-zag Scan Quantization Matrix - Luminance

(Quality Factor = 50) (Figures by courtesy of Zeev Kaplan and Svetlana Raboy)

Scale Factor

50 /Scale QF= 250QFScale = −


32 5 - – 'עמ

2D-DCT

TD TMT=

:מטריצת ההתמרה


33 5 - – 'עמ

דוגמאות


34 5 - – 'עמ

קידוד בפסי תדר 5.3.2

(separable Filters) 2-D QMF

0 π/2 π θ

L H

H0(z) ↓2 ↑2 G0(z) X0(z) ^

X (z) ^ X (z)

H1(z) ↓2 ↑2 G1(z) X1(z) ^

+

L

H

Analysis Synthesis

H0(z) ↓2 ↑2 G0(z)

Image rows

H1(z) ↓2 ↑2 G1(z)

+

LL

LH

H0(z) ↓2

H0(z) ↓2

H1(z) ↓2

H1(z) ↓2

HL

HH

Image columns

↑2 G0(z)

↑2 G0(z)

↑2 G1(z)

+ ↑2 G0(z)

+

Image columns Image rows

0 π/2 π θX

LH HH

θy π

π/2

LL HL

LPF

HPF

C ODE C

QMF ממדי-חד


35 5 - – 'עמ

(By Courtesy of Naama Hait)

2D - Wavelet Analysis

θx

π/2

H

L

θy

π

π/2

0 π

0 1 2 3


36 5 - – 'עמ

(Figures By Courtesy of Naama Hait)


37 5 - – 'עמ

EZW Coding Method

Wavelet Coefficients Tree

(By Courtesy of Naama Hait)


38 5 - – 'עמ

דוד פירמידלי של תמונות יק 5.3.2

:הרעיון הבסיסי הוצג על ידי

P.J. Burt and E.H. Adelson, “The Laplacian Pyramid as a Compact Image Code”, IEEE Trans. Comm., vol. COM-31, No.4, April 1983, pp. 532-540. הגישה הפירמידלית מבוססת על מבנה היררכי של תמונות ברזולוציה

רמה מסוימת בפירמידה מתקבלת . וגודל שונים בכל רמה של הפירמידה

ביחס ) דצימציה(מהרמה שמתחתיה על ידי סינון מעביר נמוכים ודילול

סינון על ידי (כמודגם באופן סכמתי בציור הבא , לכל ציר) כ"בד (2:1

:)מיצוע

G3

G2

G1

G0

θy

π/2

π

π/4

0 π/4 π/2 π θx

3 2

1

0

θx π/2

H

L

2D - Wavelet Analysis θy

π

π/2

0 π

0 1 2 3


39 5 - – 'עמ

קרויה ) סינון מעביר נמוכים ודילול(פירמידה המתקבלת כמתואר לעיל

סנן המעביר נמוכים השקול הולך ומתקרב מ משום שהפירמידה גאוסית

. לצורה גאוסית ככל שעולים בפירמידה

ההצעה במקור לעיל היא לקודד את התמונה העליונה ,למטרות קידוד

כ לקודד את תמונות ההפרשים בין רמות "ואח) בדוגמה לעיל3G(ביותר

זאת כמובן לאחר אינטרפולציה של הרמה הגבוהה יותר . עוקבות

פירמידת תמונות . לרזולוציה וגודל של התמונה ברמה שמתחתיה

:פעולה זו מודגמת בציור הבא. הפירמידה הלפלסיאניתההפרש קרויה

G3 G2 G1

G0

לוליד+נוןיס

G2I

G1I

G0I

L0

L1 L2

- - -

אינטרפולציה אינטרפולציה אינטרפולציה

פירמידה גאוסית:

פירמידה לפלסיאנית:

G3, L2, L1, L0: לקדודתמונות

לוליד+נוןיס לוליד+נוןיס


40 5 - – 'עמ

: תאור סכמתי של תהליך הקידוד והשחזור נתון להלן

D - דצימציה + סינון :סימונים

I - אינטרפולציה

Q - קוונטיזציה

: ותהער

): כ תאי תמונה מקודדים"סה )1 )0 041 1/ 4 1/16 ...3

N N+ + + < ,

) הוא מספר תאי התמונה בתמונות המקור 0Nכאשר )0G . זאת

. כ מספר תאי התמונה לקידוד"שם נשמר סה "QMF"בניגוד לגישת

. Progressive Transmission- הגישה נוחה במיוחד לתמסורת פרוגרסיבית

^ Q

G3

- +

Q-1 G3

D I I

^ Q

L2 Q-1 L2

D

G2I

G0

+

I

G1I

+

I

G0I

-

G2I

- ^

Q L0 Q-1 L0

G0I

I

D

G1I

G3

G2

G1

G0

I

^ Q

L1 Q-1 L1

תמונה משוחזרת תמונת מקור


41 5 - – 'עמ

הכוללת בתמונת ההפרש לקידוד גם את שגיאת , גישה משופרתי מקור " עפ-מתוארת בציור הבא, הקוונטיזציה ברמה הקודמת

:ספרותה

K.M. Uz et al. “Interpolative Multiresolution Coding of Advanced Television with Compatible Subchannels”. IEEE Trans. Circuits & Systems for Video Technology, vol. 1, No. 1, March 91, pp.86-99.

הערות:

′0Lכיוון ששגיאת הקוונטיזציה מועברת משלב לשלב הרי שאם )1

הרי שהתמונה המשוחזרת תשווה לתמונת ללא שגיאהמועברת

). בהעדר שגיאות ערוץ(המקור

לינארי - ניתן להחליף במסנן לאDאת המסנן הלינארי ביחידה )2

Dכיוון שאין אלוץ על I⋅להיות מערכת יחידה או קרוב לה .

^ Q

G3

- +

Q-1 G3

D I

^ Q

L'2 Q-1 L2

D

G2

G0

+

I

G1I

+

I

G0I

-

G2I

- ^

Q L'

0 Q-1 L0 G0

I

D

G1I

G3

G2

G1

G0

^ Q

L'1 Q-1 L1

תמונה משוחזרת תמונת מקור

^

^

^


42 5 - – 'עמ

M. Rabbani and P.W. Jones Digital Image Compression Techniques, SPIE, 1991


43 5 - – 'עמ

Video Compression Standards

Image sequence

MPEG GOP Structure

0101

+DCT Q VLC

Q-1-

DCT-1

+

MEM

-+

Intra / Interswitch

++

ME

MC - Motion CompensationME - Motion EstimationMEM - Frame store

DCT - Discrete Cosine TransformQ - QuantizationVLC - Variable Length Coding

BRC

Buffer

MC

BRC - Bit Rate Control

Generic Hybrid Video Encoder

DCT coefficients


44 5 - – 'עמ

H.264/AVC Encoder Scheme


45 5 - – 'עמ

Audio Signals Coding

100

200

300400

500 600

700 800 900

1000

2000

3000

4000 5000

6000 7000 8000

10000

15000

20000


46 5 - – 'עמ

2( ) 13 (0 00076 ) 3 5 {( ) }

7500fZ f arctan . f . arctan= + [Bark]

2 0 69( ) 25 75 [1 1 4( 1000) ] .BW f . f= + ⋅ +

מספרBark index

]Hz[תחומי תדר Frequency band

]Hz [-רוחב התחום הקריטי בCritical band bandwidth

1 0 - 100 100 2 100 - 200 100 3 200 - 300 100 4 300 - 400 100 5 400 - 510 110 6 510 - 630 120 7 630 – 770 140 8 770 - 920 150 9 920 - 1080 160 10 1080 – 1270 190 11 1270 – 1480 210 12 1480 – 1720 240 13 1720 – 2000 280 14 2000 – 2320 320 15 2320 – 2700 380 16 2700 – 3150 450 17 3150 – 3700 550 18 3700 – 4400 700 19 4400 – 5300 900 20 5300 – 6400 1100 21 6400 – 7700 1300 22 7700 – 9500 1800 23 9500 - 12000 2500 24 12000 - 15500 3500 25 15500 - 20000 4500

f (Hz)

50 150 250 350 450 570 700 840

Frequency [KHz]

Bar

k

Frequency [KHz]

Bar

k

Critical Bands


47 5 - – 'עמ

תופעת המיסוך

0 1 0 0 0 2 0 0 0 3 0 0 0 4 0 0 0 5 0 0 0 6 0 0 0 7 0 0 0 8 0 0 00

1 0

2 0

3 0

4 0

5 0

6 0

7 0

8 0

9 0

1 0 0

fre q u e n c y [H z ]

dB

Modified threshold,due to the

Masker

Hearing threshold

Masking sound

Masked sounds

(Inaudible)

Masking Threshold


48 5 - – 'עמ

(Figure by courtesy of Hadas Ofir)

• The MDCT is a real-valued transform, turning 2N (=36) time samples into N (=18) MDCT coefficients:

Psychoacoustic Analysis

0

31

Quantization and

Huffman Coding

Bitstream Formatting

Digital Audio waveform

Encoded Bitstream

Time-Frequency Mapping 0

575

32- Subband

Filter bank

MDCT

MDCT

MDCT

.

.

.

[ ] [ ] [ ]2 1

0

1 1cos ,0 -12 2

NMDCT

n

NX k x n w n n k k NNπ−

=

+⎛ ⎞⎛ ⎞⎛ ⎞= ⋅ ⋅ ⋅ + + ≤ ≤⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠⎝ ⎠∑

- Window Function( )w n

32-band Uniform Filterbank (Polyphase implementation):

MP3 Encoder (MPEG-1 Layer-3)


49 5 - – 'עמ

Window Functions

(Figures by courtesy of Hadas Ofir)

• MDCT is a Lossless Transform if certain conditions are satisfied:

50% overlap between successive transform windows. Using specially designed window functions, w[n].


50 5 - – 'עמ

MDCT - Analysis

MDCT- Reconstruction (Overlap-Add)

(Figures by courtesy of Ziv Mizrahi & Adi Habusha)

MPEG-4: Advanced Audio Coding - AAC

o Same quality at lower bit rates (128 Kbps 96 Kbps) o Extended to lower sampling frequencies (down to 16 KHz) o Higher frequency resolution (1024 vs 576 bands)


6 - 1 –' עמ

קידוד אותות דיבור. 6

מנגנון ומודל ליצירת אות דיבור ושימושו לקידוד 6.1


6 - 2 –' עמ


6 - 3 –' עמ


6 - 4 –' עמ

אות דיבור קולי(Voiced – a,e,u,o,i )

קולי-אות דיבור א(Un-Voiced – s,f,sh)

"פוצץ" (Plosive – p,k,t,b)

תנועות

(Vowels)


6 - 5 –' עמ

*ספקטרוגרמות של אות דיבור

"Oak is strong and also Gives Shade": המשפט הנאמר

בעל משך (שימוש בחלון אנליזה צר : סרט-ספקטרוגרמה רחבת )1

הקווים האנכיים הדקים מתאימים ).Pitchהקטן ממחזור

. עוקביםPitchלמחזורי

בעל משך של (שימוש בחלון אנליזה רחב : ספקטרוגמה צרת סרט )2

-רמוניות הההקווים האפקיים הדקים הם ). pitchמספר מחזורי

Pitch. תדיריות התהודה (הפסים הכהים מתארים השתנות הפורמנטים

. עם הזמן) של המעבר הקולי

-רטוטים המופיעים בעמוד זה ובעמוד הבא נלקחו מהש *

D.E. Veenman – “Speech Signal Analysis”, in C.T. Chen: Signal Processing Handbook.

Time

Time

Time

Amp.

Freq.

Freq.


6 - 6 –' עמ

מודל להפקת אות דיבור

"מדגיש גבוהים"אם מסננים את אות הדיבור על ידי מסנן

(Pre-emphasis filter) 11מהצורה zμ 0.95μ כאשר −− - ניתן להניח ש≈

( )H z הוא בקרוב טוב מסנן All-Pole) אנפיים"מלבד עבור אותות "–

Nasals(, שאת מקדמיו ניתן אז לשערך באמצעות אנליזת LPC) חזוי

10Pדר מקובל בשימוש הוא ס. נראה בהמשךכפי ש) לינארי לתאור (=

).Nasalsרוב אפסי יפורמנטים וק

T p pitch מחזור

Voiced

Unvoiced

u(n)

G

s(n) H(z)

:)Glottal Pulses( פולסי מיתרי הקול

:)Vocal Tract( תמסורת המעבר הקולי

:קרינה אקוסטית מהשפתיים

Voiced): - קולי(אות דיבור


6 - 7 –' עמ

)הערור במקלט הוא סינטטי - )( )e n% .

:Gלקביעת מקדם ההגבר -

)נניח )1

0

2 1n

n n

u n=

: ונדרוש∑=

( ) ( )1 1

2 2

0 0

n n

n n n ne n e n

= =

=∑ ∑%

) -מכיוון ש ) ( )e n Gu n=% ,מתקבל :

( )1

2 2 2min

0

n

n nG e n ε

=

= =∑

PITCH G

SPEECH OUTPUT

P(z)

SPEECH INPUT

Pulse Source

Noise Source

SOUND SOURCE VOICED/ UNVOICED

u(n) e(n) ~

+ s(n) ~

_1_ A(z)

LPC VOCODER

ANALAYZER s(n)

TRANSMISSION

VOICE EXCITATION

a1 a2 ap

VOCAL TRACT RESPONCE

עבור החזאי הלינארי

האופטימלי


6 - 8 –' עמ

מקובל לשדר את הפרמטרים הבאים לכל מסגרת של LPCבווקודר

20 msec :

)LPC-10 ( 1034 : מקדמי חזוי לינארי bits) כ "בדPARCOR’S(

)V/UVכולל החלטת (Pitch: 7 bits -ה מחזור

) הגבר )G : 5 bits) קוונטיזציה לוגרתמית(

bits2 :סנכרון

48 bits / frame

50 Frames/sec ⇐ 2400 bpsלתמסורת .

Pitch -ר הגילוי מחזו 26.

V/UVוהחלטות ) הדיבור התדר היסודי של אות (Pitch -מחזור ה

Pitch -מחזור ה. LPCמשמשים ליצירת העירור הסינטטי בווקודר

על ידי " זמן קצר"משמש גם במקודדי דיבור אחרים לשם שיפור החיזוי ל

מחזוריות של אות הדיבור -זיוהמנצל את תכונת הקו" זמן ארוך"חיזוי ל

. Pitch -ומר את מחזור ה כל–

ואף נכתב ספר העוסק אך Pitch -צוי מחזור היקיימות שיטות רבות למ

: ורק בנושא זה

W. Hess, Pitch Determination of Speech Signals, Springer Verlag,

New York, 1983.

: נביא כאן תאור קצר של מספר שיטות מקובלות


6 - 9 –' עמ

שיטות אוטוקורלציה 7.2.1

- סינון על ידי מסנן מעביר נמוכים עד ל–ם יקדמבוד ע •

800 1000Hz÷ .

' גישה א

) של האות הדגום שוב פונקצית האוטוקורלציהיח - )8sf KHz=

20בתחום הערכים 128m≤ ≤) 2.5 16 msec÷( ,כ"בד.

pitch pN -מחזור ה ← מציאת מקום השיא -

' גישה ב

)Clipping ).ied AutocorrfMod –אוטוקורלציה לאחר ה חישוב -

.yהאוטוקורלציה מחושבת עבור האות ' פ

y

CL X 0

Center clipping

אדפטיביסף

Infinite clipping

Np r(m)

Np m 0

Th

בתנאי שעובר סף נתון


6 - 10 –' עמ

' גישה ג

האוטוקורלציה 'חישוב רקורסיבי של פ -

( ) ( ) ( ) ( ) ( )1 1 , 20 128

n nr m r m x n x n mm

α α−= ⋅ + − −

≤ ≤

)SIFT )Simplified Inverse Filtering Techniqueשיטת 2.26.

LPC - של האות לאחר הכינון הפיס

). LP-Residual(האוטוקורלציה של אות השארית ' חישוב פ

). תוןבתנאי שעובר סף נ(מציאת מקום השיא

)AMDF )nitude Difference FunctiongAverage Maשיטת 2.36.

: חישוב הפונקציה

( ) ( ) ( ) , 20 128n

nk n L m

A m s k s k m m= − +

= − − ≤ ≤∑

):מתחת לסף נתון(מציאת מקום המינימום

An(m)

Np (n) m 0

Th

2Np


6 - 11 –' עמ

Cepstrum -שיטת ה 7.2.4

)על קטע של האות ) Hamming(הפעלת חלון )512N =

( ) ( )ns n x w n= ⋅

): סדרה ממשית(שוב סדרת הקפסטרום יח

( ) ( )logc n IDFT S k⎡ ⎤= ⎣ ⎦

,כאשר

( ) ( )( )S k DFT s n=

20מציאת מקום השיא בתחום 128n≤ ). שעובר סף נתון (≥

From Oppenheim & Schafer, Digital Signal Processing, Ch. 10


6 - 12 –' עמ

: חומר נוסף והדגמות ניתן למצוא במאמר •Ronald W. Schafer, IEEE and Lawrence R. Rabiner, IEEE, “Digital Representations of Speech Signals”, Proc. IEEE, Vol. 63, No. 4, April 1975.


6 - 13 –' עמ

: קלסייםPitchמאמר המשווה ביצועי מספר גלאי

Pitch בגילוי בעיות טיפוסיות

מחזור כפול •

) גבוהQ עם 1F" (מחזור-חצי" •

V( אותות מעורבים • UV+( )סף אדפטיבי(תחום דינמי גבוה • . רעש רקע •

UV/Vצוע החלטות יב 7.3

של האוטוקורלציהההחלטה מבוססת במקרים רבים על ערך השיא

, ףנו עובר את הס איךאם הער). AMDF -או המינימום ב (בתחום החיפוש

.Un-Voicedקטע הדיבור מועמד להיות

: ומקטורים נוספים כיבנוסף לכך משתמשים באינד

נו גבוה ישה) (Zero-Crossings(מספר חציות אפס בקטע הנתון •

). Voiced לעומת UVעבור

. אנרגית האות •

. 1ρמקדם הקורלציה הראשון •

או HPF(עליון תדר פס ל) LPF( תדר תחתון פסין יחס אנרגיות ב •

"LPF – 1 " .(

)Silence Detection ("שקט"גילוי 7.4

. בדרך כלל על סמך רמת אנרגיה


6 - 14 –' עמ

Linear Predictionארי יחיזוי לינ 56.


1. A. Gersho & R.M. Gray, Vector Quantization and Signal Compression, Ch.4, Kluwer 1992.

2. L.R. Rabiner & R.W. Schafer, Digital Processing of Speech Signals, Ch.8, Prentice Hall 1978.

3. L. Makhoul, “Linear Prediction: A Tutorial Review “, Proc. IEEE, Vol. 63, No. 4, 1975. pp. 561-580.

4. B.S. Atal & S.L. Hanauer, “ Speech Analysis and Synthesis by Linear Prediction of the Speech Wave”, J. Acoust. Soc. Am. Vol. 50, Aug. 1971, pp. 637-655.

לחיזוי ליניארי יש חשיבות רבה בקידוד אותות מכיוון שבאמצעות החיזוי

–רות הנובעת מתלות בין דגימות סמוכות באות יניתן להקטין את הית

לחיזוי ליניארי יש גם שימושים . זאת על ידי קידוד שגיאת החיזוי

. מודלים לייצוג אותות ושערוך פרמטרי של ספקטרום: נוספים

ארי אופטימליילינמשערך 6.5.1

של שערוךבצורה הכללית ביותר ניתן להציג את בעיית החיזוי כבעיית

)וקטור אקראי )1 2, ,..., TKY Y Y Y= מתוך וקטור מדידות

( )1 2, ,..., TNX X X X= .

1Kבמקרה הפרטי שבו , למשל = ,N K> והבחירה

( )1 2, ,..., ;Tn n n N nX X X X Y X− − −= =

הדגמים הקודמים N של תהליך אקראי מתוך n - הדגם הבחיזוימדובר

. לו


6 - 15 –' עמ

במובן של שגיאה ריבועית ממוצעת Yידוע כי המשערך הטוב ביותר של

)מינימלית )MMSE נתון על ידי

( ) ( )ˆ |Y X E Y X=

)Gersho & Gray בספרם של 4ראה הוכחה בפרק (

X, -א נורמליים "נדגים עבור המקרה הפשוט יחסית של מ Y סקלרים

: וגאוסיים במשותף

( ) ( )( ) ( )( ) ( )21

2 222 1

21,

2 1

x y yx x y yxx yx y

XYx y

f x y e

ρ μ μ μμσ σσ σρ

πσ σ ρ

⎡ ⎤− − −−⎢ ⎥− − +⎢ ⎥− ⎣ ⎦=

− : כאשר

[ ] ( )

( ) ( )

22

22

;

;

x x x

y y y

E X E x

E Y E y

μ σ μ

μ σ μ

⎡ ⎤= = −⎢ ⎥⎣ ⎦⎡ ⎤= = −⎢ ⎥⎣ ⎦

) מקדם קורלציה(( )( )x y

x y

E x yμ μρ

σ σ

⎡ ⎤− −⎣ ⎦=

: X מתוך Yוהמשערך האופטימלי של

( ) ( ) ( )( )

( )|

,

,ˆ | |

XYY X

XY x y dy

y f x y dyY X E Y X yf y x dy

f= = = ∫∫ ∫

) : ומתקבל ) ( )ˆ yy x

xY X x

ρσμ μ

σ= + −


6 - 16 –' עמ

מקרים פרטיים

1( , 0x yμ μ = : ˆ y

xY x

ρσ

σ=

2( 0 ,x y x yμ μ σ σ= = =: Y Xρ=

3( 0ρ = : ( )ˆ yY E Y μ= =

:)ביטוי כללי(השגיאה המינימלית

( ) ( ) ( )( )

{ } { }2min ˆ |

ˆ ˆ ˆ ˆ ˆT TT

Y E Y XY E Y Y Y Y E Y Y E Y Yε

=

⎧ ⎫= − − = −⎨ ⎬⎩ ⎭

)) 2(קרה פרטי מ, ועבור הדוגמה לעיל )Y Xρ= :

( ) ( ) ( ) ( )2 2 2 2 2 2min

ˆ 1Y E Y E Xε ρ σ ρ= − = −

xכאשר yσ σ σ= = .

E(Y|X=x)

μx x

y

μy fxy (x,y) = Const.


6 - 17 –' עמ

ארי וניתן להראות שזה כך י המשערך האופטימלי לעיל הוא לינ:שים לב

Y: כלומר, גם עבור המקרה הגאוסי הוקטורי AX b= + .

ל הוא בעצם התמרה "מכיון שהקשר הנ" אריותילינ"זו הגדרה רחבה של (

).אפינית

ארי וקשה יאינו לינ) MMSEבמובן (במקרה הכללי המשערך האופטימלי

ארייהלינלפיכך מעדיפים להשתמש במשערך . לחישוב בדרך כלל

. האופטימלי

} -לפישוט ההצגה נניח ש } ( ) 0E X E Y= ונדון במשערך =

( )Y X A X=

נציג

1 2

1 2

, ,...,

ˆ ˆ ˆ ˆ, ,...,

TK

TK

A a a a

Y Y Y Y

= ⎡ ⎤⎣ ⎦

⎡ ⎤= ⎣ ⎦

אזי

ˆ Tk kY a X=

ולכן

( ) ( )22

1

ˆK

Tk k

kY E Y a Xε

=

⎧ ⎫= −⎨ ⎬

⎩ ⎭∑

ניתן לבצע את המינימיזציה על ידי , כיוון שמדובר על סכום ריבועים

מזעור כל איבר בנפרד באמצעות קביעת וקטור המקדמים המתאים

. לו

:ציה של איבר יחידנדון לכן במינימיז


6 - 18 –' עמ

( ) ( )22min min Ta a

a E Y a Xε⎧ ⎫

= −⎨ ⎬⎩ ⎭

. א"ולא ו) סקלר(א " היא מY כאן :שים לב

: נרשום

( ) ( ) ( ){ }{ } { } ( )

2

2 2

T T

T T T

a E Y a X Y X a

E Y E Y X a a E X X a

ε = − −

= − +

: תתנ והשוואה לאפס נוaגזירה לפי

( ) { } { }2

2 2 0TaE Y X E X X a

aε∂

=− + =∂

ומקבלים

{ }xxR a E YX=

כאשר

{ } ( )TxxR E X X N N×מטריצת האוטוקורלציה

) -אשר האיבר ה ),i jשלה נתון על ידי :

( ) { } { } ( ), ,xx i j j i xxR i j E X X E X X R j i= = =

) סימטריתxxRכלומר (

:גולרית אינה סינxxR -בהנחה ש, ולפיכך

{ }1xxopta R E Y X−=

:ומקבלים כך את המשפט הבא


6 - 19 –' עמ

משפט

X,נתונים שני וקטורים אקראיים Y) המשערך ). בעלי ממוצע אפס

Yמהצורה ) MMSEבמובן של (Y הטוב ביותר של ארייהלינ AX= נתון

: שפותר את המשוואהAעל ידי כל

{ }T TxxR A E X Y=

אינה סינגולרית xxRאם , כלומר

{ }1T Topt xxA R E X Y−=

או

{ } [ ]1Topt xxA E Y X R K N−= ×

הערה

X,אם הממוצעים של Y ל " מקבלים במקום הנ אינם אפס

( )Y X AX b= +

: פותר את המשוואהAכאשר

( )( ) ( )( ){ }TTxxC A E X E X Y E Y= − −

: נתונה על ידיb -ו

{ } { }b E Y A E X= −

הנתונה על ידי , סמטריצת הקווריאנ היא xxCהמטריצה

( )( ) ( )( ){ }TxxC E X E X X E X= − −


6 - 20 –' עמ

עקרון האורתוגונליות 6.5.2

eˆ נגדיר וקטור שגיאה Y Y= −

, כלומר

( ) { }{ }

2

2

1

ˆ T

K

ii

Y E e e

E e

ε

=

=

= ∑

Yארי יעבור חזאי לינ AX= : e Y AX= −

: הוא יהיה מהצורה, יביםהרכבאחד ואם נתבונן

),e Yסקלרים ( ˆ Te Y Y Y a X= − = −

המביא למינימום את תרומת הרכיב המסוים לשגיאה a -וכבר הראינו ש

} : הריבועית הכוללת מקיים }xxR a E Y X=.

: נתבונן כעת ב

{ } ( ){ } ( ){ }{ } { }{ }

ˆ T

T

xx

E e X E Y Y X E Y a X X

E Y X E X X a

E Y X R a

= − = −

= −

= −

} האופטימלי מקיים a -ה, כאמור, אולם }xxR a E Y X=

} ולכן } 0E e X =

, כלומר. והדבר נכון לכל אחד מרכיבי השגיאה


6 - 21 –' עמ

{ } 0 ; 1,2,...,1,2,...,

k iE e x k Ki N

= =

=

k,המשתנים האקראיים , .א.ז ie x הם אורתוגונליים ( )k ie x⊥ , עבור

i,כל ערכי k הדבר שקול לעקרון ההטלה הקלסי במרחבים ( המתאימים

).וקטוריים

) האורתוגונליות(ל " המביא לכך שהנaאם ידוע וקטור , יתרה מזאת

. מינימלית) אריילינ( הוא וקטור המביא לשגיאת שערוך aאזי , מתקיים

: נוכיח זאת

:אזי, הוא וקטור מקדמים אחרbאם

( ) ( )

( )

( ) ( )( )( ) ( ){ }( ) ( ){ }

22

2

22

2

2

2 ;

T

TT T

T T T

T T T

TT T

b E Y b X

E Y a X a X b X

E Y a X E a b X

E Y a X a b X

a E e a b X e Y a X

ε

ε

⎧ ⎫= −⎨ ⎬

⎩ ⎭⎧ ⎫

= − + −⎨ ⎬⎩ ⎭

⎧ ⎫⎧ ⎫ ⎪ ⎪= − + −⎨ ⎬ ⎨ ⎬⎪ ⎪⎩ ⎭ ⎩ ⎭

+ − −

≥ + − = −

bוהשוויון מתקיים כאשר a= .

: האיבר הימני ביותר מתאפס, אולם


6 - 22 –' עמ

( ){ } ( ) { }2 2 0T T T TE e a b X a b E eX− = − =

ולכן

( ) ( )2 2b aε ε≥

טוב יותר מזה המוגדר על ידי ) אריילינ(לא ניתן למצוא משערך , כלומר

a .נובע לכן המשפט הבא :

)עקרון האורתוגונליות (משפט

Y אריי במשערך הלינAהמטריצה A X= במובן של ( היא אופטימלית

MMSE (כל אחד מרכיבי השגיאה אורתוגונלי לכל אחד אם ורק אם

. Xמרכיבי וקטור המדידות

:הערה

לכל אחד מרכיבי וקטור eתכונת האורתוגנליות של רכיבי השגיאה

מתקיימת גם עבור המשערך האופטימלי הכללי Xדות המדי

( { | })E Y X .אלא אם היא (תלאופטימליואיננה תנאי מספיק , אולם

. ) של המדידות פונקציהלכלניצבת

מבטיחה e - לXשימוש בתכונה זו והעובדה שקורלציה אפס בין רכיבי

, במשותףגאוסייםעבור משתנים , e - ל X סטטיסטית בין תתלו-אי

ארי האופטימלי הוא המשערך ימביאה לתוצאה שהמשערך הלינ

)מתלכד עם (האופטימלי )|E Y X יגאוסה במקרה .(

). Gersho & Gray בספרם של 4ראה הוכחה בפרק (


6 - 23 –' עמ

ארי עם זכרון סופי יחיזוי לינ 6.5.3

}נתון תהליך אקראי סטציונרי דיסקרטי בזמן }nX בעל ממוצע אפס

: וסדרת אוטוקורלציה

( ) ( )j xx n n jr R j E X X −= =

2 ושונות0x rσ =.

: דגימות קודמותp מתוך nxניין בבעיה של חיזוי הדגימה נתע

1 2, ,...,n n n px x x− − −.

). torcOne Step Prediבעיה זו קרויה גם (

על , ניתן להפעיל את התוצאות שראינו בהקשר לבעית השערוך הכללית : ידי הקביעה

( )

1 2

1

, ,..., , ( )

nT

n n n p

Y X K

X X X X N p− − −

= =

⎡ ⎤= =⎣ ⎦

) מלבד למקרה הגאוסי(ארי ילינ-כ לא"כיוון שהחזאי האופטימלי הוא בד

כלומר –ארי ינשתמש בתוצאות שקבלנו עבור משערך לינ, וקשה למציאה

:ארייבחזאי ליננדון

ˆ ˆ TnY X a X= =

,כלומר

1

ˆp

n i n ii

X a x −=

=∑

ושגיאת החיזוי

1ˆ

p

n n n n i n ii

e x x x a x −=

= − = −∑


6 - 24 –' עמ

) לא סינגולריpR -בהנחה ש(יישום התוצאות שקבלנו קודם נותן כאן

1pa R r−=

, כאשר

1 2, ,...,T

pr r r r⎡ ⎤= ⎣ ⎦

]מטריצה ]p p×

Toeplitzוסימטרית

0 1 1

1 0 2

1

1 2 1 0

p

pp

p p

r r r

r r rR

rr r r r

−

−

− −

⎡ ⎤⎢ ⎥⎢ ⎥= ⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦

L

O

M O O

מטריצת

וקורלציהאוט

( ) ( ) ( ), ,p p xxR i j R j i R i j= = −

: ניתן להגיע לתוצאה זו ישירות מתוך עקרון האורתוגונליות

,כלומר

1( ) 0, 1,2,...,

p

n i n i n ji

E X a X X j p− −=

⎧ ⎫⎪ ⎪− = =⎨ ⎬⎪ ⎪⎩ ⎭

∑

,ולכן

{ } { }1

, 1,2,...,p

i n i n j n n ji

a E X X E X X j p− − −=

= =∑

: ומתקבל סט המשוואות הבא למציאת מקדמי החזאי

1,2,...,j p= ,

1

p

i j i ji

a r r−=

=∑ משוואות

Yule-Walker


6 - 25 –' עמ

pR :ובאופן מטריצי a r= או

משוואות נורמליות

1 סינגולרית- לאpRועבור pa R r−= כמתואר לעיל

:נציג הביטוי לשגיאה

( ) { } ( )( ) ( ){ }{ } { } { }

22 2

2

ˆ

2

Tn n n

T Tn n

TT Tn n

X E e E X a X

E X a X X X a

E X a E X X a E XX a

ε⎧ ⎫

= = −⎨ ⎬⎩ ⎭

= − −

= − +

:ובהצבת

{ }{ } { } 0

2;

Tp

n n

E X X R

E X X r E x r

=

= =

:נקבל

( )2 20 2 T T

p n pE e r a r a R aε = = − +

pR :)ארייהלינ(ועבור המשערך האופטימלי a r=

:ולכן

( )min

2 2 20 0

ˆT Tp pr a r r a R a E Y E Yε ⎡ ⎤ ⎡ ⎤= − = − = −⎣ ⎦ ⎣ ⎦


6 - 26 –' עמ

:צורת הצגה שונה במקצת

1pד מ במיαנגדיר וקטור +:

1 21, 1, , ,...,TT T

pa a a aα ⎡ ⎤ ⎡ ⎤= − = − − −⎣ ⎦⎣ ⎦

, אזי

min

20

0

; 1p

Tp i i

i

r rε α α α=

= = =∑%

,כאשר

0 ,TTr r r⎡ ⎤= ⎣ ⎦%

2 -ניתן אז לתאר את הביטוי הכללי לpεלעיל בצורה הבאה :

{ }2 21

Tp n pE e Rε α α+= =

, כאשר

( ) ( )01 1 1

T

pp

r rR p p

r R+

⎡ ⎤= + × +⎡ ⎤⎢ ⎥ ⎣ ⎦⎢ ⎥⎣ ⎦

1שר לכן להציג את בעית המינימזיציה כזו שממזערת את אפT

pRα α+

0 האילוץעם 1α pRמקבלים כמובן . = rα = aαכאשר , %− = −% .

Error Filter-Prediction מסנן שגיאת החיזוי 5.46.

כתוצאה מהעברת אות הכניסה neאת יצירת שגיאת החיזוי ניתן לתאר

nx דרך מסנן FIRתמסורת ' בעל פ( )A z :


6 - 27 –' עמ

1

p

n n i n ii

e x a x −=

= −∑

( )1 0

1p p

i ii i

i iA z a z zα− −

= =

⇒ = − =∑ ∑

,כאשר

0 1, , 1,2,...,i ia i pα α= = − =

( ) ( )x nnA z e⎯⎯⎯→ ⎯⎯→

) נגדיר )1

pi

ii

P z a z−

=

= ∑

) אזי ) ( )1A z P z= −

)כאשר )P z המפיק ביציאתו את מסנן חיזוי הוא ˆnx כאשר בכניסתו

:nxהאות

( ) ˆx xn nP z⎯⎯→ ⎯⎯→

: גם באופן הבאneולכן ניתן ליצור את


6 - 28 –' עמ

ne אות השארית קרוי לעיתים )Residual (מחיזוי ליניארי .

)המסנן , neבידיעת )A zניתן ליצור את , ותנאי התחלהnx מסנן על ידי

: הבאהסינתזה

1

p

n n i n ii

x e a x −=

= +∑

או

xn

P(z)

en Σ

xn _1__ A(z)

en

en

xn

xn P(z)

xn

Σ -

^

)IIRמסנן (“All-Pole”


6 - 29 –' עמ

( ) ( )

1 1

1 1 1 11

1 1p p

i ii i

i i

A z P za z zα− −

= =

= = =−

− +∑ ∑

:הערות ובמקורות Gersho & Gray בספר של 4.7סעיף ' ר(ניתן להראות .1

שאם מטריצת האוטוקורלציה אינה סינגולרית ) המצוטטים בהמשך

הרי שמסנן הסינתזה ) וחישוב מקדמי החיזוי נעשה בדיוק אינסופי(

)כלומר כל אפסי (יציב )A zבתוך מעגל היחידה .(

מקורות נוספים

1. S.A. Tretter, “The All-Pole Model is Theoretically Stable”, IEEE Trans. Audio & Electroacustics, Oct. 1972, p. 316 (Correspondence).

2. S.W. Lang & J.H. McClellan, “A Simple Proof of stability for All-Pole Linear Predication Models”, Proc. IEEE, Vol. 67. No. 5, May 1979, pp. 860-861.

סינגולריות עבור כל - שלו לאmRיצות תהליך אקראי אשר המטר .2

0m או , )non-deterministic(דטרמיניסטי -קרוי תהליך לא, <

ממספר כלשהו של דגמים מדויקתהליך כזה לא ניתן לחיזוי . רגולרי

כלומר. קודמים2

1 0 , 0 , 0Tm mR mε α α α+= > ∀ ≠ ≥

)המסנן .3 )A zמסנן ההפכי" קרוי לעיתים ה") Inverse Filter ( כיוון

. מודל ליצירת אותות דיבור שהוא ההפכי של מסנן הסינתזה המשמש

שעבור תהליך ) Gersho & Gray בספרם של 4.9סעיף (ניתן להראות .4

נהיה neהתהליך .∞ - לpכאשר משאיפים את סדר המסנן , רגולרי


6 - 30 –' עמ

}כלומר , לבן } ( ) 2n n j eE e e jδ σ+ ), ולכן= )A z מסנן " מכונה אז

נעיר עוד שבמקרים . nxשל התהליך ) Whitening Filter" (מלבין

כאשר התהליך הוא , למשל. סופיp נהיה לבן גם עבור neמסוימים

רעש לבן , למשל(מסדר סופי ) AR – Autoregressive(אוטורגרסיבי

מסדר סופי יתן במוצא המסנן , IIR All-Pole,שמועבר דרך מסנן

). בעל סדר כסדר המסנןARאות

דמי החיזוי חישוב יעיל של מק 6.6

ארי יחישוב מקדמי החזאי הלינ, י התוצאות שהוצגו עד כה"עפ

)האופטימלי דורש היפוך מטריצת הקורלציה )1 p pa R r R−= . לשם

נציג להלן , ללא הצורך בהיפוך מטריצה, aפיתוח אלגוריתם יעיל לחישוב

- חיזוי אחורי וחיזוי קדמי –הלינארי נקודת מבט שונה לבעית החיזוי

אלא גם Levinson-Durbinהמביאה לא רק לאלגוריתם היעיל של

מבנה סריג –למבנה שונה של מסנן שגיאת החיזוי ומסנן הסינתזה

)Lattice Filters.(

חיזוי קדמי ואחורי 6.6.1

:חיזוי קדמיאת פעולת החיזוי שראינו קודם נכנה עתה

1ˆ

p

n i n ii

x a x −=

=∑

חיזוי קדימה על ציר ( מהדגימות בעבר nxהואיל ואנו חוזים את הדגימה

). הזמן


6 - 31 –' עמ

n,...,1 הדגימות pכשנתונים לנו , באופן דומה n px x− ניתן לשערך את , −

1nהדגימה px − )Backward Predictor" (חזאי אחורי"ידי על −

11

ˆp

n p i n ii

x b x− − −=

= ∑

:תנסמן כע

nˆ : שגיאת החיזוי הקדמית n ne x x+ = −

1 :שגיאת החיזוי האחורית 1ˆn n p n pe x x−− − − −= −

:תכונת האורתוגונליות נותנת

0, 1,2,..., ,

1,2,...,

p

n n k i n i n ki

e x k p x x

k p

α+− − −

=

⎛ ⎞⎜ ⎟⊥ = ⇒ ⊥⎜ ⎟⎝ ⎠

=

∑


6 - 32 –' עמ

: כאשר כזכור

0 1 ; ; 1,2,...,i ia i pα α= = − =

1

1, 1,2,..., , 1,2,...,

p

n n k n n ke x k p x x k pβ+

−− − −

=

⎛ ⎞⎜ ⎟⊥ = ⇒ ⊥ =⎜ ⎟⎝ ⎠∑ l l

l , כאשר

1 1; , 1,2,...,p b pβ β+ = = − =l l l

: המשוואות הנורמליות הן לפיכך החיזוי הקדמיעבור

00

0 , 1,2,..., ; 1p

i k ii

r k pα α−=

= = =∑

: החזאי האחוריועבור

1

11

0 , 1,2,..., ; 1p

k pr k pβ β+

− +=

= = =∑ l l

l

הקשר אתלמעשה אלו בדיוק אותן משוואות אם נציג

1 , 1,2,..., 1p pβ α + −= = +l l l

מקדמי החזאי האחורי נתונים ממקדמי החזאי הקדמי על ידי , כלומר

. סידורם בסדר הפוך

ההוכחה לכך מתקבלת על ידי החלפת משתנים במשוואות החיזוי

1 : האחורי ; 1p j k p s= + − = + −l

j ושימוש בתכונה s s jr r− )סימטריה (=−

1 : תלקבל0

0 , 1,2,...,p

p i k ii

r k pβ + − −=

= =∑ .


6 - 33 –' עמ

:יזוי המתאימים הם לפיכךחמסנני שגיאת ה

( )x en nB z−

⎯⎯→ ⎯⎯→

: כאשר

( )0

1 21 2

0

1 ...p

p ip i

i

A z z z z z

α

α α α α↓

− − − −

=

= + + + + =∑

( ) ( )

1

111 2

1 21

... 1p

ppp i

p ii

B z z z z z zβ

β β β β+

+− +− − − −

↑=

= + + + + ⋅ =∑

:וקיים

( )

1

2 1

1

1 0 1

p

p

p

p

β α

β α

β α

β α

−

+

=

=

=

= =

( )x en nA z+

⎯⎯→ ⎯⎯→


6 - 34 –' עמ

חישוב רקורסיבי של מקדמי החיזוי הלינארי 6.6.2

mארי מסדר י קודם ששגיאת החיזוי המינימלית עבור חזאי לינהראינו : ניתנת לרישום באופן הבא

( ) ( ) ( ) ( )21 0

0

; 1T m

m mm mm m i i

i

R rε α α α α+=

= = =∑

: נסמן, ]Gersho & Gray ] 1כדי להתאים את הסימון לספר של

2Dm mε=

יהי ( )1ˆ mnx +

1m - מnx של החיזוי : דגימות קודמות+

1 2 1, ,...,n n n mx x x− − − אזי, −

( ) ( ) ( )1 11 11

1 1ˆ

m mm mm

n n k n kk kk k

x a x xα+ +

+ ++− −

= =

= = −∑ ∑

( ) ( ) ( ) ( )1

1 11 10

0

ˆ ; 1m

m mm mn n n n kk

k

e x x xα α+

+ ++ +−

=

= − = =∑

)המידע החדש שיש ברשות המשערך )1ˆ mnx +

1n הוא mx − או ליתר דיוק , −

1n - האינפורמציה הגלומה ב– mx − שלא היתה ידועה עדין מתוך סדרת −

m1: הדגימות 2, ,...,n n n mx x x− − אינפורמציה חדשה זו חייבת לכן . −

n,...,1 -להיות בלתי תלויה לינארית ב n mx x− שגיאת החיזוי , הלמעש. −


6 - 35 –' עמ

)האחורית )mne−) של חזאי מסדרm (היא בדיוק אותה אינפורמציה ב -

1n mx − )אפשר להציג את , לפיכך. − )1ˆ mnx +

: באופן הבא

( ) ( ) ( )11ˆ ˆ mm m

n n m nx x K e+ −+= +

.בביטוי לעיל −K - משתמשים בGersho & Grayבספר של : הערה

1mKכאשר קבלנו כך שהגדלת סדר החזאי . הוא מקדם שעלינו למצוא+

) -מ )mל - ( )1m . כרוכה בהוספת פרמטר אחד בלבד+

: את החיזוי מקבליםבמונחים של שגי

( ) ( ) ( ) ( ) ( )( )( ) ( )

1 1 11

1

ˆ ˆm m m m mn n n n n n m n

m mn m n

e e x x x x K e

e K e

+ + + + −+

+ −+

≡ = − = − +

= −

1mKלמציאת , עתה נשתמש בתנאי , ארי האופטימלייעבור החזאי הלינ, +

:האורתוגונליות

( )1 ; 1,2,..., , 1mn n ie X i m m+

−⊥ = +

i,...,1,2לגבי m=התנאי מתקיים מכיוון ש - ( )mne+ו - ( )m

ne− הם

,1 - לאורתוגונליים ,...,n n n mX X X− נשאר לדרוש . −

( )11

mn n me X+

− −⊥ :

( ) ( )1 1 0m m

n m n n mE e K e X+ −+ − −

⎡ ⎤⎛ ⎞− =⎜ ⎟⎢ ⎥⎝ ⎠⎣ ⎦


6 - 36 –' עמ

1mKוהתנאי מתקיים על ידי קביעת : להיות+

( )

( )

11

1

mn n m

m mn n m

E e XK

E e X

+− −

+ −− −

⎡ ⎤⎢ ⎥⎣ ⎦=⎡ ⎤⎢ ⎥⎣ ⎦

)נציג עתה ) ( ) ( )1

11

; 1m

m mmn m k mk

ke xβ β

+−

− +=

= =∑

( ) ( ) [ ]

( ) ( )

1

1 11

1

1 11

; 1

mmm

n n m n k n mkk

mm m

m k mkk

E e X E X X

r

β

β β

+−

− − − − −=+

+ − +=

⎡ ⎤ =⎣ ⎦

= =

∑

∑

1i ובהצגת m k= + − :

( ) ( ) ( )( )1 00

; 1m

m mmn n m i i m

i

E e X r Dα α−− −

=

⎡ ⎤ = = =⎣ ⎦ ∑

, כמו כן

( ) ( )

( ) ( )

1 10

1 00

; 1

mmm

n n m i n i n mi

mm m

i m ii

E e X E X X

r

α

α α

+− − − − −

=

+ −=

⎡ ⎤⎡ ⎤ = ⎢ ⎥⎣ ⎦ ⎢ ⎥⎣ ⎦

= =

∑

∑


6 - 37 –' עמ

, ומכאן

( )1

01

mm

i m ii

mm

rK

D

α + −=

+ =∑

( ) ( ) ( )11ˆ ˆm m m

n n m nx x K e+ −+= +

1mKבידיעת ו ) ניתן כעת לרשום הקשר בין ,+ )1mα ) - ל+ )mα:

( ) ( ) ( )1 1

11 1

1 1 1

m m mm m m

n k n k m n kk k m kk k k

x x K xα α α+ +

+− − + −+ −

= = =

− =− +∑ ∑ ∑

:ומהשוואת מקדמים

( ) ( ) ( )11 1 ; 1,2,..., 1m m m

mj j m jK j mα α α++ + −= − = +

כאשר( ) ( )0 11 ; 0m m

mα α += =

: שים לב לקשר המתקבל מהביטוי האחרון

( ) ( )1 11 11 1;m m

m mm mK a Kα + ++ ++ +

⎛ ⎞= − =⎜ ⎟⎝ ⎠

1mDכדי שניתן יהיה לבצע חישוב רקורסיבי נותר למצוא קשר בין - ל+

mD:

(Reflection Coefficient)

מקדם "

"החזרה

:הקשרמ


6 - 38 –' עמ

( ){ } ( ) ( )

( ) ( )

1

12 1 1( 1)1 0

0

1 10 0

21

; 1

m m

mm mm

m n i ii

m mm m

i i m i m ii i

K D

m m m

D E e r

r K r

D K D

α α

α α

+

++ ++

+=

+ + −= =

+

= = =

= −

= −

∑

∑ ∑1442443

:ומכאן

( )21 11m m mD D K+ += −

:הערות

1אם )1( 1mK + 1 מתקבל < 0mD + לכן . וזה כמובן בלתי אפשרי >

1 1mK + ≤ ( )0,1,...m = .

1אם )2( 1mK + 1מתקבל , = 0mD + וזה בלתי אפשרי עבור תהליך ,=

כיוון שעבור תהליך כזה קיים , )רגולרי(דטרמיניסטי -שאינו

( ) ( )1 11 1 0

Tm mm mD Rα α+ ++ += >.

, 1 -מקדמי ההחזרה הם בעלי ערך מוחלט קטן מ, לפיכך

1( 0,1,...) 1 mm K += –דטרמינסטי -לא(עבור תהליך רגולרי , >

non-deterministic.(


6 - 39 –' עמ

1אם ) 3( 0mK + 1m אזי = mD D+ לא מתקבל שפור על ידי , כלומר. =

1m - לm - מהגדלת סדר החזאי p: או לכל סדר (+ m>( ,א.ז.,

( )1ˆ ˆm mn nx x+ והחזאים מתלכדים=

( )111 0m

mm Kα +++

⎛ ⎞= − =⎜ ⎟⎝ ⎠

.

}מצב כזה יקרה כאשר התהליך }nx לינארית נוצר על ידי מערכת

:המעוררת על ידי רעש לבן) סופי (mיציבה מסדר

( )1w xn n

Q z⎯⎯⎯→ ⎯⎯→

( )1

1

1m

ii

im

n i n i ni

Q z q z

x q x w

−

=

−=

= −

= +

∑

∑

mמסדר ) AR – Autoregresive(תהליך כזה קרוי תהליך אוטורגרסיבי

אם נבצע חיזוי , לפיכך). innovation" (חידוש" קרוי תהליך הnw -ו

i,...,0,1 ובהנחה שנתונים מקדמי הקורלציה mארי מסדר ילינ m= ,

נקבל , והחישוב מדויק( )m

iia q= ,1,2,...,i m= ,( ) ( )( )A z Q z=

שגיאת החיזוי תהיה אזי ( )mn ne w=סיון להשתמש בחזאי מסדר י ונ

p ,pגבוה יותר m>, תביא להתאפסות מקדמי ההחזרה

1 2, ,...,m m pK K K+ +.

לבן רעש


6 - 40 –' עמ

Durbin-Levinson אלגוריתם 6.36.

קורסיביים שהצגנו לעיל מאפשרים הגדרת אלגוריתם הקשרים הר

קרויים גם מקדמי (רקורסיבי לחישוב מקדמי החיזוי ומקדמי ההחזרה

. לסדר חזאי כלשהו רצוי) חלקית–קורלציה

ˆ(0): אתחול האלגוריתם הוא על ידי חזאי מסדר אפס 0nx הנחנו (=

]ולכן ) תהליך בעל ממוצע אפס ]0 0nD Var x r= = ;(0)n ne x= ;( )0

0 1α = .

: להלן האלגוריתם

:אתחול( )0

0 01 , o D rα = =

:רקורסיה,...,0,1,2 עבור 1m p= −

חשב

( )

( )1

01 0; 1

mm

i m imi

mm

rK

D

αα

+ −=

+ = =∑

( )

( ) ( ) ( )

( )

10

11 1

111 *

1

; 1,2,...,

( )

m

m m mj j m m j

mmm

K j m

K

α

α α α

α

+

++ + −

+++

⎧ =⎪⎪ = − =⎨⎪

= −⎪⎩

( )21 11m m mD D K+ += −

1jהציג גם לאפשר * m= אך אז יש להגדיר+( )

1 0mmα + =.

מקדמי החזאי מסדר

1m +


6 - 41 –' עמ

: למשל

) י מסדר ראשוןאחז )1( )1p =:

11 1

0 0 ; i

irrK

r rρ ρ= = =

( )( ) ( ) ( ) ( )

(1)0 1 11

111 11

11 1A z z P z

K

αρ

α ρ−

⎧ ⎫=⎪ ⎪ = − = −⎨ ⎬= − = −⎪ ⎪⎩ ⎭

): כאשר )A z -מסנן שגיאת החיזוי ; ( )P z -מסנן החיזוי .

( ) ( )2 21 0 1 0 11 1D r K r ρ= − = −

שגיאת חיזוי מנורמלת 1⎛ ⎞

⎜ ⎟⎝ ⎠

: 211 1

01DV

rρ= = −

)חזאי מסדר שני )2( )2p =:

( )1 22 1 2 11

2 21 1

11

r rKDα ρ ρ

ρ⋅ + −

= =−

( )

( ) ( ) ( ) ( ) ( )

( )

20

2 1 1 1 22 1 21 1 (1) 2

12

2 2 122 2

1

11

11

1

K K

K

α

ρ ρα α α ρ

ρ

ρ ραρ

⎧⎪

=⎪⎪ −⎪ = − = − − = −⎨

−⎪⎪ −⎪ =− = −

−⎪⎩

הגבר החיזוי


6 - 42 –' עמ

( ) ( ) ( ) ( ) ( )22 21 2 221 1 1A z z z P zα α− −∴ = + + = −

( ) ( )( )( ) ( ) ( )( )

2 2 22 1 2 0 1 2

2 2 2 222 1 2 1 2

0

1 1 1

1 1 1 1

D D K r K

DV K K Kr

ρ

ρ

= − = − −

= = − − = − −

:ותהער

:שגיאת חיזוי מנורמלת מגדירים pעבור חזאי מסדר . 1

( )0

211

p pDKp jr j

V ∏ −=

= =

:י" נתון ע(Prediction Gain)" הגבר החיזוי"ולכן

( )0 1 1

211

pp pp K j

j

VrGD −∏

=

= = =

מתקבלים גם pבתהליך הרקורסיה למציאת מקדמי החזאי מסדר . 2

וגם מקדמי ההחזרה p -מקדמי החזאים לכל הסדרים הנמוכים מ

1 2, ,..., pK K K .ניתן לחשב אתהלאבהינתן מקדמי ההחזרה , שהלמע

p מקדמי החזאי מסדרp) כמתואר להלן , וההפך) באופן רקורסיבי

):Levinson – Durbinנגזר ישירות מאלגוריתם (


6 - 43 –' עמ

מקדמי החזרה p מתוך pחישוב מקדמי חזאי מסדר . א

)Up Procedure-Stepרוי גם ק(

1 :נתונים 2, ,..., pK K K

) :קבע )00 1α =

m,...,1,2 :עבור p=

( )

( )( )

0

1

1

0

m

mm

α

α+

→

→

i,...,1,2 :עבור m=

( ) ( ) ( )1 1m m mi m m i iKα α α− −

−− →

) : מקבלים בסוף התהליךו ) , 0,1,...,pi i pα =

חישוב מקדמי ההחזרה ממקדמי החזאי .ב

)Down Procedure-Step קרוי גם (

) :נתונים ) , 0,1,...,pi i pα = ( )

0( 1) ;pα =

) :קבע )pp pK α= −

,1 :עבור 2, ... ,1m p p= − −

i,...,0,1 :ועבור m=


6 - 44 –' עמ

( ) ( )( )

( )

1 11 1

211

m mmi m m i

im

mm m

KK

K

α α α

α

+ ++ + −

+

+→

−

− →

1 : ובסוף התהליך מקבלים 1, ,...,p pK K K−

:הערות

מקבלים גם את ) רקורסיה אחורה(ל "תוך כדי התהליך הנ .1

.p -רים הנמוכים מקדמי החזאים מהסדמ

1iKהראינו כי עבור תהליך רגולרי .2 ]ch.4 ,1[ניתן להראות . >

שזהו גם תנאי הכרחי ומספיק ליציבות מסנן הסינתזה ( )1

A z .

בהינתן סט מקדמים של פולינום מהצורה , לפיכך

11

pi

ii

zα −

=

+∑

מעגל היחידה על ידי חישוב בתוךניתן לבדוק אם כל שורשיו

.מקדמי ההחזרה ובדיקה אם הערך המוחלט שלהם קטן מיחידה

מהווה דרך יעילה לביצוע ("Step Down") ל"האלגוריתם הנ

.חישוב זה


6 - 45 –' עמ

Lattice Filterמסנן סריג 76.

מסנן (ת על ידי מקדמי החזאי מסנן שגיאת החיזוי הקדמי נתון ישירו

FIR :(

( ) ( ) ( ) ( )0

1 1

( ) 1 ; 1m m

m m mm i ii i

i i

A z a z zα α− −

= =

= − = =∑ ∑

:וכך גם מסנן שגיאת החיזוי האחורי

( ) ( ) ( )1

11

( ) ; 1m

m mm ii m

i

B z zβ β+

−+

=

= =∑

אור משולב המשתמש במקדמי ההחזרה מביא למסנן הקרוי מסנן ית

:סריג כמתואר להלן

) : קבלנו הקשר ) ( )1 ; 1,2,..., 1m m

i m i i mβ α + −= = +

:ולפיכך

( ) ( ) ( ) ( ) ( )11m m mB z A z z− +−=

:הבאנשתמש בקשר

( ) ( ) ( )

( ) ( )

11 1

1 ; 0,1,..., 1

m m mi i m m i

m mi m i

K

K i m

α α α

α β

++ + −

+

= −

= − = +

xn

B(m)(z)

A(m)(z)

( ) ( )mn m ne e− −≡

( ) ( )mn m ne e+ +≡


6 - 46 –' עמ

( ) ( )1 00, 0 m m

mα β+ = =

מכאן

( ) ( ) ( ) ( ) ( ) ( )11

m m mmA z A z K B z++= −

, כמו כן

( ) ( ) ( ) ( ) ( )1 1 21m m mB z A z z+ + − +−=

)ובהצגת הביטוי של ) ( )1mA z+ : לעיל

( ) ( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( )

( )

1 1

1 21 11

21 11

m m

m m m mm

m m mm

A z z

B z A z K B z z

B z z K B z z+ +

+ − +− −+

− +− −+

⎡ ⎤= −⎣ ⎦

= ⋅ −14243

( ) ( ) ( ) ( ) ( ) ( )1 1 11

m m mmB z z B z K A z z+ − −+= − ⋅

:קבלנו כך הקשר המשולב

אפשר לתאר כך את מסנני שגיאת החיזוי הקדמי והאחורי במשולב

):ל עם אתחול"כקסקדה של חוליות כנ ) ( )0 1B z z−= ,( )(0) 1A z =.

,כלומר

Z-1

A(m) (z) Σ

Σ

A(m+1) (z)

B(m+1) (z) B(m) (z)

-Km+1

-Km+1


6 - 47 –' עמ

:לאנליזה) Lattice Filter(ג מסנן סרי

( ) ( ) ( )( ) ( ) ( )

1 1

1 11 1 , 0,1,...m m m m

m m m m

e n e n K e n

e n e n K e n m

+ + −+ +

− − ++ +

= −

= − − − =

:עם תנאי אתחול

( ) ( ) ( )0 0; ( ) 1e n x n e n x n+ −= = −

מסנן הסינתזהל אפשר לתאר את "מהקשרים הנ( )1

A z : כמסנן סריג

)pמסדר ("סינתזה"מסנן סריג ל

Z-1

Σ

Σ

e-p (n)

-Kp

Kp

e+p (n)

Σ

Σ

-Kp-1

Kp-1

e-1 (n)

e+1 (n)

Σ

Σ

e-p-1 (n)

e+p-1 (n)

e-p-2 (n)

e+p-2 (n)

Z-1

Z-1

e+0 (n)=x(n)

e-0 (n)=x(n-1)

-K1

K1

Z-1

Z-1

Σ

Σ e-

0 (n)

-K1

-K1

e+0 (n)

Z-1

x(n)

Z-1

Σ

Σ e-

1 (n)

-K2

-K2

e+1 (n)

e-2 (n)

e+2 (n)


6 - 48 –' עמ

בין מקדם הקורלציה הוא בעצם mK שמקדם ההחזרהנראה כעת

ארי מסדר י של חזאי לינושגיאת החיזוי האחורי שגיאת החיזוי הקדמי

( )1m −.

: ממשוואות הסריג

( ) ( ) ( )1 1 ; 1,2,...m m m me n e n K e n m+ + −− −= − =

) - המשוואה בנכפיל )1me n− : ונפעיל תוחלת−

( ) ( ) ( ) ( ) ( )( )21 1 1 1m m m m m mE e n e n E e n e n K E e n+ − + − −− − − −

⎡ ⎤⎡ ⎤ ⎡ ⎤= −⎣ ⎦ ⎣ ⎦ ⎢ ⎥⎣ ⎦

): מכיוון שקיים ) ( )1 0m mE e n e n+ −−⎡ ⎤ =⎣ ⎦ ,

) -תוצאה הנובעת מכך ש( )1me n−ארית של י נתון על ידי קומבינציה לינ−

) -דגימות שהן אורתוגונליות ל )me n+( , הרי שמתקבל :

( ) ( )

( )( ) ( )( )1 1

2 21 1

m mm

m m

E e n e nK

E e n E e n

+ −− −

+ −− −

⎡ ⎤⎣ ⎦=⎡ ⎤ ⎡ ⎤⋅⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦

: בתוצאה גםכאשר משתמשים

( )( ) ( )( )2 21 1m mE e n E e n+ −− −

⎡ ⎤ ⎡ ⎤=⎢ ⎥ ⎢ ⎥

⎣ ⎦ ⎣ ⎦

הערה

) של אות הכניסה ”On-Line“ מאפשר אנליזה mK -ל ל"הביטוי הנ )x n

mKשל ושערוך שוטף ) אנליזהל (געל ידי העברת האות דרך מסנן הסרי

.י מציאת מקדם הקורלציה בין השגיאות המתאימות" עm-של החוליה ה

Partial Correlation Coefficient

(“PARCOR”)

מקדם

קורלציה " "חלקית


6 - 49 –' עמ

)חסרת הפסדים(קשר למודל שפופרת אקוסטית 6.8

iA - שטח חתך השפופרת בקטע ה - i

1

1

i ii i

i i

A A KA A

μ +

+

−= = −

+ Reflection Coeff.

111

ii i

i

KA AK+

−=

+

:Log-Area-Ratio Parameters

1 1log log1

i ii

i i

A KgA K+⎡ ⎤ −

= =⎢ ⎥ +⎣ ⎦

1 1

i

i

g

i geKe

−∴ =

+

עקב תכונות , למטרות תמסורתigמשתמשים לעיתים במקדמים מקדמיםהאינטרפולציה של וכן למטרות , יזציה הטובות שלהןהקוונט

שטח החתך –זאת משום הקשר לתכונה פיסיקלית . בין מסגרת למסגרת . המשתנה באופן הדרגתי מרגע אחד למשנהו

Ap Ap-1 Ap-2 … A3 A2 A1

Glottal Pulse Input

)פולס גלוטלי(

Speech output

Area Function


6 - 50 –' עמ

Line Spectral Pairs–LSP ייצוג בעזרת 96.

)LSF – Line Spectral Frequencies: או(

:מקור ספרות

A. M. Kondoz, Digital Speech – Coding for Low bit Rate Communication Systems, J. Wiley, 1994, Ch. 4.

: נזכיר הביטויים שקבלנו קודם

:pמסנן הפכי מסדר

( ) ( ) ( )1

1p

pii

i

A z a z A z−

=

= − =∑

): Latticeראה מסנן (קשר רקורסיבי

( ) ( ) ( ) ( ) ( ) ( ) ( )

( )

1 111

(0) ( ) 1

m

m m m mm

B z

A z A z K A z z

A z

+ − +−+= −

=

144424443

1pנוסיף חוליה 1: עם תנאי גבול מלאכותיים+ 1pK + = מתאימים (±

:ונקבל שני פולינומים) Glottis-הלפתיחה וסגירה מוחלטים של

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )1

1

1 11

1

1 11

1

p

p

p p p p

K

p p p p

K

P z A z A z A z z

Q z A z A z A z z

+

+

+ − +−

=−

+ − +−

=+

= = +

= = −

:כך שקיים

( ) ( ) ( ) ( ) ( )2

p P z Q zA z A z

+= =


6 - 51 –' עמ

: נרשום פולינומים אלה בצורה

( ) ( ) ( ) ( )( )

( ) ( ) ( ) ( )( )

11

11

1

1

p

p

A zP z A z z

A z

A zQ z A z z

A z

−− +

−− +

⎡ ⎤⎢ ⎥= +⎢ ⎥⎣ ⎦⎡ ⎤⎢ ⎥= −⎢ ⎥⎣ ⎦

ונגדיר

( ) ( ) ( )( )

( )( )

11

11

11 1

p

pi

ii

A zR z z

A z

z zz

z z

−− +

−−

−=

=

−=

−∏

) הם אפסי izכאשר )A z .

( )R z הוא לכן מסנן All-Pass : ( ) 1jR e θ =

ניתן להראותו*

( )1 1

| | 1 1

1 1

if z

R z if z

if z all pass

> <⎧⎪< >⎨⎪= = ← −⎩

: ראה המאמר *

F.K. Soong and B-H Juang, “ Line Spectrum Pair (LSP) and Speech Data Compression”, Proc. ICASSP-84, pp. 1.10.1 – 1.10.4, 1984.


6 - 52 –' עמ

)נבחן מיקום אפסי )P zו - ( )Q z :

) -מכיוון ש ) 0P z ) - ו= ) 0Q z ) מתקבלים עבור = ) 1R z = m ,

על מעגל חייבים להיות שאפסי פולינומים אלההרי שהמסקנה , בהתאמה

.דההיחי

זוגי אפשר לרשום פולינומים אלה בצורה pעבור

( ) ( ) ( )

( ) ( ) ( )

1 1 2

1,3,..., 1

1 1 2

2,4,...,

1 1 2cos

1 1 2cos

ii p

ii p

P z z z z

Q z z z z

ω

ω

− − −

= −

− − −

=

= + − +

= − − +

∏

∏

1 כאשר 20 ... pω ω ω π< < < < <

iω ,1,2,...,iאפסי הפולינומים בתדרים , כלומר p=, הם שזורים

)interlaced) .(שר גם להראות שזהו תנאי הכרחי ומספיק לכך שכל אפ

)אפסי )A zכלומר; הם בתוך מעגל היחידה ,( )1

A z ). הוא יציב

}התדרים } 1p

i iω משמשים כפרמטרי ייצוג ומסתבר ) פרמטרים ממשיים (=

בדרך כלל (ר ייצוגים אחרים שהם רגישים פחות לקוונטיזציה מאש

על ידי (וקל גם להבטיח יציבות מסנן הסינתזה ) מקודדים הפרשי תדרים

מעניין לציין שאם זוג תדרים המתאים לאפסים ). שמירת תכונת השזירה

)קרובים של )P zו - ( )Q z ,אזי ל, הם קרובים זה לזה- ( )A z יש אפס

:כמודגם בציור הבא, )כלומר תדר פורמנט(בקרבתם


6 - 53 –' עמ

Fig 1. (a) The speech waveform of a vowel (Hamming Windows). (b) The spectrum of the speech waveform, the LPC spectrum envelope and the line

spectrum pairs , ,...,1 2 pω ω ω .

: הציור מתוך המאמרS. Saoudi et al., “A new efficient algorithm to compute the LSP parameters for speech coding”, Signal Processing, Vol. 28, pp.201-212, 1992.


6 - 54 –' עמ

גישה דטרמיניסטית לחיזוי ליניארי 6.10

הליך במקרים רבים אין בידנו תאור מתמטי של הסטטיסטיקה של הת

}האקראי }nx אלא מספר סופי של דגימות של nX :0,1,..., 1n N= − .

pעל מנת למצוא את מקדמי החזאי הלינארי מסדר , עם זאת

( )N p>> ,י האוטוקורלציה ניתן לשערך תחילה את מקדמ

, 0,1,...,ir i p= ולהשתמש בהם במשוואות הנורמליות למציאת מקדמי

). שיהיה רק בקרוב אופטימלי(החזאי

) שערוך(דרך אחרת מקובלת היא להתייחס לבעיה כבעיית חיזוי

על פני דטרמיניסטית ולבצע מינימיזציה של השגיאה הריבועית הממוצעת

. קטע זמן נתון

)י יה )0,1,..., 1 ,n N s n= סט הדגימות הידוע מתוך דגם של התהליך −

{ }nx . נסמן זאת על ידי

( ) ( ) ( )s n W n x n=

)כאשר )W nהיא פונקצית חלון .

:בעיית החיזוי הדטרמיניסטית היא כדלקמן

:שגיאת החיזוי

( ) ( ) ( )

( )

1

00

; 1

, 0

p

ii

p

ii

i i

e n s n a s n i

s n i

a i

α α

α

=

=

= − −

= − =

= − ≠

∑

∑


6 - 55 –' עמ

: ומבקשים למזער את

( )1

0

2 2n

n n

e nε=

= ∑

0כאשר 1,n nיוגדרו בהמשך .

: למציאת מקדמי החזאי

20 , 1,2,...,

kk p

aε∂

= =∂

:ומקבלים

( ) ( ) ( ) ( ) ( )1 1

10 0

2 2 0

1,2,...,

n n p

ikn n n n i

e ne n s n a s n i s n k

a

k p= = =

⎡ ⎤∂ ⎢ ⎥⋅ = − − − − =∂ ⎢ ⎥

⎣ ⎦=

∑ ∑ ∑

ולפיכך

( ) ( ) ( ) ( )1 1

0 01

n np

ii n n n n

a s n i s n k s n s n k= = =

− − = −∑ ∑ ∑

: נגדיר

0,1,...,0,1,...,

i pk p==

( ) ( ) ( )

1

0

,n

n n

i k s n i s n kφ=

= − −∑

) : שים לב ) ( ), ,i k k iφ φ= )סימטריה(

: ומתקבלות כך המשוואות הנורמליות הבאות


6 - 56 –' עמ

( ) ( ) ( )1

, 0, ,0p

ii

a i k k kφ φ φ=

= =∑

:או

1,2,...,k p=

( )

10 0

, 0p

ii

i kα

α φ==

=∑

): ךהוכח בעצמ(והשגיאה המינימלית

0 1α = ( )2min

0,0

p

ii

iε α φ=

= ∑

]בהצגה לעיל טרם קבענו את תחום המינימיזציה ]0 1,n n . בספרות

, מקובל להשתמש באחת משתי ההגדרות הבאות של תחום המינימיזציה

: לפתרון שונה, ל אחתכ, המביאות

)Autocorrelation Method( שיטת האוטוקורלציה. א

: כלומר, תחום המינימיזציה מוגדר כאן על פני כל ציר הזמן

( )2 2

ne nε

∞

=−∞

= ∑

)שמכיוון שמספר הדגימות שבידנו הוא סופי , אולם, יש לזכור )N ,

]הרי שבעצם תחום המינימיזציה המתאים הוא ]0, 1N p− + .

) -הואיל ו )s nהוא אפס מחוץ ל - [ ]0, 1N עקב ההכפלה בחלון (−

( )W n נוח יותר להרחיב את התחום לכל ציר n .


6 - 57 –' עמ

: כאן, ולפיכך

( ) ( ) ( )

( ) ( ) ( ) ( )

,n

n

i k s n i s n k

s n s n i k r i k r k i

φ∞

=−∞∞

=−∞

= − −

= − − = − = −

∑

∑

)כאשר )r k אוטוקורלצית הדגם" מוגדרת כסדרת "

)Sample Autocorrelation (

( ) ( ) ( )1

0

N k

nr k s n s n k

− −

=

= +∑

ומקבלים

( ) ( )1

1,2,...,p

ii

a r i k r k k p=

− = =∑

או

( )0 1

1 1,2,3,...,

0p

ii k p

r i kα

α=

= =

− =∑

) : והשגיאה )2min

0

p

ii

r iε α=

=∑

:מטריצי" לבוש"וב

1R a r a R r−= ⇒ =


6 - 58 –' עמ

שקבלנו במקרה Yule – Walkerאלו הן בעצם משוואות

irכאשר מקדמי הקורלציה של התהליך האקראי , הסטוכסטי

)מוחלפים במקדמי קורלצית הדגם )r i .

למשל חלון , שאיננו מלבנינעיר שבשיטה זו מקובל להשתמש בחלון

Hannשהרי המינימיזציה , "אפקט הקצוות"נת להקטין את על מ

היא על פני כל ציר הזמן וצפויה שגיאה גדולה יחסית בקצות הקטע

). יודגם בהמשך(הנתון

בקדוד אותות דיבור מקובל לבצע את האנליזה על פני קטעים של

וסדר החזאי ) 8KHz עבור קצב דגימה של 32msec( דגמים 256

10p . בנושא זה עוד נדון בהמשך≤


6 - 59 –' עמ

)Covariance Method( שיטת הקווריאנס. ב

: בגישה זו תחום המינימיזציה הוא אינטרוול סופי

0 1, 1n p n N= = −

)כאשר האות )s n נתון בתחום [ ]0, 1N −.

ולכן 2εגיאות החיזוי בקצוות בתוך על פי גישה זו אין מכלילים את ש

) ןהחלו. אין צורך בחלון מחליק )W nהוא לכן מלבני :

[ ]0, 1n N∈ − ,( ) 1W n = .

: כאן

( ) ( ) ( )1

, 0,1,...,,

N

n p i k pi k s n i s n kφ

−

= =

= − −∑

( ) ( ) 00

; 1

, 1,..., 1

p

ii

e n s n i

n p p N

α α=

= − =

= + −

∑

)רה הסד ),i kφקורלציה בין -קרוסאוטוקורלציה אלא מעין ' אינה פ

: קטעים דומים

( ) ( )1

2, ; 0,1,...,N

n pi i s n i i pφ

−

=

= − =∑

( ) ( ) ( )1

0, ; 1,2,...,N

n pk s n s n k k pφ

−

=

= − =∑

0 N-p-l N-l

:ф(0,0)

:ф( p,p)

0 p N-1

0 p N-1

p -1- l N- l

( ): 0,φ l


6 - 60 –' עמ

: המשוואות הנורמליות המתקבלות

( ) ( ) ( )1

, 0, ,0 , 1,2,...,p

ii

a i k k k k pφ φ φ=

= = =∑

וברישום מטריציa ϕΦ =

)ר כאש ) ( ) ( ), , ; 1,0 ,..., ,0 Ti j i j pφ ϕ φ φ⎡ ⎤Φ = = ⎣ ⎦

, כלומר. Toepilz אינהאך , סימטרית Φ שים לב שהמטריצה

( ) ( )1 , 1 ,i k i kφ φ+ + ≠

, אולם

( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( )

1

2

1

1

1

1

1, 1 1 1

,

, ,

N

n p

N

n p

N

n p

i k s n i s n k

s n i s n k

s n i s n k i k

i k i k

φ

φ

φ φ

−

=

−

= −

−

=

+ + = − − − −

= − −

= − − +

= + Δ

∑

∑

∑

:כאשר

( ) ( ) ( ) ( ) ( )1 , 1 1 1 1i k s p i s p k s n i s n kφΔ = + − − − − − − − −

)כך שאפשר לבצע חישוב רקורסיבי של )1, 1i kφ + ) מתוך + ),i kφ.


6 - 61 –' עמ

:הערות

גישה זו מדויקת יותר משיטת האוטוקורלציה בזיהוי פרמטרי .1

כיון שאין מכפילים בחלון , מערכת המקיימת את הנחות המודל

). החלון מלבני(מחליק

תתכן בעית יציבות ) למשל, ניתוח אות דיבור(במקרים המעשיים .2

בעוד שבשיטת האוטוקורלציה היציבות , של מסנן הסינתזה

. תיאורטית–מובטחת בניתוח אותות דיבור יש חשיבות רבה לבצע אנליזה , כמו כן

קטן N - ולהשתמש בPitch -סינכרונית עם תחילת מחזור ה

.)Pitchפחות ממחזור (יחסית


6 - 62 –' עמ

:בא מתוךהאיור ה

Rabiner et al., "LPC Prediction Error – Its variation with the Position of the Analysis Window", IEEE Trans. ASSP. Oct. 1977.


6 - 63 –' עמ

רמליות פתרון המשוואות הנו 6.10.1

שיטת האוטוקורלציה .א

ולכן Yule-Walkerבשיטה זו קבלנו משוואות הזהות למשוואת

שהצגנו קודם Levinson-Durbinניתן להשתמש באלגוריתם

מספר פעולות הכפל הנדרש . לחשוב רקורסיבי של מקדמי החזאי

): היא) פעולות חילוקp -בנוסף ל( )1p p )לעומת , + )3O p

pלהפיכת מטריצה p× .יש לזכור שנדרש גם לחשב את , אולם

i,...,0,1,2, מקדמי הקורלציה p= ,( )r i , ולכן נדרשים בקרוב

Npור ערכי עב. כפליםp חשוב מקדמי 10 בסביבות

)האוטוקורלציה הוא בעצם דומיננטי )256N ≈.

שיטת הקווריאנס .בa כאן נדרש לפתור ϕΦ =

ש ולכן לא ניתן להשתמ. Toeplitzסימטרית אך אינה Φכאשר

.Levinson-Durbinבאלגוריתם

עם זאת ניתן לבצע הפוך מטריצה יעיל יחסית על ידי השימוש

. אינה סינגולריתΦ -בהנחה ש, Cholesky Decomposition -ב

חיובית מוגדרת וסימטרית ניתן לרשום Φ -כיוון שאנו מניחים ש

: בשלוש הצורות הבאותΦאת

1( TV DVΦ =

2( TS SΦ =

3( LUΦ =


6 - 64 –' עמ

i: מטריצה דיאגונלית- D כאשר j≠ ,0ijD = ,ii iD d= .

V - ים על האלכסון -1 מטריצה משולשת תחתונה עם

1iiVהראשי =

S - S V D=

L -ריצה משולשת תחתונה מט :L V=

U -מטריצה משולשת עליונה :TU DV=

).3(או ) 1(משתמשים בדרך כלל בצורת ההצגה

& Rabinerראה למשל בספר של (קל להראות על ידי השוואת אברים

Schafer( , שהפרוק שלΦ לצורה )ניתן לחשוב באופן רקורסיבי על ידי ) 1

):Vתוך ניצול הצורה המשולשת של (הקשרים הבאים

( )

( )

( )

11

2,

11

,1

1,1

, 2

, 1 1

i

i ki kk

j

ij i k k jkk

d

d i i V d i p

V i j V d V dj j i

φ

φ

φ

−

=−

=

=

= − ≤ ≤

⎡ ⎤⎢ ⎥= − ≤ ≤ −⎢ ⎥⎣ ⎦

∑

∑

Lכעת בידיעת V= ,TU DV=וקטור עזר ניתן לפתור תחילה עבור

q :


6 - 65 –' עמ

Lq ϕ=

: aכ פתרון עבור "ואח

U a a=

Lפתרון .א q ϕ=נעשה באופן רקורסיבי פשוט כיוון ש - L היא

: ת תחתונהמטריצה משולש

3ϕלמשל עבור = :

1 1

21 2 2

31 32 3 3

1 0 01 0

1

qV qV V q

ϕϕϕ

⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥=⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎣ ⎦

: ועל ידי השוואת אברים

1 1

1 21 2 2 2 1 212

1 31 2 32 3 3 3 3 1 31 2 32

qq V q q q V

q V q V q q q V q V

ϕ

ϕϕ

ϕ ϕ

=

=+ → = −

+ + = → = − −

: ובמקרה הכללי

1

12

i

i i ij jj

q V q i pϕ−

=

= − ≤ ≤∑

) : עם תנאי התחלה )1 1 1,0q ϕ φ=

TU פתרון .ב a DV a q= =

. מטריצה משולשת עליונהUאשר כ


6 - 66 –' עמ

אך ברקורסיה אחורה –על ידי השוואת אברים כמקודם

1i -מ( p= 1i - ל− : מתקבל) =

1; 1 1

pi

i ji ji j i

qa V a p id

= +

= − − ≥ ≥∑

p/ עם תנאי התחלה p d pa q=

:השגיאה המינימלית

( )2min 0,0 Taε φ ϕ= −

: אולם

( )1

1 2

1/

TT T

pT

k kk

a a V q D q q

q D q q d

ϕ −

−

=

= =

= =∑

כלומר

( )2

2min

10,0

pkkk

qd

ε φ=

= −∑

. a ללא הצורך בחשוב q -וניתן לחשב את השגיאה ישירות מ

______________


6 - 67 –' עמ

LPCתכונות נוספות של אנליזת 116.

)Correlation Matching (התאמת מקדמי קורלציה. 1

מודל הסינתזה ( )

( )( )

( )H zu n s nG

A z⎯⎯⎯→ ⎯⎯⎯→

% סינטטיור ר ע

( )1

0

2 1n

n n

u n=

=∑

)נבחן תכונות סדרת הקורלציה של ){ } ( )1Z H z h n− =

) :משוואת ההפרש ) ( ) ( )1

p

ii

h n a h n i G nδ=

= − +∑

( )

( )1

0 , 0

, 0

, 0p

ii

n

h n G n

a h n i n=

⎧<⎪

⎪⎪⎪= =⎨⎪⎪ − >⎪⎪⎩∑

( ) ( ) ( ) ( ) ( )0

, 0hn n

r i h n h n i h n h n i i∞ ∞

=−∞ =

= + = + ≥∑ ∑


6 - 68 –' עמ

) וקיים ) ( ) , 0h hr i r i i− = >

): הראה בעצמך(ניתן להראות

)1( ( ) ( )

1

0p

h k hk

r i a r i k i=

= − >∑

)2( ( ) ( )2

1

0 0p

h k hk

r G a r k i=

= + =∑

) ) 1(-אם נציג ב ) ( )hr i r i=) מקדמי הקורלציה של אות המקור( )s n .(

)נקבל את המשוואות הנורמליות )1,2,...,i p= . הצגת( ) ( )0 0hr r=ב -

)נותנת ) 2( ) ( )2 2min

1

0p

kk

G r a r k ε=

= − מודל החיזוי , כלומר. ∑=

תאמה של קורלציות האות עם סדרת הקורלציה של הלינארי מבצע ה

), כןכמו . pמסנן הסינתזה עד לסדר ) ( )2min 0 0hG r rε= ⇐ = .


6 - 69 –' עמ

הדיבור פת הספקטרלית של אותעט לחשוב המLPCשמוש במודל . 2

( ) ( ) ( ) ( ) ( ){ }/ ;S z E z A z E z Z e n= =

או

( ) ( )( )

22

2

jj

j

E eS e

A e

θθ

θ=

) -בהנחה ש )e nרוב לבןי בק :( ) 2 2 2min

jE e Gθ ε= =

ולכן

( )( )

22

2j

j

GS eA e

θ

θ=

] -והמעטפת הספקטרלית של האות ב ]dB :

( ) ( )20log 20log 20log jj

G G A eA e

θθ

= −

)של סדרת מקדמי ) DFT) FFT -ומחשבים זאת בעזרת ה )A z בהוספת

}אפסים }1 21, , ,..., ,0,...,0pα α α 2 לקבלתmM י "עפ( אברים =

2הרזולוציה הרצויה / Mπבתדר (


6 - 70 –' עמ

:הערה

הרי שאם ) Correlation Matching(מתוך תכונת ההתאמה של קורלציות

p -מגדילים את סדר המודל ל נקבל שכל מקדמי הקורלציה של , ∞→

המודל ושל האות ישוו זה לזה ועל כן המעטפת הספקטרלית על פי המודל

. גם אם האות נוצר ממודל הכולל גם אפסים–תשווה בגבול לזו של האות

זאת בתנאי שלסדרת האוטוקורלציה של האות יש התמרת פוריה רציפה

) -כיוון ש( )H zכלומר בתנאי שסדרת האוטוקורלציה של ). אנליטית

. האות מתכנסת בהחלט


6 - 71 –' עמ

:FFT לבין LPCהשוואה בין תוצאות אנליזת

FFT LPC


6 - 72 –' עמ

תוח בתחום התדרינ. 3

) :נון הפכייס ) ( ) ( )E z S z A z=

( ) ( )

( ) ( )

22 2

2 2

12

12

j

n

j j

e n E e d

S e A e d

πθ

ππ

θ θ

π

ε θπ

θπ

∞

=−∞ −

−

= =

=

∑ ∫

∫

) נגדיר ) ( ) 2j jP e S eθ θ=

( )( )

( ) ( )2 22

2j j

jj

G GP e A eP eA e

θ θθθ

= ⇒ =%%

ומכאן

( )( )

22

2

j

j

P eG dP e

θπ

θπ

ε θπ

−

= ∫ %

2 ועבור הבחירה 2minG ε=

, עבור המודל האופטימלי, נקבל

( )( )

1 12

j

j

P ed

P e

θπ

θπ

θπ−

=∫ %


6 - 73 –' עמ

)צפויה לכן התאמה טובה יותר של )jP e θ%ל - ( )jP e θאזורים בהם ב

מתקיים

( ) ( )j jP e P eθ θ> %

, )המתאימים לתדרי התהודה של המעבר הקולי(כלומר באזורי הקטבים

. ולא באזורי האפסים


1 7 - – 'עמ

Residual Coders מקודדי שארית .7

אינה ו איכות, הוא סינטטיLPCכיוון שאות העירור של ווקודר מ

מסדר נמוך אינו מדויק LPC -זאת בנוסף לעובדה שמודל ה, טבעית

יתרונו טמון . כל קטעי הדיבורבמעטפת הספקטרלית המספיק לייצוג

, כןכמו ). לפחותbps 2400(רק בקצב הנמוך שניתן להשיג באמצעותו

כדי . למספר דוברים והאיכות תלויה בדובר, אינו חסין לרעש רקע

לשפר את האיכות יש בעצם לשדר מידע מלא יותר על אות השארית

באות זה ישנו כל המידע על האות שאינו מצוי במודל ). שגיאת החיזוי(

. שידור אות זה צורך מספר גדול של סיביות לשניה, אולם. LPC -ה

לדגם לייצוג אות סיבית אחת ורק kHz 8עבור קצב דגימה של , למשל

9600 - ל2400 -כלומר הקצב הכולל עולה מ (kbps 8השארית נדרשים

. והאות המשוחזר עם קוונטיזציה כזו אינו נשמע טוב) ש"סל

גישות ראשוניות בנושא ניסו להגביל את רוחב הסרט של אות

ולהרחיב את –דדו בפחות סיביות כדי שניתן יהיה לק–השארית

לינאריות או -רוחב הסרט במקלט באופן מלאכותי על ידי שיטות לא

:מקודדים אלו נקראו). רפליקציה בתחום התדר" (אינטרפולציה

RELP – Residual Excited Linear Prediction

:למשל

C.K. Un & D.T. Magill, “The Residual Excited Linear Prediction

with Transmission Rate Below 9.6 kbps”, IEEE Trans. Comm., Vol.

Com-23, No.12, Dec. 1975, pp. 1466-1474).


2 7 - – 'עמ

: הוצעה שיטה אחרת1982 -ב

B.S. Atal & J.R. Remde “A New Model of LPC Excitation for

Producing Natural-Sounding Speech at low Bit Rates", Proc. IEEE

Intl. Conf. ASSP, pp. 614-617, 1982 (Icassp-82).

MPE – .LPC –גישה זו קרויה

8.1 )MPE(Multipulse Excitation

)במקום לבצע קוונטיזציה של אות השארית , בגישה זו )e n , יוצרים

בקטע אנליזה קצר ) דגימות בודדות(מספר קטן יחסית של פולסי ערור

5של בקטע פולסים 8למשל ( 8 secm− .( מקום הפולסים

והאמפליטודה שלהם מחושבת כך שהאות המופק ממסנן הסינתזה

) המתחשב בתכונות האוזן–במובן מתאים (יהיה קרוב ככל האפשר

. לאות המקורי

אנליזה על "כפי שנציג בהמשך מציאת העירור נעשית בשיטה הקרויה

קריטריון השגיאה הוא ריבועי אך עם שקלול השגיאה ". זהידי סינת

–) ורבסף לאות הדושל רעש המתו(סוך של האוזן יעל פי תכונות המ

Noise Shaping .

מסתבר שבעיית קביעת מיקום הפולסים ועצמתם בעת ובעונה אחת

-תת(להשתמש בגישה איטרטיבית מעדיפים לכן .היא מורכבת מאוד

. וצאים בכל איטרציה מיקום של פולס אחד נוסףלפיה מ) אופטימלית

. בעית מציאת האמפליטודה היא אז לינארית

: הנאמר לעיל מודגם בשקפים הבאים


3 7 - – 'עמ


4 7 - – 'עמ


5 7 - – 'עמ


6 7 - – 'עמ

ERROR WEIGHTING

( ) ( )( )

1

1

1

/1

pi

iip

i ii

i

a zA z

W zA z

a zγ

γ

−

=

−

=

−

= =

−

∑

∑

( )1 1W zγ = ⇒ = (No Weighting)

( ) ( )0 W z A zγ = ⇒ = (Speech – Like Weighting)

0.8 0.9optγ ≈ ÷


7 7 - – 'עמ

MPE: Analytic Model

( )( )

( ) ( ) ( )11 1

/ /z

wA z

h nA z A z A zγ γ

−⋅ = ←⎯⎯→

( ) ( ) ( ) ( )w we n d n u n h n= − ∗

( ) ( ) ( ) ( )( )( ) ( ) ( )( )

0

1 1w

w

h n n W z A z

h n h n W z

γ δ

γ

= ⇒ = =

= ⇒ = =

s'(n)

u(n) _ 1_ A(z) d(n) ^

_

W(z)

ew(n)

W(z)

d(n)

"tail" removed

s'(n)

s'(n)=s(n)-l (n)

u(n) _ 1_ A(z) s'(n) ^

_ W(z) ew(n)


8 7 - – 'עמ

Sequential Pulse Placement

MPE:

( ) ( )

( ) ( ) ( ) ( ) ( )

( ) ( )

12 2

1

;

K

k kk

w w w wn

K

k w kk

u n b n m

e n e n d n u n h n

d n b h n m

δ

ε

=

=

= −

= = − ∗

= − −

∑

∑

∑

Problem: 2

,wMin

b mε

Single Pulse: ( )1 1b n mδ −

( ) ( )

( ) ( )

( )

221 1

121

1 21 1 110

w wn

wmw n

optw

n

d n b h n m

d n h n m

bb m mh n m

ε

αεφ

⎡ ⎤= − −⎣ ⎦

−∂

= ⇒ = =∂ −

∑

∑

∑

( ) ( ) ( )2

2 2 1,

1 1;

mi j w wwopt

n nd n h n i h n j

m m

αε φ

φ= − = − −∑ ∑


9 7 - – 'עמ

(1) Find

21

arg max11 11

m

opt m mmm

α

φ=

⎡ ⎤⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦

Note: By “ Autocorrelation Method”, ( ),n⎡ ⎤∈ −∞ ∞⎣ ⎦

( )1 1

2arg max1 11

11

Energy of

arg max

m m mm w

mmopt mm

h n

m

φ φ

α α=

= =

⎡ ⎤⇒ =⎢ ⎥⎣ ⎦

(2) Given 1m Find 1optb

Sequential Solution

Initialization: ( ) ( )1 1

1

;1 1 1 1

1; ; m m

m mopt opt

k d n d n

b b

α α

=

= = =

=

(1) Remove Effect of k -th pulse:

( ) ( ) ( )1k kk w kd n d n b h n m+ = − − (‘desired signal’)

Equivalently, update :mα


10 7 - – 'עמ

( ) ( )1 1 1;k k k km m k mm m wk

nb d n h n mα α φ α+ + +

⎧ ⎫⎪ ⎪= − = −⎨ ⎬⎪ ⎪⎩ ⎭

∑where,

( ) ( ) ( )( ) " . "ij w wn

h n i h n j i j for Autocorr Methodφ φ= − − = −∑

(2) Find 11 arg max k

k mm

m α ++ = (Pulse Location) ;

(3) Find 1

11

kmk

kmm

bα

φ

++

+ = (Pulse Amplitude).

(4) ( )1 ; if go to step 1k k k K← + < ,

Else, stop


11 7 - – 'עמ

MPE-LPC: Illustration of Sequential Solution (W(z)=1)


12 7 - – 'עמ


13 7 - – 'עמ

MPE-LPC: Illustration of Waveforms and Excitation


14 7 - – 'עמ

Further Improvements in MPE-LPC

Re-Optimize Pulse Amplitudes at the end:

( ) ( ) { }2

21

1; Given

KK

w k w k k kn k

d n b h n m mε ==

⎡ ⎤⎢ ⎥= − −⎢ ⎥⎣ ⎦

∑ ∑

[ ]

2,

10 , 1,2,...,

:

Kw

k m m mk j jk

b b k Kb

K K

εα φ α

=

∂= ⇒ Φ = ↔ = =

∂

Φ ×

∑

Re-Optimize Pulse Amplitudes at the end of each step.

Re-Compute LP Coefficients with given excitation:

( ) ( ) ( )1 1

p K

i k ki k

s n a s n i b n mδ= =

= − + −∑ ∑% %

Combined Solution for a &b

( ), 1,2,..., are givenkm k K=


15 7 - – 'עמ

LPC: Prediction Residuals

)Long Term Predictors( "זמן ארוך"חזאים ל

)or Pitch Prediction(

M -ה מחזור- Pitch

( ) ( )

( ) ( )

11

1 21 1

1 2 3

; 1

; 2 ....

; 3 ....

M

MMp

M MM

z tap predictor

P z z z tap

z z z tap

β

β β

β β β

−

− +−

− − − +−

⎧ −⎪⎪= + −⎨⎪

+ + −⎪⎩

) :Pitch-מסנן שגיאת חיזוי ה ) ( )1p pA z P z= −

1תנאי מספיק ליציבות מסנן הסינתזה 2 3 11 :pAβ β β+ + <


16 7 - – 'עמ


17 7 - – 'עמ

CELP – Code Excited Linear Prediction 8.2

): כאן ) ( )

( )

( )

( )( )

( )( )

1 1 1 /

( )

w p

A zA z P zp A z

A zp

h n h n h n w n

γ−

= ∗ ∗b b

14243

b

( ) ( ) ( ) ( ) ( )

( ) ( ) ( )

( ) ( )

kw k k w

k k wr

k k

e n d n g c n h n

d n g c r h n r

d n g v n

= − ∗

= − −

= −

∑

,כאשר

( ) ( )kv n Filtered Code Vector word−

ck(n) d(n)

_

hw(n)

d(n) )אות רצוי(

+

Σ

gk ^

ew(k) (n)

ית במילון-kסדרה


18 7 - – 'עמ

( )( )

( ) ( )

( )( ) ( )

( )

( )( ) ( )

( )

( )

2 2

2

22

22 2

2

,0

,

kk

k

opt

k

opt g

w wn

kkw n

kk k k

n

kw

n k

e n

d n v nd n v n

gg v n v

d vd n

v

ε

ε

ε−

=

< >∂= ⇒ = =

∂

< >= −

∑∑∑

∑

) שוניםk(במילון ) מילים(עתה מחפשים על פני כל הוקטורים

: הטוב ביותר) רוריסדרת הע(למציאת הוקטור

( )

( ) ( ) 2

22

,Min Max

k

optopt gk k

kw kv v

k

d vc

vε

−

< >⇒ ⇒

). מסונןוא וקטור מילון הkv: שים לב(

עיקר העומס החישובי הוא בחישוב הוקטורים המסוננים

, 1,2,...,kv k N=, כאשר Nהוא די גדול , גודל המילון

1024Nלמשל ( = .(

: על מנת לחסוך בחישובים ניתן לבצע את החישובים בתחום בתדר

( ) ( )

( ) ( )

( ) ( )

DFT

k k

w w

d n D r

c n C r

h n H r

←⎯⎯→

←⎯⎯→ ←

←⎯⎯→

)ניתן לחשב מראש ולאכסן(


19 7 - – 'עמ

( ) ( )

( )

1*

02 1

2

0

,

M

kk r

kopt Mk k

r

D r V rd v

gv V r

−

=−

=

< >= =

∑

∑

) כאשר ) ( ) ( )k k wV r C r H r=

יש להוסיף אפסים כדי להימנע מקיפול עקב הקונבולוציה : שים לב

). DFT -יקלית הנובעת מהצה

( )( )

( )( ) ( )

( )

21*

1 2 021

20

0

1

M

kMk rw Mopt g

rk

r

D r V r

D rN

V r

ε

−

−=

−−=

=

⎡ ⎤⎛ ⎞⎢ ⎥⎜ ⎟⎢ ⎥⎜ ⎟⎝ ⎠⎢ ⎥= −⎢ ⎥

⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦

∑∑

∑

.optkת ם מבצעים מכסימיזציה על האבר השני מימין למציאדוכמקו


20 7 - – 'עמ


21 7 - – 'עמ

CELP -שיפורים במקודד ה

I. מוש במילון אדפטיבייש) Closed-loop pitch prediction(

ישום וקטוריבר

w p kw p ke d H g u g u⎡ ⎤= − +⎣ ⎦

: כאשר

( )( ) ( )( ) ( ) ( )( ) ( ) ( )

0 , 0,0, ,0

1 , 0 ,0,0, ,0

2 , 1 , 0 ,0,0, ,0

1 , 2 , 0

w

w ww

w w w

w w w

h

h hH

h h h

h L h L h

⎡ ⎤⎢ ⎥⎢ ⎥

= ⎢ ⎥⎢ ⎥⎢ ⎥− −⎣ ⎦

L LLLLL

LLLL

LL

LL

L -גרת לאופטימיזציה אורך מס .

22

22

w w

w p w k w kp

e

d g H u g H u

ε

ε

=

∴ = − −

Excitation Codebook

)ZIRבהפחתת (

+

d

gk

uk

Adaptive Codebook

up

gp u(n)

Hw _ ew


22 7 - – 'עמ

)Sequential Optimization (אופטימיזציה בשלבים

: כך שpk והאינדקס pgמצא .א

( ) 222 kp

pp pp wwe d g uε = = −

, כאשר. יהיה מינימלי

( ) ( ) ( ) ( )( ), 1 ,..., 1Tkp

p p ppu u n k u n k u n k L= − − + − + −

): נתוןkעבור (קבלנו קודם וכפי ש

( )( )

2

, kw pk

pw p

d H ug

H u

< >=

, :נזכיר ( Tx y x y< > = (

( )

( )

2

2 222

, kw p

pp ww kw p

d H ue d

H u

ε

⎛ ⎞< >⎜ ⎟⎝ ⎠= = −

:ולכן

( )

( )

2

2

,arg max

kw p

pkk

w p

d H uk

H u

⎛ ⎞< >⎜ ⎟⎝ ⎠=


23 7 - – 'עמ

.ב( ) ( )

1kk pp

p w pd d g H u= −

) לאחר קוונטיזציהpgעדיף להשתמש בערך (

kg,מצא את .ג k כך שיתקבל מינימום של

21 k w kd g H u−

:הערה

,לאחר מציאת ppu kו - ,ku k, ניתן לבצע חישוב מחדש של ,k pg g

2יה של למינימיזצwεמצא את הפתרון בעצמך(ל " בהינתן הנ .(

II. )CELP-LD( Delay CELP –Low

)Backward-Adaptive CELP Coder(

Linear Predictor of 50th order.

Rate 16 Kbps (Toll quality); Standard G. 728

Excitation Codebook

Ryya = ry

g

Synthesis Filter

LPC Analysis

_

Gain Adaptation

y c

Minimize MSE

W(z)

Perceptual Weighting

d


24 7 - – 'עמ

III . Coder.Sum Excited Linear Pred- Vector–VSELP

): בהשמטת האינדקסים( ניםננסמן הוקטורים המסו

( )( )

1 1( )

2 2

kpwP p

iw

jw

V H u

V H u

V H u

=

=

=

: מבקשים לבצע מינימיזציה של, אזי

221 21 2w p pd g V g V g Vε = − − −

אלגוריתם אופטימיזציה משולב

)Joint Optimization Algorithm(

p,מצא .א pg u המביאים למינימיזציה של

221 p pd g Vε = −

Excitation Codebook

+

d

g1

u1

Adaptive Codebook

up

gp u(n)

Hw _ ew

Excitation Codebook

g2

u2

+


25 7 - – 'עמ

ˆ -נסמן את הערכים האופטימליים ב ˆ,p pg u

1ונגדיר ˆˆ p pd d g V= −

ˆ ביחס לוקטור 1Vבצע אורתוגונליזציה של כל הווקטורים .בpV

)Gram-Schmidt בתהליך (

11 1 2

ˆˆ

ˆ

Tp

PP

V VV V V

V′ = −

1את מצא .ג 1,g V שיביאו למינימום את ′

222 1 1 1d g Vε ′= −

1 -ונסמנם ב 1ˆˆ ,g V ′ .

12 נגדיר 1 1ˆˆd d g V ′= − ⋅

. ג עבור ספר הקוד השני, חזור על ב .ד

אופטימיזציה של ההגברים למינימיזציה של-הרבצע .ה22

1 21 2ˆ ˆ ˆw p pd g V g V g Vε = − − −

משתמשים במספר 1,2כדי לפשט את תהליך החיפוש בספרי הקוד

:ן הבאפבאו, קטן של וקטורי בסיס

( )kku Ub=


26 7 - – 'עמ

U: : מטריצת וקטורי הבסיס M M×

kb - binary representation of k 1 10 1→ +⎛ ⎞

⎜ ⎟→ −⎝ ⎠

7Mעבור וקטורי הבסיס 7 - וקטורים הנגזרים מ128 מקבלים כך =

. 1±עם מקדמים על ידי קומבינציה ליניארית של וקטורי הבסיס

:הערות

:מסננים את וקטורי הבסיס, לקבלת הוקטורים המסוננים .1

wH U=V

:ואז

( )kkV b=V

צוע על ידי יתהליך האורתוגונליזציה שתואר לעיל ניתן לב .2

קטורי במקום על כל ו(הפעלתו על וקטורי הבסיס המסוננים

). המילון

)Kbps8 )54- ISStandard בקצב VSELPפרטי מקודד

Reflection Coeff: 38 bits/frame (Frame=20msec)

Frame Energy: 5 bits/frame

Adaptive Codebook Lag ( )pk : 7 bits/subframe

(subframe=5msec)

Excitation Codebook indices (i,j): 14 bits/subframe

Gains ( 1 2, , pg g g ): 8

Rate = (7+14+8) × 200 + (38+5) × 500 = 7,950 bits/sec


27 7 - – 'עמ

סינון אדפטיבי לאחר השחזור במקלט

)Adaptive Post-Filtering(

הפועל במקודד (ניתן לשפר את איכות אות הדיבור הנשמע במקלט

. על ידי סינון במוצא מערכת הסינתזה במקלט) בקצבים נמוכים

תחילה הוצע להשתמש במסנן ( )

1/A z γ

שר מדגיש את תחום א

מכיוון ). סוך השגיאהימ(התדרים בהם עצמת האות חזקה יותר

על בסיס (נעשו נסיונות לשיפור ) עמום" (Muffled"שהאות נשמע

:*נן המומלץ שנמצאוהמס) האזנות

( ) ( ) ( )( )

1 /1

/FA z

P z zA z

βμ

α−= −

: מקדמיםשל הכאשר ערכים טיפוסיים

0.8 , 0.5 , 0.5α β μ= = =

:הערה

לא ) חיבור טורי למקודד נוסף" (Tandeming"בשימושים בהם נדרש

. עקב העיוות שהוא גורםpost filter -מומלץ להשתמש ב

* J-H Chen and A. Gersho, :Adaptive Post filtering for Quality Enhancement of Coded Speech”, IEEE Trans., Speech and Audio Processing, Vol. 3 No. 1, Jan 1995, pp. 55.


28 7 - – 'עמ

SUMMARY

MPE-LPC and CELP bridge the gap between LPC and

Waveform coders.

The main issue is COMPLEXITY

CODER TYPE kb/s COMPLEXITY

MIPS

Delay

msec

Quality

Pulse-code PCM

modulation

64 0.01 0 High (“Toll”)

Adaptive ADPCM

Differential

Pulse-code modulation

32 0/1 0 High

Adaptive subband

Coding SBC

16 1 25 High

Multipulse MPE

Excitation (LPC)

9.6

to

16

10 35 Communication

Stochastically CELP

Excited linear

Predictive coding

4.8

to

16

20 2 (LD)

to

35

Communication

To

HIGH

LPC vocoder LPC 2.4 1 35 Synthetic


29 7 - – 'עמ

From: A. Spanias Proc. IEEE Oct, 1994 Table 2: Performance and Complexity of Selected Algorithms

Algorithm Bit Rate (bits/s)

MOS/DRT/DAM MIPS* Reference

PCM (G.711) 64k 4.3/95/73 0.01 [150],[152] ADPCM (G.721) 32k 4.1/94/68 ~2 [22], [32], [150] LD-CELP (G.728)

16k 4.0+/-/- ~ 19 [35], [38]

RPE-LTP (GSM) 13k 3.47+/-/- 6 [119]’ [307] Skyphone-MPLP 9.6k 3.4/-/- 11 [25] VSELP-(IS-54) 8k 3.45+/-/- 13.5 [70], [100] CELP [FS1016] 4.8k 3.2/93.7/62.2 16 [30], [78] STC-1 4.8k 3.52/92.7/63 13 [210], [212],

[213] IMBE 4.1k 3.4/-/- 3 [26], [121],

[141] STC-2 2.4k 2.9/90.1/56 13 [210], [212],

[213] Lpc-10e(FS1015) 2.4k 2.3/89.9/52.3 ~ 7 [77], [301] LPC-LSP 800 -/91.2/- ~ 20 [166] ~ estimated + low score reported * processor-dependent Note: the above complexity and performance figures were obtained from different sources and correspond to different implementation platforms and test environments. Therefore, the performance and complexity figures do not always constitute an absolute measure for comparison.

Standard Codec Bit/Rate(kb/s)

MOS Delay (ms)

G.711 PCM 64 4.3 0.125 G.726 ADPCM 32 4.0 0.125 G.728 LD-CELP 16 4.0 0.625 GSM RPE_LTP 13 3.7 20 G.729 CS-ACELP 8 4.0 15

G.723.1 ACELP 6.3 3.8 37.5 US DOD FS1015

LPC-10 2.4 2.3 22.5

לימודי מוסמכים - הנדסת חשמל מלאך קידוד ספרתי של אותות דיבור ותמונות. ד ז"ביב תשס א 048955

8- 1 – 'עמ

לאיכות אותות משוחזרים אובייקטיבייםמדדים . 8

אותות דיבור .א

)1 (SNR

( )

( ) ( )( )[ ]

12

010 1

2

0

10log

ˆ

L N

nLN

n

s n

SNR dB

s n s n

−

=−

=

⎧ ⎫⎪ ⎪⎪ ⎪⎪ ⎪= ⎨ ⎬⎪ ⎪

−⎪ ⎪⎪ ⎪⎩ ⎭

∑

∑

אורך מסגרת עיבוד - N, כאשר

L -מספר המסגרות בקטע הנבדק .

)2 (SEGSNR:) Segmental SNR(

( )

( ) ( )( )[ ]

( )( ) [ ]

12

10

10 120

0

1

100

10 log

ˆ

10 log

N

Ln

N

n

L

s N n

SEGSNR dBL

s N n s N n

SdB

L N

−

−=

−=

=

−

=

⎧ ⎫⎪ ⎪+⎪ ⎪⎪ ⎪= ⎨ ⎬⎪ ⎪

+ − +⎪ ⎪⎪ ⎪⎩ ⎭

⎛ ⎞= ⎜ ⎟⎜ ⎟

⎝ ⎠

∑∑

∑

∑

l

l

l

l l

l

l


8- 2 – 'עמ

-לעיתים משתמשים ב: הערה( )( )

1

100

10 log 1L S

L N

−

=

⎛ ⎞+⎜ ⎟⎜ ⎟

⎝ ⎠∑l

l

l וזאת כדי

להקטין את ההשפעה של קטעים עם אנרגית אות נמוכה עבורם היחס

). dB -אפילו שלילי ב(אות לרעש נמוך מאוד

PESQ (Perceptual Evaluation of Speech Quality) מדד )3 (

על בסיס ( שנותן ציון לאיכות הדיבור ITU-T P.862י סטנדרט " עפ

עבור 1 (4.5 - 1בתחום של ) עיבוד המבוסס על מודל השמיעה האנושית

המקביל לציונים שנותנים ) עבור איכות גבוהה4.5 -איכות גרועה ו

י "עפ (MOS – Mean Opinion Score), בבדיקות איכות סובייקטיביות

:אהסולם הב

5 - Excellent; 4 - Good; 3 - Fair; 2 - Poor; 1 – Bad

PEAK – Perceptual Evaluation of Audio Qualityעבור אודיו קיים מדד (

)EAQUAL- Evaluation of Audio Quality –וקיימת תכנה חפשית

)LPCבדרך כלל בהקשר למודל ( מדדי עיוות ספקטרליים) 4(

• Log-Spectral Distance (LSD) is considered to be highly

correlated with human perception (but is complicated

for practical design):

( ) ( ) ( )

22

10 101 1 1ˆ, 10log 10log ˆ2LSDd A A d

A A

π

π

ωπ ω ω

−

⎛ ⎞⎜ ⎟= −⎜ ⎟⎝ ⎠∫


8- 3 – 'עמ

• Usually, WMSE (Weighted-MSE) is used with LSF

vectors in practical designs:

( ) ( ) ( )ˆ ˆ ˆ,WMSET

fd f f f f W f f= − −

]:1993[Paliwal’s Weighting & Atal W is a diagonal matrix with elements proportional to

the synthesis filter spectrum.

( ) ( )( ) 22 /

1,

0.15

ri i

j f Fsw P f P f

A e

r

π⎡ ⎤= =⎣ ⎦

=

A variant of the above: w w ci i i′ = 1.0 1 80.8 90.4 10

i

ic i

i

≤ ≤⎧⎪= =⎨⎪ =⎩

)אודיו(אותות שמע .ב

Perceptual Evaluation of Audio Quality - PEAQ מדד


8- 4 – 'עמ

תמונות .ג

Peak SNR

( ) ( )( )[ ]

210 1 11 2 2

1 2 0 0

25510log1 ˆ, ,

N N

i j

PSNR dB

I i j I i jN N

− −

= =

⎧ ⎫⎪ ⎪⎪ ⎪⎪ ⎪= ⎨ ⎬⎪ ⎪

−⎪ ⎪⎪ ⎪⎩ ⎭

∑ ∑

1גודל התמונה , כאשר 2N N× בייצוג ( ורמת האפור הגבוהה ביותר

.255היא ) סיביות8עם

וידאו .ג

VQM - VQM – Video Quality Measure מדד


9 - 1 –' עמ

)On Source Coding( על קידוד מקורות . 9


1. R.G. Gallager: Information Theory and Reliable Communication, J. Wiley 1968.

2. R.J. McEliece: The Theory Information Coding, Addison – Wesley, 1977.

3. T.M. Cover & J.A. Thomas: Elements of Information Theory, J. Wiley, 1991.

אנטרופיה וקידוד מקורות 9.1

עלינו להגדיר תחילה מדד , ל מקור כלשהושבבואנו לדון בדחיסת מידע

תורת האינפורמציה מספקת מדד כזה . כמותי למידע שנושא המקור

ועוסקת גם בדרכים לדחוס מקור נתון כך שניתן יהיה לייצג מידע

או עם עיוות שלא (לי לאבד מידע הנפלט ממנו במינימום סיביות מב

). עולה על ערך נתון

)שהסתברותו , Eנגדיר תחילה את מידת האינפורמציה באירוע )P E ,

: על ידי

( ) ( ) ( ) [ ]2 2

1log logI E P E bitsP E

= = −

)הגודל )I Eאירוע שב"ודאות-אי" קרוי גם מידת ה .

) -י הגדרה זו ככל ש"עפ )P Eהודאות להתרחשות - קטן יותר אי

וא נושא עמו יותר הכך שכאשר הוא מתרחש , האירוע גדולה יותר

)אינפורמציה מאשר אירוע בעל )P Eאירוע , למשל. גדול יותר


9 - 2 –' עמ

)שהסתברותו ) 1P E ) הוא אירוע ודאי ומתקבל = ) 0I E כי אכן , =

. האירוע אינו נושא עמו כל מידע

תלויים סטטיסטית -אם נתייחס להופעה של שני אירועים בלתי, בנוסף

1, )ס"בת( 2,E E , הננו מצפים שמידת האינפורמציה הנרכשת עם

. הופעתם תהיה אדיטיבית

. ל מבטיח את עקביות ההגדרה" הלוגריתם בהגדרה הנ'בפשימוש ה

, שכן

( ) ( ) ( ) ( )1 2 2 21 2 1 2

1 1 1, log log log,

I E EP E P E P E E

= + =

. כנדרש

י פונקצית "עפ, ס"בת) מבוליםיס( הפולט תווים Uנדון כעת במקור

)הסתברות )UP u , וסף סופי של אמתוךK תווים { } 1

Ki ia ==A

6Kלמשל ). של המקור" בית-אלף"הקרוי ( ; היב עבור הטלת קו- =

2K 256K - עבור הטלת מטבע ו- = עבור מוצא קוונטייזר בעל - =

). סיביות8 ( רמות256

שנושא כל תו האינפורמציה הממוצעת הממוצעת או הודאות-אי, אזי

: אוהנפלט מהמקור ה

( ) ( ) ( )2log /U Uu

H U P u P u bits symbol∈

= −∑A

. Aבית -כאשר הסכימה היא על פני כל התווים שבאלף

( )H U של המקור הנדון האנטרופיה קרויה U .

.מקור חסר זכרוןס קרוי "שמקור הפולט תווים בת, רנעי


9 - 3 –' עמ

)נבחן מקור בינרי חסר זכרון , להמחשה )2K = :

:נתון

( ) ( )1 ; 0 1U UP u p P u p= = = = −

, אזי

( ) ( ) ( )2 2log 1 log 1 /H U p p p p bits symbol= − − − −

0.5pהאנטרופיה המכסימלית מתקבלת עבור , כלומר התווים שווי (=

). הסתברות

משפט

}, תוויםKבית של -בעל אלף, Uעבור מקור } 1K

i ia ==A ,קיים :

( ) [ ]20 log /H U K bits symbol≤ ≤

הוכחה

1. ( ) 0H U י "עפ(שליליים - של גדלים אי כיון שזהו ערך ממוצע≤

). ההגדרה

2. ( ) 2logH U K≤ התכונה מוכח בעזרתln 1x x≤ −

H (U)

0 0.5 1 p

1


9 - 4 –' עמ

( ) ( ) ( ) ( )

( )

2 2 21 1

1

1log log log

1; ( ) ( )

K K

k kk kk

K

k k U kk

H U K P a P a KP a

P a P a P u a

= =

=

⎛ ⎞− = −⎜ ⎟⎜ ⎟

⎝ ⎠⎛ ⎞

= = =⎜ ⎟⎝ ⎠

∑ ∑

∑

( ) ( ) ( ) ( )21 12

1 1 1log 1 0log

K K

k kk kk k

P a P aKP a e KP a= =

⎛ ⎞⎛ ⎞= ≤ − =⎜ ⎟⎜ ⎟

⎝ ⎠ ⎝ ⎠∑ ∑

: כאשר ההתאפסות נובעת מכך ש

1

1 1K

kK

=

=∑ .

) :מכאן ) 20 logH U K≤ ≤

QED

) השוויון מתקיים כאשר :שים לב ) 1kP a

Kk,...,1,2: לכל= K=

). אנטרופיה מכסימלית←פלוג אחיד (

x-1

1

nl x

x

y(x)


9 - 5 –' עמ

: הבעייה המעניינת אותנו

מילת ) תוויםNאו לוקטור של (מקודד המקור מתאים לכל תו מקור

מילות הקוד , במערכת תקשורת כללית. קוד בינרית המשודרת למקלט

מקודד ערוץ שמטרתו , טרם השידור, ממקודד המקור עוברות

ערוץ חסר שגיאותבכאן נניח שמדובר . להתמודד עם שגיאות ערוץ

. ונתייחס רק לבעיית קידוד המקור

גם ללא שגיאות ) (Lossy Coding( שעבור קידוד עם עיוות ,שים לב

i )ערוץ iv u≠ו - ivבית שונה- יכול להיות שייך לאלף .

- iid רוכלומר מק, כאשר המקור הוא סטציונרי וחסר זכרון

independent, identically distributed ,הודאות הממוצעת לתו -אי

: היא) האנטרופיה(

( ) ( ) ( ) ( )2 21

1 1( ) log logK

U ku kU k

H U P u P aP u P a∈ =

= =∑ ∑A

[ ]/bits symbol

של מקור כאל וקטור אקראי במימד תווים עוקבים N -אם נתייחס ל

N: ( )1 2, ,..., NU U U U= לוקטור הודאות הממוצעת -הרי שאי

מקור דיסקרטיU

מקודד מקורSource Encoder

מפענחSource Decoder

סדרת קוד בינרית

מקודד ערוץרעש+ ערוץ

ץמפענח ערו

u1, u2,…

v1, v2,…


9 - 6 –' עמ

מוגדרת על ידי

( ) ( ) ( ) [ ]2

1log /Uu U

H U P u bits vectorP u

=∑

. הוקטורים האפשרייםNKכאשר הסיכום הוא על פני כל

: מוגדרת לכן על ידילתו מקוראי הודאות הממוצעת

[ ]/bits element ( ) ( )1NH U H U

N=

)ברור שמתקיים , ועבור מקור חסר זכרון ) ( )NH U H U= לכל N .

כלומר קיימת תלות סטטיסטית , התוצאה שונה כאשר למקור יש זכרון

. בין התווים בוקטור

2Nנבחן תחילה את התוצאה המתקבלת עבור , תווים2וקטור בין (=

): ביניהםתלותשיש

( ) ( ) ( ) ( ), 1 2 1 | 2 11 2 1 2 1, |U U U U U UP u P u u P u P u u= =

: כך ש

( ) [ ]( ) ( ) ( )1 2 , 2 ,1 1

1 2 1 2, , log ,K K

U U i j U U i ji j

H U H U U P a a P a a= =

= = −∑∑

( ) ( ) ( )

( ) ( ) ( ) ( )( )

( ) ( ) ( ) ( )( )

2 1

2 1

, 2 |1 2 1 2 1, 1

2 , 2 2 |1 1 1 21 , 1

|

1 2 1 2 1 2

, log |

log , log |

| |

K

U U i j U i U U j ii j

K K

U i U i U U i U U j ii i j

H U U

P a a P a P a a

P a P a P a a P a a

H U H U U H U H U U

=

= =

=

= −

= − −

= + = +

∑

∑ ∑144444424444443


9 - 7 –' עמ

)כאשר )2 1|H U U וניתן להוכיח שמתקייםאנטרופיה מותנית קרויה :

( ) ( )2 1 2|H U U H U≤

1 כאשר והשוויון מתקיים 2,U Uכך שאז מתקיים כצפוי, ס" בת :

( ) ( ) ( )1 2H U H U H U= +

) ואז גם ) ( ) ( )212

H U H U H U= =

) :בעוד שכאשר ישנה תלות ) ( )2H U H U<.

: תוויםN -נרחיב כעת ל

( ) [ ]( ) ( ) ( ) ( )( )

1 2 1 2 1 3 1 2

1 2 1

, ,..., | | , ...

.... | , ,...,N

N N

H U H U U U H U H U U H U U U

H U U U U −

= = + + +

+ + :ומתקיים

( ) ( ) ( ) ( )1 1 1 2 1| ,..., | ,..., |i i i i i i iH U U U H U U U H U U H U− − −≤ ≤ ≤

: ולכן במקרה הכללי

( ) ( )1

N

ii

H U H U=

≤∑

) :ולפיכך ) ( )NH U H U≤

. ס"והשוויון מתקיים כאשר התווים הם בת

Nכאשר , כמו כן →∞ ,( )NH U יורד מונוטונית לגבול

( ) ( )lim NNH U H U∞ →∞

=


9 - 8 –' עמ

. Hשלעיתים מסומן על ידי , "קצב האנטרופיה"הקרוי

)כמובן שעבור מקור חסר זכרון ) ( ) ( )NH U H U H U∞= =.

)מקור חסר זכרון (Shannonמשפט הצפינה של

) בעל אנטרופיה Uמקור .1 )H U ניתן לייצוג במספר סיביות לא

) -הקטן מ) קצב אינפורמציה(ממוצע לתו )H U , מבלי שייגרם

. אבדן מידע

0εלכל .2 אלגוריתם דחיסה לקצב ) תיעקרונ(קיים , קטן כרצוננו<

) -הנמוך מ )H U ε+ .

)Block Coding (דוד בבלוקיםמשפט הקי

) קודים באורך קבוע(

0εלכל , אזי. נניח מקור סטציונרי וארגודי > ,0δ מספיק Nקיים , <

ד ערכי על ידי ח- תווי מקור ניתנים לייצוג חדNגדול כך שבלוקים של

באורך בינריתסדרה

( )( )L N H U ε∞= +

.δ - נמוכה מןמלבד לסט של סדרות מקור שהסתברות הופעת

של ללא עיוותשמספר הסיביות הנדרש לייצוג , משמעות המשפט היא

סדרות טיפוסיות 2Lל "קיימות מהנ( של המקור סדרות טיפוסיות

: היא) סדרות אפשריותNKכ "מתוך סה

( ) [ / ]LR H U bits symbolN

ε∞= = )קצב הקוד ( +


9 - 9 –' עמ

ולכן הקצב קרוב , )Nמושג על ידי הגדלת ( קטן כרצוננו εכאשר

עבור מקור חסר , כזכור. אך תמיד לא פחות ממנה, כרצוננו לאנטרופיה

)זכרון ) ( )H U H U∞ = .

" ספר קוד" הסדרות מהווה 2Lסט הסדרות הטיפוסיות המיוצג על ידי

ללא הטיפוסיותהידוע גם במקלט ומאפשר לכן שחזור של הסדרות

כי לכל סדרת מקור , Block Codesקודים כאלה קרויים . עיוות

חד ערכי על ידי סדרה בינרית - קיים ייצוג חדNבאורך טיפוסית

). אורך הקוד (Lבאורך

)VLC - Variable Length Codes( ם באורך משתנהיקוד, ך קבועניתן תאורטית למנוע את השגיאה הכרוכה בשימוש בקוד באור

באופן "). Fixed to Variable("על ידי בניית קודים באורך משתנה

, לגלוששעלול, באורך קבוע, )Buffer(מכיוון שיש צורך בחוצץ , מעשי

קטנה מאוד בדרך (הרי שגם במקרה זה קיימת הסתברות מסויימת

.לשגיאה) כלל

י שמדובר במקור סטציונר, כאמור, אם נתעלם מבעיית החוצץ ונניח

iLהרעיון הוא לבחור סדרה בינרית באורך , K -בית סופי -בעל אלף

:כך שמתקיים, iuלייצוג וקטור

( ) ( )2 2

1 1log log 1ii iU U

LP u P u

≤ < +

: האורך הממוצע של מילות הקוד הוא לכן


9 - 10 –' עמ

{ } ( )1

NK

ii U ii

L E L P u L=

= =∑

, N -ל ונחלק ב"שוויון הנ-של אברי האי) תוחלת(ואם נבצע מיצוע

:נקבל

( ) ( ) 1N N

LH U H UN N

≤ < +

נקבל ש , ∞ - לN את ףוכאשר נשאיLN

) - שואף ל )H U∞ , כלומר

.של המקור" קצב האנטרופיה"ל

גם כאן הקצב הממוצע של הקוד אינו קטן מהאנטרופיה של , כלומר

קיים משפט הפוך המוכיח שלא ניתן להשיג שחזור מושלם . המקור

. המקורשל יהאנטרופה קטן מRאם קצב הקוד ) ללא עיוות(

ל אשר ניתנים "ם בעלי אורך משתנה כני מציאת קודהבעיה כעת היא

). UD - Uniquely Decodable(לפענוח יחיד

prefix) prefix -גישה אחת למציאת קוד כזה הוא לקיים את תנאי ה

condition( , כלומר שאף מילת קוד איננהprefix") של מילת ") רישא

. קוד אחרת

} ,למשל את : דוגמאל (UD מקיים את התנאי וגם אינו אינו 0,1,00,01{

או ...,0,1,00,01 -שר לפענח כפ א...010001הסדרה הנקלטת

).' וכו...01,0,0,0,1או ...,01,00,01

} :לעומת זאת . מקיים את התנאי0,10,110,111{


9 - 11 –' עמ

כיוון שניתן לפענח את מילת , )Instantaneous (מיידיקוד כזה הוא גם

הדבר מאפשר לכן פענוח . הקוד מיד כשמגיעים לסיבית האחרונה שלה

.סדרתי מהיר

). Coding Tree( נוח להציג את הקוד על ידי עץ צופן

: אותיות עם הסתברויות הופעה4ב של " בעל אiidעבור מקור : למשל

( ){ } 4

1

1 1 1 1, , ,2 4 8 8

K

k kP a

=

=

⎧ ⎫= ⎨ ⎬⎩ ⎭

: מוצע הקוד1 3

10 1112 4

0 110

a

a a

a → →

→ →

: ועץ הצופן הואprefix codeקוד זה הוא

: למשל. העץ משמש גם לפענוח

:קלטתנהסדרה ה

:הסדרה המפוענחת{ { { { { { {

1 2 1 3 4 1 1

0 10 0 110 111 0 0a a a a a a a

a1 a2

a3 0

00 1

1

1 a4


9 - 12 –' עמ

משפט

1 שאורך מילותיו UD קוד לקיוםתנאי הכרחי ומספיק 2, ,..., Kl l l

)Kהוא קיום אי השוויון של , )ב" גודל האKraft:

12 1

Kk

k

−

=

≤∑ l

:תוצאה זו נובעת משתי התוצאות הבאות

שהוא כמובן (prefix code קיים ⇐ Kraftשוויון -אם מתקיים אי )1(

UD .(

מקיימים UDארכי המילה של כל קוד : McMillanי משפט "עפ )2(

.Kraftשוויון -בהכרח את אי : שים לב

Prefix Code ⇐ הקוד UD , אם כי בכל (אך ההפך אינו בהכרח נכון

). Kraftן שוויו- מקיים את איUDמקרה קוד

3Kב עם "עבור א( הבא הקוד: למשל =(:

3

1

1 1 1 72 12 4 8 8

k

−

=

⎧ ⎫⎪ ⎪= + + = <⎨ ⎬⎪ ⎪⎩ ⎭∑ l

אך , עם אורכים אלהUD קוד קיים, כלומר(

)UDלאו דוקא כל קוד עם ארכים אלה הוא

1

2

3

0

01

011

a

a

a

→

→

→

. UD בכל זאת הוא אך, Prefix Code אינו

:דרהפענוח הס, למשל


9 - 13 –' עמ

{ { { {{

1 2 1 3 2

0 01 0 011 01 0 ...a a a a a

כלומר ישנה , )Prefix Code -בניגוד ל (מיידי אינו שים לב שהפענוח כאן

. השהייה בהחלטה

: מהתוצאות שהוצגו עד כה נובע

:משפט צפינה

) המקייםPrefixקיים קוד ) ( )1 1N L H U= < +

) או ) 1N

L H UN N< . )Nבלוקים באורך (+

:משפט הפוך

) : מתקיים בהכרחUDלכל קוד ) ( )NL NH U H U≥ =.

Huffmanקוד 2.9

uffmanH לקוד שיטה כיצד להגיע ) 1952 -ב(הציעprefixאופטימלי

. ffman CodeuH –הקרוי על שמו

על פני כל הקודים Lבן של מינימיזציה של האופטימליות היא במו(

). UDשהם

:דוגמא

) : נתון מקור ){ } { }51 0.3,0.25,0.25,0.1,0.1k kP a=

=

.)ההסתברויות סודרו בסדר יורד(


9 - 14 –' עמ

: בניית הקוד על ידי טבלה

( )kP a Symbol Code

Word

0.3 1a 0 0

0.25 2a 0 1

0.25 3a 1 0

0.1 4a 1 1 0

0.1 5a 1 1 1

]בבכל שלב יוצרים זוג משתי ההסתברויות הנמוכות ביותר באותו של[

) :בדוגמא זו מתקבל ) 2.1855 H U bits=

1Nכאן ( = ( 2.2L =

הערה

)כדי להביא את הגודל )/L N קרוב יותר לאנטרופית המקור ( )H U

25NKאת , למשל, ולקודדNניתן להגדיל את -סופר (" הסדרות=

2N האפשריות באורך ")תוים מספר (הבעיה היא שגודל העץ . =

.N עם אקספוננציאלית גדל )NK שהוא ,העלים

-ור עם תוים תלויים חישוב ההסתברויות של הסופרשעבור מק שים לב

.לקחת בחשבון את התלות בין התוים המקוריים, כמובן, תוים צריך

0 1

0 1

(0.55)

(0.45) (0.2)

0 1

0 1


9 - 15 –' עמ

: לאותיות השפה האנגליתHuffmanקוד : דוגמא נוספת

( )( )2

4.315 / ; 4.1925 /

log 26 4.7

L bits letter H U bits letter= =

≅

0 1

0 1 0 1

0 1

.13

.28

.15

.17

.30

0 1 0

1

.13

.580

0 1 0

1 0 1

0 1

.12

.110

.06

.075

.195

0 1 0

1

.05

.305

0 1

1.0 0 1

0 1

.040 0 1 0

1

.030

.070

0 1

.420

.115

0 1

.045 0 1

0 1

0 1

0 1

0 1

0 1

.02

.010

.010

.025

.005

1111111 Z .0025

1111110 Q .0025

111110 X .005

111101 K .005

111100 J .005 11101 V .010

11100 G .015 11011 W .015

11001 Y .02

11000 P .02

10111 F .02

10110 M .03 10101 U .03

10100 C .03 10011 L .035

10010 D .04 10001 S .06

10000 H .06 0111 I .065

0110 R .065 0101 N .07

0100 O .08

0011 A .08

0010 T .09

000 E .13

11010 B .015


9 - 16 –' עמ

)Arithmetic Coding(קידוד אריתמטי 3.9

:ורות ספרותמק

(1) Gersho & Gray – Ch.9 (Sect. 9.6). (2) Witten, I.H., Neal, R.M. & Cleary I.G., “Arithmetic Coding for

Data Compression”, Commun. ACM. Vol 30, pp. 520 – 540, June 1987.

(3) Howard, P.G. & Vitter, I.S., “Arithmetic Coding for Data Compression”, Proc. IEEE, Vol. 82, No. 6 pp.857-865, June 1994.

בספר של (P. Eliasשהוצעה לראשונה על ידי , הרעיון הבסיסי בגישה זו

Abramson :Information Theory & Coding היא , )1963 משנת

}למפות את סדרת הכניסה }nx למספר ממשי cהייצוג שמקדמי

עבור סדרת כניסה סופית . הבינרי שלו משמשים לייצוג סדרת הכניסה

. נבחר כך שיש לו מספר מקדמים סופי בייצוג הבינריN( ,cבאורך (

} - N באורך iidנדון במקרה של קידוד סדרה ממקור } 1N

n nx = .

י הסתברויות " עפ(0,1]הקידוד מתבצע על ידי חלוקת האינטרוול

אותיות המקור ובכל פעם שמגיעה אות חדשה מחלקים את הקטע

בצורה זו גודל הקטע שנבחר . ל"המתאים לה לפי ההסתברויות הנ

} שווה להסתברות של הסדרה i -לאחר קבלת אות המקור ה } 1i

n nx = ,

cהמספר המייצג . אברי הסדרהiכלומר למכפלת ההסתברויות של די י כך שהוא מספר שניתן לייצגו על י-N - האינטרוול הבתוךנקבע

. של סיביות, L, מספר מינימלי

על פני כל , )מספר סיביות לתו מקור (Rניתן להראות שהקצב הממוצע

Nשואף לאנטרופית המקור כאשר , של המקורNהסדרות באורך

. אינסוףשואף ל


9 - 17 –' עמ

: עבור המקרה הפשוט הבאהעקרוניתנדגים את הגישה

Huffman Code מצטברP ( )P α Symbol מקורiid

0 0.0 0.5 1α H=1.75 bit

1 0 0.5 0.25 2α

1 1 0 0.75 0.125 3α

1 1 1 0.875 0.125 4α

1נקודד הסדרה 2 2 3α α α α) קודHuffman110 10 10 0: נותן:(

7

.0101011

2 43 2Lc m − −↓

= ⋅ = ⋅

7Lקוד משודר באורך =

2 - כיון שכאן : שים לב iiP −= lהרי ש - c מתקבל כנקודת קצה

.תחתונה

0.0

1.0

0.375 0.75

0.5

c α1

α44

α2

α3

0.5 0.375 0.3475 0.33984395

0.0 0.25

0.25

0.3259375 = c c

0.3125

0.3475c

α1

α4

α2

α3

α1

α44

α2

α3

α1

α4

α2

α3

0.3750.3359575 = c


9 - 18 –' עמ

ניסוח אנליטי

} ותמיהדג Nנתונה סדרת } 1N

n nx x המוגרלים באופן בלתי תלוי ≡=

} מילים Kב בעל "מא) מקור חסר זכרון( } 1K

k kA α לפי ==

)ההסתברויות ){ } 1K

k kp α=

.

] מחשבים קטע nx ימהדגעבור כל ) [ ), 0,1n n nI a b≡ nIכל קטע . ⊇

1nIהוא פונקציה של את האינדקס nk - נסמן בnx ושל ערך הדגם −

): בספר הקודימההדגשל )n knx α= . סדרת הקטעים המתקבלת

: מקיימת

[ )1 1 1 0 0,1N N n nI I I I I I− −⊆ ⊆ ⊆ ⊆ ⊆ ⊆ ⊆ ≡L L

]מאתחלים )0 0,1I : באופן הבאIn ומחשבים כל =

( ) ( )

( ) ( )

1

1 1 11

1 1

knn n n n i

i

n n n n kn

a a b a p

b a b a p

α

α

−

− − −=

− −

⎧⎪ = + −⎪⎨⎪

= + −⎪⎩

∑

: ל שקול לתהליך הבא"התהליך הנ

1nI מחלקים את הקטע nבכל שלב שאורכיהם , קטעים- תתK - ל−

)פרופורציוניים להסתברויות ){ } 1K

k kp α=

נבחר nIהקטע החדש .

.nk -כתת הקטע ה


9 - 19 –' עמ

בקטע זה . NIמקבלים את הקטע , הדגימותNלאחר שעוברים על כל

2 מוצאים מספר LNc m I−= הקטן L שהינו בעל האקספוננט ∋

m,. ביותר האפשרי L0, שלמים חיוביים 2 1Lm≤ ≤ − .

. סיביותL שאורכו mהקוד הסופי הינו הייצוג הבינארי של המספר

, אם זה לא כך. Nמניחים שהמפענח יודע את אורך הסדרה המקורית

אפשרות מקובלת אחרת . יש לשלוח לו מידע זה כאינפורמציית צד

היא להגדיר תו נוסף המייצג סיום סדרה ולייחס לו הסתברות

לפי אורכו הוא יודע גם את , mהמפענח מקבל את המספר . מסויימת

L וכך הוא יכול לחשב את c . 0המפענח מתחיל מהקטעI ומחלק

הקטע המכיל את י תת "עפ. י ההסתברויות" תת קטעים עפK -אותו ל

c 1 הוא יודע את ערכו שלx . תת הקטע המכיל אתc מחולק שוב על

י תת הקטע "עפ. י ההסתברויות" תת קטעים עפK-ידי המפענח ל

או . ( פעמיםN וכן הלאה 2x המפענח יודע את ערכו של cהמכיל את

). עד שהוא מפענח את האות המייצגת את סיום הסדרה

∝ P(α k)

b n-1 b n

a n-1 a n I n-1 I n

∝ P(α2)

∝ P(α1)


9 - 20 –' עמ

הערות

י הגישה העקרונית שהוצגה דרישות הדיוק האריתמטי "עפ .1

מכיוון שגודל האינטרוול , N -הולכות וגדלות עם אורך הסדרה

בגישה , כמו כן. Nהדבר מגביל את . הולך ומצטמקNIהסופי

. נקבע בסוף הסדרה) ולכן הקוד המייצג ( c–שתוארה

במקורות הספרות שצוינו מודגם שניתן להפיק סיביות מייצגות .2

שברגע שקטע מסויים נמצא כולו , מכיוון.הקידודתוך כדי

(MSB) הסיביות המובילות ,בקטע המתאים לחלוקה בינרית

שקולה MSB -הזזה לכוון ה, כמו כן. נקבעות ואינן משתנות עוד

להכפלת גודל הקטע כך שניתן למנוע את הגידול הנדרש בדיוק

. האריתמטיקה

ניתן לעבוד עם , ימנת להקטין את העומס החישוב-על, ]3[י "עפ .3

Mי גישה זו מתחילים עם קטע באורך "עפ. מספרים שלמים

ומגבילים את נקודות הקצה של כל קטע ) ](1,1024 ,משלל(

בדרך כלל (הדבר גורם להגדלה מסוימת . להיות בעלי ערך שלם

פישוט נוסף מושג על ידי . של אורך הקוד הממוצע) זניחה

. מוש בטבלאותשי

)Context(אדפטציה ושימוש בהקשרים

פענוח כאשר / עבורו נדרש שינוי עץ הקידוד Huffmanבניגוד לקוד

הרי שבקידוד אריתמטי שינוי , הסתברויות המקור משתנות

ההסתברויות אינו משנה כלל את הפעולות המבוצעות וקל לכן לבצע

. אדפטציה


9 - 21 –' עמ

והמקלט נעשים חישובי ההסתברות על מנת שיהיה תאום בין המשדר

. על סמך תוים שכבר קודדו) האמפירית(

תכונה חשובה אחרת של מקודד אריתמטי היא היכולת לקודד

ים המקורות השונים מופיעתויכאשר , באמצעותו מספר מקורות ביחד

ההקשרלגבי כל תו ידוע , כלומר. בזה אחר זה בסדר נתון ידוע

)context ( שלו)החלוקה של כל ). לאיזה מקור הוא שייךבמקרה זה

י ההסתברויות של התוים בהקשר המתאים "קטע היא לפיכך עפ

. ונעשית באופן סדרתי כמקודם

:בינרייםשלושה מקורות נדגים עבור

( )( )1iP s( )( )0iP sמקור ( )Context i

2/3 1/3 1s 1i =

1/2 1/2 2s 2i =

3/5 2/5 3s 3i =

): ונקודד למשל את הסדרה ) ( ) ( )1 2 30 1 0s s s


9 - 22 –' עמ

ותמי היא קידוד מקור המפיק דג Context -דוגמא נוספת לשימוש ב

) מוצא של קוונטייזר, למשל (ת סיביות כל אחBבעלי ) תוים(

כאשר , כמוצא של מקור בינרי נפרדימהוהתייחסות לכל סיבית בדג

2נדרש רק לדעת "). םהקשרי(" מקורות Bכ ישנם "סה B⋅

אם מתייחסים לכל , 2Bבמקום (כדי לבצע את הקידוד הסתברויות

אמנם ביצועי המקודד צפויים להיות אז ). מאותו מקור ת כמופקימהדג

אך הסיבוכיות החישובית נמוכה ) דחיסההמבחינת יחס (פחות טובים

. יותר

ההתייחסות להקשרים ניתנת גם להרחבה לשם שימוש בהסתברויות

י "כעת מתייחסים לכל תו מקור כנובע מהקשר מסוים עפ. מותנות

כאשר כל תו , תוים קודמיםM -התניה ב, למשל. התוים הקודמים

)נותנת , סיביותBהוא בעל )2MBכדי להקטין את מספר . הקשרים

הקודמים תוים הנגזרות מהתכונותל, למשל, ההקשרים ניתן להתייחס

בהקשרולבצע קוונטיזציה של הערכים המתקבלים ) Mלהקטנת (

).Bהקטנה אפקטיבית של (

0.0

S1(0)

1.0

2/3

C

1.0

2/3 2/3

C=13 · 2-4

↓ .1101

C

0.8125 = C

S1(1) 5/6

S2(1)

S2(0)

5/6

S3(0)

23/30

25/30

23/30

S3(1)


9 - 23 –' עמ

מתוך האמור לעיל ניתן לתאר מערכת קידוד אריתמטי באופן הסכמטי

: הבא

Interval Computation

IntervalComputation

Context Extraction

Context Extraction

Probability Estimation

Probability Estimation

D

D

Sn {bn}

{bn} Sn

מקודד:

מפענח:

i

i {p(i)}

{p(i)}


9 - 24 –' עמ

קידוד אנטרופיה של מוצא קוונטייזר 9.4

חסר נדון בקידוד אנטרופיה של מוצא קוונטייזר שבכניסתו אות מקור

: רציף באמפליטודהזכרון

ky - בעל ( רמות הייצוג של הקוונטייזרKאת מוצא ). רמות

בעל אלפבית ) במקרה זה( חסר זכרוןהקוונטייזר ניתן להגדיר כמקור

)עם הסתברויות תוים , Kבגודל ){ } 1K

k kP y=

י" הנתונות ע

( ) ( ) ( )1

, 1,2,...,xk

k kxk

P y P x I p x dx k K+

= ∈ = =∫

}כאשר } 1

1

Kk k

x +

=קצות (ההחלטה של הקוונטייזר הם רמות

]: kIהאינטרוולים )1,k k kI x x +=.(

האנטרופיה של מקור זה נתונה לכן על ידי

.( ) ( )21

1logK

Q kkk

H P yP y

=

= ∑

Entropy Coder

bn

xn 1{ }K

n k ku y =∈Q


9 - 25 –' עמ

נמצא שהאנטרופיה במוצא של הקוונטייזר Maxאם נתבונן בטבלה של

2log-מוכה מהאופטימלי לפילוג גאוסי נ K .עבור , למשל

52 32K = 4.73QHמתקבל . רמות= bits= .עקרונית, ניתן לכן ,

סיביות לדגימה לערך הקרוב ביותר 5 -להוריד את הקצב הממוצע מ

. על ידי שימוש במקודד אנטרופיה–לאנטרופיה

קצב ממוצע Huffman מקבלים עם קוד Jayant & Noll, p.151 י "עפ

1Nכמובן שקידוד בבלוקים באורך . סיביות לדגימה4.771של היה <

גדלה ש במחיר סיבוכיות QH-מאפשר התקרבות נוספת ל

. Nאקספוננציאלית עם

2logוגמה לעיל בין ההפרש הקטן בד Kל - QH אינו נראה כמצדיק

, כ"בד, ערך הפרש זה גדול בהרבה, אולם. שימוש בקידוד אנטרופיה

. עבור מקורות שאינם גאוסיים וכמובן עבור מקורות עם זכרון

אם קיים מקודד אנטרופיה אחרי : נשאלת כעת השאלה הבאה

: דהיינו–האם גישת התכן של הקוונטייזר שהצגנו קודם , קוונטייזרה

היא הגישה - K עבור מספר רמות נתון Dמינימום עיוות ממוצע קבלת

? האופטימלית

1K עבור ,כפי שנציג בהמשך אם מתכננים את הקוונטייזר , <<

הרי שהקוונטייזר נתונהQHלמינימום עיוות ממוצע עבור אנטרופיה

קוונטייזר , יתרה מזאת. קוונטייזר אחיד המתקבל הוא האופטימלי

הוא בעל קצב ממוצע שהוא רק ,שאחריו מקודד אנטרופיה, זהאחיד


9 - 26 –' עמ

0.255 bitsבסיביות (מערך החסם התחתון על הקצב הממוצע גדול

. ממוצע נתון ריבועיעיוותעבור , של מקור חסר זכרון, )לדגימה

ראה התייחסות בספרם של (על סמך תוצאות אמפיריות , מסתבר

Gersho & Gray Ch. 9, p.300 , שתוצאה זו נכונה גם עבור קצבים

). bit 1 -אף מתחת ל(נמוכים

לפני שניגש להציג את האופטימליות של הקוונטייזר האחיד כאשר יש

במקודד אנטרופיה מביא נזכיר ששימוש , אחריו מקודד אנטרופיה

ולפיכך , כשמדובר בתמסורת בערוץ בקצב קבוע, )Buffer(לצורך בחוצץ

כלומר לשגיאה שלא נלקחה –תיתכן התרחשות גלישה של החוצץ

כדי למנוע גלישה נוהגים לעיתים . בחשבון בחישובים התיאורטיים

למשל על ידי (להפעיל אלגוריתם לבקרת קצב הנתונים המגיעים לחוצץ

). שינוי צעד הקוונטייזר

עיוות במובן של קביעת הקוונטייזר האופטימלינדון כעת בבעיה של •

,שהאנטרופיה של מוצאוכאשר נתון האילוץ , ריבועי ממוצע מינימלי

QH, מערך נתון מסוים לא תהיה גדולה .

וציה גבוההרזולנגביל את הדיון למקור חסר זכרון ולקוונטייזר בעל

"). רעש הגרגירי"אינטרוולי החלטה בתחום של השל קטןרוחב(

של " אינטגרל העיוות"הרזולוציה הגבוהה מאפשרת שימוש ב

Bennett) 2-31' עמ.(

( )( )

max2max

2 2max

3

X

X

p xXD dxN g x

−

≅ ∫


9 - 27 –' עמ

)כאשר )g xהיא נגזרת פונקצית ה - Companding ומבטאת את

: וונטייזרהשתנות צעדי הק

( )max2

kk

XNg x

Δ =

)מצאנו את ) קבועN(בדיון הקודם )g x שמביא למינימום עיוות

:ריבועי ממוצע

( ) ( )

( )

3max max

3

max

2 X

X

p xg x X

p x dx−

−

=

∫

)כאן יש למצוא את )g x עבור QHנתון .

לנוחיות ההצגה נגדיר

( ) ( )( )max

12 k

k

g xx

X N xλ

λ= ⇒ Δ =

: ונקבל

( )( ) ( )

( )max

2 2 2 2max

2

1 1 11212

1 112 ( ( ))

X

X

p xD dx p x dx

N x N x

EN X

λ λ

λ

∞

− −∞

≅ ≅

⎧ ⎫⎪ ⎪= ⎨ ⎬⎪ ⎪⎩ ⎭

∫ ∫


9 - 28 –' עמ

: בהנחה של רזולוציה גבוהה, כמו כן

( ) ( ) ( ) ( ) ( )( )( )

1 1xk

kk k k k

k kxk

p yP y p x dx p y p y

N x N yλ λ

+= ≅ Δ = ⋅ ≅∫

ולכן

( ) ( ) ( )( )

( )( )

( ) ( ) ( ) ( )

2 21 1

log 221 1

log log

1log

N Nk k

Q k kk kk k

N N

k k k k kkk k

p y p yH P y P y

N y N y

p y p y p yN y

λ λ

λ

= =

= =

= − = −

= − Δ − Δ

∑ ∑

∑ ∑

: נעבור כעת לאינטגרל

( ) ( ) ( ) ( )

( ){ }( )( )

2 2

2 2 2

1log log

1 1log log2

Q

Q

H p y p y dy p y dyN y

H E p X EN X

λ

λ

∞ ∞

−∞ −∞

≅ − −

⎧ ⎫⎪ ⎪≅ − − ⎨ ⎬⎪ ⎪⎩ ⎭

∫ ∫

הפילוג הסגולי של המקור וידוע בתור ' אשון נתון מתוך פהאיבר הר

-) הרציף באמפליטודה( של המקור אנטרופיה הדיפרנציאלית-ה

( )h X:

( ) ( ) ( )21logX

X

h X p x dxp x

∞

−∞

= ∫


9 - 29 –' עמ

2 בעל שונות מקור אחידעבור , למשלxσ:

( ) 22

1 log 122U xh X σ=

:מקור גאוסיבור ע

( ) 22

1 log 22G xh X eπ σ=

: מקור לפלסועבור

( ) 2 22

1 log 22L xh X e σ=

) -מעניין לציין ש )h X 2עבור , למשל (שלילית-אינה תמיד אי 112xσ <

)נקבל ) 0Uh X Q -שנסמנו ב Entropy Powerמגדירים לכן . )> הנתון על ידי

( )21 22

h XQeπ

=

2 :ועבור מקור גאוסיxQ σ= .

2 אחרניתן להראות שעבור כל מקור xQ σ< , כלומר( )h X הוא

). י כל המקורות עם אותה שונותעל פנ(מכסימלי עבור מקור גאוסי

:למשל

2/ xQ σ מקור

0.703 U

1.00 G

0.865 L


9 - 30 –' עמ

מידע "אפשר לומר שבמקורות שאינם גאוסיים יש פחות , לפיכך

).Jayant & Noll, p. 624" (ליחידת שונות

: מהעמוד הקודםQH -נמשיך עם הביטוי ל

( )( )( )

2 21 1log2Q

N XH h X E

λ

⎧ ⎫⎪ ⎪≅ − ⎨ ⎬⎪ ⎪⎩ ⎭

Jensenשויון -אינמצא כעת חסם תחתון לביטוי מימין בעזרת

)שעבור פונקציה , האומר )f x קונבקסית )U(מתקיים :

( ){ } { }( )E f X f E X≥

)נבקסית קוstrictly היא fאם , כאשר )0f ′′ אזי שויון פירושו <

. הוא קבועX -ש

)הפונקציה )log⎡ ⎤− ⋅⎣ : ולכן)U( היא קונבקסית ⎦

( )( )( )

2 21 1log2QH h X E

N Xλ

⎧ ⎫⎪ ⎪≥ − ⎨ ⎬⎪ ⎪⎩ ⎭

)כאשר השוויון מושג כאשר ) ConstantXλ = .

.החסם התחתון מוגשם עבור קוונטייזר אחיד, כלומר

:Dכיוון שקבלנו עבור העיוות

( )( )21 1

12D E

N Xλ

⎧ ⎫⎪ ⎪≅ ⎨ ⎬⎪ ⎪⎩ ⎭


9 - 31 –' עמ

הרי שקוונטייזר אחיד משיג אנטרופיה מינימלית עבור עיוות ריבועי

שערכה , D, ממוצע נתון

( ) [ ]21 log 122QH h X D bit≅ −

העיוות הרבועי , QH, עבור אנטרופיה נתונה, או באופן שקול

הממוצע המינימלי מושג על ידי קוונטייזר אחיד וערכו

( )( )2

2

1 212

26

H h XQ

HQ

D

e Qπ

− −

−

≅

= ⋅

של המקור בכניסת Entropy Power -ה, כזכור, הואQכאשר

:טייזרהקוונ

( )21 22

h XQeπ

=.

צעד (בהנחה שמדובר על קוונטייזר אחיד ברזולוציה גבוהה

מתוך הקשר Δהרי שניתן לקבוע את , ) קטןΔקוונטיזציה

( )2

12x Dσ ΔΔ << ≅

-והצבתו ב

( ) ( )2 21 log 12 log2QH h X D h X≅ − = − Δ

לפי Δ יש לקבוע את רצוי QHלקבלת , כלומר

( )( )2h X HQ−

Δ ≅


9 - 32 –' עמ

2בעל שונות ) חסר זכרון (מקור גאוסיעבור , למשלxσ:

2 2 HQxeπ σ

−Δ = ⋅

1בהנחה ש (, כלומרxσΔ

<<:(

4.133 2HQ

xσ−Δ

≅ ⋅

5QHעבור : לדוגמה bits= , 0.1291נקבלxσΔ

והעיוות הרבועי ≅

20.0014EC: הממוצע הוא xD σ≅ ⋅

עבור קוונטייזר אחיד (Maxזאת בהשוואה לתוצאה מהטבלה של

32N -שם הצעד האופטימלי ל) מקור גאוסי( רמות הוא =

0 0.1881xσ

Δ2, והעיוות הריבועי הממוצע=

0 0.003 xD σ≅ שהוא , ⋅

. לעילECD מאשר dB3 -גדול בלמעלה מ

5QHבעל ( שים לב שלקוונטייזר האחיד לעיל bits= ( יש

4γעבור הבחירה , רמות אך מעשית∞תיאורטית , למשל, =

8 62xECN σ

= ≅Δ

. רמות

נשווה כעת בין העיוות המתקבל עבור קוונטייזר אופטימלי לפילוג •

2logRהפועל בקצב ) לא אחיד( N=) לבין , )ללא קידוד אנטרופיה


9 - 33 –' עמ

העיוות של קוונטייזר אחיד עם קידוד אנטרופיה המתוכנן QH -ל R= :

( )33

- 2

2 21 2

1 "High Resolution"12

1 12 ; 212

pdf opt

R R

D p x dxN

CN

− −

⎡ ⎤≅ ⎢ ⎥⎣ ⎦

⎛ ⎞= ⋅ =⎜ ⎟

⎝ ⎠

∫

. הוא קבוע התלוי בפילוג 1Cכאשר

2 ( ) 2 20

1 12 2 212 12

h X R RECD C− −≅ =

), י תנאי הבעיה"עפ, ומתקיים )20 12 h XC C= ≤.

22 -שבשני המקרים העיוות יחסי לשים לב R− ולכן מתקבל שיפור של

6dB לכל תוספת של סיבית לקצב R .

נטרופיההקוונטייזר האחיד עם קידוד אנשווה עתה את ביצועי •

), לחסם התחתון )SLBR D , שלShannonעיוות - על פונקצית קצב

) -של המקור )R D. הפונקציה( )R D של מקור קובעת את הקצב

.Dהנמוך ביותר האפשרי עבור עיוות נתון

ועיוות גאוסי חסר זכרוןמקור י עבור נליטו ידועה באופן א פונקציה ז

: ריבועי

( )2

22

1 log ,2

0,

xxG

DR D Dotherwise

σ σ⎧⎪ ≥= ⎨⎪⎩


9 - 34 –' עמ

: קיים, Shannonי "עפ

( ) ( ) ( )SLB GR D R D R D≤ ≤

כאשר

( ) ( ) ( )21 log 22SLBR D h X eDπ= −

)גודל התלוי ב( )h Xשל המקור (

) קבלנו קודם ) 21 log 122QH h X D≅ −

: ולכן

( ) ( ) ( )2 2

2

1 1log 2 log 122 21 log 0.2552 6

Q SLBR H R D eD D

e bit

π

π

Δ = − ≅ −

⎛ ⎞= ≅⎜ ⎟⎝ ⎠

:תוצאה זו התקבלה לראשונה על ידי

Gish & Pierce – IEEE Trans. I.T. Sept. 1968

הקצב הממוצע של , D -שעבור עיוות ריבועי ממוצע נתון, זאת אומרת

סיבית ¼ -הקוונטייזר האחיד עם קידוד אנטרופיה גדול אך בכ

בהנחה שמקודד האנטרופיה מצליח להגיע קרוב (מהחסם התחתון

). QH -מאוד ל

, כלומר.SNR - ב1.5dB -סיבית שקול ל¼ , ריבועיבמונחים של עיוות

1.5dB - אך בכ יהיה גדולECD, נתוןRל ועבור קצב "בהנחה הנ

)קצב -העיוות' י פ"מהעיוות המינימלי עפ )D R .

): עבור מקור גאוסי( ) 2 22 RG xD R σ −= ⋅.(


9 - 35 –' עמ

המתקבלות עבור SNR -נסכם כעת בטבלה את תוצאות ה •

סיביות 5 בקצב של זכרון-מקור גאוסי חסרקוונטיזציה סקלרית של

: לדגם כניסה

] קוונטייזרסוג ה ]SNR dB

)אחיד )4γ = 32N = 22.8

32N אופטימלי –אחיד = 24.57

32Nאחיד אופטימלי -לא = 26.01

אחיד אופטימלי-לא

32 ( 40)N > ≅

עם קידוד אנטרופיה

27.55

שילוב (אחיד עם קידוד אנטרופיה

5QR) אופטימלי H= = 28.50

SNR( 30.1(חסם עליון

נזכיר כי בדיון לעיל הנחנו שהקוונטייזר הוא בעל רזולוציה גבוהה •

). ת לדגימהמספר סיביו(ולכן מדובר היה בקצבים גבוהים יחסית

: ת צורך לפתור את הבעיה הבאהיעבור קצבים נמוכים יש עקרונ

}מצא את רמות ההחלטה }kxהייצוג רמות ו{ }ky של קוונטייזר

ממוצע תחת האילוץ ) בדרך כלל ריבועי(לקבלת מינימום של עיוות

0QHפיה נתונה שלמוצא הקוונטייזר תהיה אנטרו H= .


9 - 36 –' עמ

מחיר ' ולהגדיר פ' לשם כך ניתן להשתמש בכופל לגרנז

( )0QJ D H Hλ= + −

: הםJתנאים הכרחיים למינימום של , ולכן

0 , 1,2,...,

0 , 2,3,...,

Q

k k

Q

k k

HD k My y

HD k Mx x

λ

λ

∂∂+ = =

∂ ∂

∂∂+ = =

∂ ∂

) : כאשר )1

2log ;xi

Q i i ii xi

H P P P p x dx+

= − =∑ ∫

} אינו תלוי ברמות הייצוג QH -כיוון ששים לב שמ }ky , הרי

. שרמות הייצוג צריכות לקיים את תנאי הצנטרואיד שהכרנו

מספרי , ) שוניםQHערכי (פתרונות איטרטיביים עבור קצבים שונים

שדווחו בספרות בנושא הראו ופילוגים שונים שונים Mרמות

, QHכשיש אילוץ על , של הקוונטייזר האחיד שהאופטימליות

- כולל התכונה ש-נשמרת 14

R bitΔ . גם בקצבים נמוכים≅

: ראה למשל

Favardin & Modestino, “Optimum Quantizer Performance for a class of Non-Gaussian Memoryless Sources”, IEEE Trans. Information Theory, Vol-IT-3, No. 3, May 1984. pp. 485-497.

Documents

תונומתו רוביד תותוא לש · : 1960 ב - Joel Max ידי לע גצוה הנודנה היעבל ןורתפ .רתוי “Quantizing for Minimum Distortion”, IRE Trans.,