13
16 디지털 영상신호 압축이론 정상섭* 본 고에서는 디지털 방송 송출을 원활히 수행하기 위해 필요한 영상신호 압축이론에 대해 설명하였다. 따라서 SDI, HD-SDI 의 디지털 영상 신호 규격을 이해하고, 영상압축 신호의 원리와 방법에 대해 살펴보았 다. 특히 지상파 방송에 있어 대표적으로 사용되고 있는 MPEG 방식을 중심으로 영상신호 압축의 기본 이 론에 대해 이해하는 시간을 갖고자 한다. ▨ I. 서 론 컴퓨터ㆍ통신 기술의 급속한 발전에 따라 방송계 는 아날로그 방송에서 탈피하여 디지털 방송으로의 대 전환기의 성숙기를 향해 가고 있다. 그 핵심은 지 상파 디지털 TV 방송으로 점차 HD(High Definition) 시스템 도입과 HD 콘텐츠 제작이 증가하고 있는 실 정이다. 디지털화에 의해 필연적으로 증가하는 데이터의 양을 화질ㆍ음질의 저하를 최소화시키며 압축시키는 다양한 기술을 개발함으로써 이러한 디지털 방송으 로의 전환이 가능하게 된 것이며, 이를 대표하는 것 이 현재 여러 분야에 적용되고 있는 동영상 신호 압 축 규격인 MPEG(Moving Picture Experts Group) 이다. * KBS N/선임연구원 I. II. 영상신호 압축의 기초 III. MPEG 시스템 IV. 포커스

디지털 영상신호 압축이론itfind.or.kr/WZIN/jugidong/1433/file37182-143302.pdf주간기술동향 통권 1433호 2010. 2. 17. 16 디지털 영상신호 압축이론 정상섭*

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 디지털 영상신호 압축이론itfind.or.kr/WZIN/jugidong/1433/file37182-143302.pdf주간기술동향 통권 1433호 2010. 2. 17. 16 디지털 영상신호 압축이론 정상섭*

주간기술동향 통권 1433호 2010. 2. 17.

16

디지털 영상신호 압축이론

정상섭*

본 고에서는 디지털 방송 송출을 원활히 수행하기 위해 필요한 영상신호 압축이론에 대해 설명하였다.

따라서 SDI, HD-SDI의 디지털 영상 신호 규격을 이해하고, 영상압축 신호의 원리와 방법에 대해 살펴보았

다. 특히 지상파 방송에 있어 대표적으로 사용되고 있는 MPEG 방식을 중심으로 영상신호 압축의 기본 이

론에 대해 이해하는 시간을 갖고자 한다. ▨

I. 서 론

컴퓨터ㆍ통신 기술의 급속한 발전에 따라 방송계

는 아날로그 방송에서 탈피하여 디지털 방송으로의

대 전환기의 성숙기를 향해 가고 있다. 그 핵심은 지

상파 디지털 TV 방송으로 점차 HD(High Definition)

시스템 도입과 HD 콘텐츠 제작이 증가하고 있는 실

정이다.

디지털화에 의해 필연적으로 증가하는 데이터의

양을 화질ㆍ음질의 저하를 최소화시키며 압축시키는

다양한 기술을 개발함으로써 이러한 디지털 방송으

로의 전환이 가능하게 된 것이며, 이를 대표하는 것

이 현재 여러 분야에 적용되고 있는 동영상 신호 압

축 규격인 MPEG(Moving Picture Experts Group)

이다.

목 차

* KBS N/선임연구원

I. 서 론

II. 영상신호 압축의 기초

III. MPEG 시스템

IV. 결 론

포커스

Page 2: 디지털 영상신호 압축이론itfind.or.kr/WZIN/jugidong/1433/file37182-143302.pdf주간기술동향 통권 1433호 2010. 2. 17. 16 디지털 영상신호 압축이론 정상섭*

포커스

17

II. 영상신호 압축의 기초

1. 영상신호 압축의 필요성

기존 아날로그 방송에서는 전압에 의한 휘도 표현과 색부반송파(color subcarrier)의 위상에

의한 색상 표현으로 영상을 나타내지만, 이를 디지털화하여 비트 단위로 표현하게 되면 데이터

양이 방대해진다.

예를 들어 레벨이 200이고 색상이 백색인 화소를 나타내는데 R, G, B 표현법으로는 R=200,

G=200, B=200으로서 각 8비트씩 24비트가 필요하며, 휘도 및 색차신호(YUV) 표현법으로는

Y=200, U=0, V=0으로 표현되는데 인간의 시각이 색차신호에는 둔감하므로 휘도신호 보다 상

대적으로 적은 비트를 할당할 수 있어 8(Y)+4(U)+4(V)=16 비트가 필요하게 된다.

이것이 내포하는 의미는, 동일한 주파수 대역폭을 갖는 매체(유선, 전파)를 통해 디지털 신호

를 보내려면 아날로그 신호를 보내는 시간보다 16~24배의 시간이 소요되거나, 같은 시간에 보

내려면 16~24배의 매체 수가 필요하다는 것이다. 따라서 한정되어 있는 매체를 통해 효율적으

<표 1> 영상 신호규격의 데이터율

규격 데이터율 해상도 비고

10 비트 1.485Gbps 2,200×1,125 *1

8 비트 1.188Gbps 2,200×1,125 *2 SMPTE 292M

(HD-SDI) 8 비트 유효화면 995Mbps 1,920×1,080 *3

10 비트 270Mbps 858×525 *4

8 비트 216Mbps 858×525 *5 ITU-R BT.601

(SDI,SMPTE259M) 8 비트 유효화면 168Mbps 720×488 *6

HD-CAM Sony VTR 188Mbps - HDTV

HD-D5 Panasonic VTR 360Mbps - HDTV

Digital Betacam Sony VTR ~90Mbps - -

4:2:2P@ML 10~50Mbps - - MPEG-2

MP@ML 2~15Mbps - -

MPEG-1 - 0.5~1.8Mbps - -

H.261 64kbps~1.5Mbps - - Videoconferencing

H.263 4kbps~0.5Mbps - -

산출 근거

*1: 74.25MHz(클록주파수)×10 비트(화소당 비트 수)×2(1:Y+0.5:U+0.5:V) 또는 2,200(수평해상도)×1,125(수직해상도)×30 프레임×10 비트×2

*2: 74.25MHz×8 비트×2 또는 2,200×1,125×30 프레임×8 비트×2

*3: 1,920×1,080×30×8 비트×2

*4: 13.5MHz(클록주파수)×10 비트×2 또는 858×525×29.97 프레임×10 비트×2

*5: 13.5MHz×8 비트×2 또는 858×525×29.97 프레임×8 비트×2

*6: 720×488×29.97 프레임×8 비트×2

Page 3: 디지털 영상신호 압축이론itfind.or.kr/WZIN/jugidong/1433/file37182-143302.pdf주간기술동향 통권 1433호 2010. 2. 17. 16 디지털 영상신호 압축이론 정상섭*

주간기술동향 통권 1433호 2010. 2. 17.

18

로 데이터를 보내려면 필연적으로 디지털 신호의 압축이 필요하게 된다. 디지털 신호의 장점 중

하나는 품질의 저하 없이 다양한 신호처리가 가능하다는 것이다. 따라서 우수한 압축 기법들이

많이 개발되어 실용화되고 있다.

<표 1>은 대표적인 영상 신호규격의 데이터율을 예시하였다. 여기서 SDI(Strategic Defense

Initiative)는 SDTV(Standard Definition TV)급의 시리얼 디지털 인터페이스(Serial Digital

Interface, 직렬 디지털 인터페이스) 규격이며, HD-SDI 는 HDTV(High Definition TV)급 SDI

이다.

디지털 위성방송의 경우 데이터를 약 7Mbps로 압축하여 방송하고 있는데, 최근에는 H.264

방식을 사용해서 대역폭을 약간 수정하여 HD채널을 늘리는 방식으로 운용하고 있다.

지상파 디지털 TV 를 통해 HDTV 를 방송할 경우 HD-SDI 급의 신호를 19.39Mbps 로 압

축해서 보내야 한다. 이들에는 오디오나 데이터 신호도 포함되지만 영상신호가 용량의 대부분을

차지한다.

2. 영상신호 압축의 원리와 방법

가. 영상신호 압축의 원리

우리가 즐겨 시청하고 있는 TV 영상신호는 주사선의 조합으로 화면(프레임)이 구성되며, 이

화면이 초당 약 30번 보여짐으로써 동영상으로 느끼게 된다.

이들 영상신호를 잘 살펴보면 압축을 할 수 있는 요소를 많이 발견할 수 있다. 한 화면 내에

서 인접한 화소 간의 휘도나 색상은 급격히 변화하지 않고 완만히 변화하는데, 이와 같은 인접

한 화소 간의 상관성 또는 중복성을 공간적 중복성(spatial redundancy)이라고 한다.

이는 앞으로 설명하게 될 DCT(Discrete Cosine Transform) 및 양자화라는 기법을 이용하

여 중복성을 제거, 즉 압축을 할 수 있으며, 화면 내에서 처리하므로 프레임내(intraframe) 부호

화 또는 압축이라고 한다.

그리고 화면과 화면 사이의 움직임도 장면전환(scene change) 부분을 제외하면 같은 장면에

서는 변화가 급격하지 않아 많은 상관성이 존재한다. 이를 시간적 중복성(temporal redundancy)

이라고 하며, 움직임 추정(motion estimation) 및 움직임 보상(motion compensation) 기법을

이용해서 중복성을 제거한다. 프레임과 프레임 사이의 처리를 하므로 프레임간(interframe) 부

호화 또는 압축이라고 한다.

이와 같은 압축을 처리하는 과정의 후단에서 압축된 신호가 2진 비트열로 생성되게 되는데,

Page 4: 디지털 영상신호 압축이론itfind.or.kr/WZIN/jugidong/1433/file37182-143302.pdf주간기술동향 통권 1433호 2010. 2. 17. 16 디지털 영상신호 압축이론 정상섭*

포커스

19

다시 이들을 통계적인 방법으로 분석해서 통계적 중복성(statistical redundancy)을 제거한다.

예를 들어 반복되는 0은 일일이 보내지 않고 그 개 수만을 부호화 한다거나, 통계적으로 자

주 발생하는 데이터는 이를 짧은 부호로 바꾸고 드물게 발생하는 것은 긴 부호로 바꾸면 상당한

압축효과를 볼 수 있다. 이 방법을 가변길이 부호화(variable length coding) 및 Huffman 부호

화라고 한다.

나. DCT변환과 양자화

DCT 란 영상신호의 처리기법 중 직교변환 부호화(orthogonal transform coding)의 하나로

서 아래 식 (1)에 의해 시간축 상의 화소데이터 f(i,j)를 주파수축 상의 DCT 계수성분 F(u, v)로

변환하는 것이다. 수식에 코사인 항이 있어서 DCT 란 이름이 붙었다. 이렇게 변환하는 이유는

주파수축으로 변환함으로써 에너지를 한 곳으로 집중시킨 영역에서 어떤 처리를 하기 위함이다.

실례로서 (그림 1.a) 화면을 DCT 변환한 결과가 (그림 1.b)이다. 흰 부분이 계수 값(에너지)

이 큰 부분이며 좌측 상단에 몰려 있음을 알 수 있다. 여기서 수평축으로 좌측에서 우측으로 갈

수록 수평공간주파수가 증가하며, 수직축으로 상측에서 하측으로 갈수록 수직공간주파수가 증가

한다.

공간주파수의 의미는 원 화면에서 봤을 때 화면 변화성분의 분포를 말한다. 따라서 수평방향

으로 화면변화가 거의 없이 일정하다면 변환계수는 수평공간주파수가 적은 좌측 부분에 큰 에너

지로 분포한다. 전체적으로 봤을 때 (그림 1.b)의 좌측 상단이 저주파수 영역이고 우측 하단으로

갈수록 고주파수 영역이 된다. 대부분 영상의 DCT 계수는 예에서와 같이 저주파수 영역에 에너

지가 집중해 있고, 고주파수 영역에서는 에너지가 감소하는 경향을 가지고 있다.

(a) 원 화면 (b) DCT 계수

(그림 1) DCT

Page 5: 디지털 영상신호 압축이론itfind.or.kr/WZIN/jugidong/1433/file37182-143302.pdf주간기술동향 통권 1433호 2010. 2. 17. 16 디지털 영상신호 압축이론 정상섭*

주간기술동향 통권 1433호 2010. 2. 17.

20

16

)12(cos

16

)12(cos),(

4

)()(),(

77

0

juijif

CuCuF

oji

(1)

16

)12(cos

16

)12(cos),()()(

4

1),(

77

0

juiuFCuCuf

oji

(2)

otherwiseCuC

vuforCuC

1)(),(

0,2

1)(),(

(2)식은 DCT 의 역변환식이며 (그림 1.b)의 계수를 이 식을 통해 변환하면 원래 화면이 정

확히 복원된다. 즉, DCT는 가역성(可逆性) 있는 비손실(loseless) 변환이며 처리시간 등의 문제

로 대개 (1), (2)식과 같이 8×8 블록 단위로 처리한다.

138 137 135 133 134 134 134 135

106 125 135 134 133 133 134 135

54 63 78 104 128 135 135 134

55 57 54 56 68 92 121 134

52 54 55 55 54 54 63 86

51 52 53 54 56 56 56 54

49 50 51 52 54 53 55 56

47 48 49 49 50 50 52 53

(a) 휘도신호의 예(8×8 블록)

663.2 -75.8 5.4 -8.1 0.0 -3.9 -1.4 0.7

253.5 -29.4 -8.0 -0.9 -3.1 -1.6 -0.5 -0.4

73.1 56.9 -19.6 4.0 -3.3 1.0 0.3 0.8

-6.3 61.0 6.6 -4.2 2.0 -0.3 1.9 -0.2

-16.3 5.6 33.4 -5.5 2.5 0.4 1.0 -0.5

-1.8 -24.2 14.1 10.9 -0.7 3.0 -1.6 0.8

-6.5 -13.2 -14.4 14.0 3.2 1.0 -0.2 0.3

-6.7 -2.8 -15.0 1.8 9.2 -3.0 1.7 -0.4

(b) DCT 계수(변환 후)

44 -5 0 -1 0 0 0 0

17 -2 -1 0 0 0 0 0

5 4 -1 0 0 0 0 0

0 4 0 0 0 0 0 0

-1 0 2 0 0 0 0 0

0 -2 1 1 0 0 0 0

0 -1 -1 1 0 0 0 0

0 0 -1 0 1 0 0 0

(c) DCT 계수(스텝 크기 15로 양자화 후)

(그림 2) 양자화의 예

Page 6: 디지털 영상신호 압축이론itfind.or.kr/WZIN/jugidong/1433/file37182-143302.pdf주간기술동향 통권 1433호 2010. 2. 17. 16 디지털 영상신호 압축이론 정상섭*

포커스

21

다음 단계에서는 DCT 된 계수를 양자화(quantization)하게 되는데 실질적인 압축 효과와 화

질 저하요인은 이때 발생하게 된다. DCT 계수를 어떤 값으로 나누어주는 것을 양자화한다고 하

며, 나누어주는 값을 양자화 스텝 크기라 한다. 작은 계수가 위치한 고주파수 영역부터 감쇄 효

과가 크게 나타난다. (그림 1.b)와 같이 에너지가 적게 분포한 고주파수 영역의 계수는 어느 정

도 제거하여도 사람의 시각(視覺)이 고주파수 성분에 둔감하므로 화질 열화를 잘 느끼지 못한다.

양자화의 실례는 (그림 2)와 같다.

(a)는 영상신호 중 8×8 블록 하나만의 휘도신호를 보인 것이며, 이를 DCT 한 결과의 계수

값을 알아보기 쉽게 그림으로 보인 것이 (b)이다. 양자화 스텝 크기 15로 양자화 한 후의 결과

가 (c)이다. 여기서 고주파수 영역은 대부분 0으로 됨을 알 수 있다. 양자화에는 이와 같이 전체

계수를 동일한 값으로 나누어주는 방법 이외에, 화질저하를 적게 하고 압축 효율을 좋게 하기

위해 양자화 스텝 크기를 주파수대별로 다르게 할당한 테이블을 사용해서 하는 방법이 있다.

다. 움직임 추정 및 보상

TV 화면에서 프레임과 프레임 사이에는 상관성이 많이 있다는 것은 이미 언급하였다. 이와

같이 차이가 크지 않은 연속되는 프레임들을 매 프레임의 내용을 그대로 보내는 것보다는 첫 프

레임은 그대로 보내고 다음 프레임부터는 앞 프레임과의 차이 데이터만 보내게 되면(P 프레임에

해당) 훨씬 데이터의 양을 줄일 수 있다.

(a) 이전 프레임 (b) 현재 프레임

(c) 단순한 프레임 차이 (d) 움직임 보상 후

(그림 3) 단순한 프레임 차이와 움직임 보상의 비교

Page 7: 디지털 영상신호 압축이론itfind.or.kr/WZIN/jugidong/1433/file37182-143302.pdf주간기술동향 통권 1433호 2010. 2. 17. 16 디지털 영상신호 압축이론 정상섭*

주간기술동향 통권 1433호 2010. 2. 17.

22

그러나 이 경우 단순한 차이 데이터만 보내게 되면 어떤 경우는 오히려 데이터 양이 증가할

수도 있다.

(그림 3.a)에 있는 자동차가 (그림 3.b)에 있는 부분으로 이동하였다고 할 때 이들 프레임 사

이의 단순한 차이 데이터를 나타낸 것이 (그림 3.c)이고, 이 경우 오히려 (그림 3.b)만 보냈을 때

보다 데이터 양이 증가한다.

이를 해결하기 위해 고안된 것이 움직임 추정 및 보상기법이다. (그림 3.a)에 있는 자동차가

(그림 3.b) 화면에서 어느 부분으로 이동하였나를 찾는 것이 ‘움직임 추정’이고, 추정된 위치로

이동시켜 놓는 것을 ‘움직임 보상’이라고 한다.

이전 프레임(그림 3.a)을 움직임 보상한 프레임(정확한 추정이 이루어졌으면 (그림 3.b)와 동

일하게 됨)과 현재 프레임(그림 3.b)과의 차이를 계산하면 (그림 3.d)와 같이 모든 데이터가 0이

되어 압축 효율이 극대화될 수 있다.

움직임 추정을 했을 때 이동해야 할 거리, 즉 (그림 4)의 실선 화살표 벡터를 ‘움직임 벡터

(motion vector)’라고 하며 수평방향의 x 벡터와 수직방향의 y 벡터로 구성된다. 송신 측에서는

움직임 보상된 프레임과 현재 프레임의 차이 데이터(그림 3.d) 및 움직임 벡터만을 보내면 되며,

수신 측에서는 이 두 데이터에 의해 (그림 3.b)에 해당하는 화면을 정확히 복원할 수 있다.

MPEG 에서 실제의 움직임 추정과 보상은 매크로블록 단위로 수행된다. 매크로블록은 8×8

화소블록이 4개 모여 정방형을 이룬 16×16 화소블록을 말하며 휘도와 색 성분을 같이 생각했

을 때의 최소 처리 단위이다.

라. 가변길이 부호화 및 Huffman 부호화

전술한 영상신호의 특성을 이용한 압축 이외에, 데이터의 발생확률을 이용하여 발생확률이

높은 값에는 짧은 부호를, 발생확률이 낮은 값에는 긴 부호를 대응시켜 가변길이 부호화를 하는

방법이 있다. DCT 후의 계수 및 움직임 벡터에서는 데이터에 따라 발생확률이 편중되는 경향이

(그림 4) 움직임 벡터

Page 8: 디지털 영상신호 압축이론itfind.or.kr/WZIN/jugidong/1433/file37182-143302.pdf주간기술동향 통권 1433호 2010. 2. 17. 16 디지털 영상신호 압축이론 정상섭*

포커스

23

있으므로 이 방법을 이용하면 효과가 있다.

가령 0, 1, 2, 3이라는 데이터가 있고 이들의 발생확률이 같을 때는 2진수 00, 01, 10, 11로

부호화할 수 있는데 이때 평균부호 길이는 2비트가 된다.

한편 이들의 발생확률이 <표 2>와 같이 서로 다를 때는 확률에 따라 부호 길이를 다르게 할

당하면 그 평균길이는,

1×0.6+2×0.2+3×0.1+3×0.1 = 1.6비트

가 되므로 가변길이 부호화가 고정길이 부호화보다 유리함을 알 수 있다.

Huffman 부호화는 가변길이 부호화의 일종으로서 실제로 MPEG 에서 사용되며 DCT 계수

를 양자화 한 후의 데이터에 적용한다.

마. 손실 및 비손실 압축

DCT와 양자화에 의한 영상 압축과 같이 압축된 데이터를 복원했을 때 원래의 화면과 완전

히 동일하지는 않은 압축 방법을 손실이 있는(lossy) 압축이라고 한다. 이런 압축방법은 손실은

발생하지만 사람이 인지하지 못할 정도까지만 압축하므로 충분히 실용성이 있으며 압축률은 수

10분의 1에서 수 100분의 1까지도 가능하다.

반면에 ZIP 등과 같이 컴퓨터 파일을 압축하는 방법은 압축 후 다시 복원시 원래 데이터가

1 비트도 틀림없이 복원된다. 이와 같은 방법을 비손실 압축이라 한다. 영상압축에서 시스템의

후단에서 사용하는 Huffman 부호화가 이에 해당하며, 이외에 산술부호화 등이 있으나 압축률은

낮아서 최대 2분의 1정도이다.

III. MPEG 시스템

MPEG 오디오 및 시스템과 디지털 TV 방송에 대해 살펴보면 다음과 같다.

<표 2> 가변길이 부호의 예

데이터 발생확률 부호 부호길이

0 0.6 0 1

1 0.2 10 2

2 0.1 110 3

3 0.1 111 3

Page 9: 디지털 영상신호 압축이론itfind.or.kr/WZIN/jugidong/1433/file37182-143302.pdf주간기술동향 통권 1433호 2010. 2. 17. 16 디지털 영상신호 압축이론 정상섭*

주간기술동향 통권 1433호 2010. 2. 17.

24

1. MPEG 오디오

MPEG 오디오는 고품질, 고능률 오디오 부호화를 위한 ISO/IEC 의 표준 방식으로서 2 채널

스테레오 부호화를 하는 MPEG-1(ISO/IEC 11172-3)과 Left, Right, Center, Left Surround,

Right Surround, Low Frequency Enhancement 등 5.1 채널을 지원하는 MPEG-2(ISO/IEC

13818-3)이 있다.

MPEG 오디오는 사용되는 알고리즘과 압축 품질에 따라 <표 3>과 같이 3개의 층으로 분류

된다. 최근 컴퓨터나 인터넷을 통해 보급되는 MP3 파일은 MPEG Layer III 규격으로 압축, 복

원된다. 이 외에 1997년 4월에 ISO/IEC 13818-7로 표준화된 지각 부호화(perceptual coding)

를 이용한 AAC(Advanced Audio Coding)가 있다. 이는 8~96kHz 의 광범위한 샘플율을 가지

며 스테레오 및 48채널까지 수용하므로 고품질이나 고압축률이 요구되는 곳에 적합하다.

MPEG에서는 대역분할 부호화(subband coding)와 MDCT(변형 DCT) 및 청각 심리적 특성

을 이용하여 오디오를 고능률로 압축한다. 지각 부호화는 오디오 신호를 받아들이는 인간의 감

각 특성을 이용해서 감도가 낮은 세부의 정보를 생략하여 데이터량을 절감하는 방법이다.

2. MPEG 시스템

여기서의 ‘MPEG 시스템’은 인코더, 디코더 등 하드웨어를 말하는 것이 아니고 MPEG 규격

상의 ‘system’ 부분을 말한다.

MPEG 비디오나 MPEG 오디오의 부호화된 비트열과 그 밖의 비트열을 묶어 실제로 사용하

려면 동기신호를 포함하는 통합된 하나의 비트열로 만들고, 그 비트열을 전송 매체에 고유한 포

맷이나 프로토콜에 적합한 형식으로 만들 필요가 있다.

비디오, 오디오 이외에 보조 데이터도 부가시킬 수 있는데 이들을 동기를 맞추면서 다중화

<표 3> MPEG 오디오의 계층

계층 내용 데이터량

Layer I - 12 서브밴드 블록 - 384 PCM 샘플 블록 - 단순한 알고리즘

192kbps Philips DCC

Layer II - 36서브밴드 블록 - 1152 PCM 샘플 블록 - 복잡도 중간의 알고리즘

128kbps DAB Video CD

Layer III - 32 서브밴드 블록 - 가장 좋은 음질 - 가장 복잡한 알고리즘

64kbps ISDN

Page 10: 디지털 영상신호 압축이론itfind.or.kr/WZIN/jugidong/1433/file37182-143302.pdf주간기술동향 통권 1433호 2010. 2. 17. 16 디지털 영상신호 압축이론 정상섭*

포커스

25

하는 역할을 MPEG 시스템에서 한다.

(그림 5)에서 ES(Elementary Stream)는 비디오, 오디오, 데이터 등의 순수 비트 스트림을

말하며 동기정보나 다중화(multiplexing)에 관련된 정보는 없다. PES(Packetized ES)는 패킷화

된 ES 이며 가변길이 형태이다. PS(Program Stream)는 공통되는 시간기준(System Clock

Reference)을 적용하여 한 개 이상의 PES를 묶은 것이고, TS(Transport Stream)는 한 개 이

상의 고정길이 PES를 독립시간기준(Program Clock Reference)으로 묶어 단일 스트림화한 것

으로 패킷 길이는 188 바이트이다.

디코더에서는 인코더에서 보내온 SCR 이나 PCR 정보를 받아 복호의 기준 클록인 27MHz

의 STC(System Timing Clock)를 만든다. 방송에서는 트랜스포트 스트림 형태의 인코더 출력

이 디지털 변조기로 인가된 후 송신기를 거쳐 송출된다.

(그림 6)에 트랜스포트 층의 데이터 구조를 나타냈는데 188 바이트의 패킷이 연속되어 트랜

스포트 스트림을 구성하며 각 패킷은 헤더 정보와 전달하고자 하는 데이터로 이루어진다. 헤더

(그림 6) 트랜스포트 층의 데이터 구조

188 바이트

Header Payload

Transport Error

Indicator 1

Sync Byte

8

Start Indicator

1

Transport Priority

1

PID

13

ScramblingControl

2

AdaptionField

Control2

ContinuityCounter

4

Adaption Field Payload

Packet Packet Packet Packet Packet Packet Packet Packet

(그림 5) MPEG-2의 기본 데이터 층

비디오

데이터

오디오

데이터

비디오 인코더

오디오 인코더

패킷 타이저

패킷 타이저

프로그램 스트림 MUX

트랜스포트 스트림 MUX

비디오

PES

오디오

PES

프로그램

스트림

트랜스포트

스트림

Elementary 스트림

전영미
사각형
전영미
사각형
Page 11: 디지털 영상신호 압축이론itfind.or.kr/WZIN/jugidong/1433/file37182-143302.pdf주간기술동향 통권 1433호 2010. 2. 17. 16 디지털 영상신호 압축이론 정상섭*

주간기술동향 통권 1433호 2010. 2. 17.

26

정보는 그림의 아래 부분과 같이 전송하는데 필요한 각종 플래그로 이루어져 있다. 각 플래그에

대한 설명은 생략한다.

MPEG의 동기는 비디오, 오디오의 복호 재생의 단위(한 비디오 프레임이나 한 오디오 프레

임)마다 복호 재생해야 할 시점을 나타내는 타임 스탬프를 붙임으로써 가능해진다.

B 픽처로 인한 MPEG의 부호화 방식에 기인해서 PTS(Presentation Time Stamp)라는 재

생 출력의 시간관리 정보와 DTS(Decoding Time Stamp)라는 복호의 시간관리 정보의 두 가지

타임스탬프가 있다.

(그림 7)에서 위 부분은 인코더에 입력되는 픽처의 배열이고, 아랫 부분은 인코더에서 압축

되어 출력되는 비트 스트림 정보를 나타낸다. 전술한 바와 같이 B 픽처의 특성에 의해 프레임이

reordering 되어 있으며 각 픽처 경계마다 PTS, DTS 정보가 삽입된다. DTS에 의해 복호를 한

후 PTS에 의해 설정된 시간에 그 프레임을 디스플레이 하면 원래 배열대로 재생된다.

3. 디지털 TV 방송

지상파 디지털 TV 방송의 흐름은 다음과 같다. 방송용 프로그램의 A/V가 인코더에 입력되

어 압축 처리된다.

비디오 압축은 SDTV는 MPEG-2 MP@ML, HDTV는 MPEG-2 MP@HL 규격을 따르며,

오디오는 Dolby AC-3 압축 방법을 사용하여 최대 5.1 채널까지 지원된다.

인코더의 오디오/비디오 출력과 자막 등의 보조 데이터 및 데이터 방송용 데이터가 다중화기

에서 다중화되어 19.39Mbps 의 트랜스포트 스트림으로 출력된다. 이 신호는 8VSB 디지털 변

조기에 인가된다. 8VSB 변조기에서는 TS 데이터를 받아 FEC(Forward Error Correction) 오

류정정 부호화기에서 Trellis 부호화 등 오류 정정을 위한 처리를 한 후 각종 동기신호와 합쳐져

서 44MHz IF 신호로 변조되어 출력된다. 이 IF 신호는 송신기의 HPA(High Power Amp.)를 통

(그림 7) 타임 스탬프

Frame

I

DTS.PTS

Frame Frame Frame Frame Frame Frame Frame Frame Frame Frame Frame

Frame Frame Frm Frm Frame Frm Frm Frame Frm Frm

B B P B B P B B I B B

I P B B P B B I B B PTS: 0 3 1 2 6 4 5 0 7 8 DTS: 0 1 2 3 4 5 6 7 8 9

Page 12: 디지털 영상신호 압축이론itfind.or.kr/WZIN/jugidong/1433/file37182-143302.pdf주간기술동향 통권 1433호 2010. 2. 17. 16 디지털 영상신호 압축이론 정상섭*

포커스

27

해 해당 채널의 RF 전파로 송출된다. 방송되는 신호는 수신용 셋탑박스나 내장형 수신기로 수

신할 수 있다.

VSB(Vestigial Side Band) 전송시스템은 기존의 NTSC 채널과 동시방송을 하는데 적합하게

고안된 지상파 방송용의 8VSB 시스템과 잡음이 비교적 적은 케이블 채널에서 많은 데이터를

전송할 수 있도록 한 16VSB 시스템의 두 가지가 있다.

지상파 방송 모드는 한정된 공중파 전력으로 최대의 서비스 영역을 갖도록 최적화 되어 있으

며 기존 NTSC의 6MHz 대역폭 내에서 최대 하나의 HDTV 신호를 전송할 수 있고, 케이블용

은 서비스 영역은 제한되지만 최대 2개의 HDTV 신호를 전송할 수 있다.

반면 위성디지털 TV 방송에서는 변조방식으로 QPSK(Quadrature Phase Shift Keying)를

채택하고 있으며, 영상과 오디오를 모두 MPEG으로 압축한다.

채널 당 영상이 7Mbps 정도인 SDTV 4 채널 분을 오디오, 데이터 등과 합쳐 34.352Mbps

의 TS로 만들어 QPSK 변조기에 인가한다.

인가된 신호는 변조기 입력 단에서 FEC 등 오류 정정 부호화를 하면 42.6Mbps 의 신호가

되어, QPSK 변조기에서 변조된 후 필터 등을 거치면 위성 한 중계기(transponder)의 대역폭인

27MHz 내에 들어가는 신호로 출력된다.

이 신호는 위성의 상향 링크 RF 캐리어인 14.25GHz에 실려 무궁화 위성으로 전달되며, 위

성에서 다시 12.5GHz 의 하향 링크를 통해 전송하는 신호를 지상에서 위성방송용 수신기로 받

아보게 된다.

IV. 결 론

앞서 살펴본 내용을 요약하면 다음과 같다.

영상신호의 압축 과정을 통해 방송 현업자는 손실 없는 신호를 수신자에게 전달 할 수 있다.

DCT 변환과 양자화 방식은 DCT 된 계수를 실질적인 압축 효과와 화질 저하 발생을 최소화시

킬 수 있다.

또한 움직임 추정 및 보상 방식은 동일한 데이터 양은 그대로 보내주게 되어 압축 효율을 극

대화시킬 수 있고, 매크로블록 단위로 수행됨으로 효율성을 높일 수 있다.

가변길이 부호화 및 Huffman 부호화 방식은 데이터의 발생확률을 이용하여 발생확률이 높

은 값에는 짧은 부호를, 발생확률이 낮은 값에는 긴 부호를 대응시켜 가변길이 부호화를 하는 방법

이다. 이 방식은 MPEG에서 사용되며 DCT 계수를 양자화 한 후의 데이터에 적용하고 있다.

Page 13: 디지털 영상신호 압축이론itfind.or.kr/WZIN/jugidong/1433/file37182-143302.pdf주간기술동향 통권 1433호 2010. 2. 17. 16 디지털 영상신호 압축이론 정상섭*

주간기술동향 통권 1433호 2010. 2. 17.

28

이러한 방식은 어느 방식이 우수하냐의 여부를 떠나 각 상황, 환경에 맞게 최적화시켜 사용

하는 것이 제일 좋은 방법이다.

MPEG 시스템은 인코더의 AV 출력과 자막 등의 데이터, 방송용 데이터가 다중화기에서 다

중화되어 19.39Mbps 의 트랜스포트 스트림으로 출력되어 이루어지고 있다. 이러한 영상신호는

변복조 과정을 거쳐 가정용 수신기로 전달하게 된다.

최근 경향은 압축 효율이 매우 높고, 넓은 대역폭을 필요로 하지 않으며, 멀티채널을 수용할

수 있는 새로운 장비들이 선보이고 있다.

본격적인 HD 전환기를 앞두고 있는 국내 입장에서는 HD 보급 확대에 치우치는 경향이 있

으나, 여러분이 실무 현업 실무자라면 디지털 영상신호 품질을 한 단계 높일 수 있는 계기가 될

수 있도록 다양하게 일선 현장에서 응용, 활용할 수 있는 기회를 찾아야 할 것이다.

<참 고 문 헌>

[1] “디지털 지상파 TV 방송”, Springer Verlag, 1998.

[2] “4:2:2 디지털 비디오”, SMPTE, 2001.

[3] “MPEG-2 영상신호 압축”, KBS기술연구소, 2005.

[4] “MPEG-4 영상신호 압축”, KBS기술연구소, 2005.

[5] “디지털 비디오 방송”, 한국방송기술인연합회 KOBA 세미나, 2007.

[6] “HDTV 방송의 이해”, 한국방송기술인연합회, 2008.

[7] “디지털 TV 방송기술의 이해”, 추계방송기술 워크숍, 2008.

[8] “방송과 기술”, 2008. 2009.

* 본 내용은 필자의 주관적인 의견이며 NIPA의 공식적인 입장이 아님을 밝힙니다.