Successive cancelation decoder architecture exploration

Architectures of Polar Decoders

Camille Leroux

Laboratoire de l'Intégration du Matériau au Système (IMS) Bordeaux-INP

Réunion scientifique du GDR-ISIS : « Architecture de Codes Correcteurs d’Erreurs » 4 Novembre 2014, Brest

• Construction and encoding

• Successive Cancellation Decoding

• Polar Decoders architectures – Tree decoder

– Line decoder

– Semi-parallel decoder

– Improved semi-parallel decoder

– SSC and ML-SSC decoders

– List Decoders

Outline

2




– Line decoder




– List Decoders

Outline

3

• Polar codes are linear block codes

• Polar codes are recent : Erdal Arikan - 2008 – Bilkent University

• Polar codes are optimal: achieve the capacity of any binary input symmetric memoryless channel

• Polar codes have low encoding and decoding complexity:

O(N logN)

• Polar codes are regular : no random structure (interleaver, random graph,…)

BUT:

• Polar codes require a very long code length to approach compelling performance

Polar codes ?

4

• Code length N=2m

• Generator matrix: rows of G2m

𝐺2 =1 01 1

Generator matrix construction

5



𝐺22 =

𝐺2 0𝐺2 𝐺2


6



𝐺22 =

1 0 0 01 1 0 01 0 1 01 1 1 1


7



𝐺23 =

𝐺2 0 0 0𝐺2 𝐺2 0 0𝐺2 0 𝐺2 0𝐺2 𝐺2 𝐺2 𝐺2


8



𝐺23 =

1 0 0 0 0 0 0 01 1 0 0 0 0 0 01 0 1 0 0 0 0 01 1 1 1 0 0 0 01 0 0 0 1 0 0 01 1 0 0 1 1 0 01 0 1 0 1 0 1 01 1 1 1 1 1 1 1

X=[u0 u1 u2 u3 u4 u5 u6 u7]G23

Polar coding

9



𝐺23 =

1 0 0 0 0 0 0 01 1 0 0 0 0 0 01 0 1 0 0 0 0 01 1 1 1 0 0 0 01 0 0 0 1 0 0 01 1 0 0 1 1 0 01 0 1 0 1 0 1 01 1 1 1 1 1 1 1

X=[0 0 0 u3 0 u5 u6 u7]G23

Polar coding

10

Polar encoding

u0=0

u1=0

0

0

u2=0

u3=0

u4=0

0

0

u5=0

0

0

u6=1

u7=1

0

1

0

0

0

0

0

1

0

1

0

1

0

1

0

1

0

1

1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

W

W

W

W

W

W

W

W

11

Polar encoder

Berhault, G.; Leroux, C.; Jego, C.; Dallet, D., "Partial sums generation architecture for successive cancellation decoding of polar codes," Signal Processing Systems (SiPS), 2013 IEEE Workshop on 12




– Line decoder




– List Decoders

Outline

13

Successive Cancellation (SC) Decoding

• Algorithm for which asymptotical optimal performance were demonstrated

• F={0,1,2,4}

• For 0<i<N-1

– If iF, ûi=0

– Else,

14


1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

15


1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

-1,34

-0,21

-0,05

-0,41

16


1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

-1,34

-0,21

-0,05

-0,41

-1,34

-0,21

17


1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

-1,34

-0,21

-0,05

-0,41

-1,34

-0,21

0,21

18


1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

-1,34

-0,21

-0,05

-0,41

-1,34

-0,21

0,21 u0=0

19


1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

-1,34

-0,21

-0,05

-0,41

-1,34

-0,21

0,21

-1,55

u0=0

u1=0

20


1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

-1,34

-0,21

-0,05

-0,41

-1,34

-0,21

0,21

-1,55

0

0

-1,75

-0,26

u0=0

u1=0

21


1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

-1,34

-0,21

-0,05

-0,41

-1,34

-0,21

0,21

-1,55

0

0

-1,75

-0,26

0,26

u0=0

u1=0

u2=0

22


1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

-1,34

-0,21

-0,05

-0,41

-1,34

-0,21

0,21 u0=0

-1,55 u1=0

0

0

-1,75

-0,26

0,26 u2=0

2,01 u3=0

23


1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

-1,34

-0,21

-0,05

-0,41

-1,34

-0,21

0,21 u0=0

-1,55 u1=0

0

0

-1,75

-0,26

0,26 u2=0

2,01 u3=0

u4=0

0

0

0

0

0

0

-1,40

-0,77

-1,57

3,03

-1,40

0,77

-0,77

24


1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

-1,34

-0,21

-0,05

-0,41

-1,34

-0,21

0,21 u0=0

-1,55 u1=0

0

0

-1,75

-0,26

0,26 u2=0

2,01 u3=0

u4=0

0

0

0

0

0

0

-1,40

-0,77

-1,57

3,03

-1,40

0,77

-0,77

u5=0 2,17

0

0

25


1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

-1,34

-0,21

-0,05

-0,41

-1,34

-0,21

0,21 u0=0

-1,55 u1=0

0

0

-1,75

-0,26

0,26 u2=0

2,01 u3=0

u4=0

0

0

0

0

0

0

-1,40

-0,77

-1,57

3,03

-1,40

0,77

-0,77

u5=0 2,17

0

0

1,63

-2,34

-1,63 u6=1

26


1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

-1,34

-0,21

-0,05

-0,41

-1,34

-0,21

0,21 u0=0

-1,55 u1=0

0

0

-1,75

-0,26

0,26 u2=0

2,01 u3=0

u4=0

0

0

0

0

0

0

-1,40

-0,77

-1,57

3,03

-1,40

0,77

-0,77

u5=0 2,17

0

0

1,63

-2,34

-1,63 u6=1

u7=1 -3,97

27

How does SC decoding perform ?

Polar codes require a large codelength to compete with state of the art ECC… How about the hardware complexity ?

28



• Polar Decoders architectures – Tree decoder (combinational and pipelined)

– Line decoder




– List Decoders

Outline

29


1,34

-0,21

0,84

0,05

3,44

-2,74

-0,41

-1,62

-1,34

-0,21

-0,05

-0,41

-1,34

-0,21

0,21 u0=0

-1,55 u1=0

0

0

-1,75

-0,26

0,26 u2=0

2,01 u3=0

u4=0

0

0

0

0

0

0

-1,40

-0,77

-1,57

3,03

-1,40

0,77

-0,77

u5=0 2,17

0

0

1,63

-2,34

-1,63 u6=1

u7=1 -3,97

𝐿𝑎

𝐿𝑏 0 =

𝐿𝑐 = 𝑓(𝐿𝑎, 𝐿𝑏)

𝑓 𝐿𝑎, 𝐿𝑏 = 2𝑡𝑎𝑛ℎ−1(tanh𝐿𝑎2

. tanh(𝐿𝑏2))

𝑓 𝐿𝑎, 𝐿𝑏 ~𝑠𝑖𝑔𝑛 𝐿𝑎 . 𝑠𝑖𝑔𝑛(𝐿𝑏).min( 𝐿𝑎 , |𝐿𝑏|)

𝐿𝑎

𝐿𝑏 = 𝐿𝑐 = 𝑔(𝑢𝑠, 𝐿𝑎, 𝐿𝑏)

𝑢𝑠

𝑔(𝑢𝑠, 𝐿𝑎, 𝐿𝑏) = (−1)𝑢𝑠 . 𝐿𝑏 + 𝐿𝑎

30

Min-Sum approximation

Leroux, C.; Tal, I.; Vardy, A.; Gross, W.J., "Hardware architectures for successive cancellation decoding of polar codes," IEEE ICASSP 2011

31

Processing Element Architecture

Leroux, C.; Tal, I.; Vardy, A.; Gross, W.J., "Hardware architectures for successive cancellation decoding of polar codes," IEEE ICASSP 2011 32

û0

û4

û2

û6

û1

û5

û3

û7

û0 + û1+ û2+ û3

û2+ û3

û1+ û3

û3 û5 û6

û2

û4

û0

û1

û4+ û5

û0+ û1

Channel information: Li= Log(p0 / p1)

La

Lb

F

La

Lb

G

ûs

SC decoding scheduling

33


û0

û4

û2

û6

û1

û5

û3

û7

û0 + û1+ û2+ û3

û2+ û3

û1+ û3

û3 û5 û6

û2

û4

û0

û1

û4+ û5

û0+ û1

Stage 0 Stage 1 Stage 2 Stage 3

ûi S0 S1 S2

û0 F F F

34


û0

û4

û2

û6

û1

û5

û3

û7

û0 + û1+ û2+ û3

û2+ û3

û1+ û3

û3 û5 û6

û2

û4

û0

û1

û4+ û5

û0+ û1

ûi S0 S1 S2

û0 F F F

û1 G F F


35


û0

û4

û2

û6

û1

û5

û3

û7

û0 + û1+ û2+ û3

û2+ û3

û1+ û3

û3 û5 û6

û2

û4

û0

û1

û4+ û5

û0+ û1

ûi S0 S1 S2

û0 F F F

û1 G F F

û2 F G F


36


û0

û4

û2

û6

û1

û5

û3

û7

û0 + û1+ û2+ û3

û2+ û3

û1+ û3

û3 û5 û6

û2

û4

û0

û1

û4+ û5

û0+ û1

ûi S0 S1 S2

û0 F F F

û1 G F F

û2 F G F

û3 G G F


37


û0

û4

û2

û6

û1

û5

û3

û7

û0 + û1+ û2+ û3

û2+ û3

û1+ û3

û3 û5 û6

û2

û4

û0

û1

û4+ û5

û0+ û1

ûi S0 S1 S2

û0 F F F

û1 G F F

û2 F G F

û3 G G F

û4 F F G


38


û0

û4

û2

û6

û1

û5

û3

û7

û0 + û1+ û2+ û3

û2+ û3

û1+ û3

û3 û5 û6

û2

û4

û0

û1

û4+ û5

û0+ û1

ûi S0 S1 S2

û0 F F F

û1 G F F

û2 F G F

û3 G G F

û4 F F G

û5 G F G


39


û0

û4

û2

û6

û1

û5

û3

û7

û0 + û1+ û2+ û3

û2+ û3

û1+ û3

û3 û5 û6

û2

û4

û0

û1

û4+ û5

û0+ û1

ûi S0 S1 S2

û0 F F F

û1 G F F

û2 F G F

û3 G G F

û4 F F G

û5 G F G

û6 F G G


40


û0

û4

û2

û6

û1

û5

û3

û7

û0 + û1+ û2+ û3

û2+ û3

û1+ û3

û3 û5 û6

û2

û4

û0

û1

û4+ û5

û0+ û1

ûi S0 S1 S2

û0 F F F

û1 G F F

û2 F G F

û3 G G F

û4 F F G

û5 G F G

û6 F G G

û7 G G G


41


û0

û4

û2

û6

û1

û5

û3

û7

û0 + û1+ û2+ û3

û2+ û3

û1+ û3

û3 û5 û6

û2

û4

û0

û1

û4+ û5

û0+ û1

ûi S0 S1 S2

û0 F F F

û1 G F F

û2 F G F

û3 G G F

û4 F F G

û5 G F G

û6 F G G

û7 G G G


42




– Line decoder




– List Decoders

Outline

43

Combinational Tree-SC Decoder

ûi

ûi

P0,0

ûi

P2,0

P2,1

P2,2

P2,3

P1,1

P1,0

ûi

ûi

ûi

ûi

ûi

Dec

ûi S0 S1 S2

û0 F F F

û1 G F F

û2 F G F

û3 G G F

û4 F F G

û5 G F G

û6 F G G

û7 G G G


44

• HW complexity : (N-1) PE + N ME

• Routing is simple

• High data dependency

• Throughput : O(1/log(N))

• Some partial computations can be reused

Combinational Tree-SC Decoder

45

Pipelined Tree-SC Decoder

ûi

ûi

P0,0

ûi

P2,0

P2,1

P2,2

P2,3

P1,1

P1,0

ûi

ûi

ûi

ûi

ûi

Dec.

ûi S0 S1 S2

û0 F


46


ûi

ûi

P0,0

ûi

P2,0

P2,1

P2,2

P2,3

P1,1

P1,0

ûi

ûi

ûi

ûi

ûi

Dec.

ûi S0 S1 S2

û0 F

û0 F


47


ûi

ûi

P0,0

ûi

P2,0

P2,1

P2,2

P2,3

P1,1

P1,0

ûi

ûi

ûi

ûi

ûi

Dec.

ûi S0 S1 S2

û0 F

û0 F

û0 F


48


ûi

ûi

P0,0

ûi

P2,0

P2,1

P2,2

P2,3

P1,1

P1,0

ûi

ûi

ûi

ûi

ûi

Dec.

ûi S0 S1 S2

û0 F

û0 F

û0 F

û1 G


49


ûi

ûi

P0,0

ûi

P2,0

P2,1

P2,2

P2,3

P1,1

P1,0

ûi

ûi

ûi

ûi

ûi

Dec.

ûi S0 S1 S2

û0 F

û0 F

û0 F

û1 G

û2 G


50


ûi

ûi

P0,0

ûi

P2,0

P2,1

P2,2

P2,3

P1,1

P1,0

ûi

ûi

ûi

ûi

ûi

Dec.

ûi S0 S1 S2

û0 F

û0 F

û0 F

û1 G

û2 G

û2 F

û3 G

û4 G

û4 F

û4 F

û5 G

û6 G

û6 F

û7 G


51

• HW complexity : (N-1) PE + 2N ME

• Routing is simple

• Throughput : 2N-1 clock cycles / codeword:

0,5 bit per clock cycle

• Only one PE stage is used at the time !


52




– Line decoder




– List Decoders

Outline

53

Line-SC Decoder

54

• HW complexity: N/2 PE + 2N ME + control and routing logic

• Routing is regular

• Throughput : same as pipelined tree

Line-SC Decoder

44% Memory 33% Processing logic 23% Control logic 250Mbps (=f/2) N=1024, R=1/2

C. Leroux, A. J. Raymond, G. Sarkis, A. Vardy and Warren J. Gross, Hardware Implementation of Successive-Cancellation Decoders for Polar Codes, Journal of SIgnal Processing and systems, 2012 55




– Line decoder




– List Decoders

Outline

56

Semi-parallel SC Decoder

The decoder is idle most of the time !!

57

Semi-parallel SC Decoder

Leroux et al, A semi-parallel Successive-Cancellation Decoder for Polar Codes, IEEE Trans. on Signal Processing 2013

58




– Line decoder




– List Decoders

Outline

59

Improved Semi-parallel SC Decoder

Raymond, A.J.; Gross, W.J., "A Scalable Successive-Cancellation Decoder for Polar Codes," Signal Processing, IEEE Transactions on, 2014

Memory : 75% Computation : 25%

• Chained Processing Elements (lookahead technique) • Semi-parallel partial sum computation

f

+

-

u0

u1

La Lb

60

Improved Semi-parallel SC Decoder

Semi-parallel

Improved Semi-parallel

Polar Decoder ≈ Memory 61




– Line decoder




– List Decoders

Outline

62

Increasing throughput

Lots of rate 0/1 subcodes… No need to decode them ! Reduce the number of computations by a factor 2 to 20 Alamdar-Yazdi, Kschischang, A simplified Successive-Cancellation Decoder for Polar Codes, IEEE Comm. Letter 2011 63

Increasing throughput even further

Sarkis et al, Fast Polar Decoders : Algorithm and Implementation, IEEE Trans. On Sig. Processing, 2014

x20

64

Future challenges for SC decoders

- Memory reduction - Non-linear quantization - Hard-decision decoding (bit flipping) - Offset/scaled Min-Sum - Low power / low energy architectures - Optimized Software Implementations (GPP,

Embedded Proc., GPU) - …

65




– Line decoder




– List Decoders

Outline

66

Is there anything better than SC ?

- Other decoding algorithms: - Belief Propagation decoding (BP) - Soft Cancellation decoding (SCAN) - List decoding - Linear Programming

- At finite length polar codes have poor performance => need to change the coding scheme

- Polar + RS (outer) - Polar + LDPC (outer) : OTN applications - Polar + LDPC (inner) + SCAN decoding - Polar + BCH (inner) - Polar + CRC (inner) + List decoding

67

CRC-aided List decoding

Nice ! How do we implement that ?

Kai Niu; Kai Chen, "CRC-Aided Decoding of Polar Codes," Communications Letters, IEEE, 2012 68

SC

List L=32

Turbo

List + CRC L=32

CRC-aided List decoding

L=2 : x3.8 L=4 : x8.4 Balatsoukas-Stimming, A.; Raymond, A.J.; Gross, W.J.; Burg, A., "Hardware Architecture for List Successive Cancellation Decoding of Polar Codes," TCASII, Aug. 2014

69

Architectures of Polar Decoders

Camille Leroux

Laboratoire de l'Intégration du Matériau au Système (IMS) Bordeaux-INP

Réunion scientifique du GDR-ISIS : « Architecture de Codes Correcteurs d’Erreurs » 4 Novembre 2014, Brest

• List decoding – A list of L decoders is created each of of them tracking one decision path that is updated

at each decoded bit.

– Computational complexity in O(LNlogN)

– A CRC can be added to help de final decision (improves performance significantly)

Other decoding algorithms: List decoding

• BP: messages are propagated (in a flooding manner) back and forth on the factor graph until a fixed number of iteration is reached

• SCAN: messages are propagated in the same order as SC but soft partial sums are used instead. This allows an iterative decoding. SCAN requires less iterations than BP for similar of better performance

• They provide a soft output

Other decoding algorithms: iterative decoding

• Polar code concatenated with an outer RS code (interleaved)

• Complexity : O(N log2 N log log N)

Other coding scheme: polar + RS

• Polar code concatenated with an inner LDPC

• BP-based algorithms

• Used in OTN context to lower error floors

Other coding scheme: polar + LDPC

Polarisation

75

Polarisation

76

Polarisation

77

Polarisation

78

Polarisation

79

Polarisation

80

Polarisation

81

Polarisation

82

Polarisation

83

Polarisation

• En calculant la probabilité d’erreur de chaque canal équivalent, on peut montrer que lorsque N, les canaux équivalents polarisent:

• La probabilité d’erreur de chaque canal tend soit vers 0 (canal parfait) soit vers 0.5 (canal complètement bruité)

• Pour construire un code polaire de rendement R, on caractérise chaque canal équivalent et on envoie de l’information sur les RxN canaux les plus fiables, on met des 0 sur les canaux les moins fiables.

84

Améliorer les performances: concaténation

Method

Generalized concatenated coding with polar inner

AM 2009

Generalized concatenated with BCH outer TS 2011

Reed-Solomon outer, polar inner BJE 2010

Polar outer, block inner SH 2010

Polar outer, LDPC inner EP 2011

AM : Arikan, Markarian BJE: Bakshi, Jaggi and Effros SH: Seidl and Huber EP: Eslami and Pishro-Nik TS: Trifonov, Semenov

85

Améliorer les performances: list decoding

• Décodeur par liste (Tal-Vardy 2011)

– Remplacer la décision dure par une liste de de L décision souple

– A chaque nouveau bit décodé, on met à jour la liste et on sélectionne les L décision les plus vraisemblables

– Complexité O(LNlogN)

86

Autres algorithmes de décodage par listes

• Li et al, An adaptive Successive-Cancellation List Decoder for Polar Codes with CRC, IEEE Comm. Letters 2012

• Chen et al, List successive cancellation decoding of polar codes, electronics letters 2012

• Niu et al, CRC-aided decoding of polar codes, IEEE Comm. Letters 2012

• Niu et al, Stack decoding of polar codes, Electronics Letters 2012

87

Améliorer les performances: list decoding

88

Améliorer les performances: list decoding + CRC

89

En résumé…

• Un code polaire de taille N=2m, et un rendement

R<C(W) - Compléxité de construction : O(N)

- Compléxité d’encodage : O(NlogN)

- Compléxité de décodage : O(NlogN)

- FER : Pe(N,R)=O(2-N/2)

- On peut améliorer les perf avec les méthodes classiques du codage canal (construction, algo de décodage, concaténation,…)

- L’intérêt des codes polaires pour les standards futurs dépendra également de leur complexité matérielle

90

Documents

Successive cancelation decoder architecture exploration