Upload
others
View
7
Download
0
Embed Size (px)
Citation preview
誤り訂正符号の多面体緩和と近似最尤推定
名古屋工業大学
和田山 正
自己紹介• 符号理論(誤り訂正符号)を中心に情報理論, 通信工学, 機械学習などに興味を持っています。
• 最近(ここ5年ぐらい)、興味のある分野– LDPC符号(誤り訂正符号の一種)– 確率的グラフィカルモデル(ベイジアンネットワーク, マルコフランダム場)
– 連続最適化(凸計画法の確率推論への応用)
誤り訂正符号工学的重要性: 通信・伝送の信頼性向上のため(例)LDPC符号: DVB-S2, 10G-base-T,WiMax, HDD, ...
研究者としての面白さ: 広がり・学際性代数 (線形代数, 群・環・体), 確率(情報理論, 確率推論), 最適化(組み合わせ最適化, 連続最適化),統計力学(スピングラス, MCMC), ランダマイズドアルゴリズム
研究のモチベーション• MAP推定を現実的な計算量で実現したい→厳密には無理(NP困難問題)
• 近似アルゴリズムを考える必要性がある
• 現代のデファクトスタンダード:LDPC符号+ビリーフプロパゲーション
目標:「LDPC符号+ビリーフプロパゲーションの性能を超える符号化・復号法を見出す」
本日の講演内容• 基礎的事項
• 復号問題の線形計画問題としての定式化
• 2元符号に関わる多面体について
• 基本多面体の緩和について
• 復号に関する整数計画問題について
2元線形符号
• F2: 2元有限体• H ∈ Fm×n
2 (m < n, full rank)
C(H)4= {x ∈ Fn
2 : Hx = 0}
• Hはパリティ検査行列と呼ばれる。• C(H)は線形写像Hの核空間となり、次元k = n − mの部分線形空間となる。• x ∈ C(H)を符号語と呼ぶ。符号C(H)は、2k個の符号語を含む。
例: ハミング符号長さ7の完全符号(符号語を中心とする半径1の互いに排反なハミング球で空間が完全に被覆される)。次元はk = 4.
H4=
0 0 0 1 1 1 10 1 1 0 0 1 11 0 1 0 1 0 1
通信路モデル
送信者 受信者符号化器 復号器通信路
メッセージM 符号語X 受信語 Y 推定メッセージ M̂
信頼性の高い通信系の設計問題
• 誤り率Prob[M 6= M̂ ]を可能な限り小さく• 符号化・復号処理は多項式時間アルゴリズム
2元符号=符号化写像の像符号化写像 E : {0, 1}k → {0, 1}n
{0,1}n
{0,1}k X=E(M)
代表的な2元線形符号
• ハミング符号 (符号長7の完全符号)• ゴーレイ符号(符号長23の完全符号)• リードマラー符号• BCH符号(多項式環に基づく巡回符号)• 部分体部分符号• LDPC符号• ポーラー符号
確率モデルとしての通信路モデル符号化器 復号器X Y
PX(x) PY |X(y|x)
事前確率
PX(x) ={
1/2k, x ∈ C(H)0, x /∈ C(H)
ここで、x ∈ {0, 1}n
通信路の確率モデル
PY |X(y|x)
ここで、y ∈ Rn, x ∈ {0, 1}n
事後確率(観測値y∗に基づく)
PX|Y (x|y∗) =PY |X(y∗|x)PX(x)
PY (y∗)
(ベイズ則)
AWGN通信路モデル• X = (X1, . . . , Xn): 送信系列を表す確率変数• Y = (Y1, . . . , Yn): 受信系列を表す確率変数• AWGN通信路モデル:
Yi = b(Xi) + Zi, i = 1, 2, . . . , n,
ここで、Ziは平均0, 分散σ2のガウス分布
PZi(zi) =1√
2πσ2exp
(− z2
i
2σ2
)
に従う確率変数であり、関数b(x)は
b(x) ={
+1, x = 0−1, x = 1
と定義される。• まとめるとAWGN通信路モデルとは、次の条件付密度関数のこと
PY |X(y|x) =n∏
i=1
1√2πσ2
exp(− (yi − b(xi))2
2σ2
)
2元対称通信路(BSC)モデル• X = (X1, . . . , Xn): 2値(0,1)確率変数• Y = (Y1, . . . , Yn): 2値(0,1)確率変数
PY |X(y|x) =n∏
i=1
PYi|Xi(yi|xi)
ここで、
PYi|Xi(y|x) =
{1 − p, y = xp, y 6= x
復号=送信語の推定 (最大事後確率推定)
y∗ ∈ Rnを受信ベクトル(観測ベクトル)とする。最大事後確率推定(MAP推定)値 x̂は
x̂ = arg maxx∈{0,1}n
PX|Y (x|y∗)
と与えられる。
x̂ = arg maxx∈{0,1}n
PX|Y (x|y∗)
= arg maxx∈{0,1}n
PY |X(y∗|x)PX(x)PY (y∗)
= arg maxx∈C(H)
PY |X(y∗|x)
= arg minx∈C(H)
(− logPY |X(y∗|x)
)= arg min
x∈C(H)||y − b(x)||22
AWGN通信路におけるMAP推定則y∗ ∈ Rnを受信ベクトル(観測ベクトル)とする。AWGN通信路におけるMAP推定則は
x̂ = arg minx∈C(H)
||y − b(x)||22
と与えられる。
計算量の壁• ナイーブな評価法では、MAP推定は計算量的に困難
• 2元符号のMAP推定はNP困難問題
• 近似的MAP推定の利用
– BCH符号(巡回符号)+代数的復号法– 畳込み符号+ビタビ復号法– LDPC符号+ ビリーフプロパゲーション
通信路の確率モデル
PY |X(y|x) =n∏
i=1
PYi|Xi(yi|xi)
ここで、y ∈ Rn, x ∈ {0, 1}n
ふたたびMAP則を考える
x̂ = arg maxx∈C(H)
PY |X(y∗|x)
= arg minx∈C(H)
(− logPY |X(y∗|x)
)
= arg minx∈C(H)
n∑i=1
(− logPYi|Xi
(y∗i |xi))
定数∑n
i=1 logPYi|Xi(y∗i |0)を右辺に加えると
x̂ = arg minx∈C(H)
n∑i=1
(− logPYi|Xi
(y∗i |xi))
= arg minx∈C(H)
n∑i=1
(log
PYi|Xi(y∗i |0)
PYi|Xi(y∗i |xi)
)
= arg minx∈C(H)
n∑i=1
(xi log
PYi|Xi(y∗i |0)
PYi|Xi(y∗i |1)
)となる。ここで、対数尤度比γi(i ∈ {1, . . . , n})を
γi = logPYi|Xi
(y∗i |0)PYi|Xi
(y∗i |1)
と定義すると次のMAP則が得られる。
線形計画問題としてのMAP則Feldman et al. :
x̂ = arg minx∈Conv(C(H))
n∑i=1
γixi
Conv(C(H))は符号C(H)の凸包を意味する。
AWGN通信路の場合、γi = 2yi/σ2となる。
線形計画問題としてのMAP則: 補足事項• 制約条件である凸包は線形不等式による表現できる。目的関数は線形の関数→線形計画法
• MAP推定問題(組み合わせ最適化問題)→実数空間Rn上の最適化問題(線形計画問題)
• 線形計画問題に対しては、単体法・内点法などの効率のよい数値解法が知られている
グラフィカルモデル ギブス分布対応関係MAPアサインメント問題最小エネルギー(基底エネルギー解)を見つけたいエネルギー関数 (ハミルトニアン)
符号語の凸包
符号C(H)の符号語を実数空間上の点とみなす。符号語の凸包Conv(C(H))は、それらの点の凸結合となる:
Conv(C(H)) = {s ∈ Rn : s =∑
x∈C(H)
txx,
∑x∈C(H)
tx = 1}
例: 偶重み符号(n = 3)の場合n = 3の偶重み符号: C = {000, 011, 110, 101}
例: 偶重み符号(n = 3)の場合: H表現n = 3の偶重み符号
C = {000, 011, 110, 101}
の凸包は次の線形不等式系で表現される
x+ (1 − y) + (1 − z) ≤ 2y + (1 − x) + (1 − z) ≤ 2z + (1 − x) + (1 − y) ≤ 2
x+ y + z ≤ 2
ハミング符号の凸包n = 7, k = 4のハミング符号(符号語数16個)の凸包はR7の部分集合であり、70本の線形不等式により表現される(面の数 = 70)。
付記:
• 凸包のV表現とH表現は、点数が少ない場合にはcdd, lrs (凸包プログラム)により計算可能。
• 点数が多い場合には、両者の変換は計算量的に自明な問題ではない。
問題点と対策符号長nが大きくなってきたとき実行可能領域Conv(C(H))を表現するための線形不等式の数がnに対して指数的に増加する。
対策:緩和多面体P を凸包の代わりに使う
• Conv(C(H)) ⊂ P• V (Conv(C(H))) ⊂ V (P)
V : 頂点を取り出す集合値関数
基本多面体の制約(1): パリティ制約条件• H = {hij}, x ∈ Rn
• Ai4= {j ∈ [1, n] : hij = 1}, i ∈ {1, . . . ,m}
• Ti(i ∈ [1,m])をAiに含まれるすべての奇数サイズの部分集合
∀i ∈ [1,m],∀S ∈ Ti
1 +∑t∈S
(xt − 1) −∑
t∈Ai\S
xt ≤ 0,
基本多面体の制約(2): ボックス制約条件
∀j ∈ [1, n], 0 ≤ xj ≤ 1
基本多面体Koetter & Vontoble, Feldman et al.
P(H)4= {x ∈ Rn : x satisfies both constraints}
• Conv(C(H)) ⊂ P(H)• V (Conv(C(H))) ⊂ V (P(H))
基本多面体の考え方
LP復号法Feldman et al.
x̂ = arg minx∈P(H)
n∑i=1
γixi
• 不等式数: 2wr−1m+ n (wr: Hの行の重み)• P(H)の整数頂点の集合= C(H)
例:ハミング符号の場合ハミング符号の基本多面体は、96個の頂点を持つ(うち、16個(符号語)のみが整数点)
5.000000000E-01 5.000000000E-01 5.000000000E-01 1 0 1 1
0 3.333333333E-01 6.666666667E-01 6.666666667E-01 0 1 1
5.000000000E-01 1 1 5.000000000E-01 0 1 5.000000000E-01
0 6.666666667E-01 3.333333333E-01 3.333333333E-01 0 1 0
0 5.000000000E-01 0 5.000000000E-01 5.000000000E-01 1 0
6.666666667E-01 1 3.333333333E-01 6.666666667E-01 1 1 0
0 1 5.000000000E-01 5.000000000E-01 0 5.000000000E-01 0
3.333333333E-01 1 6.666666667E-01 3.333333333E-01 0 1 0
1 1 0 1 0 1 0
5.000000000E-01 1 0 5.000000000E-01 1 1 5.000000000E-01
3.333333333E-01 1 3.333333333E-01 3.333333333E-01 1 1 1
6.666666667E-01 1 6.666666667E-01 6.666666667E-01 0 1 1
0 1 0 0 0 1 1
............................
現代の問題意識• もとのLP復号法のもう一歩上回る復号性能を目指す
• 整数計画問題
minimizen∑
i=1
γixi
subject to x ∈ P(H), x ∈ {0, 1}n
の解に近づける工夫
2つの方向性• 緩和を工夫する
Conv(C(H)) ⊂ · · · ⊂ P2 ⊂ P1 ⊂ P(H)
• 最適化手法を工夫する– プライマル・デュアル法(組み合わせ最適化)– 半正定値計画問題– ペナルティ関数法(非線形最適化)– ローカルサーチ– difference map アルゴリズム(交互射影法)
緩和の緊密化
Conv(C(H)) ⊂ · · · ⊂ P2 ⊂ P1 ⊂ P(H)
• 自明でないファセット不等式は?• ファセット数がnの多項式で押さえられる緩和多面体Piは存在するか?
• 多項式時間で答えを返す分離オラクルが存在する緩和多面体Piは存在するか?
緩和の緊密化: 冗長行による緊密化
H =
hT
1
hT2...hT
m
, H∗ =
h∗T
1
h∗T2...
h∗Tr
h∗j =
m∑i=1
α(j)i hi
緩和の緊密化: 冗長行による緊密化任意のx ∈ C(H)について
H∗x = 0
が成り立つ。
冗長行に基づく緊密化
P = P(H) ∩ P(H∗)
ハミング符号の例
H4=
0 0 0 1 1 1 10 1 1 0 0 1 11 0 1 0 1 0 1
H∗ 4
=(
0 1 1 1 1 0 0)
Pの頂点数56個(P(H)の頂点数96)
緩和の緊密化: 自己同型群の利用• Aut(C(H)): C(H)の自己同型群• ∀x ∈ C(H),∀π ∈ Aut(C(H)), π(x) ∈ C(H)
自己同型群に基づく緊密化
P∗ 4=
∩π∈Aut(C(H))
P(π(H))
例: 巡回符号→巡回置換が自己同型群
緩和緊密化に関する研究• 2005: Feldman et al.: アドホック探索
(IEEE IT)
• 2006: Taghavi and Siegel : ループ長に基づく探索 (IEEE ISIT)
• 2009: 三輪, 和田山, 内匠: Fractional distanceに基づく冗長行構成 (IEEE JSAC)
ゴーレイ符号の場合
10-4
10-3
10-2
10-1
100
10-3
10-2
10-1
Blo
ck E
rro
r P
rob
ab
ility
Crossover Probability on BSC
+100rows+40rows
original
Fig. 2. Comparison on block error probabilities of parity check matrices of Golay code (original 24×12 matrix, redundant 24×52 matrix,
redundant 24× 112 matrix )
Cited from Miwa et al. IEEE JSAC, 2009
LP復号法に関する最適化: 関連研究• LP decoding (LPD)
– Fleldman et al (2005, IT)• Fast LPD algorithms
– Adaptive LP: Taghavi et al. (2008, IT)– Low-complexity LPD: Vontobel and
Koetter (2006, Turbo sym.)– Linear time LPD: Burshtein (2008, ISIT)
• Interior point algorithms for decodingproblems
– LPD based on interior point method:Vontobel (2008, ITA)
– Linear vector channels: Wadayama (2008,ISIT)
– LPD based on primal dual interior pointmethod : Taghavi (2008, Allerton)
– LPD based on primal interior pointmethod : Wadayama (2009, ISIT)
整数計画問題へのアプローチ: 混合整数計画法Yedidia et al. 2008, ISIT:
minimizen∑
i=1
γixi
subject to x ∈ P(H)
を解き、得られた解x∗の要素(有理数成分)のいくつかを整数制約をつける(分枝限定法)。
整数計画問題へのアプローチ: 内点法 +
2次ペナルティ関数• 内点法:線形計画問題・凸計画問題に適した効率の良い数値最適化手法– 探索点は、実行可能領域の内点– ニュートン法を内部で利用– 凸問題以外の非線形計画問題にも適用可能
• 内点法 + 2次ペナルティ関数: 2010 和田山
目的関数とバリア関数
f(x)4=
n∑i=1
λixi
B(x)4= −
X
i∈[1,m]
X
S∈Ti
ln
2
6
4
−
0
B
@
1 +X
u∈S
(xu − 1) −X
u∈Ai\S
xu
1
C
A
3
7
5
−X
j∈[1,n]ln
h
−(−xj)i
−X
j∈[1,n]ln
h
−(xj − 1)i
.
主パス追跡内点法の基本処理
メリット関数: ψ(t)(x)4= f(x) + tB(x)
x := arg minx′∈P∗(H)
ψ(t)(x′)
t := µt
x0 Central path
整数解を選好するペナルティ項の導入
Fundamental
Polytope
Codeword vertex
Non-codeword vertex
Desirable
Undesirable
Concave penalty term
局所解の回避
「ペナルティ関数の効き」パラメータθを調整
探索過程における2乗誤差
0
20
40
60
80
100
120
140
0 50 100 150 200 250 300 350 400
Number of iterations
Squared errortheta
誤り率の比較 0.2dB gainBERFERconcave sum-prod.
最適化ベースの推論技法(1)アルゴリズム 関連の論文Loopy BP Yedidia et al. IT 2005凸自由エネルギー系 Wainwright TRW energy, IT,2005,Heskes, sufficient condition, 2006, Globerson & Jaakkola,UAI 2007,Hazan & Shashua, UAI2008LP系 Feldman et al, IT 2002Weiss, et al., UAI 2007本プロジェクト Wadayama
最適化ベースの推論技法(2)アルゴリズム 最適化の方法 最適化の特徴Loopy BP ラグランジアン定式化+KKT条件を反復法で解く メッセージパッシング/局所収束性/局所解凸自由エネルギー系 ラグランジアン定式化+KKT条件を反復法で解く/双対問題を解く メッセージパッシング/局所収束性/大域的最適解LP系 シンプレックス法 非整数解本プロジェクト 内点法/ペナルティ関数法 局所解
まとめと今後の課題• 誤り訂正符号の多面体的性質(符号語の凸包ならびにその緩和多面体の性質)– 基本多面体の幾何的性質– 符号語の凸包への緩和多面体列– 多面体的符号理論
• 連続最適化手法の復号(推論)問題への適用– 内点法に基づく非線形最適化・凸最適化– 組み合わせ最適化手法の応用(局所探索, プライマルデュアル法, タブーサーチなど)