Теория кодированияМФТИ, осень 2013

Александр Дайняк

www.dainiak.com

Коды

Пусть 𝔸𝑞 — некоторый алфавит из 𝑞 символов.

𝑞-ичный код — это произвольное множество 𝐶 ⊆ 𝔸𝑞

𝑛

𝑛 — длина кода (длина кодовых слов)

𝐶 — мощность кода (число кодовых слов)

Чаще всего рассматривают двоичные коды, т.е. когда 𝑞 = 2 и 𝔸𝑞 = 0,1 .

Для произвольного двоичного слова 𝒂 будем через 𝒂 обозначать вес слова, т.е. величину

# 𝑖 ∣ 𝑎𝑖 ≠ 0

Границы Хемминга и Синглтона

Теорема. (Граница Хемминга, граница сферической упаковки)Для любого 𝑛,𝑀, 𝑑 𝑞-кода имеем 𝑀 ≤ 𝑞𝑛 𝑆 𝑑−1 2 𝟎

Теорема. (В некотором смысле, обратная границе Хемминга)Пусть числа 𝑞, 𝑛,𝑀, 𝑑 ∈ ℕ таковы, что 𝑀 ≤ 𝑞𝑛 𝑆𝑑 𝟎 .Тогда существует 𝑛,𝑀, 𝑑 𝑞-код.

Теорема. (R.C. Singleton)Для любого 𝑛,𝑀, 𝑑 𝑞-кода имеем 𝑀 ≤ 𝑞𝑛−𝑑+1.

Граница Плоткина

Теорема. (M. Plotkin)

Пусть 𝑛𝑟 < 𝑑, где 𝑟 ≔ 1 − 1

𝑞. Тогда для любого 𝑛,𝑀, 𝑑 𝑞-кода

𝑀 ≤𝑑

𝑑 − 𝑛𝑟

Граница Плоткина

Доказательство:

Рассмотрим матрицу, в которой по строкам выписаны все кодовые слова:

𝒂1

⋮𝒂𝑀

Элементы этой матрицы будем обозначать 𝑎𝑖𝑗.Оценим снизу и сверху следующую сумму:

𝑇 ≔ 1≤𝑘≤𝑛

1≤𝑖<𝑗≤𝑀

𝟙𝑎𝑖𝑘≠𝑎𝑗𝑘

Граница Плоткина

Имеем

𝑇 =

1≤𝑖<𝑗≤𝑀

1≤𝑘≤𝑛

𝟙𝑎𝑖𝑘≠𝑎𝑗𝑘 =

1≤𝑖<𝑗≤𝑀

𝑑 𝒂𝑖 , 𝒂𝑗

Отсюда

𝑇 ≥𝑀 ⋅ 𝑀 − 1

2⋅ 𝑑

Граница Плоткина

С другой стороны

𝑇 =

1≤𝑘≤𝑛

1≤𝑖<𝑗≤𝑀

𝟙𝑎𝑖𝑘≠𝑎𝑗𝑘

Зафиксируем произвольное 𝑘.Пусть среди кодовых слов ровно 𝑥𝑠 слов имеют 𝑘-ю координату, равную 𝑠. Тогда

1≤𝑖<𝑗≤𝑀

𝟙𝑎𝑖𝑘≠𝑎𝑗𝑘 =

𝑠′≠𝑠′′

𝑥𝑠′ ⋅ 𝑥𝑠′′

Граница Плоткина

Имеем

𝑠′≠𝑠′′

𝑥𝑠′ ⋅ 𝑥𝑠′′ =1

2⋅

𝑠

𝑥𝑠

2

−

𝑠

𝑥𝑠2 =

1

2⋅ 𝑀2 −

𝑠

𝑥𝑠2

Минимум выражения 𝑠 𝑥𝑠2 достигается, когда все 𝑥𝑠 равны 𝑀 𝑞

(неравенство Коши—Буняковского).

Отсюда1

2⋅ 𝑀2 −

𝑠

𝑥𝑠2 ≤

1

2⋅ 𝑀2 − 𝑞 ⋅

𝑀2

𝑞2=

𝑀2

21 − 1

𝑞

Граница Плоткина

При любом 𝑘 мы получаем

𝑠′≠𝑠′′

𝑥𝑠′ ⋅ 𝑥𝑠′′ ≤𝑀2

21 − 1

𝑞

Значит

𝑇 =

1≤𝑘≤𝑛

1≤𝑖<𝑗≤𝑀

𝟙𝑎𝑖𝑘≠𝑎𝑗𝑘 ≤𝑛𝑀2

21 − 1

𝑞

Граница Плоткина

Сопоставим верхнюю и нижнюю оценки для 𝑇:𝑀 ⋅ 𝑀 − 1

2⋅ 𝑑 ≤ 𝑇 ≤

𝑛𝑀2

21 − 1

𝑞

Отсюда𝑀 − 1 ⋅ 𝑑 ≤ 𝑛𝑟𝑀 ⇔ 𝑀 𝑑 − 𝑛𝑟 ≤ 𝑑

Так как 𝑑 − 𝑛𝑟 > 0 по условию, и 𝑀 ∈ ℤ, то

𝑀 ≤𝑑

𝑑 − 𝑟𝑛

Вложение метрических пространств

Метрическое пространство — это множество с заданной на нём метрикой.

Примеры:

• 0,1 𝑛, 𝑑 𝒂, 𝒃 — метрическое пространство Хемминга (здесь 𝑑 — метрика Хемминга).

• ℝ𝑛, 𝑑 𝒂, 𝒃 — евклидово метрическое пространство (здесь

𝑑 𝒂, 𝒃 ≔ 𝑖 𝑎𝑖 − 𝑏𝑖2 — обычная евклидова метрика).

Вложение метрических пространств

Вложение метрического пространства 𝑈 в метрическое пространство 𝑉 — это отображение 𝜙:𝑈 → 𝑉, сохраняющее метрику:

dist𝑈 𝑥, 𝑦 = dist𝑉 𝜙 𝑥 , 𝜙 𝑦

Вложение 𝑛-мерного хеммингова пространства в евклидово 𝑛-мерное пространство при 𝑛 > 1 сделать не получится, но можно выполнить отображение, сохраняющее определённую информацию о метрике…

Вложение метрических пространств

Сопоставим каждому вектору 𝒂 ∈ 0,1 𝑛 вектор 𝒙𝒂 ∈ ℝ𝑛 по правилу:

𝑥𝑖𝒂 =

1, если 𝑎𝑖 = 1−1, если 𝑎𝑖 = 0

При этом:

• 𝑑 𝒙𝒂, 𝒙𝒃 = 2 ⋅ 𝑑 𝒂, 𝒃

• 𝒙𝒂, 𝒙𝒃 = 𝑛 − 2 ⋅ 𝑑 𝒂, 𝒃

• 𝒙𝒂 = 𝑛 (здесь ⋅ — евклидова норма)

Лемма о векторах в ℝ𝑛

Лемма (о тупоугольной системе векторов).Пусть 𝒚, 𝒙1, … , 𝒙𝑚 ∈ ℝ𝑛 таковы, что выполнено

• 𝒙𝑖 , 𝒚 > 0 для 𝑖 = 1,… ,𝑚

• 𝒙𝑖 , 𝒙𝑗 ≤ 0 при 𝑖 ≠ 𝑗

Тогда 𝒙1, … , 𝒙𝑚 линейно независимы и, в частности, 𝑚 ≤ 𝑛.

Доказательство леммы о векторах

Рассмотрим произвольную нулевую линейную комбинацию:𝑐1𝒙1 +⋯+ 𝑐𝑚𝒙𝑚 = 𝟎

Положим Pos ≔ 𝑖 𝑐𝑖 > 0 , Neg ≔ 𝑖 𝑐𝑖 < 0

Нам нужно доказать, что Pos = Neg = ∅.

Допустим, что это не так, и придём к противоречию.

Пусть, например, Pos ≠ ∅ (быть может, при этом Neg = ∅).

Доказательство леммы о векторах

𝑐1𝒙1 +⋯+ 𝑐𝑚𝒙𝑚 = 𝟎

Положим

𝒛 ≔

𝑖∈Pos

𝑐𝑖𝒙𝑖 =

𝑗∈Neg

−𝑐𝑗 𝒙𝑗

Имеем

𝒛, 𝒚 =

𝑖∈Pos

𝑐𝑖 𝒙𝑖 , 𝒚 > 0

Отсюда следует, что 𝒛 ≠ 𝟎.

Доказательство леммы о векторах

𝑐1𝒙1 +⋯+ 𝑐𝑚𝒙𝑚 = 𝟎

Имеем

𝒛 ≔

𝑖∈Pos

𝑐𝑖𝒙𝑖 =

𝑗∈Neg

−𝑐𝑗 𝒙𝑗 ≠ 𝟎

Рассмотрим теперь соотношения

0 < 𝒛, 𝒛 =

𝑖∈Pos

𝑐𝑖𝒙𝑖 ,

𝑗∈Neg

−𝑐𝑗 𝒙𝑗 =

= 𝑖∈Pos𝑗∈Neg

𝑐𝑖 −𝑐𝑗 ⋅ 𝒙𝑖 , 𝒙𝑗 ≤ 0 —противоречие!

Граница Элайеса—Бассалыго

Теорема. (P. Elias, Л.А. Бассалыго)Для любого 𝑛,𝑀, 𝑑 -кода, где 𝑑 ≤ 𝑛 2, выполнено неравенство

𝑀 ≤𝑛2𝑛

𝑆 𝜏𝑛−1

где 𝜏 = 1− 1−2𝛿

2, 𝛿 = 𝑑

𝑛.

(𝑆 𝜏𝑛−1 — сокращённое обозначение для шара 𝑆 𝜏𝑛−1 𝟎 )

Доказательство теоремы Э.—Б.

Пусть 𝐶 — 𝑛,𝑀, 𝑑 -код, и пусть 𝑡 ∈ ℕ.

Положим deg𝑡 𝐶 ≔ max𝒃∈ 0,1 𝑛

𝐶 ∩ 𝑆𝑡 𝒃 .

Имеем

𝐶 ⋅ 𝑆𝑡 =

𝒂∈𝐶

𝒃∈ 0,1 𝑛

𝟙𝑑 𝒂,𝒃 ≤𝑡 =

𝒃∈ 0,1 𝑛

𝒂∈𝐶

𝟙𝑑 𝒂,𝒃 ≤𝑡 ≤ 2𝑛 ⋅ deg𝑡 𝐶

Отсюда 𝑀 ≤ 2𝑛⋅deg𝑡 𝐶

𝑆𝑡для любого 𝑡 ∈ ℕ.

Доказательство теоремы Э.—Б.

Пусть 𝐶 — 𝑛,𝑀, 𝑑 -код.

Положим 𝛿 ≔ 𝑑

𝑛, 𝜏 ≔ 1− 1−2𝛿

2и 𝑡 ≔ 𝜏𝑛 − 1 .

Мы обосновали, что

𝑀 ≤2𝑛 ⋅ deg𝑡 𝐶

𝑆𝑡Осталось доказать, что при выбранном 𝑡 выполнено неравенство deg𝑡 𝐶 ≤ 𝑛.

Доказательство теоремы Э.—Б.

𝛿 ≔ 𝑑

𝑛, 𝜏 ≔ 1− 1−2𝛿

2и 𝑡 ≔ 𝜏𝑛 − 1 .

Пусть 𝒃 ∈ 0,1 𝑛, и 𝒂1, … , 𝒂𝑚 ∈ 𝐶 ∩ 𝑆𝑡 𝒃 (𝒂𝑖 ≠ 𝒂𝑗 при 𝑖 ≠ 𝑗).

Нам нужно доказать, что 𝑚 ≤ 𝑛.

Сопоставим словам 𝒃, 𝒂1, … , 𝒂𝑚 вектора 𝒚, 𝒙1, … , 𝒙𝑚 ∈ ℝ𝑛 так(на примере 𝒃):

𝑦𝑖 = 1 𝑛 , если 𝑏𝑖 = 1

−1 𝑛 , если 𝑏𝑖 = 0

Доказательство теоремы Э.—Б.

𝛿 ≔ 𝑑

𝑛, 𝜏 ≔ 1− 1−2𝛿

2и 𝑡 ≔ 𝜏𝑛 − 1 .

Сопоставим словам 𝒃, 𝒂1, … , 𝒂𝑚 вектора 𝒚, 𝒙1, … , 𝒙𝑚 ∈ ℝ𝑛 так (на примере 𝒃):

𝑦𝑖 = 1 𝑛 , если 𝑏𝑖 = 1

−1 𝑛 , если 𝑏𝑖 = 0

При этом 𝒙𝑖 , 𝒚 = 1

𝑛 𝑛 − 2𝑑 𝒂𝑖 , 𝒃 ≥ 1𝑛 𝑛 − 2𝑡 > 1 − 2𝜏

и

𝒙𝑖 , 𝒙𝑗 = 1𝑛 𝑛 − 2𝑑 𝒂𝑖 , 𝒂𝑗 ≤ 1

𝑛 𝑛 − 2𝑑 = 1 − 2𝛿

Доказательство теоремы Э.—Б.

𝛿 ≔ 𝑑

𝑛, 𝜏 ≔ 1− 1−2𝛿

2и 𝑡 ≔ 𝜏𝑛 − 1 .

Имеем

• 𝒙𝑖 , 𝒚 > 1 − 2𝜏 при всех 𝑖

• 𝒙𝑖 , 𝒙𝑗 ≤ 1 − 2𝛿 при 𝑖 ≠ 𝑗

Похоже, можно применить лемму о векторах в ℝ𝑛, но для этого придётся «подправить» вектора 𝒚 и 𝒙1, … 𝒙𝑚.

Для этого перейдём к векторам 2𝜏𝒚, 𝒙1 − 1 − 2𝜏 𝒚 , … , 𝒙𝑚 − 1 − 2𝜏 𝒚

Доказательство теоремы Э.—Б.

𝛿 ≔ 𝑑

𝑛, 𝜏 ≔ 1− 1−2𝛿

2

• 𝒙𝑖 , 𝒚 > 1 − 2𝜏 при всех 𝑖

• 𝒙𝑖 , 𝒙𝑗 ≤ 1 − 2𝛿 при 𝑖 ≠ 𝑗

Для векторов 2𝜏𝒚, 𝒙1 − 1 − 2𝜏 𝒚 , … , 𝒙𝑚 − 1 − 2𝜏 𝒚

получаем𝒙𝑖 − 1 − 2𝜏 𝒚 , 2𝜏𝒚 = 2𝜏 𝒙𝑖 , 𝒚 − 2𝜏 1 − 2𝜏 𝒚, 𝒚 =

= 2𝜏 𝒙𝑖 , 𝒚 − 2𝜏 1 − 2𝜏 > 0

Доказательство теоремы Э.—Б.

𝛿 ≔ 𝑑

𝑛, 𝜏 ≔ 1− 1−2𝛿

2

• 𝒙𝑖 , 𝒚 > 1 − 2𝜏 при всех 𝑖

• 𝒙𝑖 , 𝒙𝑗 ≤ 1 − 2𝛿 при 𝑖 ≠ 𝑗

Имеем𝒙𝑖 − 1 − 2𝜏 𝒚 , 𝒙𝑗 − 1 − 2𝜏 𝒚 =

= 𝒙𝑖 , 𝒙𝑗 + 1 − 2𝜏 2 𝒚, 𝒚 − 1 − 2𝜏 𝒙𝑖 , 𝒚 + 𝒙𝑗 , 𝒚 ≤≤ 1 − 2𝛿 + 1 − 2𝜏 2 − 2 1 − 2𝜏 2 = −2 2𝜏2 − 2𝜏 + 𝛿 = 0

Доказательство теоремы Э.—Б.

Для векторов 2𝜏𝒚, 𝒙1 − 1 − 2𝜏 𝒚 ,… , 𝒙𝑚 − 1 − 2𝜏 𝒚

мы доказали соотношения𝒙𝑖 − 1 − 2𝜏 𝒚 , 2𝜏𝒚 > 0𝒙𝑖 − 1 − 2𝜏 𝒚 , 𝒙𝑗 − 1 − 2𝜏 𝒚 ≤ 0

и отсюда, по лемме о тупоугольной системе векторов, следует, что 𝑚 ≤ 𝑛.

Мы доказали, что deg𝑡 𝐶 ≤ 𝑛, и тем самым доказали теорему.

Сравнение границ для 𝑛,𝑀, 𝑑 -кодов

𝑑 𝑛

log2𝑀

𝑛

Что было и что будет

На лекции мы рассмотрели:

• Граница Плоткина

• Вложение метрических пространств

• Граница Элайеса—Бассалыго

В следующий раз:

• Линейные коды