Download pdf - Приближенное решение задач комбинаторной оптимизации: алгоритмы и трудность, осень 2016: Теорема Хостада

Приближенное решениезадач комбинаторной оптимизации:

алгоритмы и трудностьЛекция 9: Теорема Хостада

М. Вялый

Вычислительный центрим. А.А.Дородницына

ФИЦ ИУ РАН

Санкт-Петербург, Computer Science Club, 2016

М. Вялый (ВЦ ФИЦ ИУ РАН) Лекция 9: теорема Хостада СПб, CSclub, 2016 1 / 26

Теорема Хостада: формулировка

Задача MAX-3LINДано: система линейных уравнений над полем F2, в каждое

уравнение входит три неизвестных.Найти: максимальное количество уравнений, которые

обращаются в равенство при некоторых значенияхпеременных.

НаблюдениеВероятность обращения в 0 линейной функции на случайном наборепеременных 1/2.Отсюда приближённый алгоритм для MAX-3LIN с точностью 1/2.

Теорема ХостадаДля любого ε > 0 задача со щелью MAX-3LIN(1− ε, 1/2 + ε) являетсяNP-трудной.























ЗамечаниеMAX-3LIN(1, δ) ∈ P.

Напоминание: тест Хостада

Тест Хостада с параметром δ: чтение 3 битов1 Выбрать независимо x , y ∈ Fn

2 по равномерному распределению.2 Выбрать z по распределению Nρ(y), ρ = 1− 2δ.3 Запросить значения функции f в точках x , y , x + z .4 Ответить «да», если f (x) + f (y) = f (x + z). В противном случае

ответить «нет».

НаблюдениеВ тесте проверяются линейные условия на три переменные. Поэтомуего можно конвертировать в сводимостьMAX-LCk(1, η) 6p MAX-3LIN(1− α, 1/2 + α).


Напоминание: тест Хостада

Тест Хостада с параметром δ: чтение 3 битов1 Выбрать независимо x , y ∈ Fn

2 по равномерному распределению.2 Выбрать z по распределению Nρ(y), ρ = 1− 2δ.3 Запросить значения функции f в точках x , y , x + z .4 Ответить «да», если f (x) + f (y) = f (x + z). В противном случае

ответить «нет».

НаблюдениеВ тесте проверяются линейные условия на три переменные. Поэтомуего можно конвертировать в сводимостьMAX-LCk(1, η) 6p MAX-3LIN(1− α, 1/2 + α).


PCP алгоритм для MAX-LCk(1, η): формат данных

Пусть есть граф G (V ,E , [k], f ) с функциональными ограничениями.Кодируем σ(v) ∈ [k] длинным кодом с одним уточнением.Диктатор Xi : (x1, . . . , xk) 7→ xi — самодвойственная функция:

¬Xi (x1, . . . , xk) = Xi (¬x1, . . . ,¬xk).

Поэтому достаточно задать лишь половину таблицы значенийфункции, значения второй половины восстанавливаются посамодвойственности. При этом используются линейные выражения:

1 + Xi (x1, . . . , xk) = Xi (1 + x1, . . . , 1 + xk)

по модулю 2.

Вид «доказательства» для PCP алгоритмаНабор половинных таблиц самодвойственных булевых функцийTv : {0, 1}Σ → {0, 1}, v ∈ V .


PCP алгоритм A для MAX-LCk(1, η)

Действия Проверяющего1 Выбирает случайное ребро (u, v) ∈ E (G ).2 Запрашивает три значения булевых функций Tu и Tv .3 Проверяет линейное условие на эти значения.

Если таблицы— длинные коды присваиваний и f (σ(u)) = σ(v), то

Tv (x) = Tu(f (x)), где f (x)j = xf (j), j ∈ [k].

Проверка в тесте Хостада заменяется на

Tu(x) + Tv (y) = Tu(x + z), x , y ← U; z ← Nρ(f (y))

(если значений нет в таблице, они восстанавливаются посамодвойственности, всё равно получается линейное уравнение на трипеременные).


















Лёгкий случай

УтверждениеЕсли unsatG = 0, существует такой набор таблиц, что алгоритм A наэтом сертификате даёт ответ «да» с вероятностью 1− δ.

Аналогично тесту Хостада для диктаторов. Используем таблицыдлинных кодов присваивания π : Σ→ V , которое выполняет всеограничения.Для таких таблиц выполнено

Tu(x) = xπ(u), π(v) = f (π(u)) для всех (uv) ∈ E .

Для переменных теста имеем

Tu(x) = xπ(u), Tv (y) = yπ(v), π(v) = f (π(u)).

Условие теста принимает вид

xπ(u) + yf (π(u)) = xπ(u) + zπ(u) ⇔ yf (π(u)) = zπ(u),

что по построению выполняется с вероятностью 12(1 + ρ) = 1− δ.










































Трудный случай

Лемма о трудном случаеПусть алгоритм A с параметром δ < 1/2 дает ответ «да» свероятностью больше 1/2 + ε на каком-то наборе таблиц.Тогда для исходного графа ограничений существует присваивание,которое выполняет не менее δε2 долю ограничений.

Выбор присваивания1 выбираем непустое подмножество ∅ ⊂ S ⊆ Σ с вероятностью

Tv (S)2

(в силу равенства Парсеваля коэффициенты Фурье задаютвероятностное распределение;поскольку таблица задаёт самодвойственную функцию,Tv (∅) = 0);

2 выбираем j ∈ S случайно и равновероятно;3 полагаем π(v) = j .





Tv (S)2







Tv (S)2







Tv (S)2







Tv (S)2




План доказательства леммы о трудном случае

Оценка вероятности выполнения ограничения на ребреПусть алгоритм A даёт ответ «да» на таблицах A = Tu, B = Tv свероятностью 1/2 + εuv . Тогда вероятность выполнения ограничения fпри указанном выборе присваивания π не меньше δε2uv .

Доказательство этой оценки в духе доказательства теоремы о хунтах итесте Хостада.

Завершение доказательства леммы о трудном случаеИз оценки вероятности выполнения ограничения на ребре инеравенства между средним квадратичным и среднимарифметическим получаем, что матожидание доли выполненныхограничений не меньше

E(uv)∈E

[δε2uv ] > δ

(E

(uv)∈E[εuv ]

)2

= δε2.


План доказательства леммы о трудном случае

Оценка вероятности выполнения ограничения на ребреПусть алгоритм A даёт ответ «да» на таблицах A = Tu, B = Tv свероятностью 1/2 + εuv . Тогда вероятность выполнения ограничения fпри указанном выборе присваивания π не меньше δε2uv .

Доказательство этой оценки в духе доказательства теоремы о хунтах итесте Хостада.

Завершение доказательства леммы о трудном случаеИз оценки вероятности выполнения ограничения на ребре инеравенства между средним квадратичным и среднимарифметическим получаем, что матожидание доли выполненныхограничений не меньше

E(uv)∈E

[δε2uv ] > δ

(E

(uv)∈E[εuv ]

)2

= δε2.


Вероятность выполнения ограничения на ребре

S

f

i ∈ fodd(S)

fodd(S)

«Нечётный образ» множества

f odd(S) ={i :∣∣f −1(i) ∩ S

∣∣ нечетно},S ⊆ Σ.

Оценка вероятности в терминах нечётного образа

Pr[f (π(u)) = π(v)] >∑S 6=∅

1|S |

A(S)2B(f odd(S))2

(Обозначения A = Tu, B = Tv .)


Вероятность выполнения ограничения на ребре

S

f

i ∈ fodd(S)

fodd(S)

«Нечётный образ» множества

f odd(S) ={i :∣∣f −1(i) ∩ S

∣∣ нечетно},S ⊆ Σ.

Оценка вероятности в терминах нечётного образа

Pr[f (π(u)) = π(v)] >∑S 6=∅

1|S |

A(S)2B(f odd(S))2

(Обозначения A = Tu, B = Tv .)


Оценка в терминах нечётного образа

Утверждение

Pr[f (π(u)) = π(v)] >∑S 6=∅

1|S |

A(S)2B(f odd(S))2

1 S выбирается с вероятностью A(S)2.2 Вероятность выбрать множество f odd(S) для таблицы B

равна B(f odd(S))2.3 При таком выборе вероятность выполнения ограничения не

меньше 1/|S |.Для любого i ∈ f odd(S) по определению найдется хотя бы одноj ∈ S такое, что f (j) = i . Значит, вероятность при условии выбораS для таблицы A и f odd(S) для таблицы B не меньше∑

j∈S

1|S |

∑i∈f odd(S)

1|f odd(S)|

=1|S |

.




Pr[f (π(u)) = π(v)] >∑S 6=∅

1|S |

A(S)2B(f odd(S))2




j∈S

1|S |

∑i∈f odd(S)

1|f odd(S)|

=1|S |

.




Pr[f (π(u)) = π(v)] >∑S 6=∅

1|S |

A(S)2B(f odd(S))2




j∈S

1|S |

∑i∈f odd(S)

1|f odd(S)|

=1|S |

.




Pr[f (π(u)) = π(v)] >∑S 6=∅

1|S |

A(S)2B(f odd(S))2




j∈S

1|S |

∑i∈f odd(S)

1|f odd(S)|

=1|S |

.


«Нечётный образ» множества и характеры

Лемма

χS(f (x)) = χf odd(S)(x) (напоминание: f (x)j = xf (j)).

Проверка

χS(f (x)) =∏j∈S

f (x)j =∏j∈S

xf (j) =∏

i∈f odd(S)

xi = χf odd(S)(x),

Третье равенство: в силу x2 = 1 вклад в произведение тех xi , длякоторых |f −1(i) ∩ S | чётно, равен 1.



Лемма


Проверка


f (x)j =∏j∈S

xf (j) =∏

i∈f odd(S)

xi = χf odd(S)(x),




Лемма


Проверка


f (x)j =∏j∈S

xf (j) =∏

i∈f odd(S)

xi = χf odd(S)(x),



Оценка положительного ответа в тесте

ЛеммаПусть A, B проходят тест с вероятностью > 1/2 + ξ. Тогда∑

S 6=∅

A(S)2B(f odd(S))(1− 2δ)|S | > 2ξ.

Доказательство аналогично анализу теста Хостада для хунт.Начало стандартное. Вероятность ответа «да»

Pr[A(x)B(y) = A(x + z)] > 1/2 + ξ,

что равносильноE[A(x)B(y)A(x + z)] > 2ξ.


Оценка положительного ответа в тесте

ЛеммаПусть A, B проходят тест с вероятностью > 1/2 + ξ. Тогда∑

S 6=∅

A(S)2B(f odd(S))(1− 2δ)|S | > 2ξ.

Доказательство аналогично анализу теста Хостада для хунт.Начало стандартное. Вероятность ответа «да»

Pr[A(x)B(y) = A(x + z)] > 1/2 + ξ,

что равносильноE[A(x)B(y)A(x + z)] > 2ξ.


Доказательство оценки для теста

z = f (y) + w , где w ← Bδ (распределение Бернулли с параметром δ)Подставим и разложим по характерам:

Ex ,y ,w

[A(x)B(y)A(x + f (y) + w)] =

= Ex ,y ,w

[(∑S

A(S)χS(x))(∑

U

B(U)χU(y))×

×(∑

T

A(T )χT (x + f (y) + w)))]

=

=∑S ,U,T

A(S)B(U)A(T ) Ex

[χS(x)χT (x)] Ey

[χU(y)χT (f (y))] Ew

[χT (w)] =

=∑S,U

A(S)2B(U) Ey

[χU(y)χS(f (y))] Ew

[χS(w)] > 2ξ.




Ex ,y ,w

[A(x)B(y)A(x + f (y) + w)] =

= Ex ,y ,w

[(∑S

A(S)χS(x))(∑

U

B(U)χU(y))×

×(∑

T

A(T )χT (x + f (y) + w)))]

=

=∑S,U,T

A(S)B(U)A(T ) Ex

[χS(x)χT (x)] Ey


[χT (w)] =

=∑S,U

A(S)2B(U) Ey


[χS(w)] > 2ξ.


ПреобразованиеПерестановка слагаемых и мультипликативность характеровξS(x + y) = χS(x) · χS(y).



Ex ,y ,w

[A(x)B(y)A(x + f (y) + w)] =

= Ex ,y ,w

[(∑S

A(S)χS(x))(∑

U

B(U)χU(y))×

×(∑

T

A(T )χT (x + f (y) + w)))]

=

=∑S,U,T

A(S)B(U)A(T ) Ex

[χS(x)χT (x)] Ey


[χT (w)] =

=∑S,U

A(S)2B(U) Ey


[χS(w)] > 2ξ.


Ортогональность характеров

Доказательство оценки для теста (окончание)

=∑S ,U

A(S)2B(U) Ey


[χS(w)] =

=∑S ,U

A(S)2B(U) Ey

[χU(y)χf odd(S)(y)] Ew

[χS(w)] =

=∑S

A(S)2B(f odd(S)) Ew

[χS(w)] =

=∑S

A(S)2B(f odd(S))(1− 2δ)|S| > 2ξ



=∑S ,U

A(S)2B(U) Ey


[χS(w)] =

=∑S ,U

A(S)2B(U) Ey


[χS(w)] =

=∑S

A(S)2B(f odd(S)) Ew

[χS(w)] =

=∑S

A(S)2B(f odd(S))(1− 2δ)|S| > 2ξ

Характеры и «нечётный образ»: перестановочность



=∑S ,U

A(S)2B(U) Ey


[χS(w)] =

=∑S ,U

A(S)2B(U) Ey


[χS(w)] =

=∑S

A(S)2B(f odd(S)) Ew

[χS(w)] =

=∑S

A(S)2B(f odd(S))(1− 2δ)|S| > 2ξ

Ортогональность характеров



=∑S ,U

A(S)2B(U) Ey


[χS(w)] =

=∑S ,U

A(S)2B(U) Ey


[χS(w)] =

=∑S

A(S)2B(f odd(S)) Ew

[χS(w)] =

=∑S

A(S)2B(f odd(S))(1− 2δ)|S| > 2ξ

Усреднение характера по распределению БернуллиE[wi ] = (1− δ) · 1 + δ · (−1) = 1− 2δ для каждой из |S | переменных.


Собираем вместе оценки

Оценка вероятности

Pr[f (π(u)) = π(v)] >∑S 6=∅

1|S |

A(S)2B(f odd(S))2

Оценка для тестаПусть A, B проходят тест с вероятностью > 1/2 + ξ. Тогда∑

S 6=∅

A(S)2B(f odd(S))(1− 2δ)|S | > 2ξ.

Хотим вывести:

Pr[f (π(u)) = π(v)] >∑S 6=∅

1|S |

A(S)2B(f odd(S))2 > δξ2


Вывод неравенства

Используем неравенство

(1− 2δ)|S| 62√δ|S |

при δ < 1/2

(доказательство элементарное и техническое)в оценке для теста

2ξ 6∑S 6=∅

A(S)2B(f odd(S))(1− 2δ)|S | 6∑S 6=∅

A(S)2B(f odd(S))2√δ|S |

Теперь Коши – Буняковский – Шварц к правой части

ξ 6(∑

S 6=∅

A(S)2)1/2(∑

S 6=∅

A(S)2B(f odd(S))2 1δ|S |

)1/2.




(1− 2δ)|S| 62√δ|S |

при δ < 1/2


2ξ 6∑S 6=∅

A(S)2B(f odd(S))(1− 2δ)|S | 6∑S 6=∅



ξ 6(∑

S 6=∅

A(S)2)1/2(∑

S 6=∅


)1/2.




(1− 2δ)|S| 62√δ|S |

при δ < 1/2


2ξ 6∑S 6=∅

A(S)2B(f odd(S))(1− 2δ)|S | 6∑S 6=∅



ξ 6(∑

S 6=∅

A(S)2)1/2(∑

S 6=∅


)1/2.


Вывод неравенства (окончание)

Получили

ξ 6(∑

S 6=∅

A(S)2)1/2(∑

S 6=∅


)1/2.

Осталось возвести в квадрат и воспользоваться неравенствомПарсеваля, а также самодвойственностью функции, задаваемойтаблицей A:

δξ2 6∑S 6=∅

A(S)2B(f odd(S))2 1|S |

6 Pr[f (π(u)) = π(v)],

что и требовалось.


Сводимость к взвешенной MAX-3LIN

Выберем η < ε3. Пусть G (V ,E , [k], f ) — граф ограничений в задачеMAX-LCk(1, η).По PCP алгоритму A с параметром теста δ = ε строим взвешеннуюсистему линейных уравнений. Вес — вероятность появления уравненияв проверке теста.Из анализа теста получаем:

(лёгкий случай) Если все ограничения в G выполнены нанекотором присваивании, то для некоторого набора значенийпеременных (таблицы длинных кодов) обращается в равенстводоля > 1− ε уравнений (с учётом весов).(трудный случай) Если на любом присваивании долявыполненных ограничений 6 η, то доля выполненных уравнений(вероятность ответа «да») не выше 1/2 + ε.

Построили сводимость MAX-LCk(1, η) 6p MAX-3-LIN(1− ε, 1/2 + ε).Но задача взвешенная: вероятности разных проверок могутразличаться.М. Вялый (ВЦ ФИЦ ИУ РАН) Лекция 9: теорема Хостада СПб, CSclub, 2016 18 / 26













Сводимость к обычной MAX-3LIN (идея)

Усилим параметры: η < ε3/8, δ = ε/2.Запас в щели используем, чтобы приблизить вероятностирациональными числами и записать систему уравнений, в которойкаждое уравнение повторяется пропорционально вероятности егопоявления в тесте.

ЗадачаРеализовать эту идею и построить сводимость

MAX-LCk(1, η) 6p MAX-3-LIN(1− ε, 1/2 + ε)

при η < ε3/8 (задача справа невзвешенная).


Сводимость к обычной MAX-3LIN (идея)

Усилим параметры: η < ε3/8, δ = ε/2.Запас в щели используем, чтобы приблизить вероятностирациональными числами и записать систему уравнений, в которойкаждое уравнение повторяется пропорционально вероятности егопоявления в тесте.

ЗадачаРеализовать эту идею и построить сводимость

MAX-LCk(1, η) 6p MAX-3-LIN(1− ε, 1/2 + ε)

при η < ε3/8 (задача справа невзвешенная).


Оптимальная точность приближения для MAX-3SAT

ТеоремаДля любого ε > 0 задача MAX-3SAT(1− 4ε, 7/8 + ε) является NP-трудной.

ДоказательствоУравнение x + y + z = a равносильно 3КНФ с 4 дизъюнктами.Сводимость MAX-3LIN(1− 4ε, 1/2 + 4ε) 6p MAX-3SAT(1− 4ε, 7/8 + ε).Каждое уравнение заменим на 3КНФ с 4 дизъюнктами, пусть C —конъюнкция этих КНФ.Если в системе уравнений выполнено > 1− 4ε доли уравнений, то в Cтакже выполнено > 1− 4ε доли дизъюнктов.Если в системе нельзя выполнить долю 1/2 + 4ε уравнений, то в КНФC доля выполненных дизъюнктов не более

1− (12− 4ε) · 1

4=

78

+ ε.





1− (12− 4ε) · 1

4=

78

+ ε.





1− (12− 4ε) · 1

4=

78

+ ε.





1− (12− 4ε) · 1

4=

78

+ ε.





1− (12− 4ε) · 1

4=

78

+ ε.


Трудность приближения для MAX-CUT

ТеоремаПри любом ε > 0 существование приближенного полиномиальногоалгоритма решения задачи MAX-CUT (взвешенной) с точностью16/17 + ε влечет P = NP.


Трудность приближения для MAX-CUT

ТеоремаПри любом ε > 0 существование приближенного полиномиальногоалгоритма решения задачи MAX-CUT (взвешенной) с точностью16/17 + ε влечет P = NP.

0

x1

x2

x3

Гаджет G8 для x1 + x2 + x3 = 0

x1

x2

x3

02



Свойства 8-гаджета

Разрез в графе— булевы значения для вершин. У вершин в одной долесо специальной вершиной 0 значение 0. У остальных значение 1.

0

x1

x2

x3


УтверждениеЗафиксируем значения длявершин x1, x2, x3 графа G8 так,что x1 + x2 + x3 = 0. Тогдамаксимальный вес разрезовграфа G8 с предписаннымизначениями вершин равенα0 = 16.Если зафиксировать значениятак, что x1 + x2 + x3 = 1, томаксимальный вес согласованныхразрезов равен 14 = α0 − 2.


Свойства 9-гаджета

Разрез в графе— булевы значения для вершин. У вершин в одной долесо специальной вершиной 0 значение 0. У остальных значение 1.

x1

x2

x3

02


УтверждениеЗафиксируем значения длявершин x1, x2, x3 графа G9 так,что x1 + x2 + x3 = 1. Тогдамаксимальный вес согласованныхс этими значениями разрезовграфа G9 равен α1 = 18.Если зафиксировать значениятак, что x1 + x2 + x3 = 0, томаксимальный вес согласованныхразрезов равен 16 = α1 − 2.


Сводимость

Рассмотрим систему уравнений по модулю 2, в каждое входит ровнотри переменные.Если в правых частях уравнений больше половины единиц,инвертируем переменные. Это не изменит размера максимальнойсовместной подсистемы, но доля единиц в правых частях уравненийстанет не больше 1/2.Построим граф G : каждому уравнению отвечает свой гаджет G8 илиG9, в зависимости от бита правой части. Склеим специальныевершины 0 во всех гаджетах и все вершины, отвечающие одной и тойже переменной.








Анализ сводимости

Обозначим p0 > 1/2 долю уравнений, правая часть которых равна 0;p1 = 1− p0; α = α0p0 + α1p1 = 16p0 + 18p1.Пусть можно выполнить долю w0 уравнений с правой частью 0 и долюw1 уравнений с правой частью 1, причём w0 + w1 > 1− ν. Из свойствгаджетов получаем в графе G разрез веса

α0w0 + (α0 − 2)(p0 − w0) + α1w1 + (α1 − 2)(p1 − w1) =

=α0p0 + α1p1 − 2 + 2(w0 + w1) > α− 2ν.

Если всегда w0 + w1 6 1/2 + ν, то вес любого разреза не больше

α0p0 + α1p1 − 2 + 2(w0 + w1) = α− 1 + 2ν.

НаблюдениеПоскольку α = α0p0 + α1p1 и p0 > 1/2, то

1− 1α

6 1− 1(α0 + α1)/2

= 1− 216 + 18

=1617

.




α0w0 + (α0 − 2)(p0 − w0) + α1w1 + (α1 − 2)(p1 − w1) =

=α0p0 + α1p1 − 2 + 2(w0 + w1) > α− 2ν.


α0p0 + α1p1 − 2 + 2(w0 + w1) = α− 1 + 2ν.


1− 1α

6 1− 1(α0 + α1)/2

= 1− 216 + 18

=1617

.




α0w0 + (α0 − 2)(p0 − w0) + α1w1 + (α1 − 2)(p1 − w1) =

=α0p0 + α1p1 − 2 + 2(w0 + w1) > α− 2ν.


α0p0 + α1p1 − 2 + 2(w0 + w1) = α− 1 + 2ν.


1− 1α

6 1− 1(α0 + α1)/2

= 1− 216 + 18

=1617

.


Трудность приближения MAX-CUT

Пусть есть полиномиальный алгоритм для MAX-CUT с точностью16/17 + ε.Подберем по ε такое ν > 0, что

α− 1 + 2να− 2ν

<1617

+ ε

(возможно, так как 1− 1/α 6 16/17).Тогда приближенный алгоритм для MAX-CUT на графе гаджетовразличает случаи w0 + w1 > 1− ν и w0 + w1 6 1/2 + ν.Получаем полиномиальный алгоритм для NP-трудной задачиMAX-3LIN(1− ν, 1/2 + ν).




α− 1 + 2να− 2ν

<1617

+ ε





α− 1 + 2να− 2ν

<1617

+ ε

