1

Применение негладких функционалов

для решения задач оценивания

П.А. Акимов, А.И. Матасов

Лаборатория управления и навигации,механико-математический факультет

МГУ им. М.В. Ломоносова

2

Измерения

, kgkGqkFXkX )()()()1(

),()()( krkHXkz

Уравнения динамики в дискретном времени

Дискретная динамическая система

1.0 ,K,..k

Информация о начальном состоянии

),0(~)0()0(~ rXX

Характеристики точностей

ni~r ii ,...,1,)0(~

miRkr ii ,...,1,~)(

nrX R)0(~),0(~

Kkkrkz m ,...,0,)(),( R

ln kq, kX RR )( )(

,...,liQkq ii 1,~)(

Матрицы весовых коэффициентов (диагональные)

},...,{ 1 n diag

},...,{ 1 mRRR diag

},...,{ 1 lQQQ diag

3

Вариационная задача аппроксимации (задача сглаживания)

Проблема со смешанными нормами

при ограничениях

21 / ll

qX

K

k

K

k

kqQkXHkzRXXqXI ,

1

01

1

0

22

122

1 min||)(|| ||))( )((||||))0()0(~

(||),(

10 ,...,Kk, kgkGqkFXkX )()()()1( (1)

Специфика решения:

•варьирование весов

•рекуррентный алгоритм

Специфика решения:

•варьирование весов

•рекуррентный алгоритм

Специфика решения:

•варьирование весов

•рекуррентный алгоритм

Постановка задачи соответствует ситуации, когда возможны аномально большие значения погрешностей

Специфика задачи:

•наличие слагаемых двух типов: модули и квадраты невязок

•большое количество неизвестных –

•большое количество ограничений –

)(kqi

KlKn )1(

Kl

4

Вероятностная интерпретация

Погрешности в измерениях и динамике – независимые случайные величины с нулевым математическим ожиданием и заданной дисперсией:

)( ),0(~ krr ii

,...,ljQ

y

Qyp

jj

qj 1 ),||

2exp(2

1)(

)(kqi распределены по закону Лапласа со средним квадр. отклонением

распределены по закону Гаусса со средним квадр. отклонением

,...,miR

x

Rxp

ii

ri 1 ),2

exp(2

1)(

2

2

Метод максимума апостериорной плотности приводит к задаче типа (1) с точностью до подстановки

22j

j

QQ

jQ

iR

5

Алгоритм весовых и временных рекурсий (I)

Два «вложенных» итерационных процесса

«Весовая» рекурсия: последовательность квадратических задач

))( )(())( )((

)(),()( 2

1))0()0(

~())0()0(

~(),,(

),,(min

0

2

1

0

22

,1

K

k

T

K

kW

TT

qXs

kXHkzRkXHkz

kqskQkqXXXXsqXJ

sqXJJ

1,...,0)()()()1( Kk, kgkGqkFXkX при ограничениях

Основная идея – аппроксимация модулей невязок в функционале

|),(|2

1

|),(|

)(

2

1|)(|

2

skqskq

kqkq i

i

ii

)},1(),...,,0(),,(),...,,0({),( )()( sKqsqsKXsXqX ss решение на предыдущей итерации

6

iii

iii

i

Wi

QskqQ

Qskqskq

QskQ

|),(| если ,/

|),(| если ,|),(|),(

2

1

2

Алгоритм весовых и временных рекурсий (II)

Весовые матрицы

1,...,0

)()()()1(

Kk

,kgkGqkFXkX

),,(minarg),(,

)1()1( sqXJqXqX

ss

при ограничениях приближения решения исходной проблемы

,...2,1,0)()( },{ s

ss qX

Последовательность шагов

При малых невязках - регуляризация

ii Qskq |),(| параметр, характеристика малости невязок

|),(|

)(|)(|

2

skq

kqkq

i

ii

Замечание. Более распространенный способ аппроксимации модулей

в отличие от представленного здесь подхода, плохо приближает производную целевой функции

7

Алгоритм весовых и временных рекурсий (III)

«Временная» рекурсия: решение квадратических задач сглаживания.

Формулы Брайсона-Фрейзера

,...,KkkGskQskq

,...,K, kkkPkXskXT

W ,10),1(),()1,(

0),()()()1,(2

,...,KkHkHPRHkFPkK

PkKHkHPRkK

GskQGFkFPkP

XXkgkHXkzkKkFXkX

TTp

Tp

Tp

TW

T

p

,10 ,))(()()(

,)0( ),())()((

),( )()1(

),0(~

)0( ),())()()(()()1(

12

22

2

0)1( ,,...,0

)),()(())((

)1())(()(12

KKk

kHXkzHkHPRH

kHkKFkTT

Tp

)(),( kPkX из формул фильтра Калмана

)(k из рекуррентных формул в «обратном» времени

8

Алгоритм весовых и временных рекурсий (IV)

Структура алгоритма

Шагвычисление весовых матриц -построение функции

1s

),,( sqXJ

),,(minarg),(,

)1()1( sqXJqXqX

ss

Формулы Брайсона-Фрейзера

)(),( kPkX

)1(),1( kPkX

…

…

)1( k )(k… …

Критерий остановки

end0

Шаг 2sНет

Да

Приближенное решение найдено

9

Теорема. Пусть на текущей итерации получено решение

Тогда оценка уровня неоптимальности имеет вид

Уровни неоптимальности

Уровень неоптимальности текущей итерации

0

)1()1( ),(

I

qXI ss

0I минимальное значение целевого функционала

1s

Оценка уровня неоптимальности 0 ?0

Критерий остановки алгоритма end0

1

1

2

11

2

2

12

)1()1(00

1,min2

1,min),( ,

ss

sss JJ

JqXI

).,( )1()1( ss qX

K

k

KiW

skXHkzRsXX

siqsiQQ

0

22

122

12

1,...,02

||))1,( )((||||))1,0()0(~

(||

}||)1,( ),( || max{

10

1

0

2

0

20

20

1

000

,

1

)(),()()()(4

1

)()1( )()()0(~

max

K

kqW

Tq

K

kz

Tz

T

K

k

TK

k

Tz

Ts

kskQkkRk

kgkkzkXJ

Идея доказательства теоремы (I)

Проблема, двойственная к задаче со смешанными нормами, имеет вид

при ограничениях

K

kz

Tz

T

K

k

TK

k

Tz

T

kRk

kgkkzkXI

0

20

20

1

000

,

0

)()(4

1

)()1( )()()0(~

max

KkkkG

kHkFk

HF

qT

zTT

zTT

,...,1 ,0)1()(

,0)()1()(

0)0()1( 0

(2) 1,...,0

,1||)(||

Ki

iQ q

Проблема, двойственная к задаче аппроксимации, имеет вид

при ограничениях (2)

2l

(4)

(3)

11

Идея доказательства теоремы (II)

Соотношения двойственности1

10

0 , s

s JJII

K

kz

Tz

T

K

k

TK

k

Tz

T

kRk

kgkkzkXII

0

20

20

1

000

),(),(

00

)()(4

1

)()1( )()()0(~

max**

Оценка снизу при ограничении (3):0I

),( ** Решение проблемы (4) -

.0)1( ,0)()1()( ),1,(),()(

,,..,0 )),1,( )((2)(

)),1,0()0(~

(2

****2*

2*

2*0

KkHkFkskqskQk

KkskXHkzRk

sXX

zTT

Wq

z

K

kz

Tz

T

K

k

TK

k

Tz

T

kRk

kgkkzkX

0

*2**0

2*0

2

1

0

*

0

**0

)3(,

)()(4

)()1( )()()0(~

max

12

1

2

11

2

2

12

)1()1( 1,min2

1,min),(

ss

sss JJ

JqXI

0

)1()1( ),(

I

qXI ss

Идея доказательства теоремы (III)

1,min2

1,min)2(max

2

11

2

2

121

22

|:|

00 1

ss

ss

JJ

JJII

13

Численный пример

Дискретная динамическая система

1,...,1 ),()(10

04.01)1(

2

1

2

1

2

1

Kkk

q

qk

x

xk

x

x

Измерения и априорная информация

,,...,0 ),()()( 1 Kkkrkxkz )0 ,0()0(~ TX

3 ),5.0 ,1(diag ),1 ,10(diag RQ

Весовые матрицы

K=3600.

Неизвестных параметров 14389

Компонент векторов невязок в функционале 10800

Скачок в компоненте )(2 kx

14

Методы численного решения

аппроксимация, метод весовых и временных рекурсий, решение найдено за 943 с

аппроксимация, метод весовых и временных рекурсий, решение найдено за 80 с

аппроксимация, рекуррентный алгоритм сглаживания, R увеличен в 10 раз, решение найдено за 0.6 с

аппроксимация, рекуррентный алгоритм сглаживания, R увеличен в 50 раз, решение найдено за 0.6 с

Результаты оценивания

2l

1l

2l

21 / ll

1400 1600 1800 2000 2200 2400 2600 2800 3000

-4

-3

-2

-1

0

1

kx 2

Original signal

l1-norm approximation

l2-norm approximation 10xR

l2-norm approximation 50xR

l1/l

2-norm approximation

2000 2100 2200 2300 2400 2500-5

0

5

10

15

20

25

k

x 1

Original signal

l1-norm approximation

l2-norm approximation 10xR

l2-norm approximation 50xR

l1/l

2-norm approximation

15

Уровни неоптимальности

100 200 300 400 500 600 700

0

1

2

3

4

5

6

Number of Iteration

Non

optim

ality

Lev

el,

0-1

l1-norm approximation

l1/l

2-norm approximation

3

6

101

10

end

Параметры метода весовых и временных рекурсий

Существенная экономия вычислительных ресурсов при использовании проблемы со смешанными нормами

16

Два способа перехода к аппроксимирующим задачам

|),(|

)(|)(|

2

skq

kqkq

i

ii |),(|

2

1

|),(|

)(

2

1|)(|

2

skqskq

kqkq i

i

ii

Классический способ аппроксимации (метод Вейсфельда)

Улучшенный способ аппроксимации

Разные решения двойственной задачи (4)

)1,(),()( 2* skqskQk Wq)1,(),(2)( 2* skqskQk Wq

На «поздних» итерациях, вблизи оптимального решения исходной задачи

2|~)(| * kqi 1|~)(| * kqiточнее удовлетворяет условию

1,...,0 ,1||)(|| KkkQ q

...)(),()( ),,(1

0

2

K

kW

T kqskQkqsqXJ ...)(),()( 2

1),,(

1

0

2

K

kW

T kqskQkqsqXJ

Точнее оценивается уровень неоптимальности

17

Численное сравнение двух способов перехода к аппроксимирующим задачам

1400 1600 1800 2000 2200 2400 2600 2800 3000

-4

-3

-2

-1

0

1

k

x 2

Original signall1/l

2-norm approximation (a)

l1/l

2-norm approximation (b)

0 100 200 300 400 500 6000

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Number of Iteration

Non

optim

ality

Lev

el,

0-1

l1/l

2-norm approximation (a)

l1/l

2-norm approximation (b)

Некорректная оценка уровня неоптимальности, однако различие в решениях незначительно.

18

1. Предложен метод весовых и временных рекурсий для проблемы аппроксимации со смешанными номами в динамических задачах оценивания. Он является обобщением алгоритма Вейсфельда на случай динамических систем и существенно использует:

- переход к вспомогательным квадратическим задачам;

- рекуррентные соотношения между оценками векторов состояния в проблемах

сглаживания.

2. При помощи теории двойственности выпуклых вариационных задач построены оценки уровней неоптимальности, которые учитывают динамический характер рассматриваемых систем и «смешанный» характер функционалов.

3. Численные эксперименты показали возможность эффективного решения

динамических проблем аппроксимации большой размерности (с несколькими десятками тысяч переменных).

Заключение

21 / ll

2l

19

[1] Мудров В.И., Кушко В.Л. Методы обработки измерений: квазиправдоподобные оценки. – М.: Радио и связь, 1983.

[2] Bloomfield P., Steiger W.L. Least Absolute Deviations: Theory, Applications, and Algorithms. – Boston-Basel-Stuttgart: Birkhauser, 1983.

[3] Алексеев В.М., Тихомиров В.М., Фомин С.В. Оптимальное управление. – М.: Физматлит, 2005. [4] T. Kailath, A. H. Sayed, and B. Hassibi. Linear Estimation. New Jersey: Prentice Hall, 2000.

[5] Акимов П.А., Деревянкин А.В., Матасов А.И.. Гарантирующий подход и аппроксимация в задачах оценивания параметров БИНС при стендовых испытаниях. - М.: Изд-во МГУ, 2012.

[6] P. A. Akimov and A. I. Matasov. Recursive estimation algorithm for norm approximation in dynamic systems with nonoptimality levels. Proc. European Control Conference, 2013.

[6] B. Wahlberg, S. Boyd, M. Annergren and Y. Wang. An ADMM algorithm for a class of total variation regularized estimation problems. Proc. 16th IFAC Symposium on System Identification, 2012

[7] M.A.T. Figueiredo. Lecture Notes on the EM Algorithm. Lisboa Instituto Superior Archive, 2008

Литература

1l

1l