Upload
dinhhanh
View
223
Download
2
Embed Size (px)
Citation preview
INSTYTUT INFORMATYKI, AUTOMATYKI i ROBOTYKIPOLITECHNIKI WROC÷AWSKIEJRaport serii: PREPRINTY nr 5/2008
PARAMETRYCZNO�NIEPARAMETRYCZNAIDENTYFIKACJA SYSTEMÓW WIENERA
(rozprawa doktorska)
mgr in·z. Pawe÷Wachel
Promotor: prof. dr hab. in·z. Zygmunt Hasiewicz
S÷owa kluczowe:
�identy�kacja systemów z÷o·zonych
�systemy nieliniowe
�systemy Wienera
�identy�kacja parametryczna
�identy�kacja nieparametryczna
Rozprawa powsta÷a cz¾esciowo w ramach wspó÷pracyz dr. hab. in·z. Miros÷awem Pawlakiem, profesoremUniwersytetu Manitoby, Winnipeg, Kanada.
WROC÷AW 2008
Spis tresci
Spis rysunków v
Wykaz wa·zniejszych oznaczen vii
Wst¾ep ix
1 Wprowadzenie �systemy Wienera i ich zastosowania 1
1.1 Koncepcja systemów blokowo-zorientowanych . . . . . . . . . . . . . . . . . 1
1.2 Systemy Wienera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 W÷asnosci aproksymacyjne systemów Hammersteina i Wienera . . . . . . . 7
1.3.1 Aproksymacja dynamicznych systemów nieliniowych za pomoc ¾asystemów Wienera . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Przyk÷ady zastosowan praktycznych . . . . . . . . . . . . . . . . . . . . . . 9
1.4.1 Kompensacja zniekszta÷cen nieliniowych w systemach modulacjisygna÷ów typu OFDM . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.4.2 Proces neutralizacji pH . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.4.3 Inne zastosowania . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.5 Systemy Wienera � podsumowanie zastosowan praktycznych i w÷asnosciteoretycznych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.6 Okreslenie zakresu tematycznego pracy . . . . . . . . . . . . . . . . . . . . . 11
2 Parametryczno�nieparametryczna identy�kacja systemówWienera. Tezai cele pracy 12
2.1 Parametryczna i nieparametryczna identy�kacja systemów . . . . . . . . . . 12
2.1.1 Metody parametryczne . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.2 Metody nieparametryczne . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1.3 Metody parametryczno�nieparametryczne . . . . . . . . . . . . . . . 15
2.2 Aktualny stan badan na temat identy�kacji systemów Wienera . . . . . . . 15
2.2.1 Parametryczna identy�kacja systemów Wienera . . . . . . . . . . . . 16
2.2.2 Nieparametryczna identy�kacja systemów Wienera . . . . . . . . . . 17
2.3 Ogólna charakterystyka proponowanych metod identy�kacji . . . . . . . . . 19
2.3.1 Idea dwuetapowej parametryczno�nieparametrycznej identy�kacjisystemów Wienera . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.4 Teza pracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.5 Cele pracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
i
Spis tresci ii
2.6 Podstawowe za÷o·zenia oraz klasy�kacja zadan . . . . . . . . . . . . . . . . . 21
2.6.1 Za÷o·zenia ogólne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.6.2 Klasy�kacja zadan . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3 Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 23
3.1 Sformu÷owanie problemu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2 Identy�kacja podsystemu dynamicznego metod ¾a korelacyjn ¾a . . . . . . . . . 23
3.2.1 Konstrukcja estymatora podsystemu dynamicznego . . . . . . . . . . 25
3.3 Estymacja sygna÷u interakcyjnego . . . . . . . . . . . . . . . . . . . . . . . . 25
3.4 Nieparametryczna identy�kacja nieliniowosci . . . . . . . . . . . . . . . . . 26
3.5 W÷asnosci asymptotyczne algorytmu . . . . . . . . . . . . . . . . . . . . . . 26
3.5.1 Analiza zbie·znosci estymatora odpowiedzi impulsowej podsystemudynamicznego . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.5.2 Analiza zbie·znosci estymatora sygna÷u interakcyjnego . . . . . . . . 28
3.5.3 Analiza zbie·znosci estymatora charakterystyki nieliniowej . . . . . . 29
3.6 Podsumowanie wyników teoretycznych . . . . . . . . . . . . . . . . . . . . . 32
3.7 Wyniki badan eksperymentalnych . . . . . . . . . . . . . . . . . . . . . . . . 32
3.8 Podsumowanie i wnioski . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4 Identy�kacja systemów Wienera z wykorzystaniem metodynajmniejszych kwadratów 36
4.1 Sformu÷owanie problemu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.2 Parametryczna identy�kacja podsystemu dynamicznego z wykorzystaniemmetody najmniejszych kwadratów . . . . . . . . . . . . . . . . . . . . . . . 37
4.2.1 Koncepcja metody identy�kacji . . . . . . . . . . . . . . . . . . . . . 37
4.2.2 Konstrukcja pilotowego estymatora charakterystyki nieliniowej . . . 38
4.3 Estymacja sygna÷u interakcyjnego . . . . . . . . . . . . . . . . . . . . . . . . 39
4.4 Nieparametryczna identy�kacja charakterystyki nieliniowej . . . . . . . . . . 40
4.5 W÷asnosci asymptotyczne algorytmu . . . . . . . . . . . . . . . . . . . . . . 40
4.5.1 Analiza zbie·znosci estymatora odpowiedzi impulsowej podsystemudynamicznego . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.5.2 Analiza zbie·znosci estymatora sygna÷u interakcyjnego . . . . . . . . 41
4.5.3 Analiza zbie·znosci estymatora charakterystyki nieliniowej . . . . . . 41
4.6 Identy�kacja systemów Wienera z wykorzystaniem korelacji rangowej . . . . 42
4.6.1 Parametryczna identy�kacja podsystemu dynamicznego z wykorzy-staniem korelacji rangowej . . . . . . . . . . . . . . . . . . . . . . . . 43
4.6.2 Koncepcja metody identy�kacji . . . . . . . . . . . . . . . . . . . . . 43
4.6.3 Estymacja sygna÷u interakcyjnego oraz identy�kacja charakterystykinieliniowej . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.6.4 Dyskusja algorytmu w kontekscie podejscia wykorzystuj ¾acego kry-terium sredniokwadratowe . . . . . . . . . . . . . . . . . . . . . . . . 44
4.7 Podsumowanie wyników teoretycznych . . . . . . . . . . . . . . . . . . . . . 45
4.8 Wyniki badan eksperymentalnych . . . . . . . . . . . . . . . . . . . . . . . . 45
4.8.1 Identy�kacja z wykorzystaniem metody najmniejszych kwadratów . 46
Spis tresci iii
4.8.2 Identy�kacja z wykorzystaniem korelacji rangowej . . . . . . . . . . 46
4.9 Podsumowanie i wnioski . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
5 Identy�kacja systemów Wienera metod ¾a usrednionej pochodnej 52
5.1 Sformu÷owanie problemu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.2 Reprezentacja systemu Wienera za pomoc ¾a statycznego nieliniowego sys-temu typu MISO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.3 Idea metody usrednionej pochodnej . . . . . . . . . . . . . . . . . . . . . . . 54
5.4 Identy�kacja systemów Wienera w przypadku znanej g¾estosci praw-dopodobienstwa sygna÷u wejsciowego . . . . . . . . . . . . . . . . . . . . . . 55
5.4.1 Konstrukcja estymatora podsystemu dynamicznego . . . . . . . . . . 55
5.4.2 Estymacja sygna÷u interakcyjnego . . . . . . . . . . . . . . . . . . . 56
5.4.3 Nieparametryczna identy�kacja charakterystyki nieliniowej . . . . . 56
5.4.4 W÷asnosci asymptotyczne algorytmu . . . . . . . . . . . . . . . . . . 56
5.5 Zastosowanie metody usrednionej pochodnej w przypadku nieznanej g¾esto-sci prawdopodobienstwa sygna÷u wejsciowego . . . . . . . . . . . . . . . . . 60
5.5.1 Konstrukcja estymatora podsystemu dynamicznego . . . . . . . . . . 60
5.5.2 Estymacja sygna÷u interakcyjnego i charakterystyki nieliniowej . . . 61
5.5.3 W÷asnosci asymptotyczne algorytmu . . . . . . . . . . . . . . . . . . 62
5.6 Podsumowanie wyników teoretycznych . . . . . . . . . . . . . . . . . . . . . 63
5.7 Wyniki badan eksperymentalnych . . . . . . . . . . . . . . . . . . . . . . . . 64
5.7.1 Rezultaty eksperymentów w przypadku znanej g¾estosci praw-dopodobienstwa sygna÷u wejsciowego . . . . . . . . . . . . . . . . . . 65
5.7.2 Rezultaty eksperymentów w przypadku nieznanej g¾estosci praw-dopodobienstwa sygna÷u wejsciowego . . . . . . . . . . . . . . . . . . 66
5.8 Podsumowanie i wnioski . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
6 Porównanie opracowanych metod identy�kacji systemów Wienera 71
6.1 Opracowane metody identy�kacji, a metody parametryczne i nieparame-tryczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
6.2 Zakres stosowalnosci . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
6.3 W÷asnosci asymptotyczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
6.4 Numeryczna realizacja algorytmów . . . . . . . . . . . . . . . . . . . . . . . 74
7 Uwagi koncowe 75
7.1 Oryginalne wyniki naukowe przedstawione w pracy . . . . . . . . . . . . . . 75
7.2 Otwarte problemy badawcze . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
Dodatki: 77
A Uzupe÷nienia i dowody twierdzen 77
A.1 Uzupe÷nienia do rozdzia÷u 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
A.2 Uzupe÷nienia do rozdzia÷u 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
A.3 Uzupe÷nienia do rozdzia÷u 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
Spis tresci iv
B Wykorzystywane w pracy fakty z teorii prawdopodobienstwa i analizymatematycznej 87
B.1 Szybkosc zbie·znosci ci ¾agów zmiennych losowych . . . . . . . . . . . . . . . . 87
B.2 Wybrane w÷asnosci zmiennych losowych gaussowskich . . . . . . . . . . . . 88
B.3 Wybrane zagadnienia teorii ca÷ki i analizy matematycznej . . . . . . . . . . 89
B.4 Wykorzystywane nierównosci . . . . . . . . . . . . . . . . . . . . . . . . . . 89
Literatura 91
Spis rysunków
1.1 System jako obiekt identy�kacji . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Struktura systemów sandwich, Wienera i Hammersteina . . . . . . . . . . . 4
1.3 System Wienera z addytywnym sygna÷em zak÷ócaj ¾acym na wyjsciu podsys-temu dynamicznego . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 System Hammersteina . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.5 System Wienera z addytywnym sygna÷em zak÷ócaj ¾acym na wyjsciu systemu 6
1.6 System Wienera jako kaskadowe po÷¾aczenie liniowego podsystemu dynami-cznego typu SIMO z nieliniowym podsystemem statycznym typu MISO . . 8
1.7 Schemat prekompensacji zniekszta÷cen nieliniowych wprowadzanych przezwzmacniacz du·zej mocy w systemie OFDM . . . . . . . . . . . . . . . . . . 10
1.8 Proces neutralizacji Ph . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.1 Wykorzystane w symulacjach nieliniowosci g1, g2 i g3 . . . . . . . . . . . . . 33
3.2 Wartosci b÷¾edów estymacji Err(�Cr
N ;�) w funkcji liczby obserwacji wejsciai wyjscia systemu dla nieliniowosci g1; g2 i g3 . . . . . . . . . . . . . . . . . 35
3.3 Wartosci b÷¾edów estymacji MISE�gCrN ;�
�w funkcji liczby obserwacji
wejscia i wyjscia systemu dla nieliniowosci g1; g2 i g3 . . . . . . . . . . . . . 35
4.1 Wydzielenie ze zbioru obserwacji f(Xn; Yn)gNn=1 stochastycznie niezale·znychpodzbiorów T1 i T2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2 Wykorzystywane w eksperymentach numerycznych g¾estosci prawdopodo-bienstwa fX;1, fX;2 i fX;3 sygna÷u wejsciowego fXng . . . . . . . . . . . . . 45
4.3 B÷¾edy estymacji Err(�LS
N ; 1) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;1 . . . 48
4.4 B÷¾edy estymacjiMISE�gLSN ; 1
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;1 . . . 48
4.5 B÷¾edy estymacji Err(�LS
N ; 1) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;2 . . . 48
4.6 B÷¾edy estymacjiMISE�gLSN ; 1
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;2 . . . 49
4.7 B÷¾edy estymacji Err(�LS
N ; 1) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;3 . . . 49
4.8 B÷¾edy estymacjiMISE�gLSN ; 1
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;3 . . . 49
v
Spis rysunków vi
4.9 B÷¾edy estymacji Err(�RC
N ; 1) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;1 . . . 50
4.10 B÷¾edy estymacjiMISE�gRCN ; 1
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;1 . . . 50
4.11 B÷¾edy estymacji Err(�RC
N ; 1) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;2 . . . 50
4.12 B÷¾edy estymacjiMISE�gRCN ; 1
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;2 . . . 51
4.13 B÷¾edy estymacji Err(�RC
N ; 1) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;3 . . . 51
4.14 B÷¾edy estymacjiMISE�gRCN ; 1
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;3 . . . 51
5.1 Reprezentacja systemu Wienera ze skonczon ¾a pami¾eci ¾a przy pomocy staty-cznego systemu nieliniowego o strukturze MISO . . . . . . . . . . . . . . . . 53
5.2 Wykorzystywane w eksperymentach numerycznych g¾estosci prawdopodo-bienstwa fX;2; fX;3 i fX;4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.3 Wykorzystywane w symulacjach nieliniowosci g1, g4 i g5 . . . . . . . . . . . 65
5.4 B÷¾edy estymacji Err(�AD
N ;�) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;2 . . . 67
5.5 B÷¾edy estymacji MISE�gADN ;�
�w funkcji liczby obserwacji wejscia i wyjs-
cia systemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;2 . 67
5.6 B÷¾edy estymacji Err(�AD
N ;�) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;3 . . . 67
5.7 B÷¾edy estymacji MISE�gADN ;�
�w funkcji liczby obserwacji wejscia i wyjs-
cia systemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;3 . 68
5.8 B÷¾edy estymacji Err(�AD
N ;�) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;4 . . . 68
5.9 B÷¾edy estymacji MISE�gADN ;�
�w funkcji liczby obserwacji wejscia i wyjs-
cia systemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;4 . 68
5.10 B÷¾edy estymacji Err(�fAD
N ;�) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;2 . . . 69
5.11 B÷¾edy estymacjiMISE(gfADN ;�) w funkcji liczby obserwacji wejscia i wyjs-cia systemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;2 . 69
5.12 B÷¾edy estymacji Err(�fAD
N ;�) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;3 . . . 69
5.13 B÷¾edy estymacji MISE�gfADN ;�
�w funkcji liczby obserwacji wejscia
i wyjscia systemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowegofX;3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.14 B÷¾edy estymacji Err(�fAD
N ;�) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;4 . . . 70
5.15 B÷¾edy estymacjiMISE(gfADN ;�) w funkcji liczby obserwacji wejscia i wyjs-cia systemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;4 . 70
Wykaz wa·zniejszych oznaczen
Oznaczenia podano w kolejnosci alfabetycznej zastosowanych symboli.
k�k �norma euklidesowaj�j �wartosc bezwzgl¾ednab�c �funkcja �pod÷oga�(�)[i] �i�ta realizacja estymatora(�)T �transpozycja(�)AD �estymator zbudowany w oparciu o metod¾e usrednionej pochodnej(�)Cr �estymator zbudowany w oparciu o metod¾e korelacyjn ¾a(�)fAD �estymator zbudowany w oparciu o metod¾e usrednionej pochodnej
oraz wykorzystuj ¾acy j ¾adrow ¾a estymacj¾e g¾estosci sygna÷u fXng(�)LS �estymator zbudowany w oparciu o metod¾e najmniejszych kwadratów(�)RC �estymator zbudowany w oparciu o metod¾e korelacji rangowej1 [A] �indykator zdarzenia A1B (x) �funkcja wskaznikowa przyjmuj ¾aca wartosc 1, gdy x 2 B i 0, gdy x =2 B8 �kwanty�kator ogólny (�dla ka·zdego...�)9 �kwanty�kator szczegó÷owy (�istnieje...�)� �sta÷a multiplikatywna w metodzie korelacyjnejbias f�g �obci ¾a·zenie estymatoracorr f�; �g �korelacjaCov f�; �g �kowariancjaDf (�) �gradient funkcji fX (�)DG (�) �gradient funkcji G (�)E f�g �operator wartosci oczekiwanejErr (�; �) �empiryczny b÷¾ad estymacji odp. impulsowej podsystemu dynamicznegofV (�) �funkcja g¾estosci prawdopodobienstwa sygna÷u interakcyjnego fVngfX (�) �funkcja g¾estosci prawdopodobienstwa sygna÷u wejsciowego fXngfX (�) �funkcja g¾estosci prawdopodobienstwa sygna÷u wektorowego fXng� (�) �dystrybuanta standardowego rozk÷adu normalnego N (0; 1)g (�) �nieliniowa charakterystyka podsystemu statycznegog (�; l) �funkcja regresji zale·zna od wektorowego parametru l 2 �G (�) �nieliniowosc w reprezentacji systemu Wienera za pomoc ¾a statycznego
systemu typu MISOh �parametr wyg÷adzania w estymatorze charakterystyki nieliniowejh0 �parametr wyg÷adzania w estymatorze pilotowymh1 �parametr wyg÷adzania w estymatorze g¾estosci fX (�)
vii
Wykaz wa�zniejszych oznaczen viii
h2 �parametr wyg÷adzania w estymatorze pochodnej g¾estosci fX (�)I �zbiór indeksów, I = fp+ 1; p+ 2; : : : ; NgI1 �zbiór indeksów, I1 = fp+ 1; : : : ; p+N1gI2 �zbiór indeksów, I2 = f2p+ 1 +N1; : : : ; Ng� �sta÷a multiplikatywna w metodzie usrednionej pochodnejK (�) �funkcja j ¾adra w estymatorze charakterystyki nieliniowejK0 (�) �funkcja j ¾adra w estymatorze pilotowymK1 (�) �funkcja j ¾adra w estymatorze g¾estosci prawdopodobienstwa sygna÷u
wejsciowego fXngK2 (�) �funkcja j ¾adra w estymatorze pochodnej g¾estosci prawdopodobienstwa
sygna÷u wejsciowego fXngf�igpi=0 �odpowiedz impulsowa podsystemu dynamicznego� �wektor utworzony z elementów odpowiedzi impulsowej podsystemu
dynamicznego, � = (�0; �1; : : : ; �p)T
� �zbiór mo·zliwych odpowiedzi impulsowych podsystemu dynamicznegoMISE (�; �) �empiryczny b÷¾ad estymacji charakterystyki nieliniowej�V �wartosc oczekiwana sygna÷u interakcyjnego fVng�X �wartosc oczekiwana sygna÷u wejsciowego fXng�Y �wartosc oczekiwana sygna÷u wyjsciowego fYngN �liczba dost¾epnych obserwacji wejscia i wyjscia systemuNI �liczba elementów zbioru INI1 �liczba elementów zbioru I1NI2 �liczba elementów zbioru I2N (0; 1) �standardowy rozk÷ad normalnyNSR �wspó÷czynnik �noise�to�signal ratio�p �d÷ugosc pami¾eci systemu
QN (�) �funkcja kryterialna wykorzystywana w konstrukcji estymatora �LS
N
SN (�) �funkcja kryterialna wykorzystywana w konstrukcji estymatora �RC
N
�2V �wariancja sygna÷u interakcyjnego fVng�2X �wariancja sygna÷u wejsciowego fXng�2Z �wariancja sygna÷u zak÷ócaj ¾acego fZngT1 �zbiór par obserwacji wejscia i wyjscia systemu, T1 = f(Xn; Yn)gn2I1T2 �zbiór par obserwacji wejscia i wyjscia systemu, T2 = f(Xn; Yn)gn2I2TG �zbiór par obserwacji wejscia i wyjscia systemu, TG = f(Xn; Yn)gn2IV ar f�g �wariancjafVng �sygna÷interakcyjny (ci ¾ag zmiennych losowych)fXng �sygna÷wejsciowy (ci ¾ag zmiennych losowych)Xn �(p+ 1)�elementowy wektor utworzony z kolejnych obserwacji
wejscia systemu, Xn = (Xn; Xn�1; : : : ; Xn�p)T
fXng �wektorowy sygna÷wejsciowy w reprezentacji systemu Wieneraza pomoc ¾a statycznego systemu typu MISO
f(Xn; Yn)gNn=1 �zbiór par obserwacji wejscia i wyjscia systemufYng �sygna÷wyjsciowy (ci ¾ag zmiennych losowych)fZng �addytywny sygna÷zak÷ócaj ¾acy (ci ¾ag zmiennych losowych) �nosnik funkcji fX (�)
Wst¾ep
W pracy przedstawiono now ¾a klas¾e parametryczno�nieparametrycznych algorytmów iden-ty�kacji systemów Wienera z czasem dyskretnym, dla których przyj ¾ac mo·zna za÷o·zenie, i·zpami¾ec cz¾esci dynamicznej systemu jest skonczona. Zaproponowane metody umo·zliwiaj ¾ape÷n ¾a identy�kacj¾e rozwa·zanych systemów, tj. pozwalaj ¾a na oszacowanie opisów zarównopodsystemów liniowych, jak i nieliniowych. Przeprowadzono analiz¾e teoretyczn ¾a w÷asnosciasymptotycznych skonstruowanych algorytmów oraz wykonano symulacje komputerowe,ilustruj ¾ace ich zachowanie dla ma÷ej i umiarkowanej liczby obserwacji.
W rozdziale 1. prezentowana jest ogólna koncepcja systemów o strukturze blokowej natle innych podejsc do opisu systemów nieliniowych spotykanych w literaturze. G÷ówn ¾auwag¾e poswi¾econo systemom Wienera � ich konstrukcji, zastosowaniom w dziedzinieaproksymacji systemów nieliniowych oraz implementacjom praktycznym. Rozdzia÷2.wprowadza do zagadnienia parametryczno�nieparametrycznej identy�kacji systemówWie-nera. Omówiono w nim najpierw ide¾e parametrycznej oraz nieparametrycznej identy�kacjisystemów, ze szczególnym uwzgl¾ednieniem algorytmów opisanych w literaturze i poswi¾e-conych rozwa·zanej klasie obiektów. Na tym tle wprowadzona zosta÷a koncepcja mieszanej,parametryczno�nieparametrycznej, identy�kacji systemów Wienera oraz omówiony zosta÷wspólny schemat konstrukcji prezentowanych metod. Rozdzia÷ ten zawiera równie·zpodstawowe za÷o·zenia wykorzystywane w pracy, a tak·ze tez¾e i cele pracy. W rozdzia÷ach3., 4. i 5. przedstawiono kolejno trzy ró·zne metody identy�kacji. Szczegó÷owo omówionokonstrukcje odpowiednich estymatorów podsystemów liniowych i nieliniowych oraz podanowarunki gwarantuj ¾ace zbie·znosc algorytmów. Oprócz analizy zgodnosci estymatorów,w rozdzia÷ach 3. i 5. przeprowadzono analiz¾e rz¾edów szybkosci zbie·znosci odpowiednichoszacowan. W uzupe÷nieniu analizy asymptotycznej, dla ka·zdej z metod wykonano badaniasymulacyjne ilustruj ¾ace ich efektywnosci dla skonczonej liczby obserwacji. Rozdzia÷3.zawiera opis korelacyjnej metody identy�kacji. W rozdziale 4. przedstawiono algorytmoparty na metodzie najmniejszych kwadratów opracowany we wspó÷pracy z PanemProfesorem Miros÷awem Pawlakiem z University of Manitoba. W rozdziale tym krótkoomówiono równie·z metod¾e identy�kacji systemów Wienera wykorzystuj ¾ac ¾a ide¾e estymacjikorelacji rangowej. Algorytm identy�kacji, wykorzystuj ¾acy koncepcj¾e estymacji usred-nionej pochodnej, konstruowany jest z kolei w rozdziale 5. Rozdzia÷6. zawiera zbiorcz ¾aanaliz¾e uzyskanych w rozprawie rezultatów teoretycznych oraz badan symulacyjnychalgorytmów. W rozdziale 7. przedstawiono otwarte problemy naukowe, a tak·ze okreslonomo·zliwe kierunki dalszych badan.
Autor pragnie podzi¾ekowac Panu Profesorowi Zygmuntowi Hasiewiczowi, promo-torowi pracy oraz Panu Profesorowi W÷odzimierzowi Greblickiemu, kierownikowi Zak÷aduSterowania i Optymalizacji w Instytucie Informatyki, Automatyki i Robotyki Politech-niki Wroc÷awskiej, za liczne dyskusje oraz cenne uwagi przekazane w trakcie studiów
ix
Wst�ep x
doktoranckich. Szczególne podzi¾ekowania sk÷adam równie·z Panu Profesorowi Miros÷awowiPawlakowi z University of Manitoba za uwagi merytoryczne dotycz ¾ace materia÷u zawartegow rozdziale 4. oraz umo·zliwienie mi odbycia zagranicznego sta·zu naukowego w Departmentof Electrical and Computer Engineering, University of Manitoba. Dzi¾ekuj¾e tak·ze wszystkimpracownikom Zak÷adu Sterowania i Optymalizacji, Instytutu Informatyki, Automatykii Robotyki Politechniki Wroc÷awskiej. Na koniec dzi¾ekuj¾e serdecznie moim Rodzicom orazKasi, bez których ta praca nie mog÷aby powstac.
Rozdzia÷1
Wprowadzenie �systemy Wienerai ich zastosowania
1.1 Koncepcja systemów blokowo-zorientowanych
Zadanie identy�kacji systemów, jako jedno z podstawowych zagadnien automatyki, polegana wyznaczeniu matematycznego modelu zjawiska �zycznego lub procesu technologicznegona podstawie dost¾epnych danych pomiarowych oraz posiadanej informacji wst¾epnejo systemie. Terminem system okresla si¾e przy tym obiekt posiadaj ¾acy wejscie i wyjscie,w którym zazwyczaj wyst¾epuje niedost¾epny dla pomiarów sygna÷zak÷ócaj ¾acy, rys. 1.1.
Systemwejście wyjście
zakłócenie
Rysunek 1.1: System jako obiekt identy�kacji
Wykorzystywane w automatyce systemy, w zale·znosci od stopnia skomplikowania ichstruktury, okresla si¾e mianem obiektów prostych lub z÷o·zonych. Przyk÷adowo, obiektemprostym jest dyskretny statyczny system nieliniowy opisany równaniem
yn = g (xn; zn) ; (1.1)
gdzie fxng i fyng s ¾a odpowiednio wejsciem i wyjsciem systemu, a fzng jest sygna÷emzak÷ócaj ¾acym. Nieliniowa charakterystyka systemu jest reprezentowana przez funkcj¾eg (�; �). Innym obiektem prostym jest dyskretny liniowy system dynamiczny opisanywzorem
yn = �Tn� + zn; (1.2)
gdzie � jest wektorem parametrów
� = (a1; a2; : : : ; aq; b1; b2; : : : ; br)T ,
a �n wektorem regresorów utworzonym z pomiarów wejscia i wyjscia
�n = (�yn�1; : : :� yn�q; xn�1; : : : xn�r)T .
1
Rozdzia� 1. Wprowadzenie � systemy Wienera i ich zastosowania 2
Teoria identy�kacji obiektów prostych np. typu (1.1) lub (1.2) jest dobrze ugruntowanazarówno w przypadku deterministycznych, jak i losowych sygna÷ów wejsciowych, zob. np.Hasiewicz [48,49], Söderström i Stoica [118], Ljung [76], Manczak i Nahorski [78], Goodwini Payne [24], Nelles [83]. Niestety, wiele spotykanych w praktyce procesów i zjawisknie daje si¾e w zadowalaj ¾acy sposób reprezentowac za ich pomoc ¾a, chocia·zby dlatego,·ze cz¾esc z nich cechuje zarówno wyst¾epowanie pami¾eci, jak i zale·znosci nieliniowych.Do opisu takich obiektów wykorzystuje si¾e zazwyczaj systemy z÷o·zone. Przez z÷o·zonoscsystemu rozumie si¾e fakt, ·ze system sk÷ada si¾e z wielu elementów oraz ·ze obiekty(podsystemy) wchodz ¾ace w sk÷ad ca÷ego systemu s ¾a ze sob ¾a po÷¾aczone i wzajemnieod siebie zale·z ¾a, a ich rozdzielenie jest niemo·zliwe, niebezpieczne, lub zbyt kosztowne,Mzyk [80]. Z tego wzgl¾edu zagadnienie identy�kacji systemów z÷o·zonych jest na ogó÷znacznie trudniejsze od identy�kacji systemów prostych i rodzi dodatkowe problemy,które nie maj ¾a swoich odpowiedników w klasycznej teorii, Hasiewicz [48]. Utrudnienia tewynikaj ¾a mi¾edzy innymi z faktu, ·ze dla dynamicznych systemów z÷o·zonych nie jest znanauniwersalna reprezentacja umo·zliwiaj ¾aca wyznaczenie matematycznej zale·znosci mi¾edzywejsciem a wyjsciem dowolnego systemu z÷o·zonego bez dodatkowej wiedzy apriorycznejo strukturze systemu. Pewne rezultaty mo·zna jednak otrzymac ograniczaj ¾ac rozwa·zaniado klasy systemów stacjonarnych (tj. takich, których parametry nie zmieniaj ¾a si¾e w czasie),przyczynowych (tzn. takich, w których wyjscie w dowolnej chwili t0 nie zale·zy od wejsciai wyjscia w chwilach pózniejszych) oraz posiadaj ¾acych nieliniowosci spe÷niaj ¾ace okreslonewarunki ci ¾ag÷osci, Boyd i Chua [9]. Jednym ze sposobów opisu tego typu systemówjest wykorzystanie tzw. szeregów Volterry, u podstaw których le·zy koncepcja rozwini¾eciafunkcji nieliniowej w szereg Taylora oraz reprezentacja ci ¾ag÷ych systemów liniowych zapomoc ¾a ca÷ki splotowej postaci
y (t) =
Z t
0# (�)x (t� �) d� , (1.3)
gdzie fx (t)g i fy (t)g s ¾a odpowiednio wejsciem i wyjsciem systemu, a f# (t)g jest jegoodpowiedzi ¾a impulsow ¾a, Greblicki [34]. W przypadku systemów z÷o·zonych z czasemci ¾ag÷ym i spe÷niaj ¾acych wymienione wy·zej warunki, szereg Volterry (b¾ed ¾acy uogólnieniemca÷ki (1.3)) przyjmuje postac
y (t) = #0 +1Xi=1
Z� � �Z#i (�1; � � � � i)x (t� �1) � � �x (t� � i) d�1 � � � d� i; (1.4)
gdzie #i ( ) s ¾a tzw. j ¾adrami Volterry. Analogicznie, dla systemów z czasem dyskretnymodpowiedni szereg Volterry, jako uogólnienie splotu dyskretnego, wyra·za si¾e wzorem
yn = %0 +1Xi=1
Xj1;:::;ji�0
%i (j1; : : : ji)xn�j1 � � �xn�ji . (1.5)
Niew ¾atpliw ¾a zalet ¾a reprezentacji (1.4) i (1.5) jest ich uniwersalnosc. Rozwa·zane szeregipozwalaj ¾a bowiem na opisanie ka·zdego stacjonarnego i �zycznie realizowalnego (tj.przyczynowego) systemu spe÷niaj ¾acego okreslone warunki ci ¾ag÷osci, bez wzgl¾edu najego z÷o·zonosc i struktur¾e wewn¾etrzn ¾a. Ponadto opis obiektu za pomoc ¾a rozwini¾eciaw szereg Volterry mo·ze byc otrzymany zarówno dla losowych, jak i deterministycznychsygna÷ów wejsciowych. Niestety zale·znosci (1.4) i (1.5) posiadaj ¾a równie·z wady, z którychnajistotniejsze zwi ¾azane s ¾a ze sposobem wyznaczania wspó÷czynników #i ( ) i %i ( ).Okazuje si¾e bowiem, ·ze w wielu przypadkach wyznaczenie j ¾ader #i ( ) lub %i ( ) jestzadaniem na tyle skomplikowanym i wymagaj ¾acym znacznych mocy obliczeniowych,·ze praktyczne zastosowanie zale·znosci (1.4) i (1.5) do identy�kacji systemów nie daje
Rozdzia� 1. Wprowadzenie � systemy Wienera i ich zastosowania 3
zadowalaj ¾acych rezultatów, Billings i Fakhouri [6]. Równie istotnym ograniczeniemzwi ¾azanym z wykorzystaniem szeregów Volterry jest wymaganie, aby nieliniowosc systemudawa÷a si¾e rozwin ¾ac w szereg Taylora.
Innym sposobem opisu szerokiej klasy dynamicznych systemów nieliniowych jestwykorzystanie reprezentacji zaproponowanej przez Wienera [136], zob. te·z Therrien [122].W odró·znieniu od szeregów Volterry, koncepcja Wienera opiera si¾e na wykorzystaniuzbioru funkcjona÷ów, które przy za÷o·zeniu ·ze sygna÷wejsciowy jest gaussowskim bia÷ymszumem, s ¾a wzgl¾edem siebie ortogonalne, Therrien [122], zob. te·z Greblicki i Pawlak [39].Proponowana zale·znosc wyra·za si¾e wzorem
y (t) =
1Xi=0
Gi [ki (�) ;x (�) ; � 2 (�1; t)] ; (1.6)
gdzie Gi ( ) s ¾a funkcjona÷ami o znanej postaci, ale posiadaj ¾acymi nieznane j ¾adra ki ( ).Niestety, podobnie jak zale·znosci (1.4) i (1.5), równie·z i to podejscie nie pozwala naefektywne wykorzystanie w dziedzinie identy�kacji systemów z÷o·zonych. Zastosowaniereprezentacji (1.6) wymaga bowiem wykonania z÷o·zonych obliczen, nawet w przypadkuopisu systemów liniowych oraz nie pozwala na wykorzystanie w prosty sposób posiadanejinformacji apriorycznej o systemie, Billings [5, str. 274].
Wspomniane powy·zej, istotne ograniczenia reprezentacji systemów nieliniowych zapomoc ¾a funkcjonalnych zale·znosci (1.4), (1.5) i (1.6), sprowokowa÷y podj¾ecie badan nadwyznaczeniem nowych, równie uniwersalnych, ale ÷atwiejszych w zastosowaniach sposobówopisu systemów nieliniowych. Jednym z najcz¾esciej wykorzystywanych obecnie podejscjest, sformu÷owana na pocz ¾atku lat osiemdziesi ¾atych ubieg÷ego stulecia (ale wykorzysty-wana wczesniej np. przez Narendr¾e i Gallmana [82]), koncepcja systemów o strukturzeblokowej (ang. block�oriented systems), Billings [5], Billings i Fakhouri [6�8]. Podejscieto zak÷ada, ·ze identy�kowany system mo·zna przedstawic w postaci odpowiednio zesob ¾a po÷¾aczonych liniowych obiektów dynamicznych i nieliniowych obiektów statycznych.W odró·znieniu od szeregów funkcjonalnych umo·zliwiaj ¾acych reprezentacj¾e o charakterzeczarnej skrzynki (ang. black�box description), Billings [5], podejscie blokowo-zorientowanepozwoli÷o sprowadzic zadanie identy�kacji do tzw. problemu szarej skrzynki (ang. gray�boxdescription), tj. zadania w którym znana jest struktura po÷¾aczen wewn¾etrznych systemu,Sjöberg et al. [117], Pearson i Pottmann [94].
Stosunkowo cz¾esto rozwa·zanym w literaturze systemem blokowo-zorientowanym jesttzw. system sandwich (zwany równie·z systemem Wienera�Hammersteina) utworzonypoprzez kaskadowe po÷¾aczenie kolejno liniowego obiektu dynamicznego, nieliniowegoobiektu statycznego oraz liniowego obiektu dynamicznego, rys. 1.2, Billings [5], Billingsi Fakhouri [8], Bershad et al. [3], Kibangou i Favier [65], Krzy·zak [71], Korenberg i Hunter[69]. Zalet ¾a systemu sandwich jest jego elastycznosc, umo·zliwiaj ¾aca reprezentacj¾e szerokiejklasy zjawisk i procesów technologicznych o charakterze nieliniowym i posiadaj ¾acychpami¾ec. G÷ówn ¾a wad ¾a jest natomiast fakt wyst¾epowania dwóch niedost¾epnych dlapomiarów sygna÷ów wewn¾etrznych, tj. wejscia i wyjscia statycznego obiektu nieliniowego.W konsekwencji, pomimo znanej struktury ca÷ego systemu, zadanie identy�kacji (napodstawie obserwacji wejscia i wyjscia systemu) jest zadaniem skomplikowanym. Okazujesi¾e jednak, ·ze wydzielenie z systemu sandwich prostszych obiektów, tzw. systemówWienerai Hammersteina (zob. rys. 1.2), prowadzi do struktur równie interesuj ¾acych z punktuwidzenia zastosowan do opisu zjawisk nieliniowych, a przy tym ÷atwiejszych w identy�kacji.
Niech fxng, fyng oznaczaj ¾a odpowiednio wejscie i wyjscie systemu oraz fvng b¾edziesygna÷em wewn¾etrznym. Przez fzng oznaczymy szum wyst¾epuj ¾acy w systemie. Przedsta-
Rozdzia� 1. Wprowadzenie � systemy Wienera i ich zastosowania 4
LiniowyPodsystemDynamiczny
LiniowyPodsystemDynamiczny
NieliniowyPodsystemStatyczny
wejście wyjście
System Hammersteina
System Wienera
Rysunek 1.2: Struktura systemów sandwich, Wienera i Hammersteina
wiony na rysunku 1.3 system Wienera opisany jest za pomoc ¾a równan
vn =
pXi=0
�ixn�i + zn (1.7)
yn = g (vn) , (1.8)
gdzie f�igpi=0 i g (�) s ¾a odpowiednio odpowiedzi ¾a impulsow ¾a podsystemu dynamicznego
áViâ i=0p gÝ6Þxn ynvn
zn
Rysunek 1.3: System Wienera z addytywnym sygna÷em zak÷ócaj ¾acym na wyjsciu podsystemudynamicznego
oraz charakterystyk ¾a nieliniow ¾a podsystemu statycznego, a p 2 N jest d÷ugosci ¾a pami¾ecisystemu. Analogicznie system Hammersteina, zob. rys 1.4, de�niowany jest za pomoc ¾arównan
vn = g (xn)
yn =
pXi=0
�ivn�i + zn.
áViâ i=0pgÝ6Þxn vn yn
zn
Rysunek 1.4: System Hammersteina
Opisane powy·zej systemy Wienera i Hammersteina odgrywaj ¾a kluczow ¾a rol¾e w teoriiidenty�kacji systemów nieliniowych. Ze wzgl¾edu na czyteln ¾a, blokowo-zorientowan ¾a struk-tur¾e oraz liczne zastosowania, poczynaj ¾ac od lat siedemdziesi ¾atych ubieg÷ego stulecia,
Rozdzia� 1. Wprowadzenie � systemy Wienera i ich zastosowania 5
opracowano wiele ró·znych algorytmów ich identy�kacji oraz zaproponowano wykorzystanieich w wielu dziedzinach naukowych i technicznych. Nale·zy podkreslic, ·ze istotny wk÷adw rozwój metod identy�kacji omawianych systemów zosta÷wniesiony przez Szko÷¾eIdenty�kacji Nieparametrycznej utworzon ¾a przez profesora W÷odzimierza Greblickiego. Jejtwórca zapocz ¾atkowa÷rozwój nieparametrycznych metod identy�kacji systemów i wrazz profesorami Adamem Krzy·zakiem, Miros÷awem Pawlakiem i Leszkiem Rutkowskimopracowa÷szereg nieparametrycznych algorytmów identy�kacji [26�29, 32, 33, 35, 37�43,71, 91, 103]. Zaproponowane metody w istotny sposób rozwin¾e÷y teori¾e i wzbogaci÷ypraktyk¾e algorytmów, umo·zliwiaj ¾ac identy�kacj¾e systemów w sytuacjach, w którychwczesniej opracowane metody parametryczne nie mog÷y byc stosowane. Koncepcjanieparametrycznej identy�kacji systemów ze szczególnym uwzgl¾ednieniem algorytmówdedykowanych systemom Wienera omówiona jest w rozdziale 2.
Oprócz przedstawionych powy·zej systemów typu sandwich, Wienera i Hammersteina,w literaturze rozwa·za si¾e tak·ze inne systemy blokowo-zorientowane. S ¾a to mi¾edzy innymi:systemy Urysona (b¾ed ¾ace równoleg÷ym po÷¾aczeniem wielu systemów Hammersteina),Billings [5] i addytywne systemy typu NARMAX, Mzyk [80]. Jednak zasadnicza uwagabadaczy skupia si¾e na zagadnieniach identy�kacji systemów Hammersteina i Wienera.Nale·zy przy tym podkreslic, ·ze pomimo podobnej konstrukcji, zadanie identy�kacjisystemów Wienera jest na ogó÷znacznie trudniejsze od zadania identy�kacji systemówHammersteina. Istotne utrudnienia wynikaj ¾a m.in. z faktu, ·ze w systemach Wieneracharakterystyka nieliniowa przekszta÷ca nieznany i niedost ¾epny dla pomiarów sygna÷interakcyjny, podczas gdy w systemach Hammersteina przekszta÷ceniu nieliniowemupodlega dost ¾epny dla pomiarów sygna÷wejsciowy.
1.2 Systemy Wienera
Jak ju·z zaznaczono, wa·zn ¾a rol¾e wsród omówionych wy·zej systemów o strukturze blokowejodgrywaj ¾a systemy Wienera (rys. 1.3). Ze wzgl¾edu na swoj ¾a budow¾e, obiekty te zna-komicie nadaj ¾a si¾e do modelowania zjawisk �zycznych i procesów technologicznych,posiadaj ¾acych nie tylko cechy uk÷adów nieliniowych, ale dodatkowo charakteryzuj ¾acychsi¾e wyst¾epowaniem pami¾eci. Przyk÷adowe zastosowania systemów Wienera w naukachtechnicznych oraz medycynie, chemii i biologii omówione s ¾a w p. 1.4.Oprócz podstawowych cech struktury charakteryzuj ¾acych systemy Wienera mo·znawyró·znic szereg w÷asnosci okreslaj ¾acych dodatkowo elementy tej klasy systemów. S ¾a tomi¾edzy innymi:
� d÷ugosc pami¾eci systemu (pami¾ec skonczona lub nieskonczona),
� w÷asnosci charakterystyki nieliniowej (np. ci ¾ag÷osc, ró·zniczkowalnosc itp.),
� miejsce wyst¾epowania sygna÷u zak÷ócaj ¾acego (szum wewn¾etrzny lub na wyjsciusystemu),
� stacjonarnosc.
Rozwa·zane w literaturze systemy Wienera s ¾a ponadto:
� systemami z czasem ci ¾ag÷ym lub dyskretnym,
� systemami o strukturach typu SISO, MISO lub MIMO.
Rozdzia� 1. Wprowadzenie � systemy Wienera i ich zastosowania 6
D÷ugosc pami¾eci systemu oraz w÷asnosci charakterystyki nieliniowej w systemiemaj ¾a szczególnie znaczenie przy doborze w÷asciwego modelu w przypadku zastosowanomawianych systemów oraz w przypadku konstruowania algorytmów ich identy�kacji.Systemy ze skonczon ¾a pami¾eci ¾a dyskutowane s ¾a m.in. przez Nordsjö i Zetterberga [84],Lacy�ego i Bernsteina [73], Pawlaka et al. [93], Wachla [127, 129], Raicha et al. [98] orazCelk¾e et al. [12]. Z kolei Greblicki [26�29, 33] oraz Hughes i Westwick [56] rozwa·zaj ¾aidenty�kacj¾e systemów z pami¾eci ¾a nieskonczon ¾a. Typowym za÷o·zeniem odnosnie chara-kterystyki nieliniowej w systemie jest wymaganie, aby mia÷a ona charakter wielomianowy,Lacy i Bernstein [73], Korenberg i Hunter [67], Celka et al. [12], zob. te·z Pajunen [87].Rozwa·za si¾e tak·ze systemy z nieliniowosciami modelowanymi za pomoc ¾a funkcji odcinkamiliniowych, Vörös [124], Pupeikis [96], Chen [15], Wigren [137], zob. te·z Hagenblad[44], lub funkcji sklejanych (ang. spline functions), Hughes i Westwick [56]. Szczególnieszeroka, nieparametryczna klasa nieliniowosci rozwa·zana jest przez Greblickiego w pracach[26�29, 33]. W [26] zak÷ada si¾e tylko, ·ze nieliniowosc jest funkcj ¾a scisle monotoniczn ¾ai posiadaj ¾ac ¾a ograniczon ¾a pochodn ¾a, podczas gdy w [28] dopuszczalna jest ka·zda �zycznierealizowalna charakterystyka nieliniowa. Dyskutowane w literaturze systemy Wieneraz regu÷y s ¾a systemami stacjonarnymi. Systemy niestacjonarne (Wienera i Hammersteina)omawiane s ¾a m.in. przez Nordsjö i Zetterberga [84] oraz Celk¾e i Colditza [13].
W zale·znosci od miejsca wyst¾epowania sygna÷u zak÷ócaj ¾acego, systemy Wienerapodzielic mo·zna na trzy grupy: systemy, w których zak÷ócenie nie wyst¾epuje, zob. np. Lacyi Bernstein [73], systemy z addytywnym sygna÷em zak÷ócaj ¾acym na wyjsciu podsystemudynamicznego (zob. rys. 1.3 i wzory (1.7)�(1.8)), Gómez i Baeyens [22, 23], Greblicki[26�29,33] oraz systemy z szumem addytywnym na wyjsciu podsystemu statycznego, rys.1.5, opisane równaniami
vn =
pXi=0
�ixn�i; (1.9)
yn = g (vn) + zn, (1.10)
zob. Pawlak et al. [93], Wachel [129], Hughes i Westwick [56], Bai [1].
áViâ i=0p gÝ6Þ
vnxn yn
zn
Rysunek 1.5: System Wienera z addytywnym sygna÷em zak÷ócaj ¾acym na wyjsciu systemu
Okazuje si¾e, ·ze obecnosc zak÷ócen i miejsce ich wyst¾epowania w systemie maj ¾a istotnywp÷yw na mo·zliwosci identy�kacji systemu i postac algorytmów.
Ze wzgl¾edu na powszechnosc techniki cyfrowej, wi¾ekszosc zastosowan oraz opracowa-nych algorytmów identy�kacji systemówWienera dotyczy systemów z czasem dyskretnym.Zagadnienie identy�kacji systemów z czasem ci ¾ag÷ym dyskutowane jest np. przez Gre-blickiego w pracy [29]. W kontekscie liczby wejsc i wyjsc typow ¾a i najcz¾esciej rozwa·zan ¾aw literaturze architektur ¾a systemów Wienera jest architektura typu SISO (ang. SingleInput, Single Output), zob. np. Billings i Fakhouri [8], Greblicki [26�29, 33]. SystemyWienera o strukturze MIMO (ang. Multiple Inputs, Multiple Outputs) dyskutowanes ¾a przez Westwicka i Verhaegena [135] oraz Jeonga et al. [62]. Z kolei algorytmyidenty�kacji systemów typu MISO (ang. Multiple Inputs, Single Output) omawiane s ¾am.in. przez Westwicka i Kearney�ego [134] oraz Zhu [141]. Szczególny rodzaj systemu
Rozdzia� 1. Wprowadzenie � systemy Wienera i ich zastosowania 7
Wienera utworzonego z liniowego obiektu dynamicznego typu SIMO i nieliniowego obiektustatycznego typu MISO wykorzystywany jest przez Boyda i Chu¾e [9] do aproksymacjiszerokiej klasy systemów nieliniowych, zob. p. 1.3.1.
1.3 W÷asnosci aproksymacyjne systemów Hammersteinai Wienera
Omówiona w p. 1.1 reprezentacja systemów nieliniowych przy u·zyciu operatorów Volterryz regu÷y nie jest bezposrednio wykorzystywana w identy�kacji systemów. Stanowi onajednak podstaw¾e do konstruowania i analizy systemów, o strukturach umo·zliwiaj ¾acychaproksymacj¾e lub dok÷adn ¾a reprezentacj¾e szerokiej klasy dynamicznych systemów nieli-niowych. W [115] Shi i Sun rozwa·zaj ¾a reprezentacj¾e systemów nieliniowych za pomoc ¾arównolegle po÷¾aczonych systemów o strukturze sandwich. Dowodz ¾a oni, ·ze systemy z cza-sem dyskretnym, skonczon ¾a pami¾eci ¾a i posiadaj ¾ace reprezentacj¾e w postaci skonczonegoszeregu Volterry, mog ¾a byc precyzyjnie opisane za pomoc ¾a sumy skonczonej liczbysystemów typu sandwich. Z kolei w [68] Korenberg dyskutuje reprezentacj¾e systemównieliniowych za pomoc ¾a odpowiednio po÷¾aczonych liniowych obiektów dynamicznychz nieliniowymi obiektami statycznymi. W pracy tej wykazano, ·ze ka·zdy system nieliniowyo skonczonej pami¾eci z czasem dyskretnym, dla którego istnieje reprezentacja w postaciskonczonego szeregu Volterry mo·ze byc dok÷adnie reprezentowany przez równoleg÷epo÷¾aczenie skonczonej liczby systemów Wienera. Powy·zszy wynik prowadzi wi¾ec doogólnego wniosku, ·ze systemy b¾ed ¾ace równoleg÷ym po÷¾aczeniem systemów Wienera typuSISO mog ¾a byc wykorzystywane do reprezentacji szerokiej klasy systemów nieliniowych.Nieco inne podejscie do aproksymacji szerokiej klasy dynamicznych systemów nieliniowychproponuje Sandberg w serii prac [107�109]. W [107] autor rozwa·za koncepcj¾e reprezentacjiprzyczynowych i stacjonarnych systemów nieliniowych z czasem dyskretnym za pomoc ¾aobiektów o strukturze Hammersteina. Omawiane podejscie zak÷ada, ·ze aproksymowanesystemy posiadaj ¾a �pami¾ec niemal skonczon ¾a�(ang. approximately��nite�memory1). Tensam warunek jest równie·z wykorzystywany przez Parka i Sandberga w pracy [89]. Napodstawie prezentowanych w literaturze rezultatów, dla szerokiej klasy systemów nielinio-wych autorzy formu÷uj ¾a nast¾epuj ¾ac ¾a, nieformaln ¾a tez¾e: �je·zeli wyjscie systemu w dowolnejchwili t0 zale·zy od dalekiej przesz÷osci sygna÷u wejsciowego tylko w dowolnie ma÷ymstopniu, to system mo·ze byc dowolnie dok÷adnie aproksymowany przez proste strukturytakie jak: skonczone szeregi Volterry, dynamiczne wielowarstwowe sieci neuronowe lubsieci radialne�. G÷ówne rezultaty teoretyczne zawarte w pracy zawieraj ¾a sformu÷owaniejednolitych warunków koniecznych i wystarczaj ¾acych jakie musi spe÷niac system abyistnia÷a reprezentacja za pomoc ¾a wymienionych wy·zej struktur. W÷asnosci aproksymacyjnesystemów o strukturze blokowej (w szczególnosci systemów Hammersteina i Wienera), natle podejsc wykorzystuj ¾acych rozwini¾ecia w szeregi Volterry i Wienera, dyskutowane s ¾arównie·z przez Billingsa w przekrojowej pracy [5].
Innym przyk÷adem reprezentacji z÷o·zonych systemów nieliniowych jest, oparta naw÷asnosci zanikania pami¾eci, teoria aproksymacji systemów nieliniowych zaproponowanaprzez Boyda i Chu¾e w pracy [9].
1 t÷umaczenie autora.
Rozdzia� 1. Wprowadzenie � systemy Wienera i ich zastosowania 8
1.3.1 Aproksymacja dynamicznych systemów nieliniowych za pomoc ¾asystemów Wienera
Przedstawione przez Boyda i Chu¾e [9] rezultaty odnosz ¾a si¾e do szerokiej klasy systemówstacjonarnych z zanikaj ¾ac ¾a pami¾eci ¾a (ang. fading memory). Intuicyjnie system posiadazanikaj ¾ac ¾a pami¾ec, je·zeli dwa sygna÷y wejsciowe, bliskie w terazniejszosci, ale ró·zni ¾ace si¾ew przesz÷osci, powoduj ¾a ·ze odpowiadaj ¾ace im sygna÷y wyjsciowe s ¾a odpowiednio bliskiew terazniejszosci (scis÷¾a de�nicj¾e znalezc mo·zna np. w [9]). Wymaganie, aby systemposiada÷zanikaj ¾ac ¾a pami¾ec nie jest wi¾ec wymaganiem istotnie ograniczaj ¾acym klas¾espotykanych w praktyce systemów, a w przypadku systemów liniowych jest równowa·znez wymaganiem stabilnosci systemu. Nieco silniejszym ograniczeniem zaw¾e·zaj ¾acym klas¾esystemów rozwa·zanych w [9] jest natomiast wymaganie, aby nieliniowosc w systemie by÷afunkcj ¾a analityczn ¾a2.
Rezultaty otrzymane w omawianej pracy dotycz ¾a zarówno systemów z czasem ci ¾ag÷ymjak i z czasem dyskretnym. W przypadku systemów z czasem dyskretnym, w pracy wyka-zano, ·ze ka·zdy system spe÷niaj ¾acy okreslone powy·zej warunki mo·ze byc aproksymowanyz dowoln ¾a dok÷adnosci ¾a przez skonczony szereg Volterry, zob. Boyd i Chua [9, Tw. 3].Szereg ten mo·zna z kolei zapisac w wygodniejszej, blokowo-zorientowanej postaci jakotzw. operator NLMA (ang. Nonlinear Moving�Average) okreslony wzorem
yn = q (xn; xn�1; : : : ; xn�M+1) , (1.11)
gdzie fxng i fyng s ¾a odpowiednio sygna÷em wejsciowym i wyjsciowym, q : RM ! R jestwielomianem, a M <1 pewn ¾a sta÷¾a.Operator (1.11) mo·zna nast¾epnie przedstawic w postaci systemu Wienera (typu SISO)
z?1
z?1
z?1
LiniowyPodsystemDynamiczny
NieliniowyPodsystemStatyczny
xn yn
xn
xn?1
xn?M+1
qÝ6Þ
Rysunek 1.6: System Wienera jako kaskadowe po÷¾aczenie liniowego podsystemu dynamicznegotypu SIMO z nieliniowym podsystemem statycznym typu MISO
utworzonego poprzez kaskadowe po÷¾aczenie liniowego obiektu dynamicznego typu SIMOz nieliniowym obiektem statycznym typu MISO, zob. rys. 1.6. Pomimo stosunkowonietypowej struktury otrzymanego systemu Wienera, powy·zszy rezultat prowadzi downiosku, ·ze systemy Wienera stanowi ¾a wa·zn ¾a klas¾e obiektów umo·zliwiaj ¾acych reprezen-tacj¾e szerokiej rodziny nieliniowych systemów dynamicznych.
2 tj. funkcj ¾a, która daje si ¾e rozwin ¾ac w szereg Taylora, Fichtenholz [20, t. II, str. 388].
Rozdzia� 1. Wprowadzenie � systemy Wienera i ich zastosowania 9
1.4 Przyk÷ady zastosowan praktycznych
Nieskomplikowana struktura systemów Wienera oraz fakt wyst¾epowania w nich jednocze-snie pami¾eci i nieliniowosci, powoduje ·ze systemy te znajduj ¾a zastosowanie w wielu, cz¾estoniezwi ¾azanych za sob ¾a, dziedzinach nauki. Poni·zej omówiono dwie przyk÷adowe aplika-cje w telekomunikacji (kompensacja zniekszta÷cen nieliniowych w systemach modulacjisygna÷ów) oraz chemii (sterowanie procesem neutralizacji pH). Wymienione zosta÷y tak·zezastosowania m.in. w takich dziedzinach jak medycyna, optyka i przetwarzanie obrazów.
1.4.1 Kompensacja zniekszta÷cen nieliniowych w systemach modulacjisygna÷ów typu OFDM
Ze wzgl¾edu na liczne zalety technika transmisji danych OFDM (ang. Orthogonal FrequencyDivision Method) jest obecnie powszechnie wykorzystywana m.in. w szerokopasmowychsystemach cyfrowych, takich jak: systemy telewizji cyfrowej, bezprzewodowy dost¾epdo Internetu, ADSL itp. Transmisja OFDM, polegaj ¾aca na rozdzieleniu pojedynczegostrumienia danych (bitów) na wiele podnosnych, oprócz wielu istotnych zalet posiadarównie·z wady. W szczególnosci, istotnym problemem jest wyst¾epowanie zniekszta÷cennieliniowych wprowadzanych przez wyst¾epuj ¾ace w systemie wzmacniacze.
W pracy [64] Kang et al. dyskutuj ¾a technik¾e adaptacyjnej prekompensacji zniekszta÷cennieliniowych wyst¾epuj ¾acych w systemach OFDM i powodowanych przez �ltr liniowypo÷¾aczony kaskadowo ze wzmacniaczem du·zej mocy HPA (ang. High Power Ampli�er).W omawianym podejsciu statyczny wzmacniacz HPA, poprzedzony obiektem liniowym,modelowany jest za pomoc ¾a systemu Wienera, a prekompensacja zniekszta÷cen polegana zastosowaniu na wejsciu, uk÷adu o strukturze Hammersteina z odpowiednio dobran ¾apami¾eci ¾a i nieliniowosci ¾a. Zadaniem systemu Hammersteina jest takie wst¾epne przetworze-nie sygna÷u wejsciowego, aby po przejsciu przez nieliniowy element (system Wienera) niewyst¾epowa÷y zniekszta÷cenia nieliniowe. Proponowany algorytm prekompensacji przedsta-wiony jest schematycznie na rys. 1.7. W celu dostrojenia uk÷adu prekompensuj ¾acego,tj. systemu Hammersteina, dokonywana jest identy�kacja nieznanego systemu Wienera.Zadanie to realizowane jest przez Algorytm Adaptacyjny i ustalaj ¾acy parametry modeluwzmacniacza na podstawie wielkosci b÷¾edu "n (zob. rys. 1.7). Otrzymane w procesieidenty�kacji parametry nieznanego systemu Wienera, wraz z informacj ¾a o b÷¾edzie en (zob.rys. 1.7), wykorzystywane s ¾a nast¾epnie przez Algorytm Adaptacyjny II do wyznaczeniacharakterystyki nieliniowej i �ltru liniowego w systemie Hammersteina.
1.4.2 Proces neutralizacji pH
Istotnym elementem wielu procesów produkcyjnych jest powstawanie scieków o chara-kterze kwasowym lub zasadowym. W takich sytuacjach substancje odpadowe poddajesi¾e neutralizacji, polegaj ¾acej na wymieszaniu scieków z odpowiedni ¾a ilosci ¾a odczynnikao przeciwnym pH. Sterowanie omawianym procesem jest jednak zadaniem stosunkowoskomplikowanym, ze wzgl¾edu na wyst¾epuj ¾ac ¾a w nim inercj¾e oraz silne zale·znosci nieliniowe.Z tego powodu, przy konstruowaniu algorytmów sterowania wykorzystuje si¾e modelenieliniowe omawianego zjawiska. Analiza odpowiednich reakcji chemicznych prowadzi downiosku, ·ze modele o strukturze Wienera szczególnie dobrze reprezentuj ¾a omawiany proceszoboj¾etniania, por. Gómez et al. [23], Norquay et al. [85], Kalafatis et al. [63], Pajunen[87]. Zagadnienie neutralizacji pH omówione zostanie krótko na przyk÷adzie procesurozwa·zanego przez Gómeza et al. w pracy [23]. Do zbiornika, zob. rys. 1.8, dostarczanes ¾a trzy substancje: wodorotlenek sodu (NaOH), wodorow¾eglan sodu (NaHCO3) orazkwas azotowy(V) (HNO3). Wielkosciami wejsciowymi w omawianym procesie s ¾a szybkosci
Rozdzia� 1. Wprowadzenie � systemy Wienera i ich zastosowania 10
filtr liniowywzm. dużej
mocy(HPA)
statycznypodsystemnieliniowy
(odwr.)
filtr liniowy(odwr.)
filtr liniowystatyczny
podsystemnieliniowy
Algorytmadaptacyjny I
Algorytm adaptacyjny II
Wzmacniacz(system Wienera)
Prekompensator(system Hammersteina)
Model wzmacniacza
ynxn
Pn
en
un
Rysunek 1.7: Schemat prekompensacji zniekszta÷cen nieliniowych wprowadzanych przez wzmac-niacz du·zej mocy w systemie OFDM
przep÷ywu (odpowiednio x1;n, x2;n i x3;n) wymienionych wy·zej zwi ¾azków. Wyjsciem ynca÷ego systemu jest wartosc wspó÷czynnika pH substancji wyp÷ywaj ¾acej ze zbiornika.Zarówno szybkosc przep÷ywu x3;n kwasu azotowego jak i poziom cieczy w zbiornikus ¾a wielkosciami sta÷ymi. Celem procesu neutralizacji jest uzyskanie odpowiedniego pHsubstancji wyp÷ywaj ¾acej ze zbiornika (scieku) poprzez regulacj¾e przep÷ywu x1;n, tj. iloscizasady NaOH dostarczanej do zbiornika. Zak÷ada si¾e przy tym, ·ze szybkosc przep÷ywu x2;nsoli NaHCO3 jest nieznana.Powy·zsze za÷o·zenia prowadz ¾a do wniosku, ·ze wejsciem i wyjsciem rozwa·zanego obiektuidenty�kacji s ¾a odpowiednio x1;n i yn, podczas gdy x2;n jest niedost¾epnym dla pomiarówszumem, a x3;n sta÷ym parametrem.
1.4.3 Inne zastosowania
Oprócz omówionych wy·zej aplikacji, systemy Wienera wykorzystywane s ¾a z powodzeniemrównie·z w innych dziedzinach. Dalsze przyk÷ady ich zastosowan to m.in.:
� modelowanie procesu destylacji (identy�kacja kolumny destylacyjnej), Zhu [141],Pearson i Pottmann [94],
� sterowanie procesem polimeryzacji, Jeong et al. [62],
� zastosowania w neurologii, Marmarelis i Naka [79],
� modelowanie uk÷adu wzrokowego cz÷owieka, den Brinker [16],
� modelowanie i analiza zapisu EEG u niemowl ¾at, Celka i Colditz [13],
� zastosowania w naukach biologicznych, Hunter i Korenberg [57],
� zastosowania w optyce, Celka et al. [12],
Rozdzia� 1. Wprowadzenie � systemy Wienera i ich zastosowania 11
zbiornik
NaHCO3 Ýx2,n ÞNaOH Ýx1,n Þ
HNO3 Ýx3,n Þ
Ph Ýyn Þ
Rysunek 1.8: Proces neutralizacji Ph
� identy�kacja systemów chaotycznych z czasem ci ¾ag÷ym i dyskretnym, Chen et al. [14],Xu et al. [140],
� modelowanie pr¾edkosci przep÷ywu wody w rzece, Sbárbaro i Johansen [110],� usuwanie szumów z obrazów, Sekko et al. [114].
1.5 Systemy Wienera �podsumowanie zastosowan prakty-cznych i w÷asnosci teoretycznych
Przedstawiona wy·zej krótka charakterystyka rozwa·zanych w literaturze systemów Wie-nera dowodzi, ·ze obiekty te ciesz ¾a si¾e du·zym zainteresowaniem badaczy. Ich w÷asnosciteoretyczne oraz prosta konstrukcja powoduj ¾a, ·ze stanowi ¾a one istotny element teoriiaproksymacji dynamicznych systemów nieliniowych. Jednoczesnie znajduj ¾a one szeregzastosowan praktycznych w wielu cz¾esto niezwi ¾azanych ze sob ¾a dziedzinach naukowych.Powy·zsze obserwacje w pe÷ni uzasadniaj ¾a wi¾ec celowosc konstruowania algorytmówidenty�kacji systemów Wienera.
1.6 Okreslenie zakresu tematycznego pracy
W pracy rozwa·za si¾e zadanie identy�kacji systemówWienera z czasem dyskretnym i skonc-zon ¾a pami¾eci ¾a. Zak÷ada si¾e, ·ze d÷ugosc pami¾eci systemu jest znana. Równoczesnie przyj-muje si¾e za÷o·zenie, ·ze wiedza wst¾epna o nieliniowej charakterystyce w systemie jest bardzoma÷a i ma charakter nieparametryczny. Szczególny nacisk k÷adzie si¾e na opracowaniealgorytmów umo·zliwiaj ¾acych identy�kacj¾e w przypadku losowych sygna÷ów wejsciowych �o rozk÷adach innych ni·z rozk÷ad normalny. Proponuje si¾e parametryczno�nieparametrycznealgorytmy identy�kacji, które umo·zliwiaj ¾a identy�kacj¾e liniowego i nieliniowego podsys-temu z dok÷adnosci ¾a do nieznanej multiplikatywnej sta÷ej. Dla skonstruowanych metodidenty�kacji przeprowadza si¾e analiz¾e w÷asnosci asymptotycznych. Wykonane badaniaeksperymentalne ilustruj ¾a natomiast zachowanie si¾e algorytmów dla ma÷ej i sredniej liczbyobserwacji.
Rozdzia÷2
Parametryczno�nieparametrycznaidenty�kacja systemów Wienera.Teza i cele pracy
2.1 Parametryczna i nieparametryczna identy�kacja sys-temów
Wiedza aprioryczna o strukturze systemu oraz charakterze sygna÷u wejsciowego i zak÷óca-j ¾acego ma kluczowe znaczenie przy doborze w÷asciwej metody identy�kacji, Hasiewicz [49],Greblicki [25], Söderström i Stoica [118]. Gdy jest ona na tyle du·za, ·ze zadanie identy�kacjidaje si¾e sprowadzic do wyznaczenia skonczonej i znanej liczby parametrów systemu,mo·zliwe jest zastosowanie tzw. parametrycznych metod identy�kacji. W wielu przypadkachnatomiast, dost¾epna informacja o systemie jest znacznie bardziej ograniczona, a jejposzerzenie mo·ze byc zbyt kosztowne lub niemo·zliwe. W sytuacjach takich, w zale·znosci odcharakteru posiadanej informacji wst¾epnej, konieczne jest zastosowanie tzw. algorytmównieparametrycznych lub parametryczno�nieparametrycznych.
W rozdziale przedstawiona jest krótka charakterystyka parametrycznych, niepara-metrycznych oraz nowych koncepcyjnie parametryczno�nieparametrycznych algorytmówidenty�kacji systemów, ze szczególnym uwzgl¾ednieniem technik zastosowanych w pracy.Ponadto omówione s ¾a krótko, dotychczas prezentowane w literaturze, parametrycznei nieparametryczne algorytmy identy�kacji systemów Wienera.
2.1.1 Metody parametryczne
W zale·znosci od zakresu posiadanej informacji wst¾epnej, metody parametryczne opra-cowane dla celów identy�kacji systemów bazuj ¾a na metodzie najmniejszych kwadratów,metodzie najwi¾ekszej wiarygodnosci lub te·z metodzie najwi¾ekszego prawdopodobienstwaa posteriori, Hasiewicz [49], Söderström i Stoica [118], Ljung [76], Manczak i Nahorski [78],Goodwin i Payne [24]. Przyk÷adowo, dla statycznego systemu nieliniowego opisanegorównaniem
yn = g (xn; �) + Zn;
gdzie funkcja g (�; �) znana jest z dok÷adnosci ¾a do wektora parametrów � 2 Rk, k <1, a fZng jest stacjonarnym bia÷ym szumem o zerowej wartosci oczekiwanej E fZng =0 i skonczonej wariancji V ar fZng < 1, metoda najmniejszych kwadratów polega na
12
Rozdzia� 2. Parametryczno�nieparametryczna identy�kacja systemów Wienera 13
minimalizacji funkcji kryterialnej
� (�) =NXn=1
[yn � g (xn; �)]2 ,
gdzie N jest liczb ¾a par obserwacji (xn; yn) wejscia i wyjscia systemu. Dla takiegopodejscia opracowano szereg uogólnien i mody�kacji, umo·zliwiaj ¾acych stosowanie metodynajmniejszych kwadratów w przypadku bardziej z÷o·zonych obiektów identy�kacji, zob. np.Mzyk [80]. Analiz¾e w÷asnosci asymptotycznych metody znalezc mo·zna m.in. w Söderströmi Stoica [118], Van der Vaart [123], Jennrich [61], Wu [139].
2.1.2 Metody nieparametryczne
W odró·znieniu od metod parametrycznych, idea nieparametrycznej identy�kacji systemówjest relatywnie nowa, a u jej podstaw le·zy teoria nieparametrycznego wnioskowaniastatystycznego i w szczególnosci zagadnienie nieparametrycznej estymacji funkcji regresji.Metody nieparametryczne wymagaj ¾a jedynie niewielkiej informacji wst¾epnejo identy�kowanym systemie i przez to umo·zliwiaj ¾a rozwi ¾azanie zadan iden-ty�kacji b ¾ed ¾acych poza zasi ¾egiem jakichkolwiek podejsc parametrycznych.Koncepcja omawianych algorytmów polega na znalezieniu zale·znosci pomi¾edzy szukan ¾acharakterystyk ¾a nieliniow ¾a wyst¾epuj ¾ac ¾a w systemie, a odpowiedni ¾a funkcj ¾a regresji daj ¾ac ¾asi¾e w ÷atwy sposób estymowac na podstawie zbioru posiadanych pomiarów. W typowymzadaniu nieparametrycznej identy�kacji prostego systemu statycznego zak÷ada si¾e, ·ze we-jscie fXng systemu jest ci ¾agiem i:i:d: zmiennych losowych, a identy�kacja przeprowadzanajest na podstawie zbioru par obserwacji wejscia i wyjscia systemu, reprezentowanych przezzbiór zmiennych losowych f(Xn; Yn)gNn=1. W przypadku statycznego systemu nieliniowegoopisanego równaniem
Yn = g (Xn) + Zn;
gdzie fZng jest losowym szumem o zerowej wartosci oczekiwanej, niezale·znym od wejsciasystemu, a charakterystyka g (�) jest ca÷kowicie nieznana, prawdziwa jest nast¾epuj ¾acazale·znosc
g (x) = E fYnjXn = xg . (2.1)
Zadanie identy�kacji nieliniowosci g (�) mo·zna wi¾ec realizowac poprzez estymacj¾e funkcjiregresji (wyjscia wzgl¾edem wejscia) wyst¾epuj ¾acej w (2.1).
Gwa÷towny rozwój nieparametrycznych metod identy�kacji dynamicznych systemówo z÷o·zonej strukturze zapocz ¾atkowany zosta÷opublikowanymi przez Greblickiego i Pawlakarezultatami badan dotycz ¾acych nieparametrycznej identy�kacji systemów Hammersteina.W [38] wykazali oni, ·ze dla nieliniowej charakterystyki g (�) wyst¾epuj ¾acej w takim systemieprawdziwa jest nast¾epuj ¾aca zale·znosc
g (x) = aE fYnjXn = xg+ b,
gdzie a i b s ¾a sta÷ymi, niemo·zliwymi niestety do wyznaczenia bez dodatkowej informacjiwst¾epnej. Powy·zszy wynik stanowi podstaw¾e konstrukcyjn ¾a nieparametrycznych algoryt-mów identy�kacji równie·z innych systemów blokowo-zorientowanych (ale nie systemówWienera), zob. np. Greblicki i Pawlak [39], Pawlak i Hasiewicz [92], Hasiewicz [50],Greblicki [31], Hasiewicz [51], Hasiewicz i Sliwinski [54]. Z kolei Greblicki, w cykluprac [26�28], zastosowa÷podejscie nieparametryczne do identy�kacji systemów Wienera.Uzyskane tam rezultaty omówione b¾ed ¾a szerzej w p. 2.2.2.
Rozdzia� 2. Parametryczno�nieparametryczna identy�kacja systemów Wienera 14
Nieparametryczna estymacja funkcji regresji
Koncepcja nieparametrycznej estymacji funkcji regresji, zaproponowana niezale·znie przezWatsona [133] i Nadaray¾e [81], wywodzi si¾e od j ¾adrowych estymatorów funkcji g¾e-stosci prawdopodobienstwa, Parzen [90]. Dla zmiennej losowej X posiadaj ¾acej g¾estoscprawdopodobienstwa f (�), j ¾adrowy estymator funkcji g¾estosci, zbudowany w oparciuo N�elementowy zbiór fXngNi=1 niezale·znych zmiennych losowych o rozk÷adzie1 f (�),przyjmuje postac
fN (x) =1
Nh
NXn=1
K
�x�Xnh
�; (2.2)
gdzie K (�) jest tzw. funkcj ¾a j ¾adra, a h = h (N) dodatnim ci ¾agiem liczbowym (tzw.parametrem wyg÷adzania, ang. bandwidth parameter), takim ·ze h ! 0 i Nh ! 1 przyN !1. Idea estymacji g¾estosci f (�) w ustalonym punkcie x polega zatem na przybli·zaniuwartosci f (x) na podstawie danych pomiarowych, które znajduj ¾a si¾e odpowiednio bliskopunktu x, zob. np. Greblicki [25], Hasiewicz [49], Kulczycki [72], Wand i Jones [132].Przyjmuj ¾ac odpowiednie za÷o·zenia odnosnie j ¾adra K (�) mo·zna pokazac, ·ze estymatorfN (�) jest zgodnym estymatorem g¾estosci f (�) w ka·zdym punkcie ci ¾ag÷osci funkcji f (�). Dlaestymatora fN (�) uzyskano ponadto szereg wyników teoretycznych okreslaj ¾acych warunkipozwalaj ¾ace otrzymac inne ni·z punktowa rodzaje zbie·znosci. Przyk÷adowo, zbie·znoscjednostajna dyskutowana jest przez Silvermana [116], a zbie·znosc estymatora w metryceL1 omawiana jest przez Devroye�a i Györ�ego w [18].
Niech X i Y b¾ed ¾a zmiennymi losowymi o ÷¾acznej g¾estosci prawdopodobienstwafXY (�; �) oraz E jY j <1. Podstaw ¾a konstrukcji j ¾adrowego estymatora funkcji regresji
� (x) = E fY jX = xg
jest obserwacja, ·ze zgodnie z de�nicj ¾a warunkowej wartosci oczekiwanej,
� (x) =r (x)
f (x); (2.3)
gdzie r (x) =R1�1 yf (x; y) dy oraz f (x) jest g¾estosci ¾a prawdopodobienstwa zmiennej
losowej X. Wykorzystuj ¾ac N�elementowy zbiór f(Xn; Yn)gNn=1 zmiennych losowycho rozk÷adzie fXY (�; �), funkcj¾e � (�) estymuje si¾e przybli·zaj ¾ac funkcje r (�) i f (�)w powy·zszym wyra·zeniu. Szczególnie cz¾esto rozwa·zanymi estymatorami regresji � (�)zbudowanymi w oparciu o dekompozycj¾e (2.3) s ¾a estymatory j ¾adrowe (ang. kernelestimates) oraz estymatory wykorzystuj ¾ace rozwini¾ecia funkcji w szereg ortogonalny(ang. orthogonal series estimates). Konstruowane dalej w pracy algorytmy identy�kacjisystemów Wienera budowane s ¾a w oparciu o estymatory j ¾adrowe.
J ¾adrowe estymatory regresji. Pierwsze prace poswi¾econe j ¾adrowym estymatoromfunkcji regresji opublikowano w latach szescdziesi ¾atych ubieg÷ego stulecia, Watson [133],Nadaraya [81], a gwa÷towny wzrost zainteresowania nowo otrzymanymi metodami za-owocowa÷szeregiem rezultatów rozwijaj ¾acych wst¾epne wyniki w wielu kierunkach, zob.np. Greblicki et al. [35], Devroye [17], Härdle [46], Wand i Jones [132].
Wstawiaj ¾ac estymator (2.2) do mianownika wyra·zenia (2.3) oraz konstruuj ¾ac analogi-czne oszacowanie dla ca÷ki w liczniku wyra·zenia (2.3), otrzymuje si¾e nast¾epuj ¾acy estymator
1W zastosowaniach praktycznych ci ¾agowi zmiennych losowychfXngNn=1 odpowiada zbiór obserwacji(pomiarów) fxngNn=1 b ¾ed ¾acy realizacj ¾a ci ¾agu (procesu stochastycznego) fXngNn=1.
Rozdzia� 2. Parametryczno�nieparametryczna identy�kacja systemów Wienera 15
funkcji regresji2 (zob. np. Greblicki [25], Hasiewicz [49], Kulczycki [72])
�N (x) =
NXn=1
YnK
�x�Xnh
�NXn=1
K
�x�Xnh
� ; (2.4)
gdzie K (�) i h s ¾a odpowiednio funkcj ¾a j ¾adra i parametrem wyg÷adzania zale·znym odliczby obserwacji N . Przyjmuj ¾ac odpowiednie za÷o·zenia o funkcji j ¾adra K (�) i parametrzewyg÷adzania h mo·zna wykazac, ·ze estymator �N (�) zbiega do funkcji � (�) wed÷ugprawdopodobienstwa gdy N ! 1, w ka·zdym punkcie x, w którym � (x) i f (x) s ¾aci ¾ag÷e oraz f (x) > 0. Ze wzgl¾edu na nieskomplikowan ¾a budow¾e i ÷atwosc implementacji,estymator �N (�) stanowi istotny element konstrukcyjny wielu nieparametrycznych algoryt-mów identy�kacji. Podobnie jak dla j ¾adrowego estymatora g¾estosci prawdopodobienstwa,dla omawianego estymatora funkcji regresji otrzymano szereg wyników teoretycznychokreslaj ¾acych warunki, przy których �N (�) posiada ró·zne w÷asnosci asymptotyczne.Przyk÷adowo zagadnienie asymptotycznej normalnosci estymatora �N (�) dyskutowanejest przez Nadaray¾e [81] i Schustera [113], problematyka optymalnej szybkosci zbie·znosci�N (�) omawiana jest przez Stona w [120], a Mack i Silverman [77] podaj ¾a warunki,przy których zachodzi s÷aba i mocna jednostajna zgodnosc �N (�). W [35] Greblicki et al.rozwa·zaj ¾a z kolei punktow ¾a zgodnosc estymatora �N (�) w przypadku dowolnego rozk÷aduprawdopodobienstwa zmiennej wejsciowej X (ang. distribution�free consistency).
2.1.3 Metody parametryczno�nieparametryczne
Algorytmy parametryczno�nieparametryczne umo·zliwiaj ¾a identy�kacj¾e w sytuacji, gdywiedza aprioryczna o systemie ma mieszany, parametryczny i nieparametryczny, charakter.Typowym przyk÷adem tego rodzaju informacji wst¾epnej jest posiadanie du·zej wiedzy(parametrycznej) o jednym z podsystemów i ma÷ej (nieparametrycznej) na temat drugiegopodsystemu.
W kontekscie identy�kacji systemów Hammersteina pierwszy tego rodzaju algorytmzaproponowany zosta÷przez Hasiewicza i Mzyka w [52]. Wykorzystuj ¾ac technik¾e niepara-metrycznej estymacji funkcji regresji, w pracy skonstruowano estymator wewn¾etrznegosygna÷u interakcyjnego, który nast¾epnie wykorzystano do przeprowadzenia niezale·znieparametrycznej identy�kacji nieliniowego podsystemu statycznego i liniowego dynami-cznego (metod ¾a najmniejszych kwadratów).
2.2 Aktualny stan badan na temat identy�kacji systemówWienera
Prezentowane w literaturze metody identy�kacji systemów Wienera klasy�kowac mo·znawed÷ug ró·znych kryteriów. Typowa i cz¾esto spotykana systematyka opiera si¾e na podzialealgorytmów ze wzgl¾edu na ilosc informacji apriorycznej niezb¾ednej dla zastosowaniaokreslonej metody identy�kacji (algorytmy parametryczne i nieparametryczne). Inny,w÷asciwy dla systemów Wienera podzia÷, zwi ¾azany jest z charakterem sygna÷u wejsciowegooraz szczególnymi w÷asnosciami charakterystyki nieliniowej. Ze wzgl¾edu na specy�czn ¾a
2W przypadku gdy licznik i mianownik estymatora s ¾a równe zero, zazwyczaj przyjmuje si¾e, ·ze 0=0 = 0(por. np. Greblicki i Pawlak [39]). Dla rozwa·zanych w pracy estymatorów z j ¾adrem równie·z zastosujemyt¾e konwencj¾e.
Rozdzia� 2. Parametryczno�nieparametryczna identy�kacja systemów Wienera 16
konstrukcj¾e omawianych systemów (w szczególnosci fakt wyst¾epowania podsystemuliniowego przed podsystemem nieliniowym) zazwyczaj przyjmowanym za÷o·zeniem jestwymaganie, aby sygna÷wejsciowy systemu mia÷charakter gaussowski, zob. Billingsi Fakhouri [6], Bershad et al. [2], Celka et al. [11], Chen [15], Enqvist [19], Greblicki [26�28],Westwick i Verhaegen [135]. Algorytmy umo·zliwiaj ¾ace identy�kacj¾e dla niegaussowskichsygna÷ów wejsciowych s ¾a rzadziej omawiane w literaturze, zob. np. Pawlak et al. [93], Talebet al. [121]. Innym charakterystycznym dla systemów Wienera za÷o·zeniem jest wymaganie,aby charakterystyka nieliniowa by÷a funkcj ¾a odwracaln ¾a, zob. np. Greblicki [26,27], Gómezet al. [23], Gómez i Baeyens [22], Raich et al. [98], Solé-Casals et al. [119], Taleb et al. [121].Z kolei Greblicki [28], Hughes i Westwick [56], Lacy i Bernstein [73] oraz Wigren [138]prezentuj ¾a algorytmy nie wymagaj ¾ace odwracalnosci nieznanej charakterystyki.
Fakt wyst¾epowania nieliniowego obiektu statycznego za liniowym obiektem dynam-icznym mo·ze powodowac istotne komplikacje w identy�kacji, w przypadku gdy na wyjsciusystemu wyst¾epuje addytywny sygna÷zak÷ócaj ¾acy (por. p. 1.2). Z tego powodu prezen-towane w literaturze algorytmy daj ¾a si¾e klasy�kowac równie·z pod k ¾atem �lokalizacji�niedost¾epnych dla pomiaru zak÷ócen. Identy�kacja systemów Wienera, w których szum niewyst¾epuje rozwa·zana jest np. przez Lacy�ego i Bernsteina [73]. Systemy z addytywnymsygna÷em zak÷ócaj ¾acym interakcje, tj. wyst¾epuj ¾acym na wyjsciu podsystemu dynami-cznego, dyskutuj ¾a Gómez i Baeyens [22,23] oraz Greblicki [26�29,33]. Z kolei identy�kacjasystemów z szumem na wyjsciu ca÷ego systemu rozwa·zana jest przez Baia [1], Hughesai Westwicka [56], Pawlaka et al. [93] oraz Wachla [129].
W dalszej cz¾esci rozdzia÷u omówione zostan ¾a prezentowane dotychczas w literaturzeparametryczne i nieparametryczne metody identy�kacji systemów Wienera i na tym tleprzedstawiona zostanie ogólna koncepcja proponowanych w pracy nowych algorytmówparametryczno�nieparametrycznych.
2.2.1 Parametryczna identy�kacja systemów Wienera
W typowym zadaniu parametrycznej identy�kacji systemów Wienera zak÷ada si¾e za-zwyczaj, ·ze podsystem dynamiczny posiada skonczon ¾a pami¾ec (o znanej d÷ugosci),a nieliniowa charakterystyka g (�) jest wielomianem znanego stopnia, Lacy i Bernstein[73]. Rzadziej rozwa·za si¾e ogólniejsze podejscia, w których pami¾ec systemu nie musibyc skonczona. Przyk÷adowo Norquay et al. [85] proponuj ¾a algorytm umo·zliwiaj ¾acyparametryczn ¾a identy�kacj¾e systemów Wienera z wyjsciowym szumem addytywnym (rys.1.5) i podsystemem liniowym opisywanym równaniem ró·znicowym
Vn =B�q�1�
A (q�1)Xn,
gdzie A�q�1�= 1+a1q
�1+ : : :+akq�k oraz B
�q�1�= b1q
�1+ : : :+blq�l s ¾a wielomianami
znanych stopni k i l, a q�1 jest operatorem przesuni¾ecia wstecz. Nieliniowa charakterystykag (�) jest wielomianem znanego stopnia m,
g (v) = 1v + 2v2 + � � � mvm.
Zadanie identy�kacji polega na wyznaczeniu wspó÷czynników wielomianów A�q�1�,
B�q�1�i g (v), tj. elementów wektora �0 = [a1; : : : ; ak; b1; : : : ; bl; 1; : : : ; 2; : : : ; m]
T ,na podstawie zbioru obserwacji wejscia i wyjscia systemu f(Xn; Yn)gNn=1. W oma-wianym podejsciu, na podstawie dost¾epnej informacji wst¾epnej, konstruuje si¾e model�wejscie�wyjscie�systemu zale·zny od wektorowego parametru �,
Yn (Xn; �) =
mXi=1
i
B�q�1�
A (q�1)Xn
!i
Rozdzia� 2. Parametryczno�nieparametryczna identy�kacja systemów Wienera 17
oraz funkcj¾e kryterialn ¾a zbudowan ¾a w oparciu o zbiór f(Xn; Yn)gNn=1,
�1 (�) =1
N
NXn=1
[Yn � Yn (Xn; �)]2 .
Metoda polega na wyznaczaniu takiego wektora � który minimalizuje funkcj¾e kryterialn ¾a�1 (�).
Omówiony algorytm jest jedn ¾a z wielu parametrycznych metod identy�kacji systemówWienera zbudowanych w oparciu o metod¾e najmniejszych kwadratów, por. np. Pupeikis[97], Lacy i Bernstein [73], Schoukens et al. [111], Bruls et al. [10], Hughes i Westwick[56]. Inne podejscia do identy�kacji systemów Wienera proponowane s ¾a m.in. przezXu et al. [140] i Chena et al. [14] gdzie zastosowano teori¾e uczenia sieci neuronowychdo modelowania nieliniowosci w systemie. Podejscie cz¾estotliwosciowe, umo·zliwiaj ¾aceidenty�kacj¾e przy deterministycznym pobudzeniu sinusoidalnym, omawiane jest przez Baia[1], a zastosowanie metod korelacyjnych proponowane jest przez Billingsa i Fakhouriegow [7, 8]. W [137] Wigren konstruuje rekurencyjny algorytm, oparty na metodzie b÷¾edupredykcji, umo·zliwiaj ¾acy identy�kacj¾e systemów z obiektem dynamicznym typu ARMAi odcinkami liniowymi nieliniowosciami (ang. piecewise linear), zob. te·z Wigren [138].Podejscie rekurencyjne proponowane jest równie·z przez Chena [15] do identy�kacjinieci ¾ag÷ych, odcinkami liniowych nieliniowosci oraz przez Jacobsa [59], zob. te·z Vörös [124]i Hagenblad [44]. Na uwag¾e zas÷uguj ¾a tak·ze metody typu blind identi�cation, Taleb etal. [121].
Nale·zy podkreslic, ·ze w odró·znieniu od algorytmów nieparametrycznych, dla wi¾ekszosciomawianych w literaturze metod parametrycznej identy�kacji systemów Wienera nieprzeprowadzono teoretycznej analizy ich w÷asnosci asymptotycznych.
2.2.2 Nieparametryczna identy�kacja systemów Wienera
Pierwszy nieparametryczny algorytm identy�kacji systemów Wienera opublikowany zosta÷w roku 1992 przez Greblickiego w [26]. Zaproponowana metoda, podobnie jak opracowanewczesniej nieparametryczne algorytmy identy�kacji systemów Hammersteina (Greblickii Pawlak [38]), bazowa÷a na zale·znosci pomi¾edzy odpowiedni ¾a funkcj ¾a regresji, a nieliniow ¾acharakterystyk ¾a wyst¾epuj ¾ac ¾a w systemie. W pracy wykazano, ·ze dla asymptotyczniestabilnego systemu Wienera (1.7)�(1.8) o dowolnej pami¾eci, funkcja regresji (wejsciawzgl¾edem wyjscia) o postaci
� (y) = E fXnjYn = yg
jest zwi ¾azana z nieliniow ¾a charakterystyk ¾a g (�) nast¾epuj ¾ac ¾a zale·znosci ¾a
� (y) = cg�1 (y) ; (2.5)
gdzie c jest sta÷¾a zale·zn ¾a od podsystemu liniowego oraz od wariancji sygna÷u fXng.Otrzymany zwi ¾azek udowodniony zosta÷przy za÷o·zeniu, ·ze sygna÷wejsciowy fXngoraz wewn¾etrzny sygna÷zak÷ócaj ¾acy s ¾a stochastycznie niezale·znymi ci ¾agami typu i:i:d:o rozk÷adach normalnych z zerowymi wartosciami oczekiwanymi. Ponadto, ze wzgl¾edu nawyst¾epowanie w (2.5) funkcji odwrotnej do g (�) przyj¾eto, ·ze nieliniowa charakterystykajest funkcj ¾a scisle monotoniczn ¾a i spe÷niaj ¾ac ¾a warunek Lipschitza (tzn. jg (v1)� g (v2)j �� jv1 � v2j� , � > 0; � > 0; i v1; v2 2 R). Przedstawiony algorytm identy�kacji umo·zliwia÷poprzez estymacj¾e regresji � (�) szacowanie odwrotnosci nieliniowej charakterystyki g (�).Do estymacji funkcji � (�) wykorzystano estymator j ¾adrowy (por. (2.4)) zbudowany
Rozdzia� 2. Parametryczno�nieparametryczna identy�kacja systemów Wienera 18
w oparciu o N�elementowy zbiór obserwacji f(Xn; Yn)gNn=1 pochodz ¾acych z systemu,
�N (y) =
NXn=1
XnK
�y � Ynh
�NXn=1
K
�y � Ynh
� , (2.6)
gdzie K (�) jest nieujemn ¾a, ograniczon ¾a i lipschitzowsk ¾a funkcj ¾a j ¾adra, tak ¾a ·zeRK (t) dt =
1 i K (t) t1+" ! 0 gdy jtj ! 1; dla dowolnego " > 0 oraz h jest parametrem wyg÷adzaniaspe÷niaj ¾acym warunki h ! 0; N2h ! 1 gdy N ! 1. W pracy wykazano, ·ze estymator�N (�) jest zgodnym estymatorem funkcji cg�1 (�) w ka·zdym punkcie y, w którym g¾estoscprawdopodobienstwa wyjscia systemu jest dodatnia. Po przyj¾eciu dodatkowych za÷o·zenodnosnie j ¾adra K (�) i g÷adkosci funkcji g (�) okreslony zosta÷równie·z rz ¾ad szybkoscizbie·znosci estymatora
�N (y) = cg�1 (y) +OP
�N� 1
3
�;
gdy h � N�1=6, w ka·zdym punkcie y w którym g¾estosc wyjscia systemu jest dodatnia(zob. de�nicja symbolu OP (�) na str. 87).
Omówiony wy·zej estymator �N (y) zosta÷nast¾epnie zastosowany do skonstruowanianieparametrycznego algorytmu identy�kacji odpowiedzi impulsowej podsystemu dynami-cznego. Podejscie to wykorzystywa÷o obserwacj¾e, ·ze dla rozwa·zanego systemu Wienera
c�i = E fX0� (Yi)g . (2.7)
Na podstawie powy·zszego wzoru zaproponowano estymator zbudowany w oparciu o nowyci ¾ag pomiarów f(X 0
n; Y0n)g
N 0
n=1 niezale·znych od obserwacji wykorzystanych w konstrukcji�N (�). Ze wzgl¾edu na nieznajomosc funkcji � (�) w (2.7), w jej miejsce wstawiono estymator�N (�). Jako estymator c�i przyj¾eto zatem
�i;N;N 0 =1
N 0
N 0Xn=1
X 0n�N
�Y 0i+n
�.
Zale·znosc (2.5) stanowi÷a równie·z podstaw¾e kolejnego nieparametrycznego algo-rytmu identy�kacji systemów Wienera, Greblicki [27]. W pracy tej zaproponowanoklas¾e algorytmów ortogonalnych zbudowanych w oparciu o szeregi: trygonometryczny,Legendre�a i Hermite�a. Wykazano zgodnosc estymatorów oraz okreslono rz¾edy ichszybkosci zbie·znosci. Otrzymane rezultaty wskazuj ¾a, ·ze dla dwukrotnie ró·zniczkowalnychnieliniowosci opisany powy·zej algorytm j ¾adrowy zbiega szybciej ni·z algorytmy ortogonalne.Niemniej jednak algorytmy ortogonalne cechuj ¾a si¾e lepszymi w÷asnosciami obliczeniowymi,zob. [27, str. 283].
Kolejny etap rozwoju teorii nieparametrycznej identy�kacji systemów Wienera polega÷na opracowaniu metody identy�kacji, nie nak÷adaj ¾acej ·zadnych ograniczen na nieliniow ¾acharakterystyk¾e w systemie3, Greblicki [28]. Opracowana metoda stanowi÷a uogólnieniealgorytmu z [26] i, podobnie jak omówione wy·zej algorytmy, bazowa÷a na zale·znosci(2.5). Z tego powodu za÷o·zenia odnosnie charakteru sygna÷u wejsciowego i zak÷óca-j ¾acego pozosta÷y niezmienione. Nieznan ¾a funkcj¾e regresji � (y) estymowano przy pomocyestymatora (2.6), przyjmuj ¾ac jednak nieco inne za÷o·zenia odnosnie j ¾adra K (�), zob.[28, str. 540]. Wykazano zgodnosc algorytmu w punktach y, w których nieliniowacharakterystyka g (�) jest odwzorowaniem ró·znowartosciowym oraz w ich otoczeniu
3Nieliniowosc musia÷a byc jedynie funkcj ¾a mierzaln ¾a.
Rozdzia� 2. Parametryczno�nieparametryczna identy�kacja systemów Wienera 19
spe÷nia warunek Lipschitza. Zak÷adaj ¾ac dodatkowo, ·ze w rozwa·zanych punktach g (�) maniezerow ¾a pochodn ¾a wykazano, i·z estymator posiada szybkosc zbie·znosci OP
�N�1=4�, (dla
h � N�1=4). W omawianej pracy zaproponowano równie·z nieparametryczny estymatorodpowiedzi impulsowej podsystemu dynamicznego. W odró·znieniu od wczesniejszychwyników, algorytm nie wymaga stosowania estymatora funkcji regresji � (�) i opiera si¾ena spostrze·zeniu, ·ze w rozwa·zanym systemie c1�i = E fX0Yig, i = 0; 1; : : :, gdzie c1 jestpewn ¾a sta÷¾a. Jako estymator elementu c1�i przyj¾eto wi¾ec
~�i;N =1
N
NXn=1
XnYi+n. (2.8)
Wykazano, ·ze dla dowolnej nieliniowosci g (�) spe÷niaj ¾acej warunek E jV1g (V1)j < 1,gdzie fVng jest sygna÷em interakcyjnym w systemie, powy·zszy estymator jest zgodnymestymatorem elementu c1�i, oraz ·ze w przypadku gdy nieliniowosc spe÷nia warunekLipschitza, estymator posiada parametryczn ¾a szybkosc zbie·znosci, tj.
c1�i = ~�i;N +OP
�N� 1
2
�, i = 0; 1; 2; : : :
Oprócz omówionych powy·zej algorytmów umo·zliwiaj ¾acych identy�kacj¾e przy bardzo÷agodnych za÷o·zeniach o postaci systemu, podj¾eto równie·z próby opracowania metodnieparametrycznych, pozwalaj ¾acych na identy�kacj¾e w przypadku sygna÷ów wejsciowychnie b ¾ed ¾acych ci ¾agami typu i:i:d: (ale w dalszym ci ¾agu o charakterze gaussowskim),Greblicki [33]. Teori¾e nieparametrycznej identy�kacji systemów Wienera rozwijano te·zw innych kierunkach. W [30] Greblicki zaproponowa÷rekurencyjn ¾a wersj¾e algorytmu,a Wachel [125,126] przedstawi÷algorytm ortogonalny, zbudowany w oparciu o rozwini¾eciafalkowe.
2.3 Ogólna charakterystyka proponowanych metod identy-�kacji
Zarówno parametryczne jak i nieparametryczne metody identy�kacji systemów Wieneraposiadaj ¾a ograniczenia, wynikaj ¾ace ze specy�cznej konstrukcji rozwa·zanej klasy systemów.Omawiane zadanie identy�kacji jest stosunkowo trudne i zazwyczaj wymaga przyj¾eciasilnych za÷o·zen odnosnie samego systemu b ¾adz te·z sygna÷ów wejsciowego i zak÷ócaj ¾acego.W praktyce, opracowane dotychczas algorytmy parametryczne wymagaj ¾a du·zej wiedzyo nieliniowosci g (�) oraz wyst¾epowania gaussowskiego sygna÷u wejsciowego. Je·zeli infor-macja o nieliniowosci jest zbyt ma÷a, mo·zliwe jest zastosowanie algorytmów nieparame-trycznych. Niestety, w przypadku gdy sygna÷wejsciowy nie jest sygna÷em gaussowskim,wi¾ekszosc metod parametrycznych oraz metody nieparametryczne nie mog ¾a byc stosowane.Z tego powodu szczególnie istotne wydaje si¾e opracowanie algorytmów umo·zliwiaj ¾acychidenty�kacj¾e w sytuacjach, gdy dost¾epna wiedza aprioryczna nie wystarcza do zastosowa-nia algorytmów czysto parametrycznych oraz sygna÷wejsciowy systemu nie jest sygna÷emgaussowskim. Prezentowane w pracy podejscie parametryczno�nieparametryczne maumo·zliwic identy�kacj¾e w przypadku, gdy omówione powy·zej parametryczne i niepara-metryczne metody identy�kacji nie mog ¾a byc stosowane wprost. Koniecznym warunkiemjest jednak skonczonosc i znajomosc d÷ugosci pami¾eci systemu, co jak wynika z rozwa·zanw p. 2.2.1 nie jest za÷o·zeniem nietypowym, podczas gdy informacja o nieliniowosciw systemie mo·ze byc bardzo ma÷a. Zak÷ada si¾e zatem, ·ze dost¾epna informacja apriorycznao podsystemie dynamicznym ma charakter parametryczny, a wiedza o nieliniowosci jestnieparametryczna.
Rozdzia� 2. Parametryczno�nieparametryczna identy�kacja systemów Wienera 20
Zanim przedstawiona zostanie ogólna koncepcja proponowanych metod warto pod-kreslic, ·ze ze wzgl¾edu na kaskadow ¾a budow¾e systemów Wienera i nieznajomosc obupodsystemów sk÷adowych, identy�kacja mo·ze byc przeprowadzona tylko z dok÷adnosci ¾ado nieznanej multiplikatywnej sta÷ej c0 6= 0. ×atwo bowiem zauwa·zyc, ·ze dla dowolnegosygna÷u wejsciowego, wyjscie systemu opisanego równaniami (1.9)�(1.10) b¾edzie iden-tyczne z wyjsciem systemu o odpowiedzi impulsowej fc0�igpi=0 i nieliniowosci g (�=c0).W÷asnosc powy·zsza jest niezale·zna od stosowanej metody identy�kacji i wynika z budowysystemu oraz charakteru posiadanej informacji pomiarowej, a w szczególnosci z faktu, ·zewewn¾etrzny sygna÷interakcyjny nie jest dost¾epny.
2.3.1 Idea dwuetapowej parametryczno�nieparametrycznej identy�kacjisystemów Wienera
Proponowane w pracy parametryczno�nieparametryczne metody identy�kacji systemówWienera konstruowane s ¾a z wykorzystaniem ró·znorodnych narz¾edzi statystyki matema-tycznej, poczynaj ¾ac od metod korelacyjnych, poprzez metod¾e najmniejszych kwadratówi estymacj¾e korelacji rang, a koncz ¾ac na zastosowaniu j ¾adrowego estymatora funkcjiregresji oraz tzw. estymatora usrednionej pochodnej (ang. average derivative estimate).Pomimo wielu istotnych ró·znic, proponowane algorytmy zbudowane s ¾a w oparciuo wspólny szkielet, którego geneza wywodzi si¾e z opracowanej przez Hasiewicza i Mzykaparametryczno�nieparametrycznej metody identy�kacji systemów Hammersteina [52].Nale·zy przy tym podkreslic, ·ze:
Uwaga 2.1 W systemach Hammersteina (pobudzanych sygna÷ami typu i.i.d.) zarównowejscie jak i wyjscie nieliniowego podsystemu statycznego jest sygna÷em typu i.i.d.;w przypadku systemów Wienera natomiast (bez wzgl ¾edu na fakt, czy wejscie systemu jestci ¾agiem typu i.i.d.), wejscie i wyjscie nieliniowego podsystemu statycznego jest sygna÷emskorelowanym, a wi ¾ec nie jest ci ¾agiem typu i.i.d.
Uwaga 2.2 W systemach Hammersteina przekszta÷ceniu nieliniowemu poddawany jestdost ¾epny dla obserwacji sygna÷wejsciowy systemu. W systemach Wienera natomiast,argumentem (wejsciem) nieliniowosci jest nieznany i niedost ¾epny dla pomiarów sygna÷interakcyjny.
Zawarte w uwagach 2.1 i 2.2 obserwacje prowadz ¾a do wniosku, ·ze zadanie identy�kacjisystemów Wienera jest zazwyczaj znacznie bardziej skomplikowane ni·z zadanie identy�-kacji systemów Hammersteina.
Podstaw ¾a proponowanych w pracy metod jest elementarne spostrze·zenie, ·ze przyznajomosci podsystemu dynamicznego, niedost¾epny dla pomiarów sygna÷interakcyjnyfVng mo·ze byc wyznaczony przy u·zyciu zgromadzonych obserwacji wejscia fXng ca÷egosystemu. Na podstawie zbioru par obserwacji (Vn; Yn), nieliniowa charakterystyka g (�)mo·ze byc nast¾epnie estymowana metodami nieparametrycznymi. Dla systemu Wieneraz addytywnym szumem wyjsciowym niezale·znym od wejscia, zachodzi bowiem zwi ¾azek4
g (v) = E fY1jV1 = vg . (2.9)
W rzeczywistosci, opracowane metody identy�kacji nie wymagaj ¾a tak du·zej informacjiwst¾epnej dotycz ¾acej cz¾esci dynamicznej systemu. Wykorzystuj ¾ac pomiary wejscia i wyjsciaca÷ego systemu mo·zna bowiem skonstruowac zgodne estymatory parametrów podsystemu
4Dodatkowo wartosc oczekiwana zak÷ócenia musi byc równa zero.
Rozdzia� 2. Parametryczno�nieparametryczna identy�kacja systemów Wienera 21
dynamicznego i, w konsekwencji, szacowac nieznany sygna÷fVng. Schemat proponowanychdwuetapowych algorytmów identy�kacji daje si¾e przedstawic nast¾epuj ¾aco:
Etap I
Parametryczna identy�kacja odpowiedzi impulsowej f�igpi=0 podsystemu dynamicznegona podstawie dost¾epnych obserwacji wejscia i wyjscia ca÷ego systemu.
Etap IIa
Estymacja sygna÷u interakcyjnego fVng na podstawie dost¾epnych obserwacji wejscia orazuzyskanego w etapie I estymatora odpowiedzi impulsowej.
Etap IIb
Nieparametryczna identy�kacja charakterystyki nieliniowej g (�) z wykorzystaniem uzyska-nego w etapie IIa estymatora sygna÷u fVng i dost¾epnych obserwacji wyjscia systemu.
2.4 Teza pracy
Zastosowanie parametryczno�nieparametrycznych metod identy�kacji systemów Wieneraskonstruowanych w pracy, pozwala na identy�kacj¾e liniowych i nieliniowych podsystemówsk÷adowych, przy za÷o·zeniu parametrycznej wiedzy o podsystemie dynamicznym i niepara-metrycznej o podsystemie statycznym. Algorytmy parametryczno�nieparametryczneumo·zliwiaj ¾a identy�kacj¾e w sytuacji, gdy losowy sygna÷wejsciowy nie jest sygna÷emgaussowskim, a szum zak÷ócaj ¾acy dzia÷a na wyjscie systemu. Ponadto algorytmy niewymagaj ¾a odwracalnosci charakterystyki nieliniowej systemu i umo·zliwiaj ¾a estymacj¾enieliniowosci wprost, tj. nie poprzez funkcj¾e odwrotn ¾a, ÷agodz ¾ac w ten sposób typowewymagania wst¾epne i rozszerzaj ¾ac zakres stosowalnosci metod.
2.5 Cele pracy
Celami pracy s ¾a:
� Opracowanie algorytmów identy�kacji systemów Wienera, umo·zliwiaj ¾acych iden-ty�kacj¾e w przypadku gaussowskich i niegaussowskich sygna÷ów wejsciowych orazodwracalnych i nieodwracalnych charakterystyk nieliniowych.
� Przeprowadzenie analizy teoretycznej algorytmów dotycz ¾acej ich w÷asnosci asympto-tycznych.
� Wykonanie badan eksperymentalnych proponowanych metod, celem ilustracji za-chowania algorytmów dla ma÷ej i sredniej liczby obserwacji.
2.6 Podstawowe za÷o·zenia oraz klasy�kacja zadan
W pracy rozwa·zana jest identy�kacja systemów Wienera opisanych równaniami
Vn =
pXi=0
�iXn�i; (2.10)
Yn = g (Vn) + Zn; (2.11)
gdzie fXng i fYng oznaczaj ¾a odpowiednio sygna÷wejsciowy i wyjsciowy, fZng jestaddytywnym szumem na wyjsciu systemu oraz fVng jest sygna÷em wewn¾etrznym reprezen-
Rozdzia� 2. Parametryczno�nieparametryczna identy�kacja systemów Wienera 22
tuj ¾acym wyjscie obiektu dynamicznego i zarazem wejscie obiektu statycznego5. Skonczony(p+ 1)�elementowy ci ¾ag f�igpi=0 jest odpowiedz ¾a impulsow ¾a podsystemu dynamicznego.Funkcja g (�) reprezentuje nieliniow ¾a charakterystyk¾e w systemie.
2.6.1 Za÷o·zenia ogólne
Odnosnie klasy identy�kowanych systemów Wienera przyjmuje si¾e nast¾epuj ¾ace za÷o·zeniaogólne, wspólne dla wszystkich rozwa·zanych w pracy metod identy�kacji:
Za÷o·zenie 2.1 D÷ugosc p odpowiedzi impulsowej podsystemu dynamicznego jest skonczonai znana. Ponadto �0 6= 0.
Za÷o·zenie 2.2 Sygna÷wejsciowy fXng jest ci ¾agiem i.i.d. zmiennych losowych.
Za÷o·zenie 2.3 Addytywny szum fZng zak÷ócaj ¾acy wyjscie systemu jest ci ¾agiem i.i.d.zmiennych losowych o zerowej wartosci oczekiwanej i wariancji �2Z <1 oraz fZng i fXngs ¾a stochastycznie niezale·zne.
Za÷o·zenie 2.4 Identy�kowany system znajduje si ¾e w stanie ustalonym.
2.6.2 Klasy�kacja zadan
Z przedstawionych w p. 2.5 celów pracy wynikaj ¾a nast¾epuj ¾ace zadania:
� Opracowanie metody identy�kacji dla przypadku gaussowskiego sygna÷u wejsciowegooraz dowolnej charakterystyki nieliniowej systemu.
� Opracowanie algorytmów identy�kacji dla przypadku niegaussowskich sygna÷ówwejsciowych, dodatkowo przy braku odwracalnosci charakterystyki nieliniowej.
� Analiza asymptotyczna algorytmów.
� Wykonanie badan symulacyjnych proponowanych metod identy�kacji.
5W rozwa·zanym zadaniu identy�kacji sygna÷y fXng ; fVng ; fYng i fZng s ¾a ci ¾agami zmiennych losowych.
Rozdzia÷3
Identy�kacja systemów Wieneraz zastosowaniem metodykorelacyjnej
W tym rozdziale prezentowana jest metoda identy�kacji systemów Wienera z gaussowskimsygna÷em wejsciowym. Omawiany algorytm bazuje na podejsciu zaproponowanym przezGreblickiego [28], w którym do nieparametrycznej estymacji odpowiedzi impulsowejpodsystemu dynamicznego wykorzystano korelacyjn ¾a metod¾e identy�kacji (zob. wzór(2.8)). Proponowany tutaj algorytm umo·zliwia identy�kacj¾e systemów z addytywnymszumem na wyjsciu, pobudzanych gaussowskim sygna÷em wejsciowym o dowolnej (niez-nanej) wartosci sredniej (zak÷ada si¾e jednak, ·ze w systemie nie wyst¾epuje wewn¾etrznysygna÷zak÷ócaj ¾acy). W przeciwienstwie do [28], przedstawiona metoda umo·zliwia identy-�kacj¾e nieliniowej charakterystyki wprost, tj. nie poprzez funkcj¾e odwrotn ¾a.
Wprowadzone w rozdziale estymatory cz¾esci liniowej, sygna÷u interakcyjnego i cz¾escinieliniowej systemu oznaczane b¾ed ¾a indeksem �Cr�(od ang. Correlation).
3.1 Sformu÷owanie problemu
Rozwa·zane zadanie identy�kacji dotyczy klasy systemów Wienera opisywanych równania-mi (2.10)�(2.11), dla których spe÷nione s ¾a za÷o·zenia (2.1)�(2.4). Dodatkowo zak÷adamy,·ze:
Za÷o·zenie 3.1 Sygna÷wejsciowy fXng ma rozk÷ad normalny N��X ; �
2X
�z nieznan ¾a
wartosci ¾a oczekiwan ¾a �X i wariancj ¾a �2X .
Za÷o·zenie 3.2 Nieliniowa charakterystyka g (�) ograniczona jest przez wielomian, tj.jg (v)j � m (v) ;8v 2 R, gdzie m (�) jest wielomianem dowolnego skonczonego stopnia.
Za÷o·zenie 3.3 Rozwa·zana klasa systemów zawiera tylko systemy, dla którychCov fX1; Y1g 6= 0.
3.2 Identy�kacja podsystemu dynamicznego metod ¾a korela-cyjn ¾a
Na mocy za÷o·zenia 3.1 oraz twierdzenia B.1 w dodatku B.2 zauwa·zmy najpierw, ·ze sygna÷fVng jest ci ¾agiem zmiennych losowych o rozk÷adzie normalnym z wartosci ¾a oczekiwan ¾a
23
Rozdzia� 3. Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 24
i wariancj ¾a okreslonymi wzorami
�V = �X
pXi=0
�i oraz �2V = �2X
pXi=0
�2i : (3.1)
Zatem, zgodnie z twierdzeniem B.2 (zob. dodatek B.2, wzór (B.3)), dla dowolnego i 2f0; 1; : : : ; pg prawdziwa jest nast¾epuj ¾aca zale·znosc
E fX0jVig = �X + ��X�V
(Vi � �V ) ; (3.2)
gdzie � jest wspó÷czynnikiem korelacji zmiennych losowych X0 i Vi, który wyznaczymyznajduj ¾ac wczesniej kowariancj¾e
Cov fX0; Vig = E f(�X �X0) (�V � Vi)g = E fX0Vig � �X�V .
Wykorzystuj ¾ac wzory (3.1) oraz de�nicj¾e sygna÷u interakcyjnego fVng (zob. (2.10)),otrzymujemy
E fX0Vig � �X�V = �iE�X20
+ �2X
pXj=0;j 6=i
�j � �X�V
= �i�2X + �i�
2X + �
2X
pXj=0;j 6=i
�j � �2XpXj=0
�j .
Ostatecznie wi¾ec Cov fX0; Vig = �i�2X , i wobec tego
� = corr fX0; Vig = �i�X�V.
Wyra·zenie (3.2) mo·zna teraz zapisac w postaci
E fX0jVig = �X + �i�2X�2V
(Vi � �V ) . (3.3)
Zauwa·zmy dalej, ·ze
E fX0Yig = E fX0g (Vi)g = E fE fX0g (Vi) jVigg (3.4)
= E fg (Vi)E fX0jVigg = E fYiE fX0jVigg :
Wstawiaj ¾ac (3.3) do (3.4) otrzymujemy kluczowe dla dalszych rozwa·zan równanie
��i = E fX0Yig � �; (3.5)
w którym sta÷e � oraz � dane s ¾a wzorami
� =�2X�2V
[E fY1V1g � �V �Y ] oraz � = �X�Y ; (3.6)
natomiast �Y jest wartosci ¾a oczekiwan ¾a wyjscia systemu, tj. �Y = E fY1g.Równanie (3.5) stanowi ¾ace podstaw¾e omawianego algorytmu identy�kacji podsystemu
dynamicznego jest uogólnieniem zwi ¾azku wprowadzonego w [28] na przypadek sygna÷ówwejsciowych o niezerowej wartosci oczekiwanej (tj. �X 6= 0). Jak ÷atwo zauwa·zyc, dla �X =0 sta÷a � jest równa zero oraz � = �2Xn�2VE fYiVig, co odpowiada sytuacji przedstawionejw [28].
Wykorzystuj ¾ac powy·zsze rezultaty mo·zemy przeprowadzic konstrukcj¾e estymatoraodpowiedzi impulsowej podsystemu dynamicznego.
Rozdzia� 3. Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 25
3.2.1 Konstrukcja estymatora podsystemu dynamicznego
Zgodnie z obserwacj ¾a w p. 2.3, zarówno podsystem dynamiczny jak i element statycznysystemuWienera mog ¾a byc zidenty�kowane tylko z dok÷adnosci ¾a do multiplikatywnej sta÷ejc0 6= 0. Z równania (3.5) wynika (zob. za÷o·zenie 2.1 na str. 22) ·ze � = ��10 [E fX0Y0g � �],co z kolei prowadzi do wniosku, ·ze � 6= 0 wtedy i tylko wtedy, gdy Cov fX0; Y0g 6= 0. Dlarozwa·zanej klasy systemów warunek ten jest spe÷niony na mocy za÷o·zenia 3.3, a w celuidenty�kacji odpowiedzi impulsowej obiektu dynamicznego wystarczy estymowac praw ¾astron¾e zale·znosci (3.5).
Oznaczymy i = E fX0Yig. Naturalnym estymatorem wartosci i jest nast¾epuj ¾acasrednia z próby, konstruowana w oparciu o zbiór obserwacji f(Xn; Yn)gNn=1,
i;N =1
N � i
N�iXn=1
XnYi+n. (3.7)
Drugim, koniecznym do oszacowania elementem równania (3.5), jest sta÷a �. Poniewa·zjest ona iloczynem wartosci oczekiwanych wejscia i wyjscia systemu, wi¾ec odpowiedniestymator przyjmie nast¾epuj ¾ac ¾a, naturaln ¾a, postac
�N = �X;N � �Y;N , (3.8)
gdzie �X;N , �Y;N s ¾a estymatorami wartosci oczekiwanych odpowiednio wejscia i wyjsciasystemu, tj.
�X;N =1
N
NXn=1
Xn oraz �Y;N =1
N
NXn=1
Yn.
W rezultacie, do oszacowania elementów przeskalowanej odpowiedzi impulsowej ��i; i =0; 1; : : : ; p, otrzymujemy nast¾epuj ¾acy zbiór estymatorów
�Cr
i;N = i;N � �N ; i = 0; 1; : : : ; p, (3.9)
których w÷asnosci asymptotyczne oraz zachowanie dla ma÷ej i sredniej liczby obserwacjiomówione zostan ¾a odpowiednio w p. 3.5.1 i 3.7.
3.3 Estymacja sygna÷u interakcyjnego
Zauwa·zmy, ·ze odpowiedni estymator sygna÷u interakcyjnego fVng mo·zna ÷atwo uzyskacwstawiaj ¾ac we wzorze (2.10) otrzymane wy·zej estymatory f�
Cr
i;Ngpi=0 w miejsce nieznanych,
prawdziwych wspó÷czynników odpowiedzi impulsowej f�igpi=0, tj.
V Crn;N =
pXi=0
�Cr
i;NXn�i. (3.10)
Jednak, ze wzgl¾edu na ograniczon ¾a liczb ¾e dost¾epnych danych pomiarowych (N�par ob-serwacji wejscia i wyjscia systemu, f(Xn; Yn)gNn=1), estymator V Crn;N mo·ze byc wyznaczonytylko dla n 2 I, gdzie I jest zbiorem indeksów
I = fp+ 1; p+ 2; : : : ; Ng . (3.11)
Z kolei wyst¾epowanie multiplikatywnej sta÷ej � w równaniu (3.5) oraz jej wp÷yw na esty-
matory f�Cri;Ngpi=0 powoduje, ·ze V
Crn;N jest w rzeczywistosci estymatorem przeskalowanego
sygna÷u interakcyjnego f�Vng. Fakt ten udowodniony zostanie w p. 3.5.2.
Rozdzia� 3. Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 26
3.4 Nieparametryczna identy�kacja nieliniowosci
Konstruowanie nieparametrycznego estymatora charakterystyki nieliniowej rozpoczniemyod przytoczenia wzoru (2.9) (zob. str. 20), tj. spostrze·zenia, ·ze funkcja g (�) jest równafunkcji regresji wyjscia systemu wzgl¾edem wartosci sygna÷u interakcyjnego fVng, tj.
g (v) = E fY1jV1 = vg . (3.12)
Zwi ¾azek (3.12) prowadzi wi¾ec do wniosku, ·ze nieznan ¾a charakterystyk¾e g (�) mo·znaprzybli·zac poprzez estymacj¾e warunkowej wartosci oczekiwanej E fY1jV1 = vg. Zak÷adaj ¾acchwilowo, ·ze sygna÷interakcyjny fVng mo·ze byc mierzony i stosuj ¾ac estymator j ¾adrowyrozwa·zanej funkcji regresji zbudowany w oparciu o zbiór f(Vn; Yn)gNn=1, otrzymujemynast¾epuj ¾ace oszacowanie
~gN (v) =
NXn=1
YnK
�v � Vnh
�NXn=1
K
�v � Vnh
� ; (3.13)
gdzie K (�) i h = h (N) s ¾a odpowiednio wybran ¾a funkcj ¾a j ¾adra i parametrem wyg÷adzaniazale·znym od liczby obserwacji N (por. p. 2.1.2).
Niestety, ze wzgl¾edu na brak mo·zliwosci pomiaru sygna÷u interakcyjnego fVng,bezposrednie zastosowanie estymatora (3.13) nie jest mo·zliwe. Wykorzystuj ¾ac oszacowanie(3.10) mo·zemy jednak tak zmody�kowac estymator ~gN (�), aby by÷on zbudowanyw oparciu o zbiór f(V Crn;N ; Yn)gn2I , gdzie I jest zbiorem indeksów zde�niowanym w (3.11).
Wystarczy w tym celu zastosowac podstawienie V Crn;N w miejsce Vn. W efekcie otrzymujemynast¾epuj ¾acy estymator nieznanej charakterystyki nieliniowej g (�)
gCrN (v) =
Xn2I
YnK
v � V Crn;N
h
!Xn2I
K
v � V Crn;N
h
! . (3.14)
Zauwa·zmy, ·ze w przeciwienstwie do ~gN (�) wyznaczenie wartosci estymatora gCrN (�) jestmo·zliwe na podstawie dost¾epnych par obserwacji wejscia i wyjscia ca÷ego systemu. Jednak,jak pokazano w p. 3.5.3, ze wzgl¾edu na wyst¾epowanie sta÷ej � w równaniu (3.5), estymatorgCrN (�) (przy pewnych ogólnych za÷o·zeniach o funkcji K (�) i parametrze wyg÷adzania h)jest zgodnym estymatorem przeskalowanej nieliniowosci g (�=�).
3.5 W÷asnosci asymptotyczne algorytmu
Analiz¾e w÷asnosci asymptotycznych omawianego algorytmu identy�kacji rozpoczniemy
od okreslenia asymptotyki estymatorów f�Cri;Ngpi=0 odpowiedzi impulsowej f��igpi=0
oraz estymatora V Crn;N sygna÷u interakcyjnego fVng. Nast¾epnie zbadamy asymptotycznezachowanie estymatora gCrN (�). Sformu÷owane zostan ¾a za÷o·zenia o funkcji j ¾adra K (�)i parametrze wyg÷adzenia h, przy których gCrN (�) jest zgodnym estymatorem funkcji g (�=�).Ponadto, ograniczaj ¾ac klas¾e dopuszczalnych nieliniowosci do klasy funkcji dwukrotnieró·zniczkowalnych, okreslony zostanie rz ¾ad szybkosci zbie·znosci estymatora gCrN (�).
Rozdzia� 3. Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 27
3.5.1 Analiza zbie·znosci estymatora odpowiedzi impulsowej podsystemudynamicznego
W celu wykazania zbie·znosci oraz okreslenia rz¾edu szybkosci zbie·znosci estymatorów �Cr
i;N ;i = 0; : : : ; p zbadane zostan ¾a w÷asnosci asymptotyczne estymatorów sk÷adowych i;N ; i =0; : : : ; p oraz �N (zob. wzory (3.7) i (3.8)).Zgodnie z przyj¾etymi za÷o·zeniami o wejsciu fXng i szumie fZng, sygna÷y fXng i fYngw stanie ustalonym s ¾a stacjonarne. Wynika st ¾ad natychmiast, ·ze
E� i;N
= i. (3.15)
Wyznaczmy teraz oszacowanie wariancji
V ar� i;N
=
1
(N � i)2V ar
(N�iXn=1
XnYi+n
). (3.16)
Zauwa·zmy w tym celu, ·ze
V ar fXnYi+ng � E�X2ng2 (Vi+n)
+ �2ZE
�X2n
,
co na mocy za÷o·zenia 3.2 daje
V ar fXnYi+ng � E�X2nm
2 (Vi+n)+ �2ZE
�X2n
. (3.17)
Oszacowanie (3.17), ze wzgl¾edu na skonczonosc wszystkich momentów gaussowskichzmiennych losowych, prowadzi do wniosku, ·ze V ar fXnYi+ng < 1 dla ka·zdego i 2f0; 1; : : : ; pg ; 1 � n � N � i.Ze wzgl¾edu na skonczon ¾a d÷ugosc pami¾eci systemu oraz na podstawie za÷o·zenia 2.3o zak÷óceniu wyjsciowym, prawdziwa jest nast¾epuj ¾aca w÷asnosc:
W÷asnosc 3.1 Zmienne losowe XnYi+n oraz XkYi+k, (i 2 f0; 1; : : : ; pg) s ¾a niezale·zne,gdy jk � nj > p.
Wobec powy·zszego, na mocy Lematu A.1 w dodatku A.1, otrzymujemy nast¾epuj ¾aceoszacowanie wariancji estymatora i;N ,
V ar� i;N
� p+ 1
(N � i)2N�iXn=1
V ar fXnYi+ng =p+ 1
(N � i)V ar fX0Yig .
Ostatecznie wi¾ec
V ar� i;N
= O
�1
N � i
�= O
�N�1� . (3.18)
Rezultaty (3.15) i (3.18) prowadz ¾a do wniosku, ·ze dla ka·zdego i 2 f0; 1; : : : ; pg,
i;N = i +OP
�N�1=2
�. (3.19)
Zbadamy obecnie asymptotyczne zachowanie estymatora �N . Zgodnie z przyj¾etymiza÷o·zeniami zauwa·zamy, ·ze
�X;N = �X +OP�N�1=2� oraz �Y;N = �Y +OP
�N�1=2� ,
sk ¾ad, na mocy lematu B.2 w dodatku B.1, otrzymujemy
�N = �X�Y +OP
�N�1=2
�. (3.20)
Uzyskane powy·zej wyniki dowodz ¾a prawdziwosci nast¾epuj ¾acego twierdzenia:
Rozdzia� 3. Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 28
Twierdzenie 3.1 Je·zeli dla systemu Wienera (2.10)�(2.11) spe÷nione s ¾a za÷o·zenia
2.1�2.4 oraz 3.1�3.3, to dla ka·zdego i 2 f0; 1; : : : ; pg estymator �Cri;N jest zgodnymestymatorem przeskalowanego elementu odpowiedzi impulsowej ��i. Ponadto
�Cr
i;N = ��i +OP
�N�1=2
�.
3.5.2 Analiza zbie·znosci estymatora sygna÷u interakcyjnego
Udowodnimy nast¾epuj ¾acy lemat:
Lemat 3.1 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 3.1, to dla ka·zdego n 2 I estymatorV Crn;N jest zgodnym estymatorem �Vn. Ponadto
V Crn;N = �Vn +OP
�N�1=2
�. (3.21)
Dowód. Zgodnie z de�nicj ¾a (2.10) sygna÷u fVng oraz de�nicj ¾a (3.10) estymatora V Crn;N
otrzymujemy
V Crn;N � �Vn =pXi=0
Xn�i��Cr
i;N � ��i�. (3.22)
Rezultat (3.21) wynika zatem bezposrednio z (3.22) i twierdzenia 3.1.
W celu wykazania zbie·znosci estymatora charakterystyki statycznej cz¾esci nielinio-wej, oprócz wyniku (3.21), niezb¾edne jest równie·z okreslenie asymptotycznej szybkoscizbie·znosci jednostajnej estymatorów fV Crn;Ngn2I , to jest zbadanie zachowania si¾e wyra·zenia
supn2I
���V Crn;N � �Vn��� ; (3.23)
gdy N !11. W tym celu udowodnimy najpierw nast¾epuj ¾acy lemat pomocniczy:
Lemat 3.2 Niech f�ngNn=1 b ¾edzie ci ¾agiem zmiennych losowych typu i:i:d: o rozk÷adzie
gaussowskim N���; �
2�
�. Wtedy, dla dowolnie ma÷ego " > 0, zachodzi
1pN
sup1�n�N
j�nj = oP�N�1=2+"
�. (3.24)
Dowód lematu zamieszczony jest w dodatku A.1.
Uzyskany powy·zej wynik pozwala obecnie na okreslenie asymptotyki wyra·zenia (3.23).Lemat 3.3 podaje odpowiednie oszacowanie.
Lemat 3.3 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 3.1, to
supn2I
���V Crn;N � �Vn��� = oP �N� 1
2+"�;
dla dowolnie ma÷ego " > 0.
Dowód. Niech %N (!) b¾edzie ci ¾agiem zmiennych losowych, takim ·ze %N (!) =sup1�n�N jXn (!)j (lub krócej %N = sup1�n�N jXnj). Zgodnie z (3.22) otrzymujemy
supn2I
���V Crn;N � �Vn��� � %N pX
i=0
����Cri;N � ��i��� .Teza twierdzenia wynika wi¾ec bezposrednio z powy·zszego oszacowania oraz twierdzenia3.1 i lematu 3.2.
1chodzi o zbadanie asymptotycznego zachowania ci ¾agu zmiennych losowych �N (!) = supn2I jV Crn;N (!)�
�Vn (!) j.
Rozdzia� 3. Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 29
3.5.3 Analiza zbie·znosci estymatora charakterystyki nieliniowej
Podamy obecnie warunki, jakie musz ¾a spe÷niac j ¾adro K (�) oraz parametr wyg÷adzaniah wyst¾epuj ¾ace we wzorze (3.14), aby estymator gCrN (�) by÷zgodnym estymatorem prze-skalowanej charakterystyki nieliniowej g (�=�). Ponadto, przyjmuj ¾ac dodatkowe za÷o·zeniao g÷adkosci nieliniowosci, zbadamy rz ¾ad szybkosci zbie·znosci estymatora (3.14).
Zgodnosc estymatora charakterystyki nieliniowej
Przyjmiemy nast¾epuj ¾ace za÷o·zenia odnosnie j ¾adra K (�) i parametru wyg÷adzania h:
Za÷o·zenie 3.4 J ¾adro K (�) jest nieujemn ¾a funkcj ¾a lipschitzowsk ¾a (tj. 9L < 1; 8v1; v2 2R; jK (v1)�K (v2)j � L jv1 � v2j), dla której spe÷nione s ¾a nast ¾epuj ¾ace warunki:supv2RK (v) = k0 <1;
R1�1K (v) dv = 1 oraz limjvj!1 vK (v) = 0.
Za÷o·zenie 3.5 Ci ¾ag liczbowy h = h (N) jest rz ¾edu N�1=5, tj. h � N�1=5.
Poni·zsze twierdzenie rozstrzyga o zgodnosci estymatora gCrN (�).
Twierdzenie 3.2 Je·zeli spe÷nione s ¾a za÷o·zenia 2.1�2.4 oraz 3.1�3.5, to dla systemuWienera (2.10)�(2.11) estymator gCrN (v) jest zgodnym estymatorem funkcji g (v=�)w ka·zdym punkcie ci ¾ag÷osci g (v=�), tzn.
gCrN (v)! g (v=�) ; gdy N !1; (3.25)
wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R, w którym g (v=�) jest funkcj ¾aci ¾ag÷¾a.
Dowód. Przyjmiemy nast¾epuj ¾ace oznaczenia
rCrN (v) =1
NIh
Xn2I
YnK
v � V Crn;N
h
!oraz fCrN (v) =
1
NIh
Xn2I
K
v � V Crn;N
h
!.
gdzie NI oznacza liczb ¾e elementów zbioru I ( NI = #fIg = N�p). Dodatkowo oznaczymyr (v) = ��1g (v=�) fV (v=�), gdzie fV (�) jest g¾estosci ¾a prawdopodobienstwa sygna÷uinterakcyjnego fVng. Zbie·znosc w (3.25) zachodzi je·zeli rCrN (v) i fCrN (v) zbiegaj ¾a wed÷ugprawdopodobienstwa odpowiednio do r (v) i ��1fV (v=�) przy N !1 w ka·zdym punkciev 2 R, w którym g (v=�) jest funkcj ¾a ci ¾ag÷¾a. W dowodzie wykorzystamy nast¾epuj ¾ac ¾adekompozycj¾e ró·znicy
�rCrN (v)� r (v)
�,
rCrN (v)� r (v) =�rCrN (v)� ~rN (v)
�+ [~rN (v)� r (v)] ; (3.26)
gdzie
~rN (v) =1
NIh
Xn2I
YnK
�v � �Vnh
�: (3.27)
Zgodnie z (3.26) analiz¾e wyra·zenia�rCrN (v)� r (v)
�przeprowadzimy w dwóch etapach.
Rozpoczniemy od zbadania zbie·znosci ró·znicy [~rN (v)� r (v)].Teoria estymatorów j ¾adrowych dla ci ¾agów zmiennych losowych typu i:i:d. jest do-
brze ugruntowana i szeroko opisana w literaturze (zob. dyskusja w p. 2.1.2). Jednakw rozwa·zanym przypadku ci ¾ag fVngn2I nie jest ci ¾agiem typu i:i:d:, co powoduje ·zeklasyczne rezultaty dotycz ¾ace zbie·znosci nie mog ¾a byc bezposrednio zastosowane do
Rozdzia� 3. Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 30
okreslenia w÷asnosci granicznych wyra·zenia [~rN (v)� r (v)]. Zgodnie z przyj¾etymi za÷o·ze-niami odnosnie sygna÷u wejsciowego i szumu na wyjsciu systemu, zachodz ¾a nast¾epuj ¾acerównosci
E f~rN (v)g =1
h
Z 1
�1K
�v � �xh
�g (x) fV (x) dx =
1
h
Z 1
�1K
�v � xh
�r (x) dx. (3.28)
Poniewa·z nieliniowa charakterystyka g (�) jest ograniczona przez wielomian (zob. za÷o·zenie3.2) oraz sygna÷wejsciowy jest gaussowski, to ca÷ka
R1�1 jr (v)j dv jest skonczona. St ¾ad,
zgodnie z lematem B.3 z dodatku B.3, na mocy za÷o·zen 3.4 i 3.5, ma miejsce nast¾epuj ¾acazbie·znosc
E f~rN (v)g ! r (v) , gdy N !1; (3.29)
w ka·zdym punkcie v 2 R, w którym g (v=�) jest funkcj ¾a ci ¾ag÷¾a. Zauwa·zmy dalej, ·zez za÷o·zenia o skonczonej d÷ugosci pami¾eci i de�nicji sygna÷u fVng (zob. wzór 2.10) wynikanast¾epuj ¾aca w÷asnosc (por. w÷asnosc 3.1):
W÷asnosc 3.2 Zmienne losowe Vn i Vk s ¾a niezale·zne je·zeli jn� kj > p.
Wykorzystuj ¾ac w÷asnosc 3.2, na mocy lematu A.1 z dodatku A.1, prawdziwe jestnast¾epuj ¾ace oszacowanie wariancji estymatora ~rN (v),
V ar f~rN (v)g �p+ 1
NIh2V ar
�Y1K
�v � �V1h
��. (3.30)
Ze wzgl¾edu na ograniczonosc j ¾adra K (�) zauwa·zamy nast¾epnie, ·ze element
h�1V arfY1K ([v � �V1] =h)g
wyst¾epuj ¾acy w (3.30), jest ograniczony przez (por. Greblicki [25])
2k0hE
�g2 (V1)K
�v � �V1h
��+2k0�
2Z
hE
�K
�v � �V1h
��. (3.31)
Ponowne wykorzystanie za÷o·zen 3.1 i 3.2 prowadzi do wniosku, ·zeR1�1
��g2 (v=�) fV (v=�)��dv <1. Zatem, na mocy lematu B.3 z dodatku B.3, wyra·zenie (3.31) d ¾a·zy do
2k0�fV
� v�
� hg2� v�
�+ �2Z
i<1;
gdy N !1 w ka·zdym punkcie v 2 R, w którym g (v=�) jest funkcj ¾a ci ¾ag÷¾a. Ostateczniewi¾ec nierównosc (3.30), dla h spe÷niaj ¾acego za÷o·zenie 3.5, daje
V ar f~rN (v)g = O�N�4=5
�(3.32)
w ka·zdym punkcie ci ¾ag÷osci funkcji g (v=�).
Zgodnie z rezultatami w (3.29) i (3.32) zachodzi wi¾ec zbie·znosc
[~rN (v)� r (v)]! 0; gdy N !1;
wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R, w którym g (v=�) jest funkcj ¾aci ¾ag÷¾a.
Przejdziemy teraz do drugiego etapu dowodu tj. do zbadania asymptotyki wyra·zenia�rCrN (v)� ~rN (v)
�w dekompozycji (3.26). Korzystaj ¾ac z faktu, ·ze j ¾adro K (�) spe÷nia
warunek Lipschitza (zob. za÷. 3.4), otrzymujemy��rCrN (v)� ~rN (v)�� � sup
n2I
����Vn � V Crn;N
��� L
NIh2
Xn2I
jYnj :
Rozdzia� 3. Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 31
Na mocy lematu A.1 w dodatku A zachodzi nast¾epuj ¾ace oszacowanie
V ar
(1
NI
Xn2I
jYnj)� p+ 1
NIV ar fjYnjg = O
�N�1� .
Wobec tego1
NI
Xn2I
jYnj = E fjY1jg+OP�N�1=2
�. (3.33)
Uzyskany w lemacie 3.3 rezultat dotycz ¾acy zbie·znosci wyra·zenia supn2I����Vn � V Crn;N
��� wrazz obserwacj ¾a (3.33) i za÷o·zeniem 3.5, prowadz ¾a do wniosku, ·ze��rCrN (v)� ~rN (v)
��! 0; gdy N !1;
wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R. Ostatecznie wi¾ec
rCrN (v)! r (v) ; gdy N !1;
wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R, w którym g (v=�) jest funkcj ¾aci ¾ag÷¾a. Stosuj ¾ac analogiczn ¾a argumentacj¾e dla estymatora fCrN (v) otrzymujemy
fCrN (v)! ��1fV (v=�) ; gdy N !1;
wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R, co konczy dowód.
Analiza szybkosci zbie·znosci estymatora charakterystyki nieliniowej
Dla okreslenia rz¾edu szybkosci zbie·znosci estymatora gCrN (�) ograniczymy klas¾erozwa·zanych systemów Wienera do klasy z nieliniowosciami, dla których spe÷nione s ¾aza÷o·zenia (por. Greblicki [26]):
Za÷o·zenie 3.6 Druga pochodna g00 (�) nieliniowej charakterystyki g (�) jest funkcj ¾a ci ¾ag÷¾a.
Za÷o·zenie 3.7 Pochodna g0 (�) nieliniowosci g (�) ograniczona jest przez wielomian, tj.istnieje taki wielomian m0 (�) dowolnego skonczonego stopnia, ·ze jg0 (v)j � m0 (v) ; 8v 2 R.
Przyjmiemy równie·z dodatkowe za÷o·zenia o funkcji j ¾adra K (�).
Za÷o·zenie 3.8 J ¾adro K (�) posiada ci ¾ag÷¾a i ograniczon ¾a drug ¾a pochodn ¾a K 00 (�), tj.jK 00 (v)j < k1 <1, 8v 2 R. Ponadto
R1�1 vK (v) dv = 0 oraz
R1�1 v
2K (v) dv <1.
Mo·zemy teraz sformu÷owac nast¾epuj ¾ace twierdzenie:
Twierdzenie 3.3 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 3.2 oraz dodatkowo za÷o·zenia3.6�3.8, to dla systemu Wienera (2.10)�(2.11) zachodzi
gCrN (v) = g (v=�) +OP
�N�(2=5)+"
�; (3.34)
dla dowolnie ma÷ego " > 0, w ka·zdym punkcie v 2 R.
Dowód twierdzenia zamieszczony jest w dodatku A.1.
Rozdzia� 3. Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 32
3.6 Podsumowanie wyników teoretycznych
Dla opracowanej w rozdziale metody identy�kacji przeprowadzono analiz¾e podstawowychw÷asnosci asymptotycznych. W szczególnosci sformu÷owane zosta÷y ÷agodne wymaganiajakie musi spe÷niac nieliniowa charakterystyka w systemie aby zapewnic zbie·znosc algo-rytmu (za÷o·zenia 3.2 i 3.3). Ponadto, dla estymatorów odpowiedzi impulsowej podsystemudynamicznego udowodniona zosta÷a parametryczna szybkosc zbie·znosci OP
�N�1=2�.
W przypadku odpowiednio g÷adkich nieliniowosci natomiast (za÷o·zenia 3.6 i 3.7), pokazano·ze estymator gCrN (�) zbiega punktowo do przeskalowanej charakterystyki nieliniowej g (�=�)z szybkosci ¾a OP
�N�(2=5)+"�.
3.7 Wyniki badan eksperymentalnych
Zachowanie si¾e algorytmu dla ma÷ej i sredniej liczby obserwacji badano eksperymentalnieprzy u·zyciu srodowiska obliczeniowego MATLAB. Eksperymenty wykonano dla systemówWienera z liniowymi podsystemami dynamicznymi opisanymi odpowiedzi ¾a impulsow ¾a
�i =
�1
i+ 1
�; i = 0; 1; : : : ; p, (3.35)
gdzie p = 4. Symulacje przeprowadzono dla trzech ró·znych charakterystyk nieliniowychwyst¾epuj ¾acych w systemie (zob. rys. 3.1),
g1 (v) = 2 arctan (2v) ,
g2 (v) = 2 cos (2v) , (3.36)
g3 (v) = bvc ,
gdzie b�c jest funkcj ¾a �pod÷oga�. Sygna÷wejsciowy systemu wygenerowano z rozk÷aduN (�X ; �X) z parametrami �X = 1 oraz �X = 0; 5. St ¾ad, zgodnie z przeprowadzon ¾awy·zej analiz ¾a teoretyczn ¾a algorytmu, sygna÷interakcyjny fVng posiada÷rozk÷ad normalnyz wartosci ¾a oczekiwan ¾a i wariancj ¾a (por. wzory (3.1)):
�V = �X
pXi=0
�i � 2; 28,
�2V = �2X
pXi=0
�2i � 0; 36.
Przyjmiemy nast¾epuj ¾ace oznaczenia #1 = �V � 3�V � 0; 48 oraz #2 = �V + 3�V � 4; 08.Wtedy na mocy regu÷y �trzech sigm�zachodzi oszacowanie
P fV1 2 [#1; #2]g � 1. (3.37)
Sygna÷zak÷ócaj ¾acy fZng wygenerowano z rozk÷adu jednostajnego na odcinku [�� ; � ], gdzie� jest sta÷¾a2, dobran ¾a tak, aby3 NSR= �= = 10% (przy czym = maxv2[#1;#2] g (v)).W nieparametrycznym estymatorze gCrN (�) zastosowano gaussowsk ¾a funkcj¾e j ¾adra, tj.
K (v) =1p2�exp
��v
2
2
�. (3.38)
Dla ka·zdego z rozwa·zanych systemów wyznaczono numerycznie wartosci multiplikatywnejsta÷ej � (zob. wzór. (3.6)). Dok÷adnosc metody badano przy u·zyciu nast¾epuj ¾acych b÷¾edówempirycznych:
2wartosc sta÷ej � wyznaczono oddzielnie dla ka·zdej z rozwa·zanych nieliniowosci.3�Noise�to�Signal Ratio��wspó÷czynnik okreslaj ¾acy poziom szumu wzgl¾edem sygna÷u u·zytecznego.
Rozdzia� 3. Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 33
3
2
1
0
1
2
3
3 2 1 0 1 2 3
g1ÝvÞ
v
3
2
1
0
1
2
3
3 2 1 0 1 2 3
g2ÝvÞ
v
3
2
1
0
1
2
3
3 2 1 0 1 2 3
g3ÝvÞ
v
Rysunek 3.1: Wykorzystane w symulacjach nieliniowosci g1, g2 i g3
� B÷¾ad (wzgl¾edny) estymacji odpowiedzi impulsowej podsystemu dynamicznego:
Err(�;�) =1
R
RXi=1
�Cr[i]N � �� 2
k��k2100% =
1
R
RXi=1
��1�Cr[i]N � � 2
k�k2100%: (3.39)
� Globalny b÷¾ad (wzgl¾edny) estymacji charakterystyki nieliniowej:
MISE�gCrN ;�
�=
1
R
RXi=1
24� MXj=1
�gCr[i]N (�vj)� g (vj)
�235Z #1
#1
g2 (v) dv
100%; (3.40)
gdzie (�)[i] oznacza i�t ¾a realizacj¾e estymatora, k�k jest norm ¾a euklidesow ¾a oraz R = 30 jestliczb ¾a realizacji estymatora (powtórzen eksperymentu). Ponadto �
Cr
N =��Cr
0;N ; : : : ; �Cr
p;N
�Ti � = (�0; : : : ; �p)
T . W de�nicji b÷¾edu MISE�gCrN ;�
�przyj¾eto M = 1000. Ci ¾ag fvng jest
Rozdzia� 3. Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 34
M�elementowym zbiorem punktów równomiernie roz÷o·zonych na odcinku [#1; #2]. Przez� oznaczono odleg÷osc miedzy s ¾asiaduj ¾acymi ze sob ¾a wyrazami ci ¾agu fvng.
W kontekscie problematyki zwi ¾azanej z identy�kacj ¾a systemów nieliniowych (a w szcze-gólnosci z identy�kacj ¾a systemów Wienera), nieliniowosci g1 (�), g2 (�) i g3 (�) scharaktery-zowac mo·zna nast¾epuj ¾aco:
� Funkcja g1 (�) jest typowym przyk÷adem charakterystyki cz¾esto spotykanej w lite-raturze (zob. np. Raich et al. [98], Enqvist [19], Hasiewicz et al. [53]). Ze wzgl¾eduna fakt, ·ze jest ona funkcj ¾a scisle monotoniczn ¾a, wielokrotnie ró·zniczkowaln ¾a oraznieparzyst ¾a, nieliniowosc g1 (�) spe÷nia typowe wymagania wyst¾epuj ¾ace w identy�ka-cji systemów Wienera (jest np. funkcj ¾a odwracaln ¾a, por. Greblicki [26]).
� Nieliniowosc g2 (�), podobnie jak g1 (�), jest funkcj ¾a wielokrotnie ró·zniczkowaln ¾a.W odró·znieniu od g1 (�) charakterystyka g2 (�) jest jednak tylko przedzia÷ami scislemonotoniczna, co powoduje, ·ze jest ona równie·z tylko przedzia÷ami odwracalna.Nieliniowosc g2 (�) jest funkcj ¾a parzyst ¾a.
� W odró·znieniu od funkcji g1 (�) i g2 (�) charakterystyka g3 (�) jest funkcj ¾a nieci ¾ag÷¾a(nieci ¾ag÷osci wyst¾epuj ¾a w punktach v 2 N). Ponadto, ze wzgl¾edu na fakt, ·ze g3 (�)jest odcinkami sta÷a, nie istnieje funkcja odwrotna do g3 (�).
W eksperymencie badano zachowanie algorytmu identy�kacji dla nieliniowosci g1 (�) ;g2 (�) i g3 (�). Rysunki 3.2 oraz 3.3 (str. 35) przedstawiaj ¾a odpowiednio b÷¾edy empiryczneErr(�
Cr
N ;�) iMISE�gCrN ;�
�dla rozwa·zanych charakterystyk, w funkcji liczby obserwacji
N zmienianej od 25 do 500. Uzyskane rezultaty pokazuj ¾a, ·ze w przypadku omawianychnieliniowosci b÷¾edy te malej ¾a wraz ze wzrostem liczby obserwacji N . W szczególnosci, dla
charakterystyk g2 (�) i g3 (�) wartosci b÷¾edów Err(�Cr
N ;�) s ¾a mniejsze od 10%, gdy liczbaobserwacji N jest wi¾eksza od 100 (por. rys. 3.2). Dla charakterystyki g1 (�) natomiast,dziesi¾ecioprocentowy b÷¾ad Err(�
Cr
N ;�) osi ¾agany jest dopiero, gdy N = 350. Gorszerezultaty uzyskane w przypadku nieliniowosci g1 (�) wynikaj ¾a z faktu, ·ze na odcinku [#1; #2](zob. wzór (3.37)) funkcja g1 (v) = arctan (2v) jest bliska funkcji sta÷ej (por. rys. 3.1), coz kolei powoduje, ·ze kowariancja Cov fX1; Y1g jest bliska zeru (por. za÷. 3.3, str. 23) i tymsamym bliska zeru jest równie·z multiplikatywna sta÷a �. Omówiony powy·zej efekt niejest natomiast widoczny na rysunku 3.3 przedstawiaj ¾acym b÷¾edy estymacji nieliniowosci.Zastosowana w symulacjach ci ¾ag÷a funkcja j ¾adra (zob. wzór (3.38)) powoduje, ·ze estymatorgCrN (�) lepiej przybli·za ci ¾ag÷¾a nieliniowosc g1 (�) ni·z nieci ¾ag÷¾a g3 (�), co kompensuje wi¾ekszyb÷¾ad estymatora �
Cr
N w przypadku nieliniowosci g1 (�). W szczególnosci, rysunek 3.3prowadzi do wniosku, ·ze bez wzgl¾edu na charakter nieliniowosci wyst¾epuj ¾acej w systemie,b÷¾edy empiryczne MISE
�gCrN ;�
�osi ¾agaj ¾a wartosci nie wi¾eksze ni·z 20%, gdy liczba
obserwacji N jest wi¾eksza od 400.
3.8 Podsumowanie i wnioski
Zaproponowana w tym rozdziale metoda identy�kacji dedykowana jest systemom Wie-nera pobudzanym sygna÷ami gaussowskimi typu i:i:d. Analiza teoretyczna algorytmupozwala stwierdzic, ·ze dla stosunkowo szerokiej klasy nieliniowosci estymatory cz¾esciliniowej i nieliniowej s ¾a zgodne, oraz ·ze estymator odpowiedzi impulsowej podsystemudynamicznego posiada optymalny rz ¾ad szybkosci zbie·znosci. Dodatkowo, dla dwukrotnieró·zniczkowalnych nieliniowosci w systemie, estymator cz¾esci nieliniowej posiada rz ¾ad szyb-kosci zbie·znosci OP
�N�(2=5)+"� tylko nieznacznie gorszy od rz¾edu szybkosci zbie·znosci
Rozdzia� 3. Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 35
estymatorów nieparametrycznych osi ¾aganego przy identy�kacji systemów statycznych (tj.rz¾edu OP
�N�(2=5)�).
Nale·zy podkreslic, ·ze prosta konstrukcja estymatorów f�Cr
i;Ngpi=0 i g
CrN (�) pozwala na
÷atw ¾a implementacj¾e proponowanej metody identy�kacji. Algorytm nie wymaga stosowaniaspecjalizowanych procedur numerycznych (np. odwracania macierzy lub poszukiwaniaekstremum wielowymiarowych funkcji celu) co powoduje, ·ze jego efektywna implementacjanie jest skomplikowana.
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g2
g3
N
Err
Rysunek 3.2: Wartosci b÷¾edów estymacji Err(�Cr
N ;�) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g2 i g3
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g2
g3
N
MISE
Rysunek 3.3: Wartosci b÷¾edów estymacji MISE�gCrN ;�
�w funkcji liczby obserwacji wejscia
i wyjscia systemu dla nieliniowosci g1; g2 i g3
Rozdzia÷4
Identy�kacja systemów Wieneraz wykorzystaniem metodynajmniejszych kwadratów
W tym rozdziale przedstawiony jest algorytm identy�kacji systemów Wienera zbudowanyw oparciu o metod¾e najmniejszych kwadratów oraz nieparametryczn ¾a estymacj¾e funkcjiregresji. W odró·znieniu od metody korelacyjnej algorytm nie wymaga, aby wejscie systemuby÷o sygna÷em gaussowskim. Przyjmuje si¾e, ·ze sygna÷fXng jest ograniczony oraz maci ¾ag÷¾a funkcj¾e g¾estosci prawdopodobienstwa, ró·zn ¾a od zera w otoczeniu punktu zero.Odnosnie nieliniowej charakterystyki g (�) zak÷ada si¾e jedynie, ·ze jest ona funkcj ¾a ci ¾ag÷¾a.Dopuszcza si¾e w ten sposób zarówno charakterystyki odwracalne, jak i nieodwracalne.Wyniki dotycz ¾ace metody zosta÷y otrzymane we wspó÷pracy z prof. M. Pawlakiem i prof.Z. Hasiewiczem, i cz¾esciowo opublikowane w [93]. W rozdziale prezentowana jest tak·zepokrewna idea metody identy�kacji skonstruowanej w oparciu o koncepcj¾e korelacjirangowej.
Wprowadzone estymatory cz¾esci liniowej, sygna÷u interakcyjnego i cz¾esci nieliniowejsystemu oznaczane b¾ed ¾a indeksem �LS�w przypadku algorytmu zbudowanego w oparciuo metod¾e najmniejszych kwadratów (od ang. Least Squares) oraz indeksem �RC�w przypadku metody rangowej (od ang. Rank Correlation).
4.1 Sformu÷owanie problemu
Zgodnie z dyskusj ¾a w rozdziale 2, system Wienera (2.10)�(2.11) mo·ze byc zidenty�kowanytylko z dok÷adnosci ¾a do multiplikatywnej sta÷ej. St ¾ad, bez utraty ogólnosci mo·zemyprzyj ¾ac, ·ze dla rozwa·znej klasy systemów zachodzi �0 = 1. Dodatkowo przyjmiemynast¾epuj ¾ace za÷o·zenia o nieliniowosci g (�) i g¾estosci prawdopodobienstwa fX (�) sygna÷uwejsciowego fXng (zob. Pawlak et al. [93]):
Za÷o·zenie 4.1 G ¾estosc prawdopodobienstwa fX (�) jest funkcj ¾a ci ¾ag÷¾a o ograniczonymnosniku [af ; bf ] takim, ·ze af � 0 � bf oraz fX (0) > 0.
Za÷o·zenie 4.2 Nieliniowa charakterystyka g (�) jest ci ¾ag÷a i ró·zna od funkcji sta÷ej.
Uwaga 4.1 Poniewa·z sta÷a af mo·ze byc dowolnie ma÷a, a sta÷a bf dowolnie du·za,to wyst ¾epuj ¾acy w za÷o·zeniu 4.1 warunek ograniczonego nosnika funkcji fX (�) nie jestz praktycznego punktu widzenia istotny. Przyk÷adami g ¾estosci spe÷niaj ¾acych za÷o·zenie 4.1
36
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 37
s ¾a m.in.: rozk÷ad jednostajny, rozk÷ad trójk ¾atny, rozk÷ad Epanechnikova oraz obci ¾ety rozk÷adnormalny.
4.2 Parametryczna identy�kacja podsystemu dynamicznegoz wykorzystaniem metody najmniejszych kwadratów
4.2.1 Koncepcja metody identy�kacji
Proponowany algorytm identy�kacji wymaga wydzielenia ze zbioru obserwacji wejsciai wyjscia f(Xn; Yn)gNn=1 dwóch podzbiorów T1 i T2 okreslonych nast¾epuj ¾aco
T1 = f(Xn; Yn)gn2I1 ;T2 = f(Xn; Yn)gn2I2 ;
gdzie
I1 = fp+ 1; : : : ; p+N1g ;I2 = f2p+ 1 +N1; : : : ; Ng ;
oraz N1 oznacza liczb ¾e elementów zbioru I1, (podobnie przez N2 b¾edziemy oznaczaclicznosc zbioru I2), rys. 4.1. Poniewa·z rozwa·zana klasa systemów posiada pami¾ec o d÷ugoscip, ÷atwo zauwa·zyc, ·ze elementy zbiorów T1 i T2 s ¾a wzajemnie stochastycznie niezale·zne1.Odnosnie licznosci zbiorów T1 i T2 za÷o·zymy, ·ze N1 ! 1 i N2 ! 1; gdy N ! 1, por.Pawlak et al. [93].
T1 T2
p pN1 N2
áÝXn ,Yn Þân=1N
Rysunek 4.1: Wydzielenie ze zbioru obserwacji f(Xn; Yn)gNn=1 stochastycznie niezale·znychpodzbiorów T1 i T2
Koncepcj¾e metody identy�kacji omówimy w dwóch etapach. Zak÷adaj ¾ac chwilowo, ·zenieliniowa charakterystyka g (�) jest znana, rozpoczniemy od rozwa·zenia zadania identy�-kacji polegaj ¾acego na oszacowaniu odpowiedzi impulsowej podsystemu dynamicznego napodstawie obserwacji ze zbioru T2. W celu uproszczenia zapisu wprowadzimy nast¾epuj ¾ac ¾anotacj¾e wektorow ¾a. Przez � oznaczymy (p+ 1)�elementowy wektor utworzony z kolejnychwyrazów odpowiedzi impulsowej f�igpi=0 podsystemu dynamicznego, tj. wektor o postaci
� = (1; �1; : : : ; �p)T ,
oraz okreslimy zbiór � � Rp+1 jako podzbiór przestrzeni Rp+1 utworzony z wektorówl = (l0; l1; : : : ; lp)
T , takich ·ze l0 = 1 oraz l1; : : : ; lp � L0, gdzie L0 < 1 jest pewn ¾asta÷¾a. Zbiór � jest oczywiscie zbiorem zwartym. Jest on bowiem zbiorem domkni¾etymi ograniczonym w przestrzeni skonczenie wymiarowej.
Przyjmiemy nast¾epuj ¾ace za÷o·zenie:1 tj. dowolna zmienna losowa ze zbioru T1 nie zale·zy od zmiennych losowych ze zbioru T2 i odwrotnie.
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 38
Za÷o·zenie 4.3 Wektor � jest elementem zbioru �, tj. � 2 �.
Nast¾epnie, przez analogi¾e do de�nicji sygna÷u wewn¾etrznego fVng (zob. wzór (2.10)), dlaka·zdego l 2 � wprowadzimy sygna÷fVn (l)g zale·zny od wektorowego parametru l 2 � taki,·ze
Vn (l) =
pXi=0
liXn�i. (4.1)
Zgodnie ze wzorem (4.1) oraz wzorem (2.10) de�niuj ¾acym sygna÷fVng, zachodzi
Vn (�) = Vn, (4.2)
i tym samym g (Vn (�)) = g (Vn).
Podobienstwo konstrukcji sygna÷ów fVng i fVn (l)g oraz ci ¾ag÷osc funkcji Vn (l)powoduje, ·ze je·zeli wektor l jest bliski2 wektorowi �, to ró·znica Vn � Vn (l) jest ma÷a(w pewnym sensie probabilistycznym3) i wobec tego dalej, je·zeli g (�) jest funkcj ¾a ci ¾ag÷¾a,to tak·ze ró·znica g (Vn) � g (Vn (l)) b¾edzie odpowiednio ma÷a. Obserwacja ta prowadzido wniosku, ·ze mo·zliwe jest skonstruowanie (w oparciu o g (Vn (l)) empirycznej funkcjikryterialnej ~QN2 (l) okreslaj ¾acej dla dowolnego wektora l 2 � �jakosc przybli·zenia�we-ktora � przez l. W tym celu, na podstawie obserwacji ze zbioru T2, mo·zna utworzyc zbiórf(Vn (l) ; Yn)gn2I2 i funkcj¾e kryterialn ¾a ~QN2 (l) zde�niowac nast¾epuj ¾aco
~QN2 (l) =1
N2
Xm2I2
[Ym � g (Vm (l))]2 . (4.3)
W rezultacie, wykorzystuj ¾ac kryterium (4.3), za estymator odpowiedzi impulsowej �mo·zna przyj ¾ac wektor l, który minimalizuje funkcj¾e ~QN2 (�), tj. estymator najmniejszychkwadratów o postaci
~�LSN2 = argminl2�
~QN2 (l) .
W sytuacji podstawowej dla naszych rozwa·zan, gdy nieliniowa charakterystyka g (�)nie jest znana, zastosowanie funkcji kryterialnej ~QN2 (l) wprost nie jest mo·zliwe i w kon-sekwencji proponowane podejscie nie mo·ze byc bezposrednio zastosowane. Mo·zna jednakpowy·zszy schemat zmody�kowac i w miejsce nieznanych wielkosci fg (Vn (l))gn2I2 wstawicich odpowiednie estymatory.
4.2.2 Konstrukcja pilotowego estymatora charakterystyki nieliniowej
Wprowadzony wy·zej sygna÷fVn (l)g wykorzystamy do zde�niowania funkcji g (�; l) : R!R, zale·znej od wektorowego parametru l, takiej ·ze
g (v; l) = E fYnjVn (l) = vg . (4.4)
Zgodnie z obserwacj ¾a (4.2) oraz wzorem (2.9) otrzymujemy natychmiast, ·ze g (v;�) =g (v). Zauwa·zmy nast¾epnie, ·ze dla dowolnego l 2 � mo·zliwe jest skonstruowanie
2np. w sensie metryki euklidesowej.3Koncepcja metody identy�kacji jest w sposób celowy omawiana z pomini¾eciem scis÷ych poj¾ec teorii
prawdopodobienstwa, a jej precyzyjne sformu÷owanie oraz w÷asnosci asymptotyczne zamieszczone s ¾aw dalszej cz¾esci rozdzia÷u.
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 39
estymatora funkcji g (v; l) na podstawie zbioru f(Vn (l) ; Yn)gn2I1 . Wykorzystuj ¾ac np.nieparametryczny estymator z j ¾adrem (por. rozdzia÷2, str. 15), otrzymujemy4
~gN1 (v; l) =
Xn2I1
YnK0
�v � Vn (l)
h0
�Xn2I1
K0
�v � Vn (l)
h0
� , (4.5)
gdzie K0 (�) i h0 = h0 (N1) s ¾a odpowiednio funkcj ¾a j ¾adra i parametrem wyg÷adzaniazale·znym od liczby obserwacji N1. Zauwa·zmy, ·ze dla dowolnego wektora l 2 �, zewzgl¾edu na zale·znosc (4.1), estymator ~gN1 (v; l) mo·ze byc wyznaczony na podstawiedost¾epnych obserwacji wejscia i wyjscia systemu ze zbioru T1. Warto równie·z podkreslic,·ze wyst¾epuj ¾ace w (4.5) sygna÷y fVn (l)g i fYng nie s ¾a ci ¾agami typu i:i:d:, co uniemo·zliwiabezposrednie zastosowanie klasycznej teorii do okreslenia w÷asnosci asymptotycznychestymatora ~gN1 (�; l) (zob. te·z uwaga 2.1 na str. 20).
Mody�kacja funkcji kryterialnej ~QN2 (l)
W celu skonstruowania estymatora odpowiedzi impulsowej � w przypadku nieznanejnieliniowosci g (�), zauwa·zmy, ·ze je·zeli ~gN1 (�; l) jest zgodnym estymatorem funkcji g (�; l)(dla ka·zdego l 2 �), to im mniejsza jest odleg÷osc wektora l od �, tym dok÷adniej ~gN1 (�; l)przybli·za nieliniow ¾a charakterystyk¾e g (�) = g (�; �). Powy·zsza obserwacja sugeruje wi¾ec,aby estymator ~gN1 (�; l) wstawic w miejsce prawdziwej charakterystyki nieliniowej g (�) wewzorze de�niuj ¾acym funkcj¾e kryterialn ¾a ~QN2 (�). W rezultacie otrzymujemy nowe, w pe÷niempiryczne, kryterium okreslaj ¾ace jakosc �dopasowania�wektora l do �,
QN (l) =1
N2
Xm2I2
[Ym � ~gN1 (Vm (l) ; l)]2 . (4.6)
Wynikaj ¾acy z (4.6) estymator najmniejszych kwadratów odpowiedzi impulsowej �okreslony jest zatem wzorem
�LS
N = argminl2� QN (l) .
Jak zaznaczono wy·zej, w odró·znieniu od ~�LSN2 , do wyznaczenia estymatora �
LS
N nie jestwymagana znajomosc nieliniowej charakterystyki g (�).
4.3 Estymacja sygna÷u interakcyjnego
Skonstruowany powy·zej estymator �LS
N mo·zna teraz wykorzystac do estymacji elementówsygna÷u interakcyjnego fVng. Stosuj ¾ac podejscie wprowadzone w rozdziale 3. (por. wzór(3.10) na str. 25), otrzymujemy
V LSn;N =��LS
N
�TXn, (4.7)
gdzie Xn = (Xn; Xn�1; : : : ; Xn�p)T . Ze wzgl¾edu na ograniczon ¾a liczb ¾e obserwacji wejscia
i wyjscia systemu, estymator (4.7) mo·ze byc wyznaczony jedynie dla Vn takich, ·ze n 2 I =fp+ 1; p+ 2; : : : ; Ng, por. wzór (3.11) w rozdziale 3.
4W dalszej cz¾esci rozdzia÷u estymator ~gN1 (v; l) b ¾edzie nazywany estymatorem pilotowym.
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 40
4.4 Nieparametryczna identy�kacja charakterystyki nieli-niowej
Jako estymator charakterystyki nieliniowej przyjmiemy, podobnie jak w punkcie 4.2.2,nieparametryczny estymator z j ¾adrem zbudowany tym razem w oparciu o zbiórf(V LSn;N ; Yn)gn2I , tzn.
gLSN (v) =
Xn2I
YnK
v � V LSn;N
h
!Xn2I
K
v � V LSn;N
h
! , (4.8)
gdzie K (�) i h = h (N) s ¾a odpowiednio funkcj ¾a j ¾adra i parametrem wyg÷adzania,por. estymatory (3.14) oraz (4.5). W÷asnosci asymptotyczne estymatora oraz wynikieksperymentów numerycznych przeprowadzonych dla ma÷ej i sredniej liczby obserwacjiprzedstawione s ¾a odpowiednio w p. 4.5.3 i p. 4.8.
4.5 W÷asnosci asymptotyczne algorytmu
Zbadamy obecnie asymptotyczne zachowanie omawianego algorytmu identy�kacji.W szczególnosci skupimy si¾e na wykazaniu zgodnosci estymatora odpowiedzi impulsowejpodsystemu dynamicznego i estymatora nieliniowej charakterystyki podsystemu staty-cznego. W tym celu przyjmiemy nast¾epuj ¾ace za÷o·zenia odnosnie elementów konstruk-cyjnych pilotowego estymatora ~gN1 (�; l):
Za÷o·zenie 4.4 J ¾adro K0 (�) jest funkcj ¾a ci ¾ag÷¾a spe÷niaj ¾ac ¾a warunekR1�1K0 (x) dx = 1
oraz tak ¾a, ·zek11[�r;r] (v) � K0 (v) � k21[�R;R] (v) ;
gdzie r � R, k1 � k2 s ¾a dowolnymi sta÷ymi.
Za÷o·zenie 4.5 Parametr wyg÷adzania h0 = h0 (N1) spe÷nia warunki: h0 ! 0 oraz N1h0 !1 gdy N1 !1.
W celu zapewnienia identy�kowalnosci podsystemu dynamicznego przyjmiemy równie·zza÷o·zenie typowe dla metody najmniejszych kwadratów:
Za÷o·zenie 4.6 Funkcja Q (l) = En[Y1 � g (V1 (l) ; l)]2
oposiada jedyne minimum globalne
w punkcie �.
Poniewa·z w Q (l) argument l wp÷ywa równoczesnie na konstrukcj¾e funkcji g (�; l) (zob. wzór(4.4)) jak i na jej argument V1 (l) (zob. wzór (4.1)), to automatyczne spe÷nienie za÷o·zenia4.6 nie jest oczywiste.
Wymagania odnosnie gLSN (�) umo·zliwiaj ¾ace wykazanie zgodnosci estymatora charakte-rystyki nieliniowej zamieszczone s ¾a w p. 4.5.3.
4.5.1 Analiza zbie·znosci estymatora odpowiedzi impulsowej podsystemudynamicznego
Zanim okreslone zostan ¾a w÷asnosci asymptotyczne estymatora �LS
N zauwa·zmy, ·ze z za-÷o·zenia 4.4 wynika ci ¾ag÷osc5 funkcji ~gN1 (Vn (l) ; l) wzgl¾edem l, dla ka·zdego n 2 I1.
5zob. przypis na stronie 15
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 41
W konsekwencji równie·z QN (l) jest funkcj ¾a ci ¾ag÷¾a. Z faktu, ·ze � jest zbiorem zwartym
wynika nast¾epnie, ·ze QN (�) osi ¾aga wartosc najmniejsz ¾a w � i wobec tego estymator �LS
N
jest dobrze okreslony. Nale·zy jednak podkreslic, ·ze dla skonczonej liczby obserwacji N ,empiryczna funkcja kryterialna QN (l) mo·ze posiadac wi¾ecej ni·z jedno minimum w zbiorze�. Za÷o·zenie 4.6 gwarantuje jednak, ·ze graniczna postac stosowanego kryterium (tj. przyN !1) posiada jedyne minimum globalne w punkcie �.
Poni·zsze twierdzenie formu÷uje warunki, przy których �LS
N zbiega wed÷ug prawdo-podobienstwa do wektora odpowiedzi impulsowej �, gdy liczba obserwacji N rosnie donieskonczonosci.
Twierdzenie 4.1 Je·zeli spe÷nione s ¾a za÷o·zenia 2.1�2.4 oraz 4.2�4.6, to dla systemuWienera (2.10)�(2.11) estymator �
LS
N jest zgodnym estymatorem wektora odpowiedziimpulsowej � podsystemu dynamicznego, tzn.
�LS
N ! �, gdy N !1,
wed÷ug prawdopodobienstwa.
Pe÷ny dowód, skonstruowany w oparciu o twierdzenie 5.7 w Van der Vaart [123](przytoczone wraz z dowodem w dodatku A.2) zamieszczony jest w pracy Pawlaka etal. [93].
4.5.2 Analiza zbie·znosci estymatora sygna÷u interakcyjnego
Udowodnimy nast¾epuj ¾acy lemat (por. analiza estymatora V Crn;N w rozdziale 3.):
Lemat 4.1 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 4.1, to dla ka·zdego n 2 I,hV LSn;N � Vn
i! 0; gdy N !1; (4.9)
wed÷ug prawdopodobienstwa.
Dowód. Zgodnie z de�nicj ¾a (4.1) sygna÷u fVng oraz de�nicj ¾a (4.7) estymatora V LSn;Notrzymujemy na mocy nierównosci Cauchy�ego�Schwarza (zob. dodatek B.4)���Vn � V LSn;N ��� = ����h�� �LSN iT Xn
���� � �� �LSN kXnk � C �� �LSN , (4.10)
gdzie C = (p+ 1)max fjaf j ; jbf jg, zob. za÷. 4.1. Rezultat (4.9) wynika zatem bezposrednioz ograniczonosci sygna÷u fXng i twierdzenia 4.1.
4.5.3 Analiza zbie·znosci estymatora charakterystyki nieliniowej
Dla wykazania zgodnosci estymatora charakterystyki nieliniowej niezb¾edne jest posiadanieinformacji na temat szybkosci zbie·znosci estymatora odpowiedzi impulsowej cz¾esci liniowej.
Jednak przeprowadzona powy·zej analiza w÷asnosci asymptotycznych estymatora �LS
N
dowodzi jedynie zbie·znosci algorytmu i nie pozwala na wnioskowanie o jego szybkoscizbie·znosci. Nale·zy podkreslic, ·ze okreslenie rz¾edu szybkosci zbie·znosci estymatora odpowie-dzi impulsowej podsystemu dynamicznego jest zagadnieniem skomplikowanym i wymagazastosowania bardziej zaawansowanych narz¾edzi statystyki matematycznej i teorii praw-dopodobienstwa, por. np. Ichimura [58].
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 42
Z tego powodu analiza w÷asnosci teoretycznych algorytmu identy�kacji nieliniowoscib ¾edzie prowadzona przy dodatkowym, ogólnym, za÷o·zeniu odnosnie szybkosci zbie·znosciestymatora cz¾esci liniowej. Za÷ó·zmy mianowicie, ·ze zachodzi �LSN � �
= OP (aN ) , (4.11)
gdzie aN jest pewnym ci ¾agiem zbie·znym do zera.
Uwaga 4.2 Parametryczno�nieparametryczna konstrukcja estymatora �LS
N (w szczegól-nosci wyst ¾epowanie pilotowego estymatora nieparametrycznego w kryterium sredniokwadra-
towym) mo·ze powodowac, ·ze �LS
N zbiega do � wolniej ni·z OP�N�1=2�. W szczególnosci ci ¾ag
aN mo·ze wi ¾ec przyj ¾ac postac aN � N� , gdzie 2�0; 12�.
Odnosnie konstrukcji estymatora gLSN (�) za÷o·zymy, ·ze:
Za÷o·zenie 4.7 J ¾adro K (�) jest nieujemn ¾a funkcj ¾a lipschitzowsk ¾a (tj. 9L < 1; 8v1; v2 2R; jK (v1)�K (v2)j � L jv1 � v2j), dla której spe÷nione s ¾a nast ¾epuj ¾ace warunki:supv2RK (v) = k0 <1;
R1�1K (v) dv = 1 oraz limjvj!1 vK (v) = 0.
Za÷o·zenie 4.8 Parametr wyg÷adzania h = h (N) spe÷nia warunki
h! 0; Nh!1; gdy N !1; (4.12)
orazaN=h
2 ! 0; gdy N !1. (4.13)
Uwaga 4.3 Wymaganie (4.12) zawarte w za÷o·zeniu 4.8 spe÷nione jest w szczególnoscigdy h � N��, gdzie � 2 (0; 1). Z kolei, dla aN � N� (zob. uwaga 4.2), warunek (4.13)zachodzi gdy � < =2.
Zgodnosc estymatora gLSN (�) przy powy·zszych za÷o·zeniach oraz za÷o·zeniach twierdzenia4.1 wykazana jest w nast¾epuj ¾acym twierdzeniu:
Twierdzenie 4.2 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 4.1 oraz za÷o·zenia 4.7 i 4.8,to
gLSN (v)! g (v) ; gdy N !1, (4.14)
wed÷ug prawdopodobienstwa w ka·zdym punkcie v 2 R, w którym g ¾estosc fV (v)wewn ¾etrznego sygna÷u interakcyjnego fVng jest dodatnia.
Dowód twierdzenia zamieszczony jest w dodatku A.2.
4.6 Identy�kacja systemów Wienera z wykorzystaniem ko-relacji rangowej
Omówiona powy·zej metoda identy�kacji skonstruowana jest w oparciu o kryteriumsredniokwadratowe QN (�) utworzone na podstawie dost¾epnych danych pomiarowych orazprzy u·zyciu pilotowego estymatora charakterystyki nieliniowej. Proponowana obecniemody�kacja algorytmu polega na zastosowaniu koncepcji korelacji rangowej, zob. np.Koronacki i Mielniczuk [70], do skonstruowania odmiennej funkcji kryterialnej SN (�), por.Geenens i Simar [21]. Podobnie jak w przypadku kryterium QN (�), w funkcji SN (�) równie·z
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 43
wykorzystuje si¾e pilotowy estymator (4.5) oraz stosuje si¾e wydzielenie ze zbioru obserwacjipodzbiorów T1 i T2. Rozwa·zany obecnie algorytm umo·zliwia identy�kacj¾e odpowiedziimpulsowej podsystemu dynamicznego poprzez minimalizacj¾e funkcji SN (�). W p. 4.6.2i 4.8.2 wprowadzono odpowiednio koncepcj¾e metody oraz omówiono wyniki eksperymen-tów numerycznych dla ma÷ej i sredniej liczby obserwacji wejscia i wejscia systemu. Analizateoretyczna w÷asnosci asymptotycznych algorytmu nie zosta÷a przeprowadzona.
4.6.1 Parametryczna identy�kacja podsystemu dynamicznego z wyko-rzystaniem korelacji rangowej
Konstruowanie algorytmu rozpoczniemy od rozwa·zenia uproszczonego zadania identy�ka-cji, w którym na wyjsciu systemu nie wyst¾epuje szum fZng. W tej sytuacji mamy
Yn = g (Vn) . (4.15)
Chwilowo za÷o·zymy równie·z, ·ze nieliniowa charakterystyka g (�) jest znana, a zadanieidenty�kacji polega na wyznaczeniu odpowiedzi impulsowej podsystemu dynamicznegona podstawie zbioru obserwacji f(Xn; Yn)gNn=1.
4.6.2 Koncepcja metody identy�kacji
Idea omawianej metody opiera si¾e na oczywistym spostrze·zeniu, ·ze zgodnie z (4.15),
fg (Vi) � g (Vj)g wtedy i tylko wtedy, gdy fYi � Yjg , (4.16)
dla dowolnych i; j 2 I. Wykorzystuj ¾ac powy·zsz ¾a obserwacj¾e wprowadzimy funkcj¾e
s (v1; v2; y1; y2) = 1 [g (v1) � g (v2)]1 [y1 � y2]+1 [g (v1) < g (v2)]1 [y1 < y2] ,
gdzie v1; v2;y1; y2 2 R oraz 1 [A] oznacza indykator zdarzenia A. W uproszczonymzadaniu identy�kacji, tj. przy za÷o·zeniu braku szumu wyjsciowego, s (Vi; Vj ; Yi; Yj) = 1 dladowolnych i; j 2 I. Jednoczesnie funkcja s (Vi (l) ; Vj (l) ; Yi; Yj), gdzie elementy Vi (l) i Vj (l)zde�niowane s ¾a wzorem (4.1), mo·ze przyj ¾ac wartosc zero je·zeli l 6= �. W÷asnosc ta pozwalana wykorzystanie funkcji s (v1; v2; y1; y2) w konstrukcji kryterium okreslaj ¾acego jakoscprzybli·zenia wektora � przez dowolny wektor l 2 �. Odpowiednia funkcja kryterialnazbudowana w oparciu o obserwacje ze zbioru T2 przyjmuje postac (por. Geenens i Simar[21])
~SN2 (l) =
��N22
���1 Xi;j2I2;i6=j
s (Vi (l) ; Vj (l) ; Yi; Yj) , (4.17)
gdzie czynnik wagowy�N22
�oznacza symbol Newtona6 normalizuj ¾acy funkcj¾e ~SN2 (�) tak,
aby jej wartosci zawarte by÷y w przedziale [0; 1], por. Geenens i Simar [21], Han [45] orazwspó÷czynnik Kendalla (zob. np. Koronacki i Mielniczuk [70, str. 474]). Jest oczywiste,·ze wartosc maksymaln ¾a funkcja ~SN2 (l) osi ¾aga gdy l = �, bowiem dla ka·zdego i; j 2 I2zachodzi s (Vi; Vj ; Yi; Yj) = 1. Jako estymator odpowiedzi impulsowej � przyj ¾ac wi¾ec mo·zna
~�RCN2 = argmaxl2�
~SN2 (l) :
Podobnie jak w przypadku ~QN2 (�), kryterium ~SN2 (�) nie mo·ze byc bezposrednio u·zyte gdynieliniowosc g (�) nie jest znana. W konsekwencji estymator ~�
RCN2 nie mo·ze byc wyznaczony.
6Symbol Newtona�N22
�równy jest liczbie wszystkich kombinacji par elementów ze zbioru I2.
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 44
Wykorzystuj ¾ac podejscie omówione poprzednio, zast ¾apimy w ~SN2 (l) charakterystyk¾enieliniow ¾a g (�) pilotowym estymatorem (4.5). W rezultacie otrzymujemy
SN (l) =
��N22
���1 Xi;j2I2;i6=j
sN1 (Vi (l) ; Vj (l) ; Yi; Yj) ;
gdzie
sN1 (v1; v2; y1; y2) = 1 [~gN1 (v1; l) � ~gN1 (v2; l)]1 [y1 � y2]+1 [~gN1 (v1; l) < ~gN1 (v2; l)]1 [y1 < y2] ,
i ostatecznie nowy estymator odpowiedzi impulsowej podsystemu dynamicznego przyjmujepostac
�RC
N = argmaxl2� SN (l) .
4.6.3 Estymacja sygna÷u interakcyjnego oraz identy�kacja charaktery-styki nieliniowej
Uzyskany w p. 4.6.2 estymator �RC
N , zgodnie z procedur ¾a z p. 4.3, jest nast¾epniewykorzystany do przybli·zania sygna÷u wewn¾etrznego fVng. Przez analogi¾e do V LSn;Notrzymujemy
V RCn;N =��RC
N
�TXn,
gdzie n 2 I. Nast¾epnie, post¾epuj ¾ac podobnie jak w przypadku estymatora gLSN (v), doidenty�kacji nieliniowosci mo·zna z kolei zastosowac estymator
gRCN (v) =
Xn2I
YnK
v � V RCn;N
h
!Xn2I
K
v � V RCn;N
h
! ;
gdzie K (�) i h = h (N) s ¾a odpowiednio funkcj ¾a j ¾adra i parametrem wyg÷adzania.
4.6.4 Dyskusja algorytmu w kontekscie podejscia wykorzystuj ¾acegokryterium sredniokwadratowe
Otrzymany powy·zej estymator �RC
N , podobnie jak uzyskany w p. 4.2.2 estymator �LS
N ,jest argumentem, dla którego odpowiednia funkcja celu przyjmuje wartosc ekstremaln ¾a.W przypadku estymatora zbudowanego w oparciu o metod¾e najmniejszych kwadratów,
wektor �LS
N minimalizuje kryterium QN (�), a w przypadku metody wykorzystuj ¾acej
koncepcj¾e korelacji rangowej wektor �RC
N jest punktem, w którym SN (�) przyjmuje wartoscmaksymaln ¾a. Pomimo podobnej konstrukcji obu estymatorów, w przypadku estymatora
�RC
N w funkcji SN (l) nast¾epuje usrednianie�N22
�= 1
2
�N22 �N2
�elementów losowych,
natomiast w QN (�) usrednianych jest tylko N2 wyrazów. Zatem, dla skonczonej liczbyobserwacji, oszacowanie �
RC
N mo·ze posiadac mniejsz ¾a wariancj¾e ni·z oszacowanie �LS
N .
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 45
4.7 Podsumowanie wyników teoretycznych
W rozdziale przeprowadzono analiz¾e w÷asnosci asymptotycznych algorytmu zbudowanegow oparciu o metod¾e najmniejszych kwadratów. Wykazano zgodnosc estymatora cz¾esciliniowej oraz zgodnosc estymatora nieliniowej charakterystyki g (�) przy za÷o·zeniu, ·ze znanyjest rz ¾ad szybkosci zbie·znosci estymatora odpowiedzi impulsowej podsystemu dynami-cznego. Warunki, przy których zachodzi zgodnosc estymatorów umo·zliwiaj ¾a zastosowaniemetody w przypadku szerokiej klasy sygna÷ów wejsciowych (zob. za÷. 4.1) oraz szerokiejklasy charakterystyk nieliniowych wyst¾epuj ¾acych w systemie (zob. za÷. 4.2).
4.8 Wyniki badan eksperymentalnych
Symulacje komputerowe proponowanych w rozdziale algorytmów przeprowadzono dlatrzech systemów Wienera z nieliniowosciami g1 (�), g2 (�) i g3 (�) jak w p. 3.7 (zob. wzory(3.36) na str. 32). Podsystem dynamiczny, podobnie jak w rozdziale 3, modelowanyby÷za pomoc ¾a odpowiedzi impulsowej (3.35). Rozwa·zane systemy pobudzano sygna÷amio nast¾epuj ¾acych g¾estosciach prawdopodobienstwa (zob. rys. 4.2):
� rozk÷ad jednostajny
fX;1 (x) =
�12 dla x 2 [�1; 1]0 dla x =2 [�1; 1] , (4.18)
� rozk÷ad trójk ¾atny
fX;2 (x) =
�1� jxj dla x 2 [�1; 1]0 dla x =2 [�1; 1] , (4.19)
� rozk÷ad Epanechnikova
fX;3 (x) =
�34
�1� x2
�dla x 2 [�1; 1]
0 dla x =2 [�1; 1] . (4.20)
0
0.5
1
2 1 0 1 2
fX,1ÝxÞ
x 0
0.5
1
2 1 0 1 2
x
fX,2ÝxÞ
0
0.5
1
2 1 0 1 2
x
fX,3ÝxÞ
Rysunek 4.2: Wykorzystywane w eksperymentach numerycznych g¾estosci prawdopodobienstwafX;1, fX;2 i fX;3 sygna÷u wejsciowego fXng
Do wyznaczania ekstremów funkcji kryterialnych QN (�) i SN (�) zastosowano funkcj¾efminsearch, wchodz ¾ac ¾a w sk÷ad pakietu obliczeniowego MATLAB i b¾ed ¾ac ¾a implementacj ¾abezgradientowego algorytmu optymalizacji Neldera�Meada (zob. np. Walters et. al [131],Lagarias [74] et al.). Sygna÷zak÷ócaj ¾acy wygenerowano z rozk÷adu jednostajnego o zerowej
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 46
wartosci oczekiwanej i wariancji dobranej tak, aby NSR= 10% (por. p. 3.7 w rozdziale3). W symulacjach badano zale·znosc b÷¾edów empirycznych Err (�;�) i MISE (�;�),okreslonych wzorami (3.39) i (3.40) na str. 33, od liczby obserwacji N wejscia i wyjsciasystemu (zmienianej od 25 do 500). Zgodnie z za÷o·zeniami przyj¾etymi w p. 4.1, mul-tiplikatywna sta÷a � wyst¾epuj ¾aca we wzorach (3.39) i (3.40) jest równa 1. Podobniejak w rozdziale 3 w de�nicjach b÷¾edów Err (�; 1) i MISE (�; 1) przyj¾eto nast¾epuj ¾acewartosci sta÷ych R i M : R = 30, M = 1000. Poniewa·z nosnik rozwa·zanych g¾estosciprawdopodobienstwa jest równy [�1; 1], wi¾ec sygna÷wewn¾etrzny fVng posiada÷g¾estoscprawdopodobienstwa o nosniku [#1; #2], gdzie #1 � �2:28 oraz #2 � 2:28. W pilotowymestymatorze ~gN1 (�; l) (zob. wzór (4.5)) zastosowano funkcj¾e j ¾adra okreslon ¾a wzorem
K0 (v) =
�1516
�1� v2
�2 dla v 2 [�1; 1]0 dla v =2 [�1; 1] .
W estymatorze gLSN (�) (zob. wzór (4.8)) wykorzystano natomiast j ¾adro gaussowskie, tj.funkcj¾e postaci
K (v) =1p2�exp
��v
2
2
�.
Wyniki eksperymentów wykonanych dla algorytmu wykorzystuj ¾acego kryterium srednio-kwadratowe i algorytmu zbudowanego w oparciu o ide¾e korelacji rangowej przedstawionoodpowiednio w p. 4.8.1 i p. 4.8.2.
4.8.1 Identy�kacja z wykorzystaniem metody najmniejszych kwadratów
Rysunki 4.3 i 4.4 (zob. str. 48) przedstawiaj ¾a wyniki eksperymentu, tj. zale·znosci b÷¾edów
Err��LS
N ; 1�i MISE
�gLSN ; 1
�od liczby obserwacji N , dla g¾estosci sygna÷u wejsciowego
okreslonej funkcj ¾a fX;1 (�). Na rysunkach 4.5, 4.6 (zob. str. 48) oraz 4.7 i 4.8 przedstawionoz kolei rezultaty symulacji komputerowych odpowiednio dla g¾estosci wejscia fX;2 (�)oraz fX;3 (�). Otrzymane wyniki pokazuj ¾a, ·ze w przypadku systemów z nieliniowosciamig1 (�) i g2 (�) (tj. nieliniowosciami spe÷niaj ¾acymi za÷o·zenie 4.2), pobudzanych sygna÷amio g¾estosciach fX;1 (�), fX;2 (�) i fX;3 (�), b÷¾edy empiryczne malej ¾a wraz ze wzrostem liczbyobserwacji N . Podobne wartosci b÷¾edów uzyskano równie·z dla nieci ¾ag÷ej nieliniowoscig3 (�) nie spe÷niaj ¾acej wymagania 4.2 co, nie przes ¾adzaj ¾ac o zbie·znosci, sugeruje ·zeprzyj¾ete w rozdziale za÷o·zenia dotycz ¾ace charakterystyki g (�) s ¾a jedynie warunkamiwystarczaj ¾acymi i przypuszczalnie mog ¾a byc os÷abione. Rysunki 4.3, 4.5 oraz 4.7 prowadz ¾aponadto do wniosku, ·ze charakter g¾estosci wejscia fX (�) nie ma istotnego wp÷ywu nazachowanie si¾e estymatorów cz¾esci liniowej systemu. Przyk÷adowo, dyskutowane b÷¾edy
Err��LS
N ; 1�przyjmuj ¾a wartosci mniejsze ni·z 10%, gdy liczba obserwacji N jest wi¾eksza
od 250, niezale·znie od zastosowanej g¾estosci wejscia fX (�). Podobnie, w przypadku b÷¾edówempirycznychMISE
�gLSN ; 1
�uzyskane wartosci (zob. rys 4.4, 4.6, 4.8) s ¾a mniejsze ni·z 10%
gdy liczba obserwacji jest wi¾eksza od 200.
4.8.2 Identy�kacja z wykorzystaniem korelacji rangowej
Rezultaty eksperymetów wykonanych dla algorytmu zbudowanego w oparciu o koncepcj¾ekorelacji rangowej zamieszczone s ¾a na rysunkach 4.9�4.14 (zob. str. 50�51). Rysunki
4.9, 4.10 przedstawiaj ¾a b÷¾edy Err��RC
N ; 1�i MISE
�gRCN ; 1
�dla sygna÷u wejsciowego
o g¾estosci fX;1 (�). Podobnie rysunki 4.11, 4.12 oraz 4.13, 4.14 obrazuj ¾a wyniki badanodpowiednio dla g¾estosci wejscia fX;2 (�) oraz fX;3 (�). Otrzymane wyniki pokazuj ¾a, ·ze
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 47
badane b÷¾edy malej ¾a wraz ze wzrostem liczby obserwacji N . W przypadku ma÷ej liczby
obserwacji (tj. mniejszej od 200) wartosci b÷¾edów Err��RC
N ; 1�i MISE
�gRCN ; 1
�s ¾a
jednak wi¾eksze od b÷¾edów uzyskanych w badaniach algorytmu wykorzystuj ¾acego kryteriumsredniokwadratowe. W konsekwencji, w przypadku ma÷ej liczby obserwacji systemu,
estymatory �LS
N i gLSN (�) posiadaj ¾a lepsze w÷asnosci empiryczne od estymatorów �RC
N
i gRCN (�) niezale·znie od charakteru nieliniowosci wyst¾epuj ¾acej w systemie oraz typu
g¾estosci sygna÷u wejsciowego fXng. W odró·znieniu od estymatorów �LS
N i gLSN (�) omawianeobecnie estymatory �
RC
N i gRCN (�) s ¾a ponadto bardziej wra·zliwe na charakter nieliniowosciwyst¾epuj ¾acej w systemie. Otrzymane wyniki (zob. rys. 4.9, 4.11, 4.13) pokazuj ¾a, ·zenajmniejsze wartosci b÷¾edów estymacji cz¾esci liniowej systemu uzyskano dla g÷adkieji monotonicznej nieliniowosci g1 (�). Nieco wi¾eksze wartosci otrzymano dla g÷adkiej,ale niemonotonicznej nieliniowosci g2 (�). W przypadku odcinkami sta÷ej i nieci ¾ag÷ej
nieliniowosci g3 (�) b÷¾edy Err��RC
N ; 1�przyjmowa÷y natomiast wartosci najwi¾eksze.
4.9 Podsumowanie i wnioski
W rozdziale zaprezentowano dwie metody identy�kacji systemów Wienera. Algorytmzbudowany w oparciu o metod¾e najmniejszych kwadratów dedykowany jest systemompobudzanym ograniczonym sygna÷em losowym typu i:i:d: o ci ¾ag÷ej funkcji g¾estosciprawdopodobienstwa. Metoda pozwala na identy�kacj¾e obiektów, w których nieliniowoscg (�) spe÷nia warunek ci ¾ag÷osci. W celu estymacji odpowiedzi impulsowej liniowegopodsystemu dynamicznego niezb¾edne jest wyznaczenie minimum nieliniowej funkcjikryterialnej QN (�). Z tego powodu praktyczne zastosowanie algorytmu wymaga u·zyciadodatkowych technik optymalizacji nieliniowej. Podobna sytuacja ma miejsce w przypadkualgorytmu zbudowanego w oparciu o koncepcj¾e korelacji rangowej, w którym estymatorodpowiedzi impulsowej podsystemu dynamicznego de�niowany jest jako maksimum funkcjikryterialnej SN (�).
W rozdziale przeprowadzono analiz¾e teoretyczn ¾a w÷asnosci asymptotycznych estyma-
torów �LS
N i gLSN (�) oraz omówiono wyniki eksperymentów numerycznych przeprowa-dzonych dla algorytmu wykorzystuj ¾acego kryterium sredniokwadratowe oraz algorytmuzbudowanego w oparciu o koncepcj¾e korelacji rangowej.
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 48
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g2
g3
N
Err
Rysunek 4.3: B÷¾edy estymacji Err(�LS
N ; 1) w funkcji liczby obserwacji wejscia i wyjscia systemudla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;1
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g2
g3
N
MISE
Rysunek 4.4: B÷¾edy estymacji MISE�gLSN ; 1
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;1
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g2
g3
N
Err
Rysunek 4.5: B÷¾edy estymacji Err(�LS
N ; 1) w funkcji liczby obserwacji wejscia i wyjscia systemudla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;2
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 49
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g2
g3
N
MISE
Rysunek 4.6: B÷¾edy estymacji MISE�gLSN ; 1
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;2
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g2
g3
N
Err
Rysunek 4.7: B÷¾edy estymacji Err(�LS
N ; 1) w funkcji liczby obserwacji wejscia i wyjscia systemudla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;3
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g2
g3
N
MISE
Rysunek 4.8: B÷¾edy estymacji MISE�gLSN ; 1
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;3
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 50
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500 550 600 650 700
g1
g2
g3
N
Err
Rysunek 4.9: B÷¾edy estymacji Err(�RC
N ; 1) w funkcji liczby obserwacji wejscia i wyjscia systemudla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;1
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500 550 600 650 700
g1
g2
g3
N
MISE
Rysunek 4.10: B÷¾edy estymacji MISE�gRCN ; 1
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;1
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500 550 600 650 700
g1
g2
g3
N
Err
Rysunek 4.11: B÷¾edy estymacji Err(�RC
N ; 1) w funkcji liczby obserwacji wejscia i wyjscia systemudla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;2
Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 51
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500 550 600 650 700
g1
g2
g3
N
MISE
Rysunek 4.12: B÷¾edy estymacji MISE�gRCN ; 1
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;2
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500 550 600 650 700
g1
g2
g3
N
Err
Rysunek 4.13: B÷¾edy estymacji Err(�RC
N ; 1) w funkcji liczby obserwacji wejscia i wyjscia systemudla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;3
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500 550 600 650 700
g1
g2
g3
N
MISE
Rysunek 4.14: B÷¾edy estymacji MISE�gRCN ; 1
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;3
Rozdzia÷5
Identy�kacja systemów Wienerametod ¾a usrednionej pochodnej
W tym rozdziale przedstawiono algorytm identy�kacji systemów Wienera ze skonczon ¾apami¾eci ¾a i niegaussowskim sygna÷em wejsciowym, skonstruowany w oparciu o koncepcj¾eestymacji usrednionej pochodnej (ang. Average Derivative estimate, zob. np. Powell etal. [95], Härdle i Stoker [47]). W odró·znieniu od metody zaproponowanej w rozdziale 4,algorytm pozwala na identy�kacj¾e podsystemu dynamicznego bez koniecznosci stosowaniadodatkowych procedur optymalizacji nieliniowej, a wi¾ec jest prostszy pod wzgl¾edemobliczeniowym. Nie jest równie·z dokonywana dekompozycja zbioru pomiarów.
Wprowadzone w rozdziale estymatory cz¾esci liniowej, sygna÷u interakcyjnego i cz¾escinieliniowej systemu oznaczane b¾ed ¾a indeksem �AD� (od ang. Average Derivative), gdyg¾estosc sygna÷u wejsciowego fXng jest a priori znana oraz indeksem �fAD�, gdy g¾estoscfX (�) jest nieznana.
5.1 Sformu÷owanie problemu
Ze wzgl¾edu na charakter zastosowanego podejscia kluczowymi za÷o·zeniami odnosniekonstrukcji systemu i sygna÷u wejsciowego s ¾a wymagania dotycz ¾ace g÷adkosci nieliniowoscig (�) i g¾estosci prawdopodobienstwa fX (�) sygna÷u wejsciowego fXng. Przyjmuje si¾ew szczególnosci, ·ze:
Za÷o·zenie 5.1 Funkcja g ¾estosci prawdopodobienstwa fX (�) sygna÷u wejsciowego fXngposiada ograniczony nosnik, supp fX = [af ; bf ] ; jaf j ; jbf j <1 oraz ci ¾ag÷¾a pochodn ¾a f 0X (x)dla x 2 [af ; bf ]. Ponadto fX (af ) = fX (bf ) = 0.
Za÷o·zenie 5.2 Nieliniowa charakterystyka g (�) posiada ci ¾ag÷¾a pochodn ¾a g0 (�).
5.2 Reprezentacja systemu Wienera za pomoc ¾a statycznegonieliniowego systemu typu MISO
Niech Xn = (Xn; Xn�1; : : : ; Xn�p)T b¾edzie (p+ 1)�elementowym wektorem utworzonym
z kolejnych obserwacji sygna÷u wejsciowego fXng. Wykorzystuj ¾ac powy·zsz ¾a notacj¾e,system Wienera (2.10)�(2.11) mo·zna zapisac w równowa·znej postaci za pomoc ¾a równania
Yn = G (Xn) + Zn; (5.1)
52
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 53
X n
Xn
Xn?1
Xn?p
GÝ6ÞYn
Zn
Rysunek 5.1: Reprezentacja systemu Wienera ze skonczon ¾a pami¾eci ¾a przy pomocy statycznegosystemu nieliniowego o strukturze MISO
gdzie funkcja G : Rp+1 ! R dana jest wzorem
G (x) = g��Tx
�; x 2 Rp+1; (5.2)
a wektor � 2 Rp+1 utworzony jest z elementów odpowiedzi impulsowej podsystemu dy-namicznego, tj. � = (�0; �1; : : : ; �p)
T . Reprezentacja (5.1) pozwala przedstawic rozwa·zanysystem Wienera jako statyczny system nieliniowy o strukturze MISO z wektorowymwejsciem fXng i skalarnym wyjsciem fYng, (zob. rys. 5.1).
Wykorzystuj ¾ac zbiór obserwacji wejscia i wyjscia f(Xn; Yn)gNn=1 systemu (2.10)�(2.11)skonstruujemy analogiczny zbiór pomiarów wejscia i wyjscia, w÷asciwy dla reprezentacji(5.1). Zbiór ten przyjmuje postac
TG = f(Xn; Yn)gn2I ; (5.3)
gdzie I = fp+ 1; p+ 2; : : : ; Ng jest (N � p)�elementowym zbiorem indeksów (standardo-wo oznaczymy równie·z NI = # fIg = N � p).
W celu wprowadzenia koncepcji omawianej metody identy�kacji konieczne jestokreslenie podstawowych w÷asnosci statystycznych sygna÷u fXng. Zgodnie z przyj¾etymiza÷o·zeniami odnosnie wejscia fXng (zob. za÷o·zenie 2.2, str. 22), sygna÷fXng jest ci ¾agiemwektorów losowych o tym samym rozk÷adzie, ale nie jest ci ¾agiem typu i:i:d. Z koleielementy sk÷adowe ka·zdego wektoraXn s ¾a niezale·znymi zmiennymi losowymi o tym samymrozk÷adzie. W konsekwencji prawdziwa jest poni·zsza w÷asnosc:
W÷asnosc 5.1 Sygna÷fXng jest ci ¾agiem wektorów losowych o funkcji g ¾estosci praw-dopodobienstwa fX : Rp+1 ! R danej wzorem
fX (x) =
p+1Yj=1
fX
�x(j)
�; x 2 Rp+1; (5.4)
gdzie x(j) oznacza j�ty element wektora1 x.
Z za÷o·zenia 5.1 oraz wzoru (5.4) wynika, ·ze nosnik = supp fX funkcji fX (�) jestkostk ¾a w przestrzeni Rp+1 o bokach [af ; bf ]. Ponadto fX (�) jest funkcj ¾a ró·zniczkowaln ¾aw zbiorze .
1W rozdziale zapis w(j) oznaczac b ¾edzie ogólnie j�ty element wektora w.
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 54
5.3 Idea metody usrednionej pochodnej
Oznaczmy przez dG;l (x) i df;l (x) nast¾epuj ¾ace pochodne cz ¾astkowe
dG;l (x) =@G (x)
@x(l)oraz df;l (x) =
@fX (x)
@x(l); (5.5)
gdzie l 2 f1; 2; : : : ; p+ 1g oraz x 2 Rp+1. Niech dalej DG (x) i Df (x) b¾ed ¾a odpowiedniogradientami funkcji G (�) i fX (�) w punkcie x, tj.
DG (x) = (dG;1 (x) ; dG;2 (x) ; : : : ; dG;p+1 (x))T ;
Df (x) = (df;1 (x) ; df;2 (x) ; : : : ; df;p+1 (x))T :
Na mocy za÷o·zenia 5.2, gradient DG (x) jest dobrze okreslony w ka·zdym punkcie x 2Rp+1. Podobnie, zgodnie z za÷o·zeniem 5.1, gradient Df (x) jest dobrze okreslony w ka·zdympunkcie x 2 .
Podstaw ¾a omawianej metody identy�kacji jest obserwacja, ·ze na mocy reprezentacji(5.2) prawdziwa jest zale·znosc
DG (x) = g0 ��Tx��; (5.6)
gdzie g0 (x) oznacza pochodn ¾a funkcji g (�) w punkcie x 2 R. Wzór (5.6) prowadzi dokluczowego dla dalszych rozwa·zan spostrze·zenia:
Wniosek 5.1 Gradient DG (x) w dowolnym punkcie x 2 Rp+1 jest proporcjonalny dowektora odpowiedzi impulsowej �.
Powy·zszy wniosek sugeruje wi¾ec, aby jako oszacowanie przeskalowanej odpowiedziimpulsowej podsystemu dynamicznego przyj ¾ac estymator gradientu DG (x) w dowolnym,ustalonym punkcie x. Zauwa·zmy jednak, ·ze dowolnosc wyboru argumentu x prowadziw szczególnosci do nast¾epuj ¾acej równosci
DG (Xn) = g0 ��TXn
��, n 2 I,
i wobec tego prawdziwa jest równie·z zale·znosc
E fDG (Xn)g = �0�, (5.7)
gdzie �0 = E�g0��TXn
�. Z równania (5.7) wynika, ·ze wartosc oczekiwana E fDG (Xn)g
jest proporcjonalna do wektora � ze sta÷ym wspó÷czynnikiem proporcjonalnosci równym�0. Zatem identy�kacja podsystemu dynamicznego mo·ze byc zrealizowana poprzez esty-macj¾e wyra·zenia E fDG (Xn)g. Niestety, ze wzgl¾edu na nieznajomosc nieliniowosci g (�),gradient DG równie·z nie jest znany i w konsekwencji bezposrednie zastosowanie równania(5.7) nie jest mo·zliwe. Pewnym rozwi ¾azaniem, umo·zliwiaj ¾acym omini¾ecie wspomnianegoproblemu, jest utworzenie estymatora DG;N gradientu DG i wstawienie go do (5.7)
w miejsce DG, a nast¾epnie estymacja wartosci oczekiwanej EnDG;N (Xn)
o. Podejscie
to posiada jednak istotn ¾a wad¾e w postaci koniecznosci szacowania gradientu nieznanej,wieloargumentowej funkcji G (�).
W celu omini¾ecia powy·zszych trudnosci wprowadzimy do równania (5.6) czynnikwagowy fX (x), tj.
fX (x)DG (x) = fX (x) g0 ��Tx��. (5.8)
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 55
Równosc (5.8) prowadzi teraz do wniosku, ·ze
E�fX (Xn)DG (Xn)
= �1�, (5.9)
gdzie �1 = E�fX (Xn) g
0 ��TXn
�.
Dalsze rozwa·zania poprzedzone zostan ¾a nast¾epuj ¾acym lematem (por. lemat 2.1w Powell et al. [95]).
Lemat 5.1 Dla nieliniowej charakterystyki g (�) oraz funkcji g ¾estosci prawdopodobienstwafX (�) sygna÷u wejsciowego fXng spe÷niaj ¾acych odpowiednio za÷o·zenia 5.1 i 5.2, zachodzinast ¾epuj ¾acy zwi ¾azek
E�fX (Xn)DG (Xn)
= �2E fDf (Xn)Yng : (5.10)
Dowód lematu zamieszczony jest w dodatku A.3.
Równosc (5.10) pozwala przepisac wzór (5.9) w znacznie dogodniejszej dla dalszychrozwa·zan formie, wykorzystuj ¾acej obok sygna÷u wejsciowego fXng, tak·ze sygna÷wyjsciowyfYng, tj.
E fYnDf (Xn)g = ��; (5.11)
gdzie� = ��1=2.
W reprezentacji skalarnej zale·znosc (5.11) przyjmuje postac p+ 1 równan
E fYndf;i+1 (Xn)g = ��i; i = 0; 1; : : : ; p. (5.12)
Zauwa·zmy teraz, ·ze zgodnie z (5.4) oraz (5.5),
df;i (x) = f0X
�x(i)
� p+1Yk=1;k 6=i
fX
�x(k)
�; i 2 f1; 2; : : : ; p+ 1g : (5.13)
Zatem, gdy g¾estosc prawdopodobienstwa fX (�) wejscia fXng jest znana, mo·zliwe jestbezposrednie wyznaczenie pochodnych cz ¾astkowych df;i (�) ; i = 1; 2; : : : ; p + 1. W tymprzypadku zale·znosc (5.12) pozwala wi¾ec na prost ¾a estymacj¾e elementu ��i poprzezestymacj¾e odpowiedniej wartosci oczekiwanej wyst¾epuj ¾acej we wzorze (5.12). Zagadnienieto omawiane jest poni·zej.
5.4 Identy�kacja systemów Wienera w przypadku znanejg¾estosci prawdopodobienstwa sygna÷u wejsciowego
5.4.1 Konstrukcja estymatora podsystemu dynamicznego
Zak÷adamy znajomosc a priori funkcji g¾estosci prawdopodobienstwa fX (�) sygna÷uwejsciowego fXng. Proponowany estymator konstruowany jest w oparciu o zale·znosc(5.12). Naturalnym oszacowaniem wartosci oczekiwanej po lewej stronie równania (5.12)jest srednia z próby utworzona na podstawie elementów zbioru TG, zob. wzór (5.3).W rezultacie estymator przeskalowanej odpowiedzi impulsowej f��igpi=0 przyjmuje postac
�AD
i;N =1
NI
Xn2I
Yndf;i+1 (Xn) ; i = 0; 1; : : : ; p; (5.14)
gdzie funkcja df;i+1 (�) okreslona jest wzorem (5.13).
W÷asnosci asymptotyczne estymatorów �AD
i;N ; i = 0; 1; : : : ; p oraz wyniki badan em-pirycznych dla ma÷ej i umiarkowanej liczby obserwacji omówiono odpowiednio w p. 5.4.4i p. 5.7.
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 56
5.4.2 Estymacja sygna÷u interakcyjnego
Estymator przeskalowanego sygna÷u interakcyjnego f�Vng konstruowany jest podobnie jakw przypadku metod omawianych w rozdzia÷ach 3. i 4. Obecnie jest on zatem zbudowany
w oparciu o estymatory �AD
i;N ; i = 0; 1; : : : ; p i wyra·za si¾e wzorem
V ADn;N =
pXi=0
�AD
i;NXn�i. (5.15)
Vn = �TXn.
Ze wzgl¾edu na ograniczon ¾a liczb ¾e dost¾epnych obserwacji wejscia i wyjscia systemu,estymator (5.15) mo·ze byc wyznaczony dla n 2 I.
5.4.3 Nieparametryczna identy�kacja charakterystyki nieliniowej
W przypadku znanej g¾estosci prawdopodobienstwa fX (�) sygna÷u wejsciowego, estymatorprzeskalowanej charakterystyki nieliniowej g (�=�) konstruowany jest w oparciu o ci ¾agoszacowan fV ADn;N gn2I sygna÷u f�Vng i okreslony jest wzorem
gADN (v) =
Xn2I
YnK
v � V ADn;N
h
!Xn2I
K
v � V ADn;N
h
! . (5.16)
Podobnie jak w przypadku estymatorów gCrN (�) i gLSN (�) (zob. rozdzia÷y 3. i 4.), K (�)i h = h (N) s ¾a odpowiednio funkcj ¾a j ¾adra i parametrem wyg÷adzania zale·znym od liczbyobserwacji N .
5.4.4 W÷asnosci asymptotyczne algorytmu
Analiza zbie·znosci estymatora odpowiedzi impulsowej podsystemu dynami-cznego
Poni·zsze twierdzenie podaje warunki, przy których estymator �AD
i;N dany wzorem (5.14)zbiega do ��i; i = 0; 1; : : : ; p wed÷ug prawdopodobienstwa z szybkosci ¾a zbie·znosci rz¾eduOP�N�1=2�, tj. z szybkosci ¾a typow ¾a dla metod parametrycznych.
Twierdzenie 5.1 Je·zeli dla systemu Wienera (2.10)�(2.11) spe÷nione s ¾a za÷o·zenia
2.1�2.4 oraz 5.1, 5.2, to dla ka·zdego i 2 f0; 1; 2; : : : ; pg estymator �ADi;N zbiega wed÷ugprawdopodobienstwa do ��i, gdy N !1. Ponadto
�AD
i;N = ��i +OP
�N�1=2
�.
Dowód. Niech �i;n = Yndf;i+1 (Xn) dla ka·zdego n 2 I oraz i 2 f0; 1; : : : ; pg. Wtedyestymator �
AD
i;N mo·zna zapisac w postaci
�AD
i;N =1
NI
Xn2I
�i;n.
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 57
Poniewa·z fXng i fZng s ¾a stacjonarnymi ci ¾agami zmiennych losowych, wi¾ec��i;nn2I
równie·z jest stacjonarnym ci ¾agiem zmiennych losowych. Zatem wartosc oczekiwanaestymatora (5.14) jest równa
En�AD
i;N
o= E
��i;n= E fYndf;i+1 (Xn)g ,
co na mocy równosci (5.12) prowadzi do wniosku, ·ze
En�AD
i;N
o= ��i;
tzn. �AD
i;N jest nieobci ¾a·zonym estymatorem elementu ��i. Analiz¾e wariancji estymatora �AD
i;N
rozpoczniemy od wykazania ·ze V ar��i;n<1. Ze wzgl¾edu na stochastyczn ¾a niezale·znosc
sygna÷u fXng i szumu fZng oraz wzór (5.1), prawdziwa jest nast¾epuj ¾aca nierównosc
V ar��i;n� 2V ar fG (Xn) df;i+1 (Xn)g+ 2�2ZV ar fdf;i+1 (Xn)g . (5.17)
Poniewa·z G (�) jest funkcj ¾a ci ¾ag÷¾a (na mocy za÷o·zenia 5.2), a df;i+1 (�) jest funkcj ¾aograniczon ¾a (na mocy za÷o·zenia 5.1), wi¾ec wariancje po prawej stronie nierównosci (5.17) s ¾askonczone i tym samym V ar
��i;n<1. Zauwa·zmy nast¾epnie, ·ze dla dowolnych indeksów
k; l 2 I zmienne losowe �i;k i �i;l s ¾a stochastycznie niezale·zne, je·zeli jk � lj > p. Zatem namocy lematu A.1 w dodatku A.1 otrzymujemy
V arn�AD
i;N
o� p+ 1
NIV ar
��i;n
i wobec tego
V arn�AD
i;N
o= O
�N�1� ;
co konczy dowód twierdzenia.
Analiza zbie·znosci estymatora sygna÷u interakcyjnego
Poni·zszy lemat podaje warunki, przy których estymator V ADn;N zbiega wed÷ug prawdopodo-bienstwa do �Vn.
Lemat 5.2 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 5.1, to dla ka·zdego n 2 I estymatorV ADn;N jest zgodnym estymatorem elementu �Vn oraz
V ADn;N = �Vn +OP
�N�1=2
�. (5.18)
Ponadtosupn2I
���V ADn;N � �Vn��� = OP �N�1=2�. (5.19)
Dowód. Rz ¾ad szybkosci zbie·znosci w (5.18) wynika z de�nicji sygna÷u fVng, postaciestymatora V ADn;N oraz z szybkosci zbie·znosci �
AD
i;N do ��i, (por. dowód lematu 3.1 na str.28). Odnosnie (5.19) zauwa·zmy, ·ze
supn2I
���V ADn;N � �Vn��� � sup1�n�N
jXnjpXi=0
����ADi;N � ��i��� .Zgodnie z za÷o·zeniem 5.1, ci ¾ag
�sup1�n�N jXnj
jest ograniczony z prawdopodobienstwem
jeden, bowiem P�sup1�n�N jXnj � c0
= 0, gdzie c0 = max fjaf j ; jbf jg. Zbie·znosc (5.19)
wynika zatem z twierdzenia 5.1.
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 58
Analiza zbie·znosci estymatora charakterystyki nieliniowej
Post¾epuj ¾ac podobnie jak w rozdziale 3. przyjmiemy nast¾epuj ¾ace za÷o·zenia o funkcji j ¾adraK (�) i parametrze wyg÷adzania h w estymatorze nieliniowosci gADN (�):
Za÷o·zenie 5.3 J ¾adro K (�) jest nieujemn ¾a funkcj ¾a lipschitzowsk ¾a (tj. 9L < 1; 8v1; v2 2R; jK (v1)�K (v2)j � L jv1 � v2j), dla której spe÷nione s ¾a nast ¾epuj ¾ace warunki:supv2RK (v) = k0 <1;
R1�1K (v) dv = 1 oraz limjvj!1 vK (v) = 0.
Za÷o·zenie 5.4 Zbie·zny do zera ci ¾ag liczbowy h = h (N) posiada rz ¾ad szybkosci zbie·znosciN�1=5, tj. h � N�1=5.
Warunki przy których estymator gADN (�) zbiega do przeskalowanej nieliniowosci g (�=�)podaje poni·zsze twierdzenie.
Twierdzenie 5.2 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 5.1 oraz za÷o·zenia 5.3, 5.4i dodatkowo � 6= 0, to dla systemu Wienera (2.10)�(2.11) zachodzi zbie·znosc
gADN (v)! g (v=�) gdy N !1 (5.20)
wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R, w którym fV (v=�) > 0.
Dowód. Dowód przebiega analogicznie do dowodu twierdzenia 3.2. Przyjmiemy standar-dowe oznaczenia
rADN (v) =1
NIh
Xn2I
YnK
v � V ADn;N
h
!; fADN (v) =
1
NIh
Xn2I
K
v � V ADn;N
h
!;
oraz r (v) = ��1g (v=�) fV (v=�). Zbie·znosc w (5.20) zachodzi je·zeli rADN (v) i fADN (v)zbiegaj ¾a wed÷ug prawdopodobienstwa odpowiednio do r (v) i ��1fV (v=�) przy N ! 1,w ka·zdym punkcie v 2 R, w którym fV (v=�) > 0. Wykorzystuj ¾ac dekompozycj¾e
rADN (v)� r (v) =�rADN (v)� ~rN (v)
�+ [~rN (v)� r (v)] ; (5.21)
gdzie
~rN (v) =1
NIh
Xn2I
YnK
�v � �Vnh
�,
zbadamy asymptotyk¾e wyra·zen�rADN (v)� ~rN (v)
�i [~rN (v)� r (v)]. Rozpoczniemy od
okreslenia zachowania asymptotycznego ró·znicy [~rN (v)� r (v)]. Zauwa·zmy, ·ze
E f~rN (v)g =1
h
Z 1
�1K
�v � �xh
�g (x) fV (x) dx =
1
h
Z 1
�1K
�v � xh
�r (x) dx. (5.22)
Poniewa·z nieliniowa charakterystyka g (�) jest funkcj ¾a ci ¾ag÷¾a (za÷o·zenie 5.2) oraz g¾estoscsygna÷u wejsciowego ma ograniczony nosnik (za÷o·zenie 5.1), to ca÷ka
R1�1 jr (v)j dv jest
skonczona. St ¾ad, zgodnie z lematem B.3 z dodatku B.3, na mocy za÷o·zen 5.3 i 5.4 mamiejsce nast¾epuj ¾aca zbie·znosc
E f~rN (v)g ! r (v) , gdy N !1; (5.23)
w ka·zdym punkcie v 2 R.Wykorzystuj ¾ac w÷asnosc 3.2 z rozdzia÷u 3, na mocy lematu A.1 z dodatku A.1 zauwa·zamynast¾epnie, ·ze prawdziwe jest nast¾epuj ¾ace oszacowanie wariancji estymatora ~rN (v),
V ar f~rN (v)g �p+ 1
NIh2V ar
�Y1K
�v � �V1h
��. (5.24)
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 59
Ze wzgl¾edu na ograniczonosc j ¾adra K (�) widzimy dalej, ·ze element h�1V arfY1K([v ��V1]=h)g wyst¾epuj ¾acy w (5.24) jest ograniczony przez
2k0hE
�g2 (V1)K
�v � �V1h
��+2k0�
2Z
hE
�K
�v � �V1h
��. (5.25)
Ponowne wykorzystanie za÷o·zen 5.1 i 5.2 prowadzi do wniosku, ·zeR1�1 g
2 (v=�) fV (v=�) dv<1. Zatem, na mocy lematu B.3 z dodatku B.3, wyra·zenie (5.25) d ¾a·zy do
2k0�fV
�v�
� hg2�v�
�+ �2Z
i<1,
gdy N ! 1 w ka·zdym punkcie v 2 R. Ostatecznie wi¾ec nierównosc (5.24), dla hspe÷niaj ¾acego za÷o·zenie 5.4, daje
V ar f~rN (v)g = O�N�4=5
�; (5.26)
w ka·zdym punkcie v 2 R.Zgodnie z rezultatami w (5.23) i (5.26) zachodzi wi¾ec zbie·znosc
[~rN (v)� r (v)]! 0; gdy N !1;
wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R.Przejdziemy teraz do okreslenia asymptotyki wyra·zenia
�rADN (v)� ~rN (v)
�. Korzystaj ¾ac
z faktu, ·ze j ¾adro K (�) spe÷nia warunek Lipschitza (zob. za÷. 5.3), otrzymujemy��rADN (v)� ~rN (v)�� � sup
n2I
����Vn � V ADn;N ��� L
NIh2
Xn2I
jYnj :
Uzyskany w lemacie 5.2 rezultat dotycz ¾acy szybkosci zbie·znosci wyra·zenia (5.19) wrazze zbie·znosci ¾a2 (1=NI)
Pn2I jYnj = E fjY1jg + OP
�N�1=2� i za÷o·zeniem 5.4 prowadzi do
wniosku, ·ze ��rADN (v)� ~rN (v)��! 0; gdy N !1;
wed÷ug prawdopodobienstwa w ka·zdym punkcie v 2 R. Ostatecznie wi¾ec
rADN (v)! r (v) ; gdy N !1;
wed÷ug prawdopodobienstwa w ka·zdym punkcie v 2 R.Stosuj ¾ac analogiczn ¾a argumentacj¾e dla estymatora fADN (v) otrzymujemy zbie·znosc
fADN (v)! ��1fV (v=�) ; gdy N !1;
wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R, co konczy dowód twierdzenia.
Uwaga 5.1 Nale·zy zwrócic uwag ¾e, ·ze spe÷nienie wymagania � 6= 0 zawartego w twierdze-niu 5.2 zale·zy zarówno od postaci g ¾estosci wejscia systemu jak i typu charakterystykinieliniowej g (�). St ¾ad jego ogólna dyskusja jest zadaniem trudnym. Niemniej jednak wartozauwa·zyc, ·ze niezale·znie od typu g ¾estosci fX (�) spe÷niaj ¾acej za÷o·zenie 5.1, warunek tenzachodzi dla klasy scisle monotonicznych charakterystyk nieliniowych.
2por. dowód tw. 3.2
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 60
Analiza rz¾edu szybkosci zbie·znosci estymatora charakterystyki nieliniowej
Okreslimy teraz rz ¾ad szybkosci zbie·znosci estymatora gADN (�). W tym celu ograniczymyklas¾e rozwa·zanych systemów do systemów z dwukrotnie ró·zniczkowalnymi nieliniowoscia-mi (por. za÷o·zenia u Greblickiego [26]). Za÷o·zymy równie·z, ·ze fX (�) jest funkcj ¾a dwukrotnieró·zniczkowaln ¾a.
Za÷o·zenie 5.5 Drugie pochodne g00 (�) i f 00X (�) nieliniowej charakterystyki g (�) i g ¾estoscifX (�) s ¾a funkcjami ci ¾ag÷ymi.
Za÷o·zenie 5.6 Pochodna g0 (�) nieliniowosci g (�) jest ograniczona przez wielomian, tj.istnieje taki wielomian m0 (�) dowolnego skonczonego stopnia, ·ze jg0 (v)j � m0 (v) ; 8v 2 R.
Przyjmiemy równie·z dodatkowe za÷o·zenia o funkcji j ¾adra K (�).
Za÷o·zenie 5.7 J ¾adro K (�) posiada ci ¾ag÷¾a i ograniczon ¾a drug ¾a pochodn ¾a K 00 (�), tj. jK 00 (v)j< k1 <1, 8v 2 R. Ponadto
R1�1 vK (v) dv = 0 oraz
R1�1 v
2K (v) dv <1.
Mo·zna teraz sformu÷owac nast¾epuj ¾ace twierdzenie.
Twierdzenie 5.3 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 5.2 oraz dodatkowo za÷o·zenia5.5�5.7, to dla systemu Wienera (2.10)�(2.11) zachodzi zbie·znosc
gADN (v) = g (v=�) +OP
�N�(2=5)
�; (5.27)
w ka·zdym punkcie v 2 R, w którym fV (v=�) > 0.
Dowód twierdzenia zamieszczony jest w dodatku A.3.
5.5 Zastosowanie metody usrednionej pochodnej w przy-padku nieznanej g¾estosci prawdopodobienstwa sygna÷uwejsciowego
Omówiony powy·zej algorytm umo·zliwia identy�kacj¾e systemówWienera przy za÷o·zeniu, ·zeg¾estosc prawdopodobienstwa sygna÷u wejsciowego jest a priori znana. Obecnie rozwa·zanamody�kacja metody pozwala z kolei na identy�kacj¾e, w przypadku gdy funkcja fX (�) niejest dana a priori, lecz wiadomo jedynie, ·ze fX (�) oraz jej pochodna f 0 (�) s ¾a funkcjamijednostajnie ci ¾ag÷ymi (zob. np. Rudin [99]).
Szczególnie wygodnym kryterium przy rozstrzyganiu czy dana funkcja spe÷nia warunekjednostajnej ci ¾ag÷osci jest twierdzenie, w mysl którego ka·zda funkcja ci ¾ag÷a w zbiorzezwartym jest w tym zbiorze jednostajnie ci ¾ag÷a, Rudin [99, str. 78]. Wynika st ¾adbezposrednio, ·ze na mocy za÷o·zenia 5.1 fX (�) oraz f 0X (�) s ¾a jednostajnie ci ¾ag÷e.
5.5.1 Konstrukcja estymatora podsystemu dynamicznego
Proponowana wersja algorytmu polega na zast ¾apieniu funkcji fX (�) wyst¾epuj ¾acej wewzorze de�niuj ¾acym estymatory �
AD
i;N ; i = 0; 1; : : : ; p, (zob. wzory (5.13) i (5.14)) przez
estymator fX;N (�) g¾estosci prawdopodobienstwa sygna÷u fXng zbudowany w oparciuo dost¾epne obserwacje wejscia systemu fXngNn=1. Podobnie, w miejsce pochodnej f 0X (�)
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 61
wstawiony zostanie estymator �X;N (�) równie·z utworzony na podstawie obserwacji wejsciasystemu. W rezultacie, zmody�kowany estymator przeskalowanej odpowiedzi impulsowejf��igpi=0 przyjmie postac
�fAD
i;N =1
NI
Xn2I
Yndf;i+1;N (Xn) ; i = 0; 1; : : : ; p; (5.28)
gdzie df;i;N (�) ; i = 0; 1; : : : ; p, s ¾a estymatorami pochodnych cz ¾astkowych df;i, i =0; 1; : : : ; p, i wyra·zaj ¾a si¾e wzorem, por. (5.13),
df;i;N (x) = �X;N
�x(i)
� p+1Yj=1;j 6=i
fX;N
�x(j)
�; i = 0; 1; : : : ; p:
W rozwa·zanym podejsciu fX;N (�) jest estymatorem j ¾adrowym (por. wzór (2.2) w rozdziale2) postaci
fX;N (x) =1
h1N
NXn=1
K1
�x�Xnh1
�; (5.29)
gdzie h1 = h1 (N) iK1 (�) s ¾a odpowiednio parametrem wyg÷adzania i funkcj ¾a j ¾adra. W celuoszacowania pochodnej f 0X (�) wykorzystamy zaproponowany przez Bhattacharya�¾e [4]estymator �X;N (�) okreslony nast¾epuj ¾aco
�X;N (x) =1
h22N
NXn=1
K 02
�x�Xnh2
�. (5.30)
W przypadku gdy fX;N (�) i �X;N (�) posiadaj ¾a te same j ¾adra oraz ci ¾agi h1, h2 s ¾a równe,÷atwo zauwa·zyc, ·ze zachodzi zale·znosc
�X;N (x) =dfX;N (x)
dx.
W rezultacie, w celu oszacowania pochodnej g¾estosci wejscia, wykorzystano estymatorb¾ed ¾acy pochodn ¾a klasycznego, j ¾adrowego estymatora g¾estosci prawdopodobienstwa.
Uwaga 5.2 Do estymacji funkcji g ¾estosci prawdopodobienstwa fX (�) oraz jej pochodnejf 0X (�) mo·zna zastosowac równie·z inne podejscia. Przyk÷adowo, w pracy [36] Greblickii Pawlak wprowadzaj ¾a estymatory funkcji g ¾estosci i jej pochodnych konstruowane przyu·zyciu szeregów Hermite�a.
5.5.2 Estymacja sygna÷u interakcyjnego i charakterystyki nieliniowej
Przez analogi¾e do (5.15) wprowadzimy nast¾epuj ¾acy estymator przeskalowanego sygna÷uinterakcyjnego f�Vng,
V fADn;N =
pXi=0
�fAD
i;N Xn�i, n 2 I.
Podobnie, post¾epuj ¾ac tak jak w p. 5.4.3, estymator przeskalowanej charakterystykinieliniowej g (�=�) przyjmie postac
gfADN (v) =
Xn2I
YnK
v � V fADn;N
h
!Xn2I
K
v � V fADn;N
h
! ;
gdzie K (�) i h = h (N) s ¾a odpowiednio funkcj ¾a j ¾adra i parametrem wyg÷adzania.
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 62
5.5.3 W÷asnosci asymptotyczne algorytmu
Prezentowana obecnie analiza teoretyczna algorytmu dotyczy zbie·znosci metody. W celuwykazania zgodnosci estymatora gfADN (�) konieczna jest jednak znajomosc szybkosci zbie-·znosci estymatora �
fAD
i;N . Ze wzgl¾edu na trudnosci analityczne zwi ¾azane z okresleniem
szybkosci zbie·znosci estymatora �fAD
i;N , b ¾edziemy dalej zak÷adac, ·ze szybkosc zbie·znosci
�fAD
i;N jest znana. Analogiczne podejscie zastosowano w rozdziale 4.
Analiza zgodnosci estymatora odpowiedzi impulsowej podsystemu dynami-cznego
Okreslimy warunki, przy których �fAD
i;N , i = 0; : : : ; p s ¾a zgodnymi estymatorami elementówprzeskalowanej odpowiedzi impulsowej ��i; i = 0; : : : ; p. W tym celu zauwa·zmy najpierw,
·ze wobec zbie·znosci badanego wczesniej estymatora �AD
i;N (zob. twierdzenie 5.1), nierównosc����fADi;N � ��i��� � ����fADi;N � �ADi;N
���+ ����ADi;N � ��i��� ;sprowadza rozwa·zany obecnie problem do wykazania, ·ze
����fADi;N � �ADi;N���! 0, gdy N !1,
wed÷ug prawdopodobienstwa.Zauwa·zmy, ·ze ����fADi;N � �ADi;N
��� � 1
NI
Xn2I
jYnj���df;i+1;N (Xn)� df;i+1 (Xn)
��� ,i dlatego ����fADi;N � �ADi;N
��� � supx2
���df;i+1;N (x)� df;i+1 (x)��� 1NI
Xn2I
jYnj
W celu wykazania zgodnosci estymatora wystarczy zatem dowiesc, ·ze
supx2
���df;i+1;N (x)� df;i+1 (x)���! 0, gdy N !1, (5.31)
wed÷ug prawdopodobienstwa. Na mocy lematu A.2 w dodatku A.3 zbie·znosc w (5.31)zachodzi, je·zeli estymatory fX;N (x) i �X;N (x) zbiegaj ¾a jednostajnie wed÷ug prawdopodo-bienstwa odpowiednio do fX (x) i f 0X (x), gdy N !1, tzn.
supx2R
���fX;N (x)� fX (x)���! 0; gdy N !1; (5.32)
orazsupx2R
����X;N (x)� f 0X (x)���! 0; gdy N !1; (5.33)
wed÷ug prawdopodobienstwa.
Zagadnienie zbie·znosci jednostajnej j ¾adrowych estymatorów g¾estosci prawdopodobien-stwa dyskutowane jest mi¾edzy innymi przez Nadaraya�¾e [81], Schustera [112], Van Ryzina[106] i Silvermana [116]. Zgodnie z wynikami otrzymanymi np. przez Silvermana, zbie·znoscw (5.32) i (5.33) zachodzi je·zeli funkcje fX (�) i f 0X (�) s ¾a jednostajnie ci ¾ag÷e oraz j ¾adraK1 (�), K2 (�) i parametry wyg÷adzania h1, h2 spe÷niaj ¾a odpowiednio za÷o·zenia twierdzenA i C w [116].
Uzyskane powy·zej rezultaty dowodz ¾a prawdziwosci nast¾epuj ¾acego twierdzenia:
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 63
Twierdzenie 5.4 Je·zeli dla systemu Wienera (2.10)�(2.11) spe÷nione s ¾a za÷o·zenia twier-dzenia 5.1 oraz zachodz ¾a zbie·znosci (5.32) i (5.33), to dla ka·zdego i 2 f0; : : : ; pg estymator�fAD
i;N jest zgodnym estymatorem elementu ��i, tzn.
�fAD
i;N ! ��i; gdy N !1,
wed÷ug prawdopodobienstwa.
Analiza zgodnosci estymatora odpowiedzi impulsowej podsystemu dynami-cznego
Post¾epuj ¾ac tak jak w przypadku estymatora gLSN (�) (zob. rozdzia÷4 i wzór (4.11)),za÷o·zymy ·ze zachodzi �fADN � ��
= OP (aN ) ,gdzie �
fAD
N =��fAD
0;N ; �fAD
1;N : : : ; �fAD
p;N
�Toraz aN jest pewnym ci ¾agiem zbie·znym do zera.
Odnosnie konstrukcji estymatora gfADN (�) za÷o·zymy, ·ze:
Za÷o·zenie 5.8 J ¾adro K (�) jest nieujemn ¾a funkcj ¾a lipschitzowsk ¾a (tj. 9L < 1; 8v1; v2 2R; jK (v1)�K (v2)j � L jv1 � v2j), dla której spe÷nione s ¾a nast ¾epuj ¾ace warunki:supv2RK (v) = k0 <1;
R1�1K (v) dv = 1 oraz limjvj!1 vK (v) = 0.
Za÷o·zenie 5.9 Parametr wyg÷adzania h = h (N) spe÷nia warunki
h! 0; Nh!1; gdy N !1;
orazaN=h
2 ! 0; gdy N !1.
Zgodnosc estymatora gfADN (�) przy powy·zszych za÷o·zeniach oraz za÷o·zeniach twierdzenia5.4, wykazana jest w nast¾epuj ¾acym twierdzeniu:
Twierdzenie 5.5 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 5.4, za÷o·zenia 5.8, 5.9, oraz� 6= 0, to
gfADN (v)! g (v=�) ; gdy N !1,wed÷ug prawdopodobienstwa w ka·zdym punkcie v 2 R, w którym fV (v=�) > 0.
Dowód twierdzenia przebiega analogicznie do dowodu twierdzenia 4.2 w rozdziale 4.
5.6 Podsumowanie wyników teoretycznych
W rozdziale omówiono algorytm identy�kacji systemów Wienera zbudowany w oparciuo koncepcj¾e estymacji usrednionej pochodnej. Dla skonstruowanej w dwóch wersjachmetody (tj. dla przypadku ze znan ¾a oraz z nieznan ¾a g¾estosci ¾a prawdopodobienstwa sygna÷uwejsciowego fXng) przeprowadzono analiz¾e teoretyczn ¾a odnosz ¾ac ¾a si¾e do asymptoty-cznego zachowania si¾e estymatorów. W szczególnosci wykazano zgodnosc estymatorów
f�ADi;N gpi=0, g
ADN (�) oraz okreslono ich rz¾edy szybkosci zbie·znosci. W przypadku estyma-
torów f�fADi;N gpi=0, gfADN (�), tj. w sytuacji gdy g¾estosc prawdopodobienstwa fX (�) sygna÷u
wejsciowego fXng jest nieznana, wykazano zgodnosc estymatorów odpowiedzi impulsowejcz¾esci liniowej systemu oraz (przy za÷o·zeniu, ·ze znany jest rz ¾ad szybkosci zbie·znosci
oszacowan f�fADi;N gpi=0) zgodnosc estymatora nieliniowej charakterystyki g (�).
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 64
5.7 Wyniki badan eksperymentalnych
Dla opracowanego algorytmu identy�kacji wykonano badania symulacyjne ilustruj ¾ace
zachowanie estymatorów �AD
N , gADN (�) oraz �fADN , gfADN (�) dla ma÷ej i umiarkowanej liczbyobserwacji wejscia i wyjscia systemu.
Badania przeprowadzono dla systemów pobudzanych sygna÷ami wejsciowymi o g¾esto-sciach fX;2 (�), fX;3 (�) (zob. wzory (4.19)�(4.20) na str. 45) oraz fX;4 (�), zob. rys. 5.2.Funkcja fX;4 (�) okreslona jest wzorem
fX;4 (x) =2
3' (x) +
1
3' (x� 1:4) ,
gdzie ' (x) jest g¾estosci ¾a prawdopodobienstwa ' (x) = (15=16)�x4 � 2x2 + 1
�1[�1;1] (x).
Podobnie jak w rozdzia÷ach 3. i 4., podsystem dynamiczny modelowany by÷za pomoc ¾aodpowiedzi impulsowej (3.35), str. 32. Ze wzgl¾edu na zerowanie si¾e sta÷ej � w przypadkunieliniowosci g2 (�) i g3 (�) (por. uwaga 5.1 na str. 59), w badaniach wykorzystanonast¾epuj ¾ace charakterystyki nieliniowe (zob. rys. 5.3)
g1 (v) = 2 arctan (2v) ,
g4 (v) = 2 sin (2v) ,
g5 (v) =
8<:1:5v + 4:5 dla v < �1�2v + 1 dla �1 � v � 11:5v � 2:5 dla v > 1
.
0
0.5
1
1 0 1 2 3
x
fX,4ÝxÞ
0
0.5
1
2 1 0 1 2
x
fX,2ÝxÞ
0
0.5
1
2 1 0 1 2
x
fX,3ÝxÞ
Rysunek 5.2: Wykorzystywane w eksperymentach numerycznych g¾estosci prawdopodobienstwafX;2; fX;3 i fX;4
W symulacjach badano zale·znosc b÷¾edów empirycznych Err (�;�) i MISE (�;�),okreslonych wzorami (3.39) i (3.40) na str. 33, od liczby obserwacji N wejscia i wyjsciasystemu (zmienianej od 25 do 500). W de�nicji b÷¾edów Err (�;�) i MISE (�;�) przyj¾etonast¾epuj ¾ace wartosci sta÷ych R i M : R = 30, M = 1000. Wartosci sta÷ej � wyznaczononumerycznie dla ka·zdej z zastosowanych nieliniowosci (oraz dla g¾estosci fX;2 (�), fX;3 (�)i fX;4 (�)). W przypadku g¾estosci wejscia fX;2 (�) i fX;3 (�) (o nosniku [�1; 1]), sygna÷wewn¾etrzny fVng posiada÷g¾estosc prawdopodobienstwa o nosniku [#1; #2], gdzie #1 ��2:28 i #1 � 2:28. Dla g¾estosci fX;4 (�) (z nosnikiem [�1; 2:4]) sta÷e #1 i #2 przyjmowa÷yodpowiednio wartosci �2:28 i 5:48. Sygna÷zak÷ócaj ¾acy fZng wygenerowano z rozk÷adujednostajnego o zerowej sredniej i wariancji dobranej tak, aby NSR= 10% (por. rozdzia÷3). W estymatorach gADN (�) i gfADN (�) zastosowano gaussowsk ¾a funkcj¾e j ¾adra
K (v) =1p2�exp
��v
2
2
�.
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 65
3
2
1
0
1
2
3
3 2 1 0 1 2 3
v
g4ÝvÞ
3
2
1
0
1
2
3
3 2 1 0 1 2 3
v
g5ÝvÞ
3
2
1
0
1
2
3
3 2 1 0 1 2 3
g1ÝvÞ
vc
Rysunek 5.3: Wykorzystywane w symulacjach nieliniowosci g1, g4 i g5
5.7.1 Rezultaty eksperymentów w przypadku znanej g¾estosci prawdo-podobienstwa sygna÷u wejsciowego
Rysunki 5.4�5.9 (zob. str. 67) przedstawiaj ¾a wyniki eksperymentów numerycznych, tj.
zale·znosci b÷¾edów empirycznych Err(�AD
N ;�) i MISE�gADN ;�
�od liczby obserwacji
wejscia i wyjscia systemu. Uzyskane rezultaty prowadz ¾a do wniosku, ·ze wraz ze wzrostemliczby obserwacji N wartosci badanych b÷¾edów malej ¾a. Gdy sygna÷wejsciowy posiadag¾estosc fX;2 (�) lub fX;3 (�) b÷¾edy empiryczne przyjmuj ¾a zbli·zone wartosci, niezale·znie odnieliniowosci wyst¾epuj ¾acej w systemie (zob. rys. 5.4�5.7). Nale·zy jednak podkreslic, ·ze dlacharakterystyki g5 (�) (nie spe÷niaj ¾acej za÷o·zenia 5.1) uzyskano nieznacznie gorsze rezultatyeksperymentu (zob. rys. 5.4 i 5.6). Przyk÷adowo, b÷¾ad Err(�
AD
N ;�) o wartosci 5% dlanieliniowosci g1 (�) i g4 (�) otrzymano przy N = 150. Dla nieliniowosci g5 (�), natomiast, t¾esam ¾a wartosc b÷¾edu uzyskano przy N = 300 (dla N = 150 b÷¾ad przyjmowa÷wartosc 12%,por. rys. 5.4). W przypadku g¾estosci fX;4 (�) uzyskane b÷¾edy s ¾a istotnie wi¾eksze (zob. rys.5.8 i 5.9) ni·z w przypadku g¾estosci fX;2 (�) i fX;3 (�), co prowadzi do wniosku, ·ze badanyalgorytm jest wra·zliwy na charakter g¾estosci sygna÷u wejsciowego. Rezultaty otrzymanedla g¾estosci fX;4 (�) wskazuj ¾a ponadto, ·ze typ nieliniowosci wyst¾epuj ¾acej w systemie mo·zerównie·z istotnie wp÷ywac na efektywnosc algorytmu. Dla ci ¾ag÷ej i monotonicznej nielin-
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 66
iowosci g1 (�), prezentowane na wykresach 5.8 i 5.9 b÷¾edy Err(�AD
N ;�) i MISE�gADN ;�
�przyjmowa÷y wartosci najmniejsze. Dla nieliniowosci g5 (�) z kolei (tj. nieliniowosci niespe÷niaj ¾acej za÷o·zenia 5.1), otrzymano wi¾eksze wartosci b÷¾edów.
5.7.2 Rezultaty eksperymentów w przypadku nieznanej g¾estosci praw-dopodobienstwa sygna÷u wejsciowego
Badany algorytm identy�kacji w przypadku nieznanej g¾estosci wejscia fX (�) wymaga zas-tosowania estymatorów �X;N (�) i fX;N (�) (zob. wzory (5.29) i (5.30)). W eksperymentach
numerycznych przyj¾eto, ·ze funkcje K1 (�) i K2 (�) wyst¾epuj ¾ace w oszacowaniach �X;N (�)i fX;N (�) s ¾a j ¾adrami gaussowskimi, tj.
K1 (v) = K2 (v) =1p2�exp
��v
2
2
�.
Wykresy 5.10�5.15 (zob. str. 69) obrazuj ¾a zmiany wielkosci b÷¾edów empirycznych
Err(�fAD
N ;�) i MISE�gfADN ;�
�otrzymanych dla systemów z nieliniowosciami g1 (�) ;
g4 (�) ; g5 (�) i pobudzanych sygna÷ami o g¾estosciach prawdopodobienstwa fX;2 (�) ; fX;3 (�)i fX;4 (�). Na podstawie otrzymanych rezultatów mo·zna stwierdzic, ·ze badane b÷¾edymalej ¾a wraz ze wzrostem liczby obserwacji N zarówno dla charakterystyk g1 (�) i g4 (�)spe÷niaj ¾acych przyj¾ete w rozdziale za÷o·zenia, jak i dla charakterystyki g5 (�), która nie jestró·zniczkowalna w punktach �1 i 1.
Wartosci uzyskanych b÷¾edów s ¾a na ogó÷wi¾eksze od odpowiadaj ¾acych im b÷¾edówotrzymanych w przypadku algorytmu wykorzystuj ¾acego aprioryczn ¾a znajomosc g¾estosciprawdopodobienstwa sygna÷u wejsciowego. Przyk÷adowo, dla g¾estosci fX;2 (�) i nieliniowoscig1 (�) b÷¾ad estymatora �
fAD
N nie przekracza÷30%, gdy liczba obserwacji N by÷a wi¾eksza
od 220 (zob. rys. 5.10). Analogiczny eksperyment wykonany dla estymatora �AD
N (tj. przyza÷o·zeniu znajomosci g¾estosci wejscia) pozwoli÷uzyskac 30% b÷¾ad, ju·z przy N = 30. DlaN = 220 b÷¾ad ten wynosi÷natomiast tylko oko÷o 3%.
5.8 Podsumowanie i wnioski
Przedstawiony w rozdziale algorytm identy�kacji skonstruowany zosta÷w oparciu o kon-cepcj¾e estymacji usrednionej pochodnej, zob. Powell et al. [95]. W wersji podstawowejmetoda umo·zliwia szacowanie obu podsystemów przy za÷o·zeniu, ·ze g¾estosc praw-dopodobienstwa sygna÷u wejsciowego fXng jest znana. W rozdziale przedstawiono równie·zmody�kacj¾e algorytmu pozwalaj ¾ac ¾a na identy�kacj¾e w przypadku, gdy g¾estosc wejscianie jest a priori znana. Przeprowadzono analiz¾e teoretyczn ¾a w÷asnosci asymptotycznychobu algorytmów. W szczególnosci wykazano zgodnosc oraz okreslono rz¾edy szybkosci
zbie·znosci estymatorów f�AD
i;N gpi=0 i g
ADN (�) (tj. estymatorów umo·zliwiaj ¾acych identy�kacj¾e,
gdy g¾estosc wejscia jest znana) oraz wykazano zgodnosc estymatorów f�fADi;N gpi=0 i gfADN (�)
(tj. estymatorów umo·zliwiaj ¾acych identy�kacj¾e w przypadku nieznanej g¾estosci wejscia).Wykonane badania eksperymentalne proponowanych podejsc ilustruj ¾a zachowanie si¾e obumetod w przypadku ma÷ej i umiarkowanej liczby obserwacji wejscia i wyjscia systemu.
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 67
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g4
g5
Err
N
Rysunek 5.4: B÷¾edy estymacji Err(�AD
N ;�) w funkcji liczby obserwacji wejscia i wyjscia systemudla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;2
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g4
g5
MISE
N
Rysunek 5.5: B÷¾edy estymacji MISE�gADN ;�
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;2
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g4
g5
Err
N
Rysunek 5.6: B÷¾edy estymacji Err(�AD
N ;�) w funkcji liczby obserwacji wejscia i wyjscia systemudla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;3
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 68
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g4
g5
MISE
N
Rysunek 5.7: B÷¾edy estymacji MISE�gADN ;�
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;3
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g4
g5
Err
N
Rysunek 5.8: B÷¾edy estymacji Err(�AD
N ;�) w funkcji liczby obserwacji wejscia i wyjscia systemudla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;4
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g4
g5
MISE
N
Rysunek 5.9: B÷¾edy estymacji MISE�gADN ;�
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;4
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 69
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g4
g5
Err
N
Rysunek 5.10: B÷¾edy estymacji Err(�fAD
N ;�) w funkcji liczby obserwacji wejscia i wyjscia systemudla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;2
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g4
g5
MISE
N
Rysunek 5.11: B÷¾edy estymacji MISE(gfADN ;�) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;2
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g4
g5
Err
N
Rysunek 5.12: B÷¾edy estymacji Err(�fAD
N ;�) w funkcji liczby obserwacji wejscia i wyjscia systemudla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;3
Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 70
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g4
g5
MISE
N
Rysunek 5.13: B÷¾edy estymacji MISE�gfADN ;�
�w funkcji liczby obserwacji wejscia i wyjscia
systemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;3
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g4
g5
Err
N
Rysunek 5.14: B÷¾edy estymacji Err(�fAD
N ;�) w funkcji liczby obserwacji wejscia i wyjscia systemudla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;4
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300 350 400 450 500
g1
g4
g5
MISE
N
Rysunek 5.15: B÷¾edy estymacji MISE(gfADN ;�) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;4
Rozdzia÷6
Porównanie opracowanych metodidenty�kacji systemów Wienera
W tym rozdziale przedstawiona jest zbiorcza analiza porównawcza uzyskanych wynikóworaz krótka charakterystyka cech wspólnych proponowanych metod identy�kacji, na tleinnych podejsc omawianych w literaturze. Dyskutowane w pracy algorytmy porównywanes ¾a równie·z ze sob ¾a pod k ¾atem zakresu stosowalnosci, w÷asnosci asymptotycznych orazw÷asnosci dla ma÷ej i umiarkowanej liczby obserwacji wejscia i wyjscia systemu.
6.1 Opracowane metody identy�kacji, a metody parame-tryczne i nieparametryczne
Skonstruowane w pracy algorytmy i ich analiza rozszerzaj ¾a dotychczasow ¾a teori¾e oraz daj ¾amo·zliwosc identy�kacji systemów Wienera w przypadku, gdy bezposrednie zastosowanieopracowanych wczesniej metod parametrycznych i nieparametrycznych jest niemo·zliwe.W odró·znieniu od wi¾ekszosci wczesniejszych podejsc, omawiane w pracy algorytmy(z pomini¾eciem algorytmu korelacyjnego) pozwalaj ¾a bowiem na identy�kacj¾e systemówWienera, gdy 1) wejscie systemu nie jest sygna÷em gaussowskim, 2) charakterystykanieliniowa systemu nie jest odwracalna. W przypadku gaussowskiego wejscia fXng, zapro-ponowana w rozdziale 3. metoda korelacyjna funkcjonuje dla szerokiej klasy charakterystyknieliniowych w systemie. Nie zak÷ada si¾e mianowicie, w odró·znieniu od wi¾ekszosci metodparametrycznych, ·ze nieliniowosc jest typu wielomianowego (por. 2.2.1, str. 16), a jedynie·ze jest funkcj ¾a ograniczon ¾a przez wielomian dowolnego (skonczonego) stopnia.
Ze wzgl¾edu na jednolity szkielet konstrukcyjny (zob. p. 2.3.1, str. 20), proponowanepodejscia posiadaj ¾a nast¾epuj ¾ace cechy wspólne:
� Zak÷adana jest parametryczna informacja wst¾epna o podsystemie dynamicznym oraznieparametryczna o podsystemie statycznym (w odró·znieniu od metod parame-trycznych i nieparametrycznych, w których zak÷ada si¾e czysto parametryczn ¾a i czystonieparametryczn ¾a informacj¾e wst¾epn ¾a o systemie).
� Algorytmy umo·zliwiaj ¾a nieparametryczn ¾a identy�kacj¾e charakterystyki nieliniowej�wprost�, tj. nie poprzez funkcj¾e odwrotn ¾a (w odró·znieniu od dotychczasowychpodejsc nieparametrycznych, w których szacowana jest funkcja odwrotna do nielin-iowosci).
71
Rozdzia� 6. Porównanie opracowanych metod identy�kacji systemów Wienera 72
� Identy�kacja nieliniowosci przeprowadzana jest przy u·zyciu estymatora odpowiedziimpulsowej podsystemu dynamicznego (w odró·znieniu od algorytmów nieparame-trycznych, w których oba podsystemy identy�kowane s ¾a niezale·znie).
� Dopuszcza si¾e wyst¾epowanie addytywnego i niedost¾epnego dla pomiarów szumu nawyjsciu ca÷ego systemu (por. dyskusja w p.2.2).
6.2 Zakres stosowalnosci
Proponowane w pracy podejscia ró·zni ¾a si¾e mi¾edzy sob ¾a pod wzgl¾edem zastosowanych doich konstrukcji metod matematycznych. Algorytm omawiany w rozdziale 3. zbudowanyjest w oparciu o metod¾e korelacyjn ¾a. Z kolei algorytmy przedstawione w rozdziale 4.bazuj ¾a na metodzie najmniejszych kwadratów oraz idei estymacji korelacji rangowej,a metoda prezentowana w rozdziale 5. wykorzystuje koncepcj¾e estymacji usrednionejpochodnej. Zró·znicowana baza konstrukcyjna estymatorów powoduje, ·ze dyskutowanealgorytmy mog ¾a byc stosowane przy ró·znych za÷o·zeniach odnosnie nieliniowosci wyst¾epu-j ¾acej w systemie oraz dla ró·znych sygna÷ów wejsciowych. Ponadto algorytmy cechuj ¾asi¾e ró·znymi w÷asnosciami dla ma÷ej i umiarkowanej liczby obserwacji wejscia i wyjsciasystemu. Okreslaj ¾ac zakres stosowalnosci, otrzymane w pracy algorytmy mo·zna wi¾eccharakteryzowac wed÷ug nast¾epuj ¾acych kryteriów:
Wymagania dotycz ¾ace sygna÷u wejsciowego. Szczególna konstrukcja systemówWienera (zob. uwaga 2.1 i 2.2 na str. 20) powoduje, ·ze charakter sygna÷u wejsciowegofXng ma kluczowe znaczenie podczas konstruowania algorytmów identy�kacji. Z tegowzgl¾edu parametryczne i nieparametryczne metody omawiane w literaturze z regu÷ywymagaj ¾a, aby wejscie systemu by÷o sygna÷em gaussowskim. Proponowane w pracyalgorytmy pozwalaj ¾a natomiast na identy�kacj¾e zarówno w przypadku gaussowskich(rozdzia÷3) jak i niegaussowskich (rozdzia÷y 4 i 5) sygna÷ów wejsciowych. Wspólnymwymaganiem dla proponowanych metod jest za÷o·zenie, ·ze sygna÷wejsciowy jest ci ¾agiemtypu i:i:d: Porównanie opracowanych algorytmów pod k ¾atem za÷o·zen dotycz ¾acych sygna÷uwejsciowego przedstawia tabela 6.1.
Algorytm identy�kacji Wymagania dotycz ¾ace sygna÷u wejsciowego
Algorytm korelacyjny Gaussowski sygna÷wejsciowy o dowolnej wartosci sre-dniej i wariancji
Algorytm wykorzystuj ¾acy me-tod¾e najmniejszych kwadra-tów
Ci ¾ag÷a funkcja g¾estosci o ograniczonym (chocia·z do-wolnie du·zym) nosniku
Algorytm wykorzystuj ¾acy ko-relacj¾e rangow ¾a
Nie przeprowadzono analizy teoretycznej algorytmu
Algorytm usrednionej pocho-dnej ze znan ¾a g¾estosci ¾a wej-scia
Ró·zniczkowalna g¾estosc o zwartym (chocia·z dowolniedu·zym) nosniku
Algorytm usrednionej pocho-dnej z nieznan ¾a g¾estosci ¾a wej-scia
Ró·zniczkowalna g¾estosc o zwartym (chocia·z dowolniedu·zym) nosniku
Tabela 6.1: Porównanie proponowanych algorytmów identy�kacji pod wzgl¾edem g÷ównychwymagan dotycz ¾acych sygna÷u wejsciowego
Rozdzia� 6. Porównanie opracowanych metod identy�kacji systemów Wienera 73
Wymagania dotycz ¾ace sygna÷u zak÷ócaj ¾acego. Proponowane w pracy metody umo-·zliwiaj ¾a identy�kacj¾e systemów Wienera w przypadku, gdy sygna÷wyjsciowy (tzn. sygna÷b¾ed ¾acy wyjsciem nieliniowego podsystemu statycznego) zak÷ócany jest przez addytywnyi niedost¾epny dla pomiarów szum fZng typu i:i:d: o zerowej sredniej i skonczonej wariancji.Wymaganie to jest wspólne dla wszystkich omawianych w pracy algorytmów.
Wymagania dotycz ¾ace podsystemu liniowego. Charakter proponowanych metodwymaga posiadania parametrycznej wiedzy o liniowym podsystemie dynamicznym (tj.znajomosci d÷ugosci pami¾eci, czyli sta÷ej p < 1). Podobnie jak w przypadku za÷o·zenodnosnie szumu wyjsciowego, wymaganie to jest wspólne dla wszystkich prezentowanychw pracy algorytmów.
Wymagania dotycz ¾ace podsystemu nieliniowego. W odró·znieniu od za÷o·zen doty-cz ¾acych podsystemu liniowego, dyskutowane metody ró·zni ¾a si¾e mi¾edzy sob ¾a pod wzgl¾e-dem warunków jakie musi spe÷niac nieliniowa charakterystyka wyst¾epuj ¾aca w systemie.Tabela 6.2 zawiera wykaz podstawowych wymagan odnosnie nieliniowosci, gwarantuj ¾acychzbie·znosc poszczególnych algorytmów.
Algorytm identy�kacji Wymagania dotycz ¾ace nieliniowosci
Algorytm korelacyjny Nieliniowa charakterystyka ograniczona jest przezwielomian dowolnego skonczonego stopnia
Algorytm wykorzystuj ¾acy me-tod¾e najmniejszych kwadra-tów
Nieliniowa charakterystyka jest ci ¾ag÷a i ró·zna odfunkcji sta÷ej
Algorytm wykorzystuj ¾acy ko-relacj¾e rangow ¾a
Nie przeprowadzono analizy teoretycznej algorytmu
Algorytm usrednionej pocho-dnej ze znan ¾a g¾estosci ¾a wej-scia
Nieliniowa charakterystyka posiada ci ¾ag÷¾a pochodn ¾a
Algorytm usrednionej pocho-dnej z nieznan ¾a g¾estosci ¾a wej-scia
Nieliniowa charakterystyka posiada ci ¾ag÷¾a pochodn ¾a
Tabela 6.2: Porównanie proponowanych algorytmów identy�kacji pod wzgl¾edem g÷ównychwymagan dotycz ¾acych nieliniowej charakterystyki w systemie
6.3 W÷asnosci asymptotyczne
Dla proponowanych w pracy algorytmów identy�kacji systemów Wienera przeprowadzonazosta÷a analiza teoretyczna1 okreslaj ¾aca asymptotyczne w÷asnosci estymatorów liniowegopodsystemu dynamicznego oraz nieliniowego podsystemu statycznego. W przypadkuestymatorów odpowiedzi impulsowej cz¾esci liniowej systemu badano zbie·znosc orazszybkosc zbie·znosci oszacowan wed÷ug prawdopodobienstwa, a w przypadku estymatorównieliniowej charakterystyki g (�), badano punktow ¾a zbie·znosc i szybkosc zbie·znosci (równie·z
1W pracy nie przeprowadzono analizy teoretycznej w÷asnosci asymptotycznych algorytmu zbudowanegow oparciu o koncepcj¾e korelacji rangowej.
Rozdzia� 6. Porównanie opracowanych metod identy�kacji systemów Wienera 74
wed÷ug prawdopodobienstwa). Uzyskane wyniki prowadz ¾a do wniosku, ·ze proponowanemetody identy�kacji s ¾a zbie·zne.
6.4 Numeryczna realizacja algorytmów
Wa·znym, z punktu widzenia zastosowan, kryterium porównawczym omawianych metod,jest ÷atwosc ich implementacji. Zarówno algorytm korelacyjny, jak i metoda wykorzystuj ¾acakoncepcj¾e estymacji usrednionej pochodnej (ze znan ¾a oraz nieznan ¾a g¾estosci ¾a wejscia),nie wymagaj ¾a stosowania skomplikowanych procedur numerycznych (jak np. odwracaniemacierzy czy wyznaczanie minimum wielowymiarowej funkcji celu). Z tego wzgl¾eduwymienione wy·zej algorytmy mog ¾a byc ÷atwo zaimplementowane w wielu srodowiskachprogramistycznych. Z kolei algorytmy zbudowane w oparciu o kryterium sredniokwadra-towe i koncepcj¾e korelacji rangowej s ¾a algorytmami, w których konieczne jest wyznaczenieekstremów wielowymiarowych funkcji celu co powoduje, ·ze do ich efektywnej implementacjikonieczne jest zastosowanie specjalizowanych procedur optymalizacyjnych.
Przedstawiona tu analiza pokazuje, ·ze cele i zadania postawione w punktach 2.5 i 2.6.2zosta÷y w pracy zrealizowane.
Rozdzia÷7
Uwagi koncowe
W rozdziale podsumowano oryginalne wyniki naukowe uzyskane w pracy, przedstawionootwarte problemy badawcze oraz zaproponowano kierunki dalszych badan.
7.1 Oryginalne wyniki naukowe przedstawione w pracy
W pracy otrzymano nast¾epuj ¾ace oryginalne wyniki naukowe:
� Zaproponowano ogólny schemat dwuetapowej, parametryczno�nieparametrycznejidenty�kacji systemów Wienera wykorzystuj ¾acy koncepcj¾e estymacji nieznanegosygna÷u interakcyjnego fVng wyst¾epuj ¾acego w systemie.
� Zaproponowano klas¾e parametryczno�nieparametrycznych algorytmów umo·zliwia-j ¾acych identy�kacj¾e systemów Wienera przy ró·znorodnych za÷o·zeniach odnosniesygna÷u wejsciowego oraz dla szerokiej klasy charakterystyk nieliniowych.W szczególnosci opracowano:
� algorytm korelacyjny (rozdzia÷3),
� algorytm wykorzystuj ¾acy metod¾e najmniejszych kwadratów (rozdzia÷4),
� algorytm zbudowany w oparciu o koncepcj¾e korelacji rangowej (rozdzia÷4),
� algorytm wykorzystuj ¾acy ide¾e estymacji usrednionej pochodnej (rozdzia÷5).
� Przeprowadzono analiz¾e teoretyczn ¾a w÷asnosci asymptotycznych algorytmu korela-cyjnego, algorytmu zbudowanego w oparciu o metod¾e najmniejszych kwadratów orazalgorytmu wykorzystuj ¾acego ide¾e estymacji usrednionej pochodnej.W szczególnosci:
� dla metody korelacyjnej okreslono warunki, przy których estymatory podsys-temów liniowego i nieliniowego s ¾a zgodne,
� okreslono rz¾edy szybkosci zbie·znosci estymatorów cz¾esci liniowej i nieliniowejw metodzie korelacyjnej,
�wykazano zgodnosc estymatorów podsystemów liniowego i nieliniowego opra-cowanych w oparciu o metod¾e najmniejszych kwadratów,
� przy za÷o·zeniu znajomosci g¾estosci sygna÷u wejsciowego dla metody wykorzystu-j ¾acej estymacj¾e usrednionej pochodnej wykazano zgodnosc oraz okreslono rz¾edyszybkosci zbie·znosci estymatorów podsystemów liniowego i nieliniowego.
75
Rozdzia� 7. Uwagi koncowe 76
�w przypadku nieznanej g¾estosci wejscia dla metody wykorzystuj ¾acej estymacj¾eusrednionej pochodnej wykazano zgodnosc estymatorów cz¾esci liniowej i nieli-niowej systemu.
Ponadto:
� Opracowano implementacj¾e proponowanych algorytmów w srodowisku obliczenio-wym MATLAB.
� Przeprowadzono badania eksperymentalne algorytmów ilustruj ¾ace zachowanie si¾emetod dla ma÷ej i umiarkowanej liczby obserwacji wejscia i wyjscia systemu.
7.2 Otwarte problemy badawcze
Prezentowane w rozprawie algorytmy, wraz z rezultatami teoretycznymi dotycz ¾acymiich w÷asnosci asymptotycznych i wynikami eksperymentów numerycznych, prowadz ¾a donast¾epuj ¾acych, nowych problemów badawczych:
� Okreslenie dalszych w÷asnosci teoretycznych proponowanych algorytmów.W szczegól-nosci:
� opracowanie wersji algorytmu wykorzystuj ¾acego kryterium sredniokwadratoweumo·zliwiaj ¾acej identy�kacj¾e systemów Wienera bez koniecznosci dzieleniazbioru dost¾epnych obserwacji wejscia i wyjscia systemu,
� okreslenie rz¾edu szybkosci zbie·znosci algorytmu wykorzystuj ¾acego kryteriumsredniokwadratowe,
� okreslenie w÷asnosci asymptotycznych algorytmu wykorzystuj ¾acego ide¾e ko-relacji rangowej,
� analiza w÷asnosci asymptotycznych algorytmów w przypadku sygna÷ów wejscio-wych innych ni·z sygna÷y typu i:i:d:,
� analiza w÷asnosci asymptotycznych algorytmów w przypadku szumu fZng nieb¾ed ¾acego ci ¾agiem typu i:i:d:
� Mody�kacja zaproponowanych algorytmów umo·zliwiaj ¾aca identy�kacj¾e systemówWienera w przypadku skonczonej pami¾eci o nieznanej d÷ugosci.
� Analiza zachowania algorytmów dla systemów Wienera o nieskonczonej pami ¾eci.
Dodatek A
Uzupe÷nienia i dowody twierdzen
A.1 Uzupe÷nienia do rozdzia÷u 3
Lemat A.1 (por. Pawlak et al. [93]) Niech f�ngNn=1 b ¾edzie ci ¾agiem zmiennych losowych,takim ·ze V ar f�ng < 1; n = 1; 2; : : : ; N oraz �n i �m s ¾a niezale·zne je·zeli jn�mj > p;p 2 N; p <1. Wtedy
V ar
�XN
n=1�n
�� (p+ 1)
XN
n=1V ar f�ng . (A.1)
Dowód. Rozwa·zmy przypadek gdy E f�ng = 0; n = 1; 2; : : : ; N . Zapiszemy sum¾e wyrazówci ¾agu f�ngNn=1 w nast¾epuj ¾acy sposóbXN
n=1�n =
Xp+1
m=1Am,
gdzie Am = (�m+�m+(p+1)+�m+2(p+1)+: : :+�m+s(p+1)) i s =jN�mp+1
k. Stosuj ¾ac nierównosc
Cauchy�ego (zob. np. Leja [75], Jakubowski i Sztencel [60]), otrzymujemy
E
��Xp+1
m=1Am
�2�� (p+ 1)
Xp+1
m=1E�A2m,
co przy za÷o·zeniu ·ze E f�ng = 0; n = 1; 2; : : : ; N , daje
V ar
�XN
n=1�n
�� (p+ 1)
Xp+1
m=1V ar fAmg .
Zauwa·zaj ¾ac nast¾epnie, ·ze zmienne losowe wchodz ¾ace w sk÷ad elementu Am, m 2 f1; 2; : : : ;p + 1g s ¾a niezale·zne, otrzymujemy nierównosc (A.1). W przypadku ogólnym, tj. gdynie zachodzi warunek E f�ng = 0; n = 1; 2; : : : ; N , nierównosc (A.1) wynika z faktu, ·zeV ar f�m � ag = V ar f�mg ; 8a 2 R.Dowód Lematu 3.2. Rozpoczniemy od wykazania tezy twierdzenia w przypadku gdy�� = 0 oraz �
2� = 1. Równosc (3.24) oznacza
1, ·ze dla dowolnie ma÷ego " > 0 oraz dowolniema÷ego � > 0,
limN!1
P
(N�" sup
1�n�Nj�nj > �
)= 0.
1de�nicja symbolu oP (�) zamieszczona jest w dodatku B na str. 87.
77
Dodatek A. Uzupe�nienia i dowody twierdzen 78
Zauwa·zmy, ·ze
P
(N�" sup
1�n�Nj�nj > �
)= 1� P
(N�" sup
1�n�Nj�nj � �
)= 1� P
��N�" j�1j � �
�\ : : : \
�N�" j�N j � �
�.
Ze wzgl¾edu na niezale·znosc zmiennych losowych f�ngNn=1 mamy dalej
P
(N�" sup
1�n�Nj�nj > �
)= 1�
�P�N�" j�1j � �
�N= 1� [P fj�1j � �N "g]N .
Oznaczaj ¾ac przez � (�) dystrybuant¾e rozk÷adu normalnego N (0; 1) otrzymujemy nast¾e-pnie, ·ze
P
(N�" sup
1�n�Nj�nj > �
)= 1� [2� (�N ")� 1]N .
W celu udowodnienia tezy (3.24) wystarczy wi¾ec pokazac, ·ze dla dowolnie ma÷ego " > 0i dowolnie ma÷ego � > 0
limN!1
[2� (�N ")� 1]N = 1.
Zauwa·zmy, ·ze ci ¾ag [2� (�N ")� 1]N jest ci ¾agiem ograniczonym z góry przez 1. Wyko-rzystamy nast¾epuj ¾ace oszacowanie dystrybuanty rozk÷adu normalnego, zob. Jakubowskii Sztencel [60, str. 119],
� (x) > 1� 1p2�e�x
2=2 1
x, x > 0.
Zatem
2� (�N ")� 1 > 1� 1
�N "exp
���
2N2"
2
�;
i tym samym
[2� (�N ")� 1]N >�1� 1
�N "exp
���
2N2"
2
��N. (A.2)
Zauwa·zmy nast¾epnie, ·ze ci ¾ag 1�N" exp
�� �2N2"
2
�d ¾a·zy do zera asymptotycznie szybciej ni·z
ci ¾ag 1=N2. St ¾ad, je·zeli zachodzi zbie·znosc
limN!1
�1� 1
N2
�N= 1; (A.3)
to równie·z prawa strona nierównosci (A.2) d ¾a·zy do 1, gdy N !1. Aby pokazac zbie·znoscw (A.3) wystarczy z kolei zauwa·zyc, ·ze
limN!1
�1� 1
N2
�N=
limN!1
�1� 1
N
�N! limN!1
�1 +
1
N
�N!= e�1e1 = 1.
Na koniec, dla dowolnego �� i �2� , otrzymujemy N
�1=2 sup1�n�N j�nj = ��N�1=2�� sup1�n�N
��� �n�����
���+��N�1=2 = oP�N�(1=2)+"�+O �N�1=2� = oP �N�(1=2)+"� ; co konczy
dowód.
Dowód Twierdzenia 3.3. W dowodzie wykorzystamy dekompozycj¾e (3.26), okreslaj ¾acnajpierw rz ¾ad szybkosci zbie·znosci estymatora ~rN (v) do r (v), a nast¾epnie rz ¾ad szybkosci
Dodatek A. Uzupe�nienia i dowody twierdzen 79
zbie·znosci do zera ró·znicy�rCrN (v)� ~rN (v)
�. Ca÷kuj ¾ac przez podstawienie, zapiszemy
wartosc oczekiwan ¾a estymatora ~rN (v) w postaci
E f~rN (v)g =1
h
Z 1
�1K
�v � xh
�r (x) dx =
Z 1
�1K (x) r (v � hx) dx.
Stosuj ¾ac twierdzenie Taylora (zob. np. Leja [75], Wand i Jones [132]), na mocy za÷o·zenia3.6, zauwa·zamy ·ze
r (v � hx) = r (v)� hxr0 (v) + 12h2x2r00 (v) + o
�h2�,
co z kolei prowadzi do wniosku, ·ze (zob. za÷o·zenia 3.4 i 3.8 o funkcji j ¾adra)
E f~rN (v)g = r (v) +1
2h2r00 (v)
Z 1
�1x2K (x) dx+ o
�h2�.
St ¾ad, zgodnie z za÷o·zeniem 3.5,
bias f~rN (v)g = E f~rN (v)g � r (v) = O�N�2=5
�.
W rezultacie, wykorzystuj ¾ac oszacowanie wariancji estymatora ~rN (v) uzyskane w dowodzietwierdzenia 3.2 (patrz wzór (3.32)), otrzymujemy rz ¾ad szybkosci zbie·znosci
[~rN (v)� r (v)] = OP�N�2=5
�,
w ka·zdym punkcie v 2 R. Udowodnimy z kolei, ·ze�rCrN (v)� ~rN (v)
�= OP
�N (�2=5)+"
�. (A.4)
W tym celu wykorzystamy fakt dwukrotnej ró·zniczkowalnosci j ¾adra K (�). Rozwijaj ¾acfunkcj¾e K (�) w szereg Taylora
K (u1) = K (u2) +K0 (u2) (u1 � u2) +
1
2K 00 (u0) (u1 � u2)2 ,
gdzie u0 jest punktem posrednim le·z ¾acym pomi¾edzy u1 i u2, mo·zemy ró·znic¾e [rCrN (v) �~rN (v)] zapisac w postaci
1
NIh
Xn2I
Yn
�1
hK 0�v � �Vnh
���Vn � V Crn;N
�+
1
2h2K 00�v � �n;N
h
���Vn � V Crn;N
�2�,
(A.5)gdzie �n;N jest zmienn ¾a losow ¾a przyjmuj ¾ac ¾a wartosci
2 pomi¾edzy �Vn i V Crn;N . Reprezentacja(A.5) prowadzi po zastosowaniu nierównosci trójk ¾ata do nast¾epuj ¾acego oszacowania
��rCrN (v)� ~rN (v)�� � ��~r0N (v)�� sup
n2Ijdn;N j+ sup
n2I
�d2n;N
����� 1
NIh3
Xn2I
YnK00�v � �n;N
h
������ ;gdzie dn;N = �Vn � V Crn;N oraz ~r0N (v) jest pochodn ¾a estymatora ~rN (v), tj. ~rN (v)= d~rN (v) =dv. Na podstawie za÷o·zenia 3.8 o ograniczonosci drugiej pochodnej j ¾adra K (�),prawdziwe jest oszacowanie��rCrN (v)� ~rN (v)
�� � ��~r0N (v)�� supn2I
jdn;N j+ supn2I
�d2n;N
k1NIh3
Xn2I
jYnj . (A.6)
Odnosnie drugiego sk÷adnika po prawej stronie nierównosci (A.6) zauwa·zamy, ·ze:
2 tj. �n;N = �n;N (!) jest tak ¾a zmienn ¾a losow ¾a, ·ze dla ka·zdego zdarzenia !, minf�Vn (!) ; V Crn;N (!)g �
�n;N (!) � maxf�Vn (!) ; V Crn;N (!)g.
Dodatek A. Uzupe�nienia i dowody twierdzen 80
� Na mocy lematu 3.3, dla dowolnie ma÷ego " > 0,
supn2I
�d2n;N
=
�supn2I
jdn;N j�2= oP
�N�1+"� .
� Zgodnie z za÷o·zeniem 3.5,h�3 � N3=5.
� Stacjonarnosc sygna÷u fYng oraz skonczona d÷ugosc pami¾eci systemu prowadz ¾a downiosku, ·ze
N�1I
Xn2I
jYnj = E jY1j+OP�N�1=2
�.
Wobec tego
supn2I
�d2n;N
k1NIh3
Xn2I
jYnj = OP�N�(2=5)+"
�.
W celu okreslenia rz¾edu szybkosci zbie·znosci w (A.4) wystarczy wi¾ec udowodnic, ·zeestymator ~r0N (v) jest ograniczony wed÷ug prawdopodobienstwa
3 w ka·zdym punkcie v 2 R.W tym celu wyka·zemy zbie·znosc ~r0N (v) wed÷ug prawdopodobienstwa do r
0 (v).Zauwa·zmy, ·ze zgodnie z przyj¾etymi za÷o·zeniamiZ 1
�1
1
hK 0�v � xh
�r (x) dx =
Z 1
�1K
�v � xh
�r0 (x) dx; (A.7)
oraz ·ze ca÷kaR1�1 jr
0 (v)j dv jest skonczona. St ¾ad na mocy lematu B.3 w dodatku B.2,
E�~r0N (v)
=1
h2
ZK 0�v � xh
�r (x) dx! r0 (v) ; gdy N !1;
w ka·zdym punkcie v 2 R. W celu okreslenia w÷asnosci asymptotycznych wariancjiestymatora ~r0N (v), zastosujemy lemat A.1 z dodatku A.1. Otrzymujemy
V ar�~r0N (v)
� p+ 1
NIh4V ar
�Y1K
0�v � V1h
��.
Wystarczy zatem pokazac, ·ze funkcja
�N (v)def:=
1
h2E
�Y 21 K
02�v � V1h
��,
zbiega do sta÷ej, gdy N !1, dla ka·zdego v 2 R. Zauwa·zmy, ·ze
�N (v) �k
h2E
�g2 (V1)K
0�v � V1h
��+k�2Zh2
E
�K 0�v � V1h
��.
Wykorzystuj ¾ac argumentacj¾e jak w (A.7) oraz lemat B.3 otrzymujemy �N (v) ! c (v) <1, gdy N !1. Uzyskane rezultaty prowadz ¾a do wniosku ·ze
rCrN (v) = r (v) +OP
�N�(2=5)+"
�; (A.8)
dla dowolnie ma÷ego " > 0 w ka·zdym punkcie v 2 R. Zauwa·zmy dalej, ·ze analogicznaargumentacja dla estymatora fCrN (v) prowadzi do wniosku, ·ze
fCrN (v) = ��1f (v=�) +OP�N�(2=5)+"
�; (A.9)
dla dowolnie ma÷ego " > 0 w ka·zdym punkcie v 2 R. Zbie·znosc w (3.34) wynika zatembezposrednio z (A.8) i (A.9) oraz lematu B.1 w dodatku B.1, co konczy dowód.
3Ci ¾ag zmiennych losowych fXng jest ograniczony wed÷ug prawdopodobienstwa, je·zeli dla ka·zdego " > 0istnieje sta÷a M taka, ·ze supn P fjXnj > Mg < ", Van der Vaart [123, str. 8].
Dodatek A. Uzupe�nienia i dowody twierdzen 81
A.2 Uzupe÷nienia do rozdzia÷u 4
Twierdzenie A.1 (zob. Van der Vaart [123, tw. 5.7, str. 45]) Niech MN (�) b ¾edzieci ¾agiem funkcji losowych argumentu � 2 �, gdzie � jest przestrzeni ¾a metryczn ¾a z metryk ¾ad (�; �). Niech ponadto M (�) b ¾edzie funkcj ¾a deterministyczn ¾a, tak ¾a ·ze
sup�2�
jMN (�)�M (�)j ! 0; gdy N !1, (A.10)
wed÷ug prawdopodobienstwa oraz dla ka·zdego " > 0,
inf�:d(�;�0)�"
M (�) > M (�0) , (A.11)
gdzie �0 jest elementem przestrzeni �. Wtedy dowolny ci ¾ag estymatorówn�N
o; dla którego
istnieje zbie·zny do zera (wed÷ug prawdopodobienstwa) ci ¾ag zmiennych losowych f�Ng, taki·ze
MN
��N
��MN (�0) + �N , (A.12)
zbiega wed÷ug prawdopodobienstwa do �0, gdy N !1.
Dowód. (por. Van der Vaart [123, tw. 5.7, str. 46]) Nale·zy wykazac, ·ze d��N ; �0
�! 0
wed÷ug prawdopodobienstwa gdy N !1. Z warunku A.11 wynika, ·ze dla ka·zdego " > 0istnieje takie � > 0, ·ze dla ka·zdego � : d (�; �0) � ",
M (�) > M (�0) + �.
Wobec tego zdarzenie fd(�N ; �0) � "g implikuje zdarzenie A = fM(�N ) �M (�0) > �gi w celu udowodnienia tezy twierdzenia wystarczy pokazac ·ze P fAg ! 0, gdy N !1.Mamy
M��N
��M (�0) =
hM��N
��MN
��N
�i+hMN
��N
��M (�0)
i, (A.13)
Z warunku (A.10) wynika, ·zehM��N
��MN
��N
�i! 0 wed÷ug prawdopodobienstwa,
gdy N !1. Odnosnie drugiego sk÷adnika po prawej stronie równosci (A.13) zauwa·zamy,·ze zgodnie z za÷o·zeniem A.12,
MN
��N
��M (�0) =
hMN
��N
��MN (�0)
i+ [MN (�0)�M (�0)]
� �N + [MN (�0)�M (�0)] :
Wykorzystuj ¾ac ponownie warunek (A.10) otrzymujemy zbie·znosc [MN (�0)�M (�0)]!0 wed÷ug prawdopodobienstwa, gdy N ! 1 i wobec tego P fAg ! 0 gdy N ! 1, cokonczy dowód twierdzenia.
Dowód Twierdzenia 4.2. (por. dowód tw. 3.2) Przyjmiemy nast¾epuj ¾ace oznaczenia
rLSN (v) =1
NIh
Xi2IYiK
v � V LSi;N
h
!oraz fLSN (v) =
1
NIh
Xi2IK
v � V LSi;N
h
!.
Dodatkowo oznaczymy r (v) = g (v) fV (v), gdzie fV (�) jest g¾estosci ¾a prawdopodobienstwasygna÷u interakcyjnego fVng. Zbie·znosc w (4.14) zachodzi, je·zeli rLSN (v) i fLSN (v) zbiegaj ¾a
Dodatek A. Uzupe�nienia i dowody twierdzen 82
wed÷ug prawdopodobienstwa odpowiednio do r (v) i fV (v) przy N !1 w ka·zdym punkciev 2 R, w którym fV (v) > 0. W dowodzie wykorzystamy dekompozycj¾e
rLSN (v)� r (v) =�rLSN (v)� ~rLSN (v)
�+�~rLSN (v)� r (v)
�, (A.14)
gdzie
~rLSN (v) =1
NIh
Xi2IYiK
�v � Vih
�.
Zgodnie z przyj¾etymi za÷o·zeniami odnosnie sygna÷u wejsciowego i szumu na wyjsciuotrzymujemy
E�~rLSN (v)
=1
h
Z 1
�1K
�v � xh
�r (x) dx.
Poniewa·z nieliniowa charakterystyka g (�) jest funkcj ¾a ci ¾ag÷¾a (zob. za÷o·zenie 4.2) orazsygna÷wejsciowy jest ograniczony (za÷o·zenie 4.1), to
R1�1 jr (v)j dv < 1. St ¾ad, zgodnie
z lematem B.3 z dodatku B.3, na mocy za÷o·zen 4.7 i 4.8, ma miejsce nast¾epuj ¾aca zbie·znosc
E�~rLSN (v)
! r (v) , gdy N !1; (A.15)
w ka·zdym punkcie v 2 R. Lemat A.1 z dodatku A.1 oraz w÷asnosc 3.2 (str. 30) prowadz ¾anast¾epnie do wniosku, ·ze
V ar�~rLSN (v)
� p+ 1
NIh2V ar
�Y1K
�v � V1h
��. (A.16)
Ze wzgl¾edu na ograniczonosc j ¾adraK (�), element h�1V ar fY1K ([v � V1] =h)g wyst¾epuj ¾acyw (A.16) jest ograniczony przez (por. Greblicki [25, dowód tw. 1])
2k0hE
�g2 (V1)K
�v � V1h
��+2k0�
2Z
hE
�K
�v � V1h
��. (A.17)
Ponowne wykorzystanie za÷o·zen 4.2 i 4.1 prowadzi do wniosku, ·zeR1�1 g
2 (v) fV (v) dv <
1. Zatem, na mocy lematu B.3 z dodatku B.3, wyra·zenie (A.17) d ¾a·zy do k0fV (v) [g2 (v)++�2Z ] < 1, gdy N ! 1, w ka·zdym punkcie v 2 R. Ostatecznie wi¾ec nierównosc (A.16),dla h spe÷niaj ¾acego za÷o·zenie 4.8, daje
V ar�~rLSN (v)
! 0; gdy N !1; (A.18)
w ka·zdym punkcie v 2 R.Zgodnie z rezultatami w (A.15) i (A.18) zachodzi wi¾ec zbie·znosc�
~rLSN (v)� r (v)�! 0; gdy N !1;
wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R.Przejdziemy teraz do do drugiego etapu dowodu, tj. do zbadania asymptotyki wyra·zenia�rLSN (v)� ~rLSN (v)
�w dekompozycji (A.14). Korzystaj ¾ac z faktu, ·ze j ¾adro K (�) spe÷nia
warunek Lipschitza (zob. za÷. 4.7) otrzymujemy��rLSN (v)� ~rLSN (v)�� � sup
n2I
���Vn � V LSn;N ��� L
NIh2
Xi2IjYij .
Wzór (4.10) oraz nierównosc Cauchy�ego�Schwarza (zob. dodatek B.4) prowadz ¾a downiosku, ·ze
supn2I
���Vn � V LSn;N ��� = supn2I
����h�� �LSN iT Xn
����� sup
n2I
n �� �LSN kXnko
= C �� �LSN ,
Dodatek A. Uzupe�nienia i dowody twierdzen 83
gdzie C = (p+ 1)max fjaf j ; jbf jg. Zatem, na mocy (4.11), supn2I���Vn � V LSn;N ��� = OP (aN ).
Równoczesnie (por. wzór (3.33))
1
NI
Xi2IjYij = E fjY1jg+OP
�N�1=2
�.
Otrzymujemy wi¾ec zbie·znosc (zob. za÷o·zenie 4.8)��rLSN (v)� ~rLSN (v)��! 0; gdy N !1;
wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R. W rezultacie
rLSN (v)! r (v) ; gdy N !1;
wed÷ug prawdopodobienstwa w ka·zdym punkcie v 2 R.Stosuj ¾ac analogiczn ¾a argumentacj¾e dla estymatora fN (v) otrzymujemy zbie·znosc
fLSN (v)! fV (v) ; gdy N !1;
wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R, co konczy dowód twierdzenia.
A.3 Uzupe÷nienia do rozdzia÷u 5
Dowód Lematu 5.1. (zob. te·z dowód lematu 2.1 w [95]) Nale·zy wykazac, ·zeZRp+1
f2X (x)DG (x) dx = �2ZRp+1
Df (x)G (x) fX (x) dx: (A.19)
Zgodnie z za÷o·zeniem 5.1 funkcje podca÷kowe w (A.19) maj ¾a nosnik . Ponadto G (x)i fX (x) s ¾a ró·zniczkowalne w zbiorze . St ¾ad, na mocy lematu B.4 w dodatku B.3,otrzymujemy tez¾e twierdzenia.
Dowód Twierdzenia 5.3. W dowodzie wykorzystamy dekompozycj¾e (5.21), okreslaj ¾acnajpierw rz ¾ad szybkosci zbie·znosci estymatora ~rN (v), a nast¾epnie rz ¾ad szybkosci zbie·znoscido zera ró·znicy
�rADN (v)� ~rN (v)
�.
Ca÷kuj ¾ac przez podstawienie zapiszemy wartosc oczekiwan ¾a estymatora ~rN (v) w postaci
E f~rN (v)g =1
h
Z 1
�1K
�v � xh
�r (x) dx =
Z 1
�1K (x) r (v � hx) dx.
Zgodnie z rozwini¾eciem Taylora, na mocy za÷o·zenia 5.5,
r (v � hx) = r (v)� hxr0 (v) + 12h2x2r00 (v) + o
�h2�,
co z kolei prowadzi do wniosku, ·ze (zob. za÷o·zenia 5.3 i 5.7 o funkcji j ¾adra)
E f~rN (v)g = r (v) +1
2h2r00 (v)
Z 1
�1x2K (x) dx+ o
�h2�.
St ¾ad, poniewa·z h � N�1=5,
bias f~rN (v)g = E f~rN (v)g � r (v) = O�N�2=5
�.
W rezultacie, wykorzystuj ¾ac oszacowanie wariancji estymatora ~rN (v) uzyskane w dowodzietwierdzenia 5.2, (patrz wzór (5.26)) otrzymujemy rz ¾ad szybkosci zbie·znosci
[~rN (v)� r (v)] = OP�N�2=5
�,
Dodatek A. Uzupe�nienia i dowody twierdzen 84
w ka·zdym punkcie v 2 R. Udowodnimy nast¾epnie, ·ze�rADN (v)� ~rN (v)
�= OP
�N�2=5
�. (A.20)
W tym celu wykorzystamy fakt dwukrotnej ró·zniczkowalnosci j ¾adra K (�). Rozwijaj ¾acfunkcj¾e K (�) w szereg Taylora
K (u1) = K (u2) +K0 (u2) (u1 � u2) +
1
2K 00 (u0) (u1 � u2)2 ,
gdzie u0 jest punktem posrednim le·z ¾acym pomi¾edzy u1 i u2, ró·znic¾e�rADN (v)� ~rN (v)
�zapiszemy w postaci
1
NIh
Xn2I
Yn
�1
hK 0�v � �Vnh
���Vn � V ADn;N
�+
1
2h2K 00�v � �n;N
h
���Vn � V ADn;N
�2�,
(A.21)gdzie �n;N jest zmienn ¾a losow ¾a przyjmuj ¾ac ¾a wartosci
4 pomi¾edzy �Vn i V ADn;N . Reprezentacja(A.21) prowadzi do nast¾epuj ¾acego oszacowania
��rADN (v)� ~rN (v)�� � ��~r0N (v)�� sup
n2Ijdn;N j+ sup
n2I
�d2n;N
����� 1
NIh3
Xn2I
YnK00�v � �n;N
h
������ ;gdzie dn;N = �Vn � V ADn;N oraz ~r0N (v) jest pochodn ¾a estymatora ~rN (v), tj. ~r0N (v)= d~rN (v) =dv. Po uwzgl¾ednieniu za÷o·zenia 5.7 otrzymujemy dalej��rADN (v)� ~rN (v)
�� � ��~r0N (v)�� supn2I
jdn;N j+ supn2I
�d2n;N
k1NIh3
Xn2I
jYnj . (A.22)
Na mocy lematu 5.2 supn2Ind2n;N
o= (supn2I jdn;N j)2 = OP
�N�1�. Zachodzi równie·z
zbie·znosc (por. wzór (3.33) w dowodzie tw. 3.2, str. 29)
N�1I
Xn2I
jYnj = E jY1j+OP�N�1=2
�.
St ¾ad, na mocy za÷o·zenia 5.4,
supn2I
�d2n;N
k1NIh3
Xn2I
jYnj = OP�N�2=5
�.
W celu wykazania rz¾edu szybkosci zbie·znosci jak we wzorze (A.20) wystarczy wi¾ecudowodnic, ·ze estymator ~r0N (v) jest ograniczony wed÷ug prawdopodobienstwa
5 w ka·zdympunkcie v 2 R. Wyka·zemy wi¾ec zbie·znosc ~r0N (v) wed÷ug prawdopodobienstwa do r0 (v).Zgodnie z przyj¾etymi za÷o·zeniamiZ 1
�1
1
hK 0�v � xh
�r (x) dx =
Z 1
�1K
�v � xh
�r0 (x) dx; (A.23)
oraz ca÷kaR1�1 jr
0 (v)j dv jest skonczona. St ¾ad na mocy lematu B.3 w dodatku B.3,
E�~r0N (v)
=1
h2
ZK 0�v � xh
�r (x) dx! r0 (v) ; gdy N !1;
4zob. przypis na stronie 79.5zob. przypis na stronie 80.
Dodatek A. Uzupe�nienia i dowody twierdzen 85
w ka·zdym punkcie v 2 R. W celu okreslenia w÷asnosci asymptotycznych wariancjiestymatora ~r0N (v), zastosujemy lemat A.1 z dodatku A.1. Otrzymujemy
V ar�~r0N (v)
� p+ 1
NIh4V ar
�Y1K
0�v � �V1h
��.
Wystarczy zatem pokazac, ·ze funkcja
�N (v)def:=
1
h2E
�Y 21 K
02�v � V1h
��,
zbiega do sta÷ej gdy N !1, dla ka·zdego v 2 R. Zauwa·zmy, ·ze (zob. za÷o·zenie 5.3)
�N (v) �L
h2E
�g2 (V1)K
0�v � V1h
��+L�2Zh2
E
�K 0�v � V1h
��.
Wykorzystuj ¾ac argumentacj¾e jak w (A.23) oraz lemat B.3, otrzymujemy �N (v)! c (v) <1, gdy N !1. Uzyskane rezultaty prowadz ¾a do wniosku, ·ze
rADN (v) = r (v) +OP
�N�2=5
�; (A.24)
w ka·zdym punkcie v 2 R. Analogiczna argumentacja dla estymatora fADN (v) prowadzi downiosku, ·ze
fADN (v) = ��1f (v=�) +OP�N�2=5
�; (A.25)
w ka·zdym punkcie v 2 R. Zbie·znosc w (A.20) wynika zatem ze wzorów (A.24) i (A.25)oraz lematu B.1 w dodatku B.1, co konczy dowód twierdzenia.
Lemat A.2 Je·zeli spe÷nione jest za÷o·zenie 5.1 oraz zachodz ¾a zbie·znosci (5.32) i (5.33),to
supx2
���df;i+1;N (x)� df;i+1 (x)���! 0, gdy N !1,
wed÷ug prawdopodobienstwa.
Dowód. Stosuj ¾ac elementarn ¾a nierównosc6 jab� cdj � jbj ja� cj+jcj jb� dj otrzymujemynast¾epuj ¾ace oszacowanie���df;i+1;N (x)� df;i+1 (x)��� �
���N;i (x)�� ����X;N �x(i)�� f 0X �x(i)����++���f 0X �x(i)���� ���N;i (x)� �i (x)�� ,
gdzie
�i (x) =
p+1Yk=1;k 6=i
fX
�x(k)
�oraz �N;i (x) =
p+1Yj=1;j 6=i
fX;N
�x(j)
�.
Zatem
supx2
���df;i+1;N (x)� df;i+1 (x)��� � supx2Rp
���N;i (x)�� supx2R
����X;N (x)� f 0X (x)���++c sup
x2Rp
���N;i (x)� �i (x)�� ,gdzie c = supx2R jf 0X (x)j. Zauwa·zmy, ·ze wobec za÷o·zenia 5.1, c < 1. z kolei zbie·znoscwyra·zenia supx2Rp
���N;i (x)�� do supx2Rp j�i (x)j < 1 wynika ze zbie·znosci jednostajnej
6Nierównosc wynika z dekompozycji ab� cd = b (a� c) + c (b� d) oraz nierównosci trójk ¾ata.
Dodatek A. Uzupe�nienia i dowody twierdzen 86
(tzn. w normie supremum) wyra·zenia���N;i (x)� �i (x)�� do zera oraz ci ¾ag÷osci normy
(w szczególnosci normy supremum). Zgodnie z nierównosci ¾a (B.4) z dodatku B.4 otrzy-mujemy dla ka·zdego x 2 Rp, ·ze
���N;i (x)� �i (x)�� � p�1N (x)
pXj=1
���fX;N �x(j)�� fX �x(j)���� ; (A.26)
gdzie N (x) = maxfjfX;N (x(1))j; : : : ; jfX;N (x(p))j; jfX(x(1))j; : : : ; jfX(x(p))jg. Oszacowanie(A.26) prowadzi z kolei do wniosku, ·ze
supx2Rp
���N;i (x)� �i (x)�� � p supx2Rp
��� p�1N (x)��� supx2R
���fX;N (x)� fX (x)���co, po ponownym zastosowaniu nierównosci (B.4) z dodatku B.4, konczy dowód lematu.
Dodatek B
Wykorzystywane w pracy faktyz teorii prawdopodobienstwai analizy matematycznej
B.1 Szybkosc zbie·znosci ci ¾agów zmiennych losowych
De�nicja B.1 Dla ci ¾agu zmiennych losowych f�ng oraz ci ¾agu liczb dodatnich fbng zbie-·znego do zera, symbol �n = OP (bn) oznacza, ·ze ci ¾ag zmiennych losowych frn (�n=bn)gzbiega do zera wed÷ug prawdopodobienstwa gdy N !1, przy dowolnie wolno zbie·znym dozera ci ¾agu liczbowym frng.
De�nicja B.2 Dla ci ¾agu zmiennych losowych f�ng oraz ci ¾agu liczb dodatnich fbng zbie-·znego do zera, symbol �n = oP (bn) oznacza, ·ze ci ¾ag zmiennych losowych f�n=bng zbiegado zera wed÷ug prawdopodobienstwa gdy N !1.
Lemat B.1 Niech f�ng oraz f�ng b ¾ed ¾a ci ¾agami zmiennych losowych takimi ·ze �n = a +OP (an) oraz �n = b+OP (bn), gdzie b 6= 0. Wówczas
�n�n=a
b+OP (max fan; bng)
Dowód. zob. Hasiewicz i Sliwinski [55, str. 259].
Lemat B.2 Niech f�ng oraz f�ng b ¾ed ¾a ci ¾agami zmiennych losowych, takimi ·ze �n =a+OP (an) oraz �n = b+OP (bn). Wówczas
�n�n = ab+OP (max fan; bng)
Dowód. Nale·zy pokazac, ·ze dla dowolnie wolno zbie·znego do zera ci ¾agu rn oraz dowolnego" > 0 zachodzi
limn!1
P
�jrnj
j�n�n � abjmax fan; bng
> "
�= 0.
Na podstawie dekompozycji
�n�n � ab = �n (�n � b) + b (�n � a)
otrzymujemy nast¾epuj ¾ace oszacowanie
j�n�n � abj � j�nj j�n � bj+ jbj j�n � aj : (B.1)
87
Dodatek B. Wykorzystywane w pracy fakty z teorii prawdopodobienstwa i analizy matematycznej 88
NiechM 2 R+ b¾edzie dowoln ¾a sta÷¾a, tak ¾a ·zeM > jaj iM > jbj. Za÷ó·zmy, ·ze dla dowolnego" > 0 i ci ¾agu rn dowolnie wolno zbie·znego do zera, zasz÷o zdarzenie okreslone za pomoc ¾anierównosci
j�n � aj < 12M jrnjan" i j�n � bj < 1
2M jrnjbn" i j�nj < M:
Wtedy, zgodnie z nierównosci ¾a (B.1), otrzymujemy
j�n�n � abj �M1
2M jrnjbn"+M
1
2M jrnjan" =
1
2 jrnj" (an + bn) ;
co prowadzi do wniosku, ·ze
j�n�n � abj � "max fan; bng
jrnj:
Zachodzi wi¾ec nast¾epuj ¾ace oszacowanie
P
�j�n�n � abj > "
max fan; bngjrnj
�� (B.2)
� P�j�n � aj �
an2M jrnj
"
�+ P
�j�n � bj �
bn2M jrnj
"
�+ P fj�nj �Mg :
Na mocy za÷o·zen twierdzenia dwa pierwsze wyrazy po prawej stronie nierównosci (B.2)d ¾a·z ¾a do zera gdy n!1. Odnosnie wyra·zenia P fj�nj �Mg zachodzi natomiast
P fj�nj �Mg � P fj�n � aj+ jaj �Mg = P fj�n � aj �M � jajg :
Ostatecznie zatem, poniewa·z �n = a+OP (an), otrzymujemy
limn!1
P fj�nj �Mg = 0
co konczy dowód.
B.2 Wybrane w÷asnosci zmiennych losowych gaussowskich
Twierdzenie B.1 Niech �i; i = 1; 2; : : : ; n b ¾ed ¾a niezale·znymi gaussowskimi zmiennymilosowymi o srednich odpowiednio �i oraz wariancjach �
2i , tj. �i � N
��i; �
2i
�. Wtedy
zmienna losowa � =Pni=1 �i ma rozk÷ad normalny N
��; �2
�z parametrami
� =Pni=1 �i oraz �2 =
Pni=1 �
2i
Dowód. Zob. np. Ostasiewicz et al. [86] str. 169.
Twierdzenie B.2 Niech X i Y b ¾ed ¾a zmiennymi losowymi o ÷¾acznym rozk÷adzie normal-nym. Niech E fXg = �X , E fY g = �Y oraz V ar fXg = �2X i V ar fY g = �2Y wtedy
E fXjY = yg = �Y + ��Y�X
(y � �X) (B.3)
gdzie � = Corr fX;Y g.
Dowód. Zob. np. Papoulis [88] str. 201.
Dodatek B. Wykorzystywane w pracy fakty z teorii prawdopodobienstwa i analizy matematycznej 89
B.3 Wybrane zagadnienia teorii ca÷ki i analizy matematy-cznej
Lemat B.3 (zob. Parzen [90]) Niech ' (�) oznacza dowoln ¾a funkcj ¾e, dla której ca÷kaR1�1 j' (x)j dx jest skonczona oraz K (�) b ¾edzie dodatni ¾a funkcj ¾a borelowsk ¾a, spe÷niaj ¾ac ¾awarunki:
1. K (�) jest funkcj ¾a ograniczon ¾a, tj. supv2RK (v) <1,
2.R1�1K (v) dv = 1,
3. limjvj!1 vK (v) = 0.
Wtedy dla dodatniego ci ¾agu liczbowego h, zbie·znego do zera,
limh!0
1
h
Z 1
�1' (x)K
�v � xh
�dx = ' (v) ;
w ka·zdym punkcie v 2 R, w którym ' (v) jest ci ¾ag÷a.
Dowód. Zob. np. Parzen [90].
Lemat B.4 (zob. Ko÷odziej [66, str. 340]) Je·zeli u i v s ¾a funkcjami klasy C1 zmiennych�1; �2; : : : ; �m okreslonymi na ograniczonym zbiorze otwartym w przestrzeni euklidesowejRm i nosnik przynajmniej jednej z tych funkcji zawarty jest w , toZ
u@v
@�kdx = �
Zv@u
@�kdx k = 1; 2; : : : ;m.
Dowód. Zob. Ko÷odziej [66, str. 340].
B.4 Wykorzystywane nierównosci
Lemat B.5 (nierównosc Cauchy�ego�Schwarza) Jesli v 2 H i w 2 H, gdzie H jestprzestrzeni ¾a z iloczynem skalarnym, to
j(v; w)j � kvk kwk ;
gdzie (v; w) jest iloczynem skalarnym elementów v i w.
Dowód. Zob. np. Rudin [100, str. 327]
Lemat B.6 Dla dowolnych p�elementowych ci ¾agów liczbowych faig i fbig prawdziwa jestnierównosc �����
pYi=1
ai �pYi=1
bi
����� � p�1pXi=1
jai � bij , (B.4)
gdzie = max fja1j ; : : : ; japj ; jb1j ; : : : ; jbpjg.
Dowód. Nierównosc (B.4) wynika z nierównosci trójk ¾ata oraz równosci
pYi=1
ai �pYi=1
bi =
pXi=1
BiAi (ai � bi) , (B.5)
Dodatek B. Wykorzystywane w pracy fakty z teorii prawdopodobienstwa i analizy matematycznej 90
gdzie
Bi =
(b1b2 : : : bi�1 dla i > 1
1 dla i = 1oraz Ai =
(ai+1ai+2 : : : ap dla i < p
1 dla i = p.
Wzór (B.5) mo·zna z kolei udowodnic stosuj ¾ac zasad¾e indukcji matematycznej i dekompo-zycj¾e a1a2 � b1b2 = a2 (a1 � b1) + b1 (a2 � b2).
Literatura
[1] E. W. Bai. Frequency domain identi�cation of Hammerstein models. IEEETransactions on Automatic Control, 48:530�542, 2003.
[2] N. J. Bershad, P. Celka, S. McLaughlin. Analysis of stochastic gradient tracking oftime-varying polynomial Wiener systems. IEEE Transactions on Signal Processing,48(6):1676�1686, 2000.
[3] N. J. Bershad, P. Celka, S. McLaughlin. Analysis of stochastic gradient identi�-cation of Wiener�Hammerstein systems for nonlinearities with Hermite polynomialexpansions. IEEE Transactions on Signal Processing, 49:1060�1072, 2001.
[4] P. K. Bhattacharya. Estimation of a probability density function and its derivatives.Sankhya Ser. A, 29:373�382, 1967.
[5] S. A. Billings. Identi�cation of nonlinear systems � a survey. IEE Proceedings,127:272�285, 1980.
[6] S. A. Billings, S. Y. Fakhouri. Identi�cation of nonlinear systems using the Wienermodel. Electronics Letters, 13:502�504, 1977.
[7] S. A. Billings, S. Y. Fakhouri. The theory of separable processes with applicationsto the identi�cation of nonlinear systems. IEE Proceedings, 125:1051�1058, 1978.
[8] S. A. Billings, S. Y. Fakhouri. Identi�cation of systems containing linear dynamicand static nonlinear elements. Automatica, 18(1):15�26, 1982.
[9] S. Boyd, L. O. Chua. Fading memory and the problem of approximating nonlinearoperators with Volterra series. IEEE Transactions on Circuits and Systems,CAS-32(11):1150�1161, 1985.
[10] J. Bruls, C. T. Chou, B. R. J Haverkamp, M. Verhaegen. Linear and non�linearsystem identi�cation using separable least�squares. European Journal of Control,5:116�128, 1999.
[11] P. Celka, N. J. Bershad, J. M. Vesin. Fluctuation analysis of stochastic gradient iden-ti�cation of polynomial Wiener systems. IEEE Transactions on Signal Processing,48(6):1820�1825, 2000.
[12] P. Celka, N. J. Bershad, J. M. Vesin. Stochastic gradient identi�cation of polynomialWiener systems: analysis and application. IEEE Transactions on Signal Processing,49:301�313, 2001.
[13] P. Celka, P. Colditz. Nonlinear nonstationary Wiener model of infant EEG seizures.IEEE Transactions on Biomedical Engineering, 49(3):556�564, 2002.
91
Literatura 92
[14] G. Chen, Y. Chen, H. Ogmen. Identifying chaotic systems via a Wiener-type cascademodel. IEEE Control Systems Magazine, 17(5):29�36, 1997.
[15] H. Chen. Recursive identi�cation for Wiener model with discontinuous piece-wiselinear function. IEEE Transactions on Automatic Control, 51(3):390�400, 2006.
[16] A. C. den Brinker. A comparision of results from parameter estimations of impulseresponses of the transient visual system. Biological Cybernetics, 61:139�151, 1989.
[17] L. Devroye. On the almost everywhere convergence of nonparametric regressionfunction estimates. The Annals of Statistics, 9(6):1310�1319, 1981.
[18] L. Devroye, L. Györ�. Nonparametric Density Estimation: the L1 view. Wiley, NewYork, 1985.
[19] M. Enqvist. Linear models of nonlinear FIR systems with gaussian inputs. Reportno.: LiTH-ISY-R-2462, Linköpings Universitet, Sweden, 2002.
[20] G. M. Fichtenholz. Rachunek ró·zniczkowy i ca÷kowy, Tom I i II. PWN, Warszawa,1978.
[21] G. Geenens, L. Simar. Index coe¢ cients estimation in Single�Index Models: theGeneralized Maximum Rank Correlation Estimator. Technical report, 0560, Institutde Statistique Université Catholique de Louvain, Belgium, 2005.
[22] J. C. Gómez, E. Baeyens. Subspace identi�cation of multivariable Hammerstein andWiener models. IFAC, 15th Triennial World Congress, Barcelona, Spain, 2002.
[23] J. C. Gómez, A. Jutan, E. Baeyens. Wiener model identi�cation and predictivecontrol of a pH neutralisation process. Control theory and applications, IEE Proc.,151(3):329�338, 2004.
[24] G. C. Goodwin, R. L. Payne. Dynamic system identi�cation. Experiment design anddata analysis. Academic Press, New York, USA, 1977.
[25] W. Greblicki. Nieparametryczna identy�kacja systemów. Archiwum Automatyki iRobotyki, XXXVI(2):277�290, 1991.
[26] W. Greblicki. Nonparametric identi�cation of Wiener systems. IEEE Transactionson Information Theory, 38:1487�1493, 1992.
[27] W. Greblicki. Nonparametric identi�cation of Wiener systems by orthogonal series.IEEE Transactions on Automatic Control, 39(10):2077�2086, 1994.
[28] W. Greblicki. Nonparametric approach to Wiener system identi�cation. IEEETransactions on Circuits and Systems�I: Fundamental Theory and Applications,44(6):538�545, 1997.
[29] W. Greblicki. Continuous�time Wiener system identi�cation. IEEE Transactionson Automatic Control, 43(10):1488�1493, 1998.
[30] W. Greblicki. Recursive identi�cation of Wiener systems. International Journal ofApplied Mathematics and Computer Science, 11(4):977�991, 2001.
[31] W. Greblicki. Recursive identi�cation of continuous�time Hammerstein systems.International Journal of Systems Science, 33(12):969�977, 2002.
Literatura 93
[32] W. Greblicki. Stochastic approximation in nonparametric identi�cation of Hammer-stein systems. IEEE Transactions on Automatic Control, 47:100�111, 2002.
[33] W. Greblicki. Nonlinearity recovering in Wiener system driven with correlated signal.IEEE Transactions on Automatic Control, 49:1805�1810, 2004.
[34] W. Greblicki. Podstawy automatyki. Wydawnictwo Politechniki Wroc÷awskiej,Wroc÷aw, 2006.
[35] W. Greblicki, A. Krzy·zak, M. Pawlak. Distribution�free pointwise consistency ofkernel regression estimate. The Annals of Statistics, 12(4):1570�1575, 1984.
[36] W. Greblicki, M. Pawlak. Hermite series estimates of a probability density and itsderivatives. Journal of Multivariate Analysis, 15:174�182, 1984.
[37] W. Greblicki, M. Pawlak. Fourier and Hermite series estimates of regressin functions.Annals of the Institute of Statistical Mathematics, 37A:443�454, 1985.
[38] W. Greblicki, M. Pawlak. Identi�cation of discrete Hammerstein systems usingkernel regression estimates. IEEE Transactions on Automatic Control, 31:74�77,1986.
[39] W. Greblicki, M. Pawlak. Nonparametric identi�cation of Hammerstein systems.IEEE Transactions on Information Theory, 35:409�418, 1989.
[40] W. Greblicki, M. Pawlak. Nonparametric identi�cation of a cascade nonlinear timeseries system. Signal Processing, 22:61�75, 1991.
[41] W. Greblicki, M. Pawlak. Nonparametric identi�cation of particular nonlinear timeseries system. IEEE Transactions on Signal Processing, 40:985�989, 1992.
[42] W. Greblicki, M. Pawlak. Cascade non�linear system identi�cation by anon�parametric method. International Journal of Systems Science, 25:129�153,1994.
[43] W. Greblicki, M. Pawlak. Nonparametric recovering nonlinearities in block�orientedsystems with the help of Laguerre polynomials. Control�Theory and AdvancedTechnology, 10:771�791, 1994.
[44] A. Hagenblad. Aspects of the identi�cation of Wiener systems, Thesis no.793.Link opings Universitet, SE-581 83 Link oping, Sweden, 1999.
[45] A. K. Han. Non�parametric analysis of a generalized regression model. Journal ofEconometrics, 35:303�316, 1987.
[46] W. Härdle. Applied nonparametric regression. Cambridge University Press, 1994.
[47] W. Härdle, M. Stoker. Investigating smooth multiple regression by the method ofaverage derivative. Journal of the American Statistical Association, 84(408):986�995,1989.
[48] Z. Hasiewicz. Identy�kacja sterowanych systemów o z÷o·zonej strukturze,Prace naukowe Instytutu Cybernetyki Technicznej Politechniki Wroc÷awskiej.Wydawnictwo Politechniki Wroc÷awskiej, Wroc÷aw, 1993.
[49] Z. Hasiewicz. Informacja wst¾epna o systemie a metody identy�kacji. InstytutCybernetyki Technicznej Politechniki Wroc÷awskiej, Preprinty 11/94, 1994.
Literatura 94
[50] Z. Hasiewicz. Hammerstein system identi�cation by the Haar multiresolutionapproximation. International Journal of Adaptive Control and Signal Processing,13:691�717, 1999.
[51] Z. Hasiewicz. Non�parametric estimation of non�liearity in a cascade time�seriessystem by multiscale approximations. Signal Processing, 81:791�807, 2001.
[52] Z. Hasiewicz, G. Mzyk. Combined parametric�nonparametric identi�cation ofHammerstein systems. IEEE Transactions on Automatic Control, 49(8):1370�1375,2004.
[53] Z. Hasiewicz, M. Pawlak, P. Sliwinski. Non�parametric identi�cation ofnon�linearities in block�oriented complex systems by orthogonal wavelets withcompact support. IEEE Transactions on Circuits and Systems I: Fundametal Theoryand Applications, 52(2):427�442, 2005.
[54] Z. Hasiewicz, P. Sliwinski. Identi�cation of non�linear characteristics of a class ofblock�oriented non�linear systems via Daubechies wavelet�based models. Interna-tional Journal of Systems Science, 33(14):1121�1144, 2002.
[55] Z. Hasiewicz, P. Sliwinski. Falki ortogonalne o zwartym nosniku. Akademicka O�cynaWydawnicza EXIT, Warszawa, 2005.
[56] M. C. Hughes, D. T. Westwick. Identi�cation of IIR Wiener systems with splinenonlinearities that have variable knots. IEEE Transactions on Circuits and SystemsI: Fundametal Theory and Applications, 52(2):427�442, 2005.
[57] I. W. Hunter, M. J. Korenberg. The identi�cation of nonlinear biological systems:Wiener and Hammerstein cascade models. Biological Cybernetics, 55:135�144, 1986.
[58] H. Ichimura. Semiparametric least squares (SLS) and weighted SLS estimation ofsingle�index models. Journal of Econometrics, 58:71�120, 1993.
[59] O. L. R. Jacobs. Recursive estimation for non�linear Wiener systems by on�lineimplementation of Bayes� rule. Transactions of the Institute of Measurement andControl, 7:245�250, 1985.
[60] J. Jakubowski, R. Sztencel. Wst ¾ep do teorii prawdopodobienstwa. SCRIPT,Warszawa, 2004.
[61] R. I. Jennrich. Asymptotic properties of non�linear least squares estimators. IEEETransactions on Automatic Control, 50(10):1617�1622, 2005.
[62] B. Jeong, K. Yoo, H. Rhee. Nonlinear model predictive control using a Wienermodel of a continuous methyl methacrylate polymerization reactor. Industrial andEngineering Chemistry Research, 40:5968�5977, 2001.
[63] A. Kalafatis, N. Ari�n, L. Wang, W. R. Cluett. A new approach to the identi�cationof pH processes based on the Wiener model. Chemical Engineering Science,50(23):3693�3701, 1995.
[64] H. Kang, Y. Cho, D. Youn. On compensating nonlinear distortions of anOFDM system using an e¢ cient adaptive predistorter. IEEE Transactions onCommunications, 47(4):522�526, 1999.
[65] A. Y. Kibangou, G. Favier. Wiener�Hammerstein systems modeling using diagonalVolterra kernels coe¢ cients. IEEE Signal Processing Letters, 13(6):381�384, 2006.
Literatura 95
[66] W. Ko÷odziej. Wybrane rozdzia÷y analizy matematycznej. PWN, Warszawa, 1970.
[67] M. Korenberg., I. Hunter. Two methods for identifying Wiener cascades having non-invertible static nonlinearities. Annals of Biomedical Engineering, 27(6):793�8004,1999.
[68] M. J. Korenberg. Parallel cascade identi�cation and kernel estimation for nonlinearsystems. Annals of Biomedical Engineering, 19:429�455, 1991.
[69] M. J. Korenberg, I. W. Hunter. The identi�cation of nonlinear biological systems:LNL cascade models. Biological Cybernetics, 55:125�134, 1986.
[70] J. Koronacki, J. Mielniczuk. Statystyka dla studentów kierunków technicznych iprzyrodniczych. WNT, Warszawa, 2006.
[71] A. Krzy·zak. Identi�cation of non�linear systems by recursive kernel regressionestimates. International Journal of Systems Science, 24(3):577�598, 1993.
[72] P. Kulczycki. Estymatory j ¾adrowe w analizie systemowej. WNT, Warszawa, 2005.
[73] S. L. Lacy, D. S. Bernstein. Identi�cation of FIR Wiener systems with un-known, non-invertible, polynomial non-linearities. International Journal of Control,76(15):1500�1507, 2003.
[74] J. C. Lagarials, J. A. Reeds, M. H. Wright, P. E. Wright. Convergence properties ofthe Nelder�Mead simplex method in low dimesions. SIAM Journal of Optimization,9(1):112�147, 1998.
[75] F. Leja. Rachunek ró·zniczkowy i ca÷kowy. Panstwowe Wydawnictwo Naukowe, 1965.
[76] L. Ljung. System Identi�cation Theory for the User. Prentice�Hall, EnglewoodCli¤s, NJ, 1987.
[77] Y. P. Mack, B. W. Silverman. Weak and strong uniform consistency of kernelregression estimates. Probability Theory and Related Fields, 61(3):405�415, 1982.
[78] K. Manczak, M. Nahorski. Komputerowa identy�kacja obiektów dynamicznych.PWN, Warszawa, 1981.
[79] V. Z. Marmarelis, K. I. Naka. White�noise analysis of a neuron chain: an applicationof the Wiener theory. Science, 175:1276�1278, 1978.
[80] G. Mzyk. Parametryczna identy�kacja systemów o z÷o·zonej strukturze, (rozprawadoktorska). Instytut Cybernetyki Technicznej Politechniki Wroc÷awskiej, Wroc÷aw,2002.
[81] É. A. Nadaraya. On non�parametric estimates of density functions and regressioncurves. Theory of Probability and its Applications, 10:186�190, 1965.
[82] K. S. Narendra, P. G. Gallman. An iterative method for the identi�cation onnon�linear systems using a Hammerstein model. IEEE Transactions on AutomaticControl, 11:546�550, 1966.
[83] O. Nelles. Nonlinear System Identi�cation. Springer�Verlag, New York, 2001.
[84] A. E. Nordsjö, L. H. Zetterberg. Identi�cation of certain time-varying nonlinearWiener and Hammerstein systems. IEEE Transactions on Signal Processing,49(3):577�592, 2001.
Literatura 96
[85] S. J. Norquay, A. Palazoglu, J. A. Romagnoli. Model predictive control based onWiener models. Chemical Engineering Science, 53(1):75�84, 1998.
[86] S. Ostasiewicz, Z. Rusnak, U. Siedlecka. Statystyka, elementy teorii i zadania. Wyd.Akademii Ekonomicznej we Wroc÷awiu, Wroc÷aw, 1999.
[87] G. A. Pajunen. Recursive identi�cation of Wiener type nonlinear systems.Proceedings of the 1985 American Control Conference, 3:1365�1370, 1985.
[88] A. Papoulis. Prawdopodobienstwo, zmienne losowe i procesy stochastyczne. WNT,Warszawa, 1972.
[89] J. Park, I. W. Sandberg. Criteria for the approximation of nonlinear systems. IEEETransactions on Circuits and Systems I: Fundamental Theory and Applications,39(8):673�676, 1992.
[90] E. Parzen. On estimation of a probability density function and mode. The Annalsof Mathematical Statistics, 33:1065�1076, 1962.
[91] M. Pawlak. On the series expansion approach to the identi�cation of Hammersteinsystems. IEEE Transactions on Automatic Control, 36:763�767, 1991.
[92] M. Pawlak, Z. Hasiewicz. Nonlinear system identi�cation by the Haar multiresolutionanalysis. IEEE Transactions on Circuits and Systems I: Fundamental Theory andApplications, 45:945�961, 1998.
[93] M. Pawlak, Z. Hasiewicz, P. Wachel. On non�parametric identi�cation of Wienersystems. IEEE Transactions on Signal Processing, 55(2):482�492, 2007.
[94] R. K. Pearson, M. Pottmann. Gray�box identi�cation of block�oriented nonlinearmodels. Journal of Process Control, 10:301�315, 2000.
[95] J. L. Powell, J. H. Stock, T. M. Stoker. Semiparametric estimation of indexcoe¢ cients. Econometrica, 57(6):1403�1430, 1989.
[96] R. Pupeikis. Identi�cation of piecewise a¢ ne Wiener systems using data partition.Department of Electrical Engineering, Link oping University, Sweden, Report no.:LiTH-ISY-R-2523, 2003.
[97] R. Pupeikis. On the identi�cation of wiener systems having saturation�like functionswith positive slopes. Informatica, 16(1):131�144, 2005.
[98] R. Raich, G. Tong Zhou, M. Viberg. Subspace based approaches for Wiener systemidenti�cation. IEEE Transactions on Automatic Control, 50(10):1629�1634, 2005.
[99] W. Rudin. Podstawy analizy matematycznej. WNT, Warszawa, 2000.
[100] W. Rudin. Analiza funkcjonalna. WNT, Warszawa, 2002.
[101] L. Rutkowski. Sequential estimates of probability densities by orthogonal series andtheir applications in pattern classi�cation. IEEE Transactions on System, Man, andCybernetics, SMC-10(12):918�920, 1980.
[102] L. Rutkowski. On-line identi�cation of time-varying systems by nonparametrictechniques. IEEE Transactions on Automatic Control, AC-27:228�230, 1982.
[103] L. Rutkowski. On system identi�cation by nonparametric function �tting. IEEETransactions on Automatic Control, AC-27:225�227, 1982.
Literatura 97
[104] L. Rutkowski. On nonparametric identi�cation with prediction of time-varyingsystems. IEEE Transactions on Automatic Control, AC-29:58�60, 1984.
[105] L. Rutkowski. Generalized regression neural networks in time�varying environment.IEEE Transactions on Neural Networks, 15(3):576�596, 2004.
[106] J. Van Ryzin. On strong consistency of density estimates. The Annals ofMathematical Statistics, 40(5):1765�1772, 1969.
[107] I. W. Sandberg. Approximation theorems for discrete�time systems. IEEETransactions on Circuits and Systems, 38(5):564�566, 1991.
[108] I. W. Sandberg. Structure theorems for nonlinear systems.Multidimensional Systemsand Signal Processing, 2(3):267�286, 1991.
[109] I. W. Sandberg. Approximations for nonlinear functionals. IEEE Transactions onCircuits and Systems I: Fundamental Theory and Applications, 39(1):65�67, 1992.
[110] D. Sbárbaro, T. A. Johansen. Multiple local Laguerre models for modelling nonlineardynamic systems of the Wiener class. IEE Proceedings � Control Theory andApplications, 144(5):375�380, 1997.
[111] J. Schoukens, J. G. Nemeth, P. Crama, Y. Rolain, R. Pintelon. Fast approximateidenti�cation of nonlinear systems. Automatica, 39:1267�1274, 2003.
[112] E. F. Schuster. Estimation of a probability density function and its derivatives. TheAnnals of Mathematical Statistics, 40(4):1187�1195, 1969.
[113] E. F. Schuster. Joint asymptotic distribution of the estimated regression function at a�nite number of distinct points. The Annals of Mathematical Statistics, 43(1):84�88,1972.
[114] E. Sekko, G. Thomas, A. Boukrouche. A deconvolution technique using optimalWiener �ltering and regularization. Signal Processing, 72:23�32, 1999.
[115] J. Shi, H.H. Sun. Nonlinear system identi�cation via parallel cascaded structure.Proceedings of the Twelfth Annual International Conference of the IEEE Engineeringin Medicine and Biology Society, 12(4):1897�1898, 1990.
[116] B. W. Silverman. Weak and strong uniform consistency of the kernel estimate of adensity and its derivatives. The Annals of Statistics, 6(1):177�184, 1978.
[117] J. Sjöberg, Q. Zhang, L. Ljung, A. Benveniste, B. Delyon, P. Glorennec, H. Hjalmars-son, A. Juditsky. Nonlinear black�box modeling in system identi�cation: a uni�edoverview. Automatica, 31(12):1691�1724, 1995.
[118] T. Söderström, P. Stoica. System Identi�cation. Upper Saddle River NJ:PrenticeHall, 1989.
[119] J. Solé-Casals, C. Jutten, D. T. Pham. Fast approximation of nonlinearities forimproving inversion algorithms of PNL mixtures and Wiener systems. SignalProcessing, 85:1780�1786, 2005.
[120] C. J. Stone. Optimal rates of convergence for nonparametric estimators. The Annalsof Statistics, 8(6):1348�1360, 1980.
[121] A. Taleb, J. Sole, C. Jutten. Quasi�nonparametric blind inversion of Wiener systems.IEEE Transactions on Signal Processing, 49(5):917�924, 2001.
Literatura 98
[122] C. W. Therrien. The Lee�Wiener legacy, a history of the statistical theory ofcommunication. IEEE Signal Processing Magazine, 19(6):33�34, 2002.
[123] A.W. van der Vaart. Asymptotic Statistics. Cambridge University Press, Cambridge,1998.
[124] J. Vörös. Parameter identi�cation of Wiener systems with discontinuous nonlinear-ities. Systems and Control Letters, 44(5):363�372, 2001.
[125] P. Wachel. Falkowe algorytmy nieparametrycznej estymacji nieliniowosci w systemieWienera. Praca magisterska, specjalnosc: Komputerowe Sieci Sterowania, kierunek:Automatyka i Robotyka, Wydzia÷Elektroniki, Politechnika Wroc÷awska, 2004.
[126] P. Wachel. Non�parametric recovery of non�linearity in Wiener systems bywavelet�based kernel algorithm. 10th IEEE International Conference on Methodsand Models in Automation and Robotics, strony 491�496, 2004.
[127] P. Wachel. A mixed parametric�non-parametric method of Wiener system identi�-cation. 11th IEEE International Conference on Methods and Models in Automationand Robotics, 2005.
[128] P. Wachel. Parametric�non-parametric identi�cation of Wiener systems withnon-inverse nonlinearities. Raport Instytutu Informatyki, Automatyki i RobotykiPolitechniki Wroc÷awskiej, Preprints No.1/2007, 2007.
[129] P. Wachel. Two�stage identi�cation of Wiener systems with �nite memory andnoninverse nonlinearities. 13th IEEE International Conference on Methods andModels in Automation and Robotics, 2007.
[130] P. Wachel. Noninverse identi�cation of Wiener systems. Referat przyj ¾ety dowyg÷oszenia na Krajowej Konferencji Automatyki, Szczyrk, 2008.
[131] F. H. Walters, L. R. Parker, S. L. Morgan, S. N. Deming. Sequential SimplexOptimization. CRC Press, Boca Raton, FL, 1991.
[132] M. P. Wand, M. C. Jones. Kernel Smoothing. Chapman and Hall, 1995.
[133] G. S. Watson. Smooth regression analysis. Sankhya, Ser. A, 26:356�359, 1964.
[134] D. T. Westwick, R. E. Kearney. A new algorithm for the identi�cation of multipleinput Wiener systems. Biological Cybernetics, 68:75�85, 1992.
[135] D. T. Westwick, M. Verhaegen. Identifying MIMO Wiener systems using subspacemodel identi�cation methods. Signal Processing, 52(2):235�258, 1996.
[136] N. Wiener. Nonlinear problems in random theory. Wiley, New York, 1958.
[137] T. Wigren. Recursive prediction error identi�cation using the nonlinear Wienermodel. Automatica, 29(4):1011�1025, 1993.
[138] T. Wigren. Convergence analysis of recursive identi�cation algorithms basedon the nonlinear Wiener model. IEEE Transactions on Automatic Control,39(11):2191�2206, 1994.
[139] C. Wu. Asymptotic theory of nonlinear least squares estimation. The Annals ofStatistics, 9:501�513, 1981.
Literatura 99
[140] M. Xu, G. Chen, Y. Tian. Identifying chaotic systems using Wiener and Hammer-stein cascade models. Mathematical and Computer Modelling, 33:483�493, 2001.
[141] Y. Zhu. Distillation column identi�cation for control using Wiener model. Proceed-ings of the 1999 American Control Conference, 5:3462�3466, 1999.