ÑÀÍÊÒ-ÏÅÒÅÐÁÓÐÃÑÊÈÉ ÃÎÑÓÄÀÐÑÒÂÅÍÍÛÉ ÓÍÈÂÅÐÑÈÒÅÒ

ÍÈÈ ÈÍÔÎÐÌÀÖÈÎÍÍÛÕ ÒÅÕÍÎËÎÃÈÉ

ÑÒÎÕÀÑÒÈ×ÅÑÊÀß

ÎÏÒÈÌÈÇÀÖÈß Â ÈÍÔÎÐÌÀÒÈÊÅ

ÂÛÏÓÑÊ 1

Ì å æ â ó ç î â ñ ê è é ñ á î ð í è ê

Ïîä ðåäàêöèåé ïðîô. Î. H. ÃÐÀÍÈ×ÈÍÀ

Èçäàòåëüñòâî Ñ.-Ïåòåðáóðãñêîãî óíèâåðñèòåòà

2 0 0 5

ÓÄÊ 519.712

ÁÊÊ 32.811.7

à 77

Îòâåòñòâåííûé ðåäàêòîð: ïðîô. Î.Í. Ãðàíè÷èí

Ð å ö å í ç å í ò û: ä-ð ôèç.-ìàò. íàóê ïðîô. Â.Á. Ìåëàñ

(Ñ.-Ïåòåðáóðãñêèé ãîñ. óí-ò)ä-ð ôèç.-ìàò. íàóê ïðîô. Å.À. Êðóê(Ñ.-Ïåòåðáóðãñêèé ãîñ. óí-ò àýðîêîñì. ïðèáîðîñòð.)

Ðåêîìåíäîâàíî ê èçäàíèþ

Ðåäàêöèîííî-èçäàòåëüñêèì ñîâåòîì

ìàòåìàòèêî-ìåõàíè÷åñêîãî ôàêóëüòåòà

Ñ.-Ïåòåðáóðãñêîãî ãîñóäàðñòâåííîãî óíèâåðñèòåòà

à 77 Ñòîõàñòè÷åñêàÿ îïòèìèçàöèÿ â èíôîðìàòèêå: Ìåæ-

âóç. ñá. / Ïîä ðåä. Î. Í. Ãðàíè÷èíà. � ÑÏá.: Èçäàòåëüñòâî

Ñ.-Ïåòåðáóðãñêîãî óíèâåðñòèòåòà, 2005. � ... ñ. (Âûï. 1)

ISBN 5-288-.....-.

Ñáîðíèê ïîñâÿùåí âîïðîñàì ñòîõàñòè÷åñêîé îïòèìèçàöèè â èíôîðìàòèêåè ñîñòàâëåí ïî ìàòåðèàëàì îäíîèìåííîé ðåãóëÿðíîé ñåðèè ñåìèíàðîâ äëÿ ñòó-äåíòîâ, àñïèðàíòîâ è íàó÷íûõ ðàáîòíèêîâ, ïðîâîäèâøèõñÿ â 2003-2004 ãã. íàìàòåìàòèêî-ìåõàíè÷åñêîì ôàêóëüòåòå Ñ.-Ïåòåðáóðãñêîãî óíèâåðñòèòåòà ïîäðóêîâîäñòâîì ïðîôåññîðà êàôåäðû ñèñòåìíîãî ïðîãðàììèðîâàíèÿ Î.Í. Ãðà-íè÷èíà.

Ïðåäíàçíà÷åí äëÿ ñïåöèàëèñòîâ â îáëàñòè èíôîðìàòèêè, ñòóäåíòîâ ñòàð-øèõ êóðñîâ è àñïèðàíòîâ, îáó÷àþùèõñÿ íà ñïåöèàëüíîñòÿõ, ñâÿçàííûõ ñ îá-ðàáîòêîé èíôîðìàöèè.

Áåç îáúÿâëåíèÿ ÁÁÊ 32.811.7

c Àâòîðû ñòàòåé,2005

ISBN 5-288-.....-.

Íåëèíåéíàÿ ñòîõàñòè÷åñêàÿîïòèìèçàöèÿ ìåòîäîì Ìîíòå-ÊàðëîË. Ñàêàëàóñêàñ

Èíñòèòóò ìàòåìàòèêè è èíôîðìàòèêè, Âèëüíþñ, Ëèòâà1

Ðàññìàòðèâàåòñÿ ìåòîä íåëèíåéíîé ñòîõàñòè÷åñêîé îïòèìèçàöèè ñåðèÿìè

âûáîðîê Ìîíòå-Êàðëî. Ïðåäëîæåíà ïðîöåäóðà îñòàíîâà àëãîðèòìà, îñíîâàí-

íàÿ íà ïðîâåðêå ñòàòèñòè÷åñêîé ãèïîòåçû ðàâåíñòâà ãðàäèåíòà öåëåâîé ôóíê-

öèè íóëþ è îöåíêå å¸ äîâåðèòåëüíîãî èíòåðâàëà. Ïðåäëîæåíû ïðàâèëà ðåãó-

ëèðîâàíèÿ îáú¸ìà âûáîðîê è äîêàçàíà ï.í. ñõîäèìîñòü ñ ëèíåéíîé ñêîðîñòüþ

ïî ÷èñëó èòåðàöèé ïîëó÷åííîé ïðîöåäóðû ê ðåøåíèþ çàäà÷è. ×èñëåííîå ìî-

äåëèðîâàíèå è ðåøåíèå ïðàêòè÷åñêèõ ïðèìåðîâ ïîäòâåðäèëè òåîðåòè÷åñêèå

âûâîäû è ïîêàçàëè, ÷òî ðàçðàáîòàííûé ìåòîä ïîçâîëÿåò ðåøàòü çàäà÷è ñòîõà-

ñòè÷åñêîé îïòèìèçàöèè ñ çàäàííîé òî÷íîñòüþ çà ïðèåìëåìîå âû÷èñëèòåëüíîå

âðåìÿ.

1. Ââåäåíèå

 íàñòîÿùåé ðàáîòå ðàññìàòðèâàåòñÿ çàäà÷à íåëèíåéíîé ñòîõà-ñòè÷åñêîé îïòèìèçàöèè:

F (x) = Ef(x; !)! minx2Rn

; (1)

ãäå ! � ñëó÷àéíîå ñîáûòèå â âåðîÿòíîñòíîì ïðîñòðàíñòâå ;�; Px,ôóíêöèÿ f : Rn �! Rn óäîâëåòâîðÿåò îáû÷íûì óñëîâèÿì èçìå-ðèìîñòè, èíòåãðèðóåìîñòè è äèôôåðåíöèðóåìîñòè, à ìåðà Px ÿâëÿ-åòñÿ àáñîëþòíî íåïðåðûâíîé è, â îáùåì ñëó÷àå, çàâèñÿùåé îò ïà-ðàìåòðà x, èíà÷å ãîâîðÿ, îíà ìîæåò áûòü îïðåäåëåíà ïîñðåäñòâîìíåêîé ôóíêöèè ïëîòíîñòè p : Rn �! R+.

Ïîäîáíûå çàäà÷è âîçíèêàþò âî ìíîãèõ ïðèëîæåíèÿõ òåõíèêè,áèçíåñà, ñòàòèñòèêè, ìåíåäæìåíòà, áàíêîâñêîãî äåëà, è ò. ä.  ìå-òîäàõ ñòîõàñòè÷åñêîé ãðàäèåíòíîé îïòèìèçàöèè, êîòîðûå îáû÷íî

ïðåäëàãàåòñÿ èñïîëüçîâàòü äëÿ èõ ðåøåíèÿ, ñóùåñòâóåò äâà ñïîñî-áà äîáèòüñÿ ñõîäèìîñòè ïðèìåíÿåìîãî àëãîðèòìà.  ñëó÷àå ïåðâîãîïîäõîäà ñõîäèìîñòü ìîæíî îáåñïå÷èòü çà ñ÷åò ðåãóëèðîâàíèÿ íåêî-òîðûì îáðàçîì øàãîâûõ ìíîæèòåëåé â ñõåìå ñòîõàñòè÷åñêîé àïïðî-êñèìàöèè (ñì., [1�6]). Íåñìîòðÿ íà âåñüìà áîëüøîå ÷èñëî ðàáîò, ïî-ñâÿù¸ííûõ ýòîìó íàïðàâëåíèþ ïîñòðîåíèÿ ìåòîäîâ îïòèìèçàöèè,

1 c Ë. Ñàêàëàóñêàñ, 2005

3

ïðàêòè÷åñêîå ïðèìåíåíèå ñòîõàñòè÷åñêîé àïïðîêñèìàöèè çàòðóä-íÿåòñÿ îòñóòñòâèåì óñëîâèé îñòàíîâà àëãîðèòìîâ è ñðàâíèòåëüíî

ìåäëåííîé èõ ñõîäèìîñòüþ.Äðóãîé ñïîñîá îáåñïå÷åíèÿ ñõîäèìîñòè çàêëþ÷àåòñÿ â ðàçðàáîò-

êå ìåòîäîâ ñ îòíîñèòåëüíîé îøèáêîé îöåíêè ñòîõàñòè÷åñêîãî ãðàäè-åíòà. Ñîãëàñíî òåîðåòè÷åñêîé ñõåìå äëÿ îáåñïå÷åíèÿ ñõîäèìîñòè âòàêèõ ìåòîäàõ äèñïåðñèÿ îöåíêè íîðìû ñòîõàñòè÷åñêîãî ãðàäèåíòà

â ïðîöåññå ïîèñêà äîëæíà îñòàâàòüñÿ ïðîïîðöèîíàëüíîé êâàäðà-òó ýòîé íîðìû (ñì. [4]). Íàñòîÿùàÿ ðàáîòà ïîñâÿùåíà ðàçðàáîòêåìåòîäà ñòîõàñòè÷åñêîé îïòèìèçàöèè ïîäîáíîãî òèïà, èñïîëüçóÿ ñå-ðèè ñëó÷àéíûõ âûáîðîê, ïîñëåäîâàòåëüíî ãåíåðèðóåìûõ ìåòîäîìÌîíòå-Êàðëî (ñì., [7, 8]).

2. Îöåíêè ìåòîäîì Ìîíòå-Êàðëî

äëÿ ñòîõàñòè÷åñêîé îïòèìèçàöèè

Ââåä¸ì ñèñòåìó âûáîðî÷íûõ îöåíîê, ïîëó÷àåìûõ ìåòîäîìÌîíòå-Êàðëî, êîòîðûå áóäåì èñïîëüçîâàòü â ïðîöåññå èòåðàòèâíîé îïòè-ìèçàöèè.

Ïðåäïîëîæèì, ÷òî èìååòñÿ âîçìîæíîñòü ãåíåðèðîâàòü ñëó÷àé-íûå ðåàëèçàöèè ! â ëþáîé çàäàííîé òî÷êå x, à òàêæå âû÷èñëèòüñîîòâåòñòâóþùèå çíà÷åíèÿ ôóíêöèè f . Ïóñòü äëÿ êàêîé-ëèáî òî÷êèx 2 Rn ïîëó÷åíà ñëó÷àéíàÿ âûáîðêà îáúåìà N :

Y = (y1; y2; : : : ; yN ); (2)

ãäå yi ÿâëÿþòñÿ íåçàâèñèìûìè êîïèÿìè ñëó÷àéíîé âåëè÷èíû !,ðàñïðåäåë¸ííîé ñ ïëîòíîñòüþ p(xi) : ! R+, à òàêæå âû÷èñëåíûâûáîðî÷íûå îöåíêè:

~F (x) =1

N

NXj=1

f(x; yi); (3)

~D2(x) =1

N � 1

NXj=1

(f(x; yi)� ~F (x))2: (4)

Çàìåòèì, ÷òî â íàñòîÿùåå âðåìÿ äîñòàòî÷íî õîðîøî ðàçðàáî-òàíà òåõíèêà ñòîõàñòè÷åñêîãî äèôôåðåíöèðîâàíèÿ, ïîçâîëÿþùàÿïðè îöåíêå öåëåâîé ôóíêöèè ïîëó÷èòü è îöåíêè å¸ ãðàäèåíòà, íå

4

èñïîëüçóÿ çíà÷èòåëüíûõ äîïîëíèòåëüíûõ âû÷èñëèòåëüíûõ çàòðàò(ñì. [9�11]). Òàêèì îáðàçîì, åñòåñòâåííî ïðåäïîëîæèòü, ÷òî â ñëó-

÷àå ãåíåðèðîâàíèÿ âûáîðêè (2) òàêæå èìååòñÿ â íàëè÷èè è îöåíêàìåòîäîì Ìîíòå-Êàðëî ãðàäèåíòà öåëåâîé ôóíêöèè:

~G(x) =1

N

NXj=1

G(x; yi); x 2 D � Rn; (5)

ãäå G : Rn�! Rn îçíà÷àåò ñòîõàñòè÷åñêèé ãðàäèåíò, ò. å., òàêîéñëó÷àéíûé âåêòîð, ÷òî EG(x; !) = rF (x) (ñì. [3, 4]). Îáîçíà÷èìâûáîðî÷íóþ êîâàðèàöèîííóþ ìàòðèöó:

A(x) =1

N

NXj=1

(G(x; yi)� ~G(x))(G(x; yi)� ~G(x))0: (6)

Òåïåðü ïðåäïîëîæèì, ÷òî èìååòñÿ íåêîòîðîå íà÷àëüíîå ïðèáëè-æåíèå x0 2 Rn, à òàêæå ïîëó÷åíà ñîîòâåòñòâóþùàÿ âûáîðêà (2)íåêîãî íà÷àëüíîãî îáü̧ ìà N0, íà îñíîâå êîòîðîé âû÷èñëåíû ìîíòå-êàðëîâñêèå îöåíêè (3)�(6). Äëÿ ïîèñêà ðåøåíèÿ çàäà÷è íåëèíåéíîéîïòèìèçàöèè áóäåì èñïîëüçîâàòü ãðàäèåíòíûé ïîèñê ñ ïîñòîÿííûìøàãîì:

xt+1 = xt � � ~G(xt); (7)

ãäå � � íåêèé øàãîâûé ìíîæèòåëü.Âûáîð îáúåìà âûáîðêè (2) èìååò áîëüøîå çíà÷åíèå, ïîñêîëüêó

òî÷íîñòü îöåíîê (3)�(6), â îñíîâíîì çàâèñèò îò ýòîãî îáúåìà. Îáñó-äèì ýòîò âûáîð áîëåå ïîäðîáíî ïðè èòåðèðîâàíèè ïðîöåäóðû (7).Èíîãäà îáúåì âûáîðêè ïðåäëàãàåòñÿ âûáèðàòü äîñòàòî÷íî áîëüøèìñ öåëüþ îáåñïå÷åíèÿ çàäàííîé òî÷íîñòè âûáîðî÷íûõ îöåíîê íà âñåõøàãàõ àëãîðèòìà (ñì. [12, 13]). Îáû÷íî ýòîò ãàðàíòèðóþùèé òî÷-íîñòü îáú¸ì äîñòèãàåò 1000-1500 è áîëåå, ÷òî ïðè áîëüøîì ÷èñëåèòåðàöèé ìîæåò ïðèâåñòè ê çíà÷èòåëüíûì âû÷èñëèòåëüíûì çàòðà-òàì [13]. Íàäî òàêæå èìåòü ââèäó, ÷òî ôèêñèðîâàííûé îáúåì âû-áîðêè, áóäó÷è äàæå âåñüìà áîëüøèì, ãàðàíòèðóåò ñõîäèìîñòü ëèøüâ íåêîòîðóþ îêðåñòíîñòü òî÷êè îïòèìóìà (ñì. [4, 14]). Ñ äðóãîéñòîðîíû, íåò íèêàêîé íåîáõîäèìîñòè âû÷èñëÿòü âûáîðî÷íûå îöåí-êè ñ âûñîêîé òî÷íîñòüþ íà âñåõ èòåðàöèÿõ, ïîñêîëüêó â íà÷àëåîïòèìèçàöèè äîñòàòî÷íî öåíèòü ïðèáëèæ¸ííîå íàïðàâëåíèå, âåäó-ùåå ê îïòèìóìó, à âûáîðêè äîñòàòî÷íîãî îáú¸ìà âû÷èñëÿòü ëèøüïðè ïðèíÿòèè ðåøåíèÿ î åãî íàõîæäåíèè. Êàê ñëåäóåò èç íèæå

5

ïðèâîäèìîé òåîðåìû, ïîäîáíîãî âûáîðà ìîæíî äîáèòüñÿ, åñëè îáú-¸ì âûáîðîê íà êàæäîé èòåðàöèè áðàòü îáðàòíî ïðîïîðöèîíàëüíûì

êâàäðàòó íîðìû îöåíêè ãðàäèåíòà.

Ò å î ð å ì à 1 Ïóñòü ôóíêöèÿ F : Rn ! R, âûðàæåííàÿ

ìàòåìàòè÷åñêèì îæèäàíèåì (1), ÿâëÿåòñÿ îãðàíè÷åííîé ñíèçó:

F (x) � F+ > �1; 8x 2 Rn; è äèôôåðåíöèðóåìîé, à å¸ ãðàäèåíò

óäîâëåòâîðÿåò óñëîâèþ Ëèïøèöà ñ êîíñòàíòîé L > 0.Ïðåäïîëîæèì, ÷òî äëÿ ëþáîãî x 2 Rn è ëþáîãî N � 1 èìå-

åòñÿ âîçìîæíîñòü ãåíåðèðîâàòü âûáîðêè (2) ñëó÷àéíûõ íåçàâè-

ñèìûõ âåêòîðîâ, îäèíàêîâî ðàñïðåäåë¸ííûõ ñ ïëîòíîñòüþ p(x; �),íà îñíîâå êîòîðûõ âû÷èñëÿþòñÿ îöåíêè (3), (5) è (6). Ïðåäïîëî-

æèì òàêæå, ÷òî äèñïåðñèÿ íîðìû ñòîõàñòè÷åñêîãî ãðàäèåíòà

ðàâíîìåðíî îãðàíè÷åíà: EjG(x; !) �rF (x)j2 < K; 8x 2 Rn;.

Åñëè, íà÷èíàÿ ñ íåêîãî íà÷àëüíîãî ïðèáëèæåíèÿ x0 2 Rn ïî-

ñëåäîâàòåëüíîñòü fxtg1t=0 îïðåäåëåíà ñîãëàñíî (7), ãäå îáú¸ì âû-

áîðêè íà êàæäîì øàãå, íà÷èíàÿ ñ íåêîòîðîãî íà÷àëüíîãî çíà÷åíèÿ

N0, îïðåäåëÿåòñÿ ïî ïðàâèëó:

N t+1 ��

C

j ~G(xt)j2

�+ 1; (8)

òî

limt!1

jrF (xt)j2 = 0(????mod(P)????); (9)

åñëè 0 < � � 1=L; C � 4K.

Ñêîðîñòü ñõîäèìîñòè îïðåäåëÿåòñÿ äðóãîé òåîðåìîé.

Ò å î ð å ì à 2 Ïóñòü âñå óñëîâèÿ ïðåäûäóùåé òåîðåìû âû-

ïîëíåíû è, êðîìå êðîìå òîãî, ôóíêöèÿ F (x) ÿâëÿåòñÿ äâàæäû

äèôôåðåíöèðóåìîé, ãäå jjrF (x)jj2 � l > 0; 8x 2 Rn. Åñëè x+ ÿâëÿ-

åòñÿ ñòàöèîíàðíîé òî÷êîé çàäà÷è è

0 < � � min

�1

L;

3

4(1 + l)

�; C � Kmax[4;

L2

l]; � = 1��(l� kL2

C) < 1;

òî

E

�jxt � x+j2 + �K

N t

���jx0 � x+j2 + �K

N0

��t; t = 0; 1; 2; : : : (10)

6

Äîêàçàòåëüñòâà îáåèõ òåîðåì, ïîëó÷àåìûå ñ ïîìîùüþ ìàðòèí-ãàëüíîãî ïîäõîäà, ïðèâåäåíû â Ïðèëîæåíèè.

Îáñóäèì ÷èñëåííóþ ðåàëèçàöèþ ïîëó÷åííûõ ðåçóëüòàòîâ. Äëè-íà øàãà � îáû÷íî ïîäáèðàåòñÿ ýêñïåðèìåíòàëüíûì ïóòåì. Èíîãäàäëÿ ýòîãî ìîæíî èñïîëüçîâàòü ñïåöèôèêó çàäà÷è, âûáèðàÿ ýòîòêîýôôèöèåíò, íàïðèìåð, ìåòîäîì ïðîñòîé èòåðàöèè (ñì., íàïðè-ìåð, [14, 15]). Õîòÿ ïîðÿäîê ñõîäèìîñòè ðàññìàòðèâàåìîé ïðîöåäó-

ðû (7) îáåñïå÷èâàåòñÿ óñëîâèåì (8), ñîãëàñíî êîòîðîìó îáú¸ì âû-áîðêè äîëæåí áûòü îáðàòíî ïðîïîðöèîíàëüíûì êâàäðàòó íîðìûîöåíêè ãðàäèåíòà, íåîáõîäèìî òàêæå èìåòü ââèäó ìåòðèêó, â êîòî-ðîé âû÷èñëÿåòñÿ ýòà íîðìà. Åñëè ïðèíÿòü C = nFish( ; n;N t � n)ãäå ÷åðåç Fish( ; n;N t � n) îáîçíà÷åí -êâàíòèëü ðàñïðåäåëåíèÿÔèøåðà ñ (n;N t � n) ñòåïåíåé ñâîáîäû, à íîðìó ãðàäèåíòà âû÷èñ-ëÿòü â ìåòðèêå, èíäóöèðîâàííîé êîâàðèàöèîííîé ìàòðèöåé (6), òîïðàâèëî âûáîðà îáú¸ìà âûáîðêè ïðèìåò âèä:

N t+1 = min(max(

�nFish( ; n;N t � n)

�( ~G(xt)0A(xt))�1 ~G(xt)

�+ n;Nmin); Nmax); (11)

ãäå ÷òîáû èçáåæàòü ñëèøêîì ìàëûõ èëè áîëüøèõ âûáîðîê ââåäå-íû ìèíèìàëüíîå è ìàêñèìàëüíîå çíà÷åíèÿ Nmin ( 20-50) è Nmax

(îáû÷íî � 2000 - 5000). Íåñëîæíî óáåäèòüñÿ, ÷òî â ñëó÷àå (11) ïî-ãðåøíîñòü îöåíêè ãðàäèåíòà íå ïðåâûøàåò êâàäðàòà åãî íîðìû ñ âå-ðîÿòíîñòüþ íå áîëåå 1� [16]. Òåñòèðîâàíèå àëãîðèòìà ïîêàçûâàåò,÷òî ïðàâèëî (11) ïî ñðàâíåíèþ ñ (8) ïðèâîäèò ê áîëåå óñòîé÷èâîìóè ýêîíîìíîìó ãåíåðèðîâàíèþ ñëó÷àéíûõ âûáîðîê. Èíîãäà ìîæíîèñïîëüçîâàòü àïïðîêñèìàöèþ C = �2

(n), ïîñêîëüêó íà áîëüøèíñòâå

èòåðàöèé N t >> n. Çàìåòèì, ÷òî Nmax ìîæíî òàêæå âûáèðàòü òàê,÷òîáû äëèíà äîâåðèòåëüíîãî èíòåðâàëà îöåíêè öåëåâîé ôóíêöèè íåïðåâûøàëà íåêîòîðîé çàäàííîé âåëè÷èíû (ñì. ñëåäóþùèé ðàçäåë).

Ñëåäîâàòåëüíî, ïîãðåøíîñòü jxt�x+j2 è îáúåì âûáîðêè N t îá-ëàäàþò ëèíåéíûì ïîðÿäêîì èçìåíåíèÿ, îïðåäåëÿåìûì çíà÷åíèåì

0 < � < 1, çàâèñÿùèì, â ñâîþ î÷åðåäü îò îáóñëîâëåííîñòè ìàòðèöûÃåññå öåëåâîé ôóíêöèè è ïîñòîÿííîé C â âûðàæåíèè (10). Èñïîëü-

çóÿ ìåòîä äîêàçàòåëüñòâà òåîðåìû 1 ìîæíî ïîêàçàòü, ÷òî Nt

Nt+1 � �. òàêîì ñëó÷àå ñ ïîìîùüþ ôîðìóëû ãåîìåòðè÷åñêîé ïðîãðåññèèïîëó÷àåì îöåíêó:

tXi=0

N i � N tQ;

7

ãäå Q � íåêîòîðàÿ ïîñòîÿííàÿ. Òåïåðü çàìåòèì, ÷òî òî÷íîñòü ðåøå-íèÿ çàäà÷è îïòèìèçàöèè îïðåäåëÿåòñÿ âåëè÷èíîé îáú¸ìà âûáîðêè

â ìîìåíò ïðèíÿòèÿ ðåøåíèÿ î íàõîæäåíèè îïòèìóìà. Ïóñòü ýòîðåøåíèå ïðèíÿòî íà t-îé èòåðàöèè, íà êîòîðîé áûëà ãåíåðèðîâàíàâûáîðêà îáú¸ìà N t.  òàêîì ñëó÷àå îòíîøåíèå îáúåìà âñåõ âû÷èñ-ëåíèé, ïîòðà÷åííûõ íà ïîèñê ðåøåíèÿ, ðàâíîãî

Pt

i=0Ni, ê îáúåìó

âûáîðêè N t, íà îñíîâå êîòîðîé ïðèíÿòî ðåøåíèå îñòàíîâà, áóäåò

îãðàíè÷åíî íåêîòîðîé ïîñòîÿííîé, êîòîðàÿ, âîîáùå, íå çàâèñèò îòòðåáóåìîé òî÷íîñòè. Òàêèì îáðàçîì, åñëè ñóùåñòâóåò íåêèé âû÷èñ-ëèòåëüíûé ðåñóðñ, íåîáõîäèìûì äëÿ âû÷èñëåíèÿ öåëåâîé ôóíêöèèñ òðåáóåìîé òî÷íîñòüþ, òî ïîèñê îïòèìóìà ñ òîé æå òî÷íîñòüþïîòðåáóåò âû÷èñëåíèé ëèøü â íåñêîëüêî ðàç áîëüøå ýòîãî ðåñóð-ñà. Ýòî ïîçâîëÿåò ðàçðàáàòûâàòü ýêîíîìíûå àëãîðèòìû ñòîõàñòè-÷åñêîé îïòèìèçàöèè.

3. Ñòàòèñòè÷åñêàÿ ïðîâåðêà ãèïîòåçû

îïòèìàëüíîñòè è ïðàâèëî îñòàíîâà

Íà êàæäîì øàãå àëãîðèòìà íåîáõîäèìî ïðîâåðÿòü îïòèìàëü-íîñòü ïîëó÷åííîãî ðåøåíèÿ. Ñîãëàñíî Òåîðåìå 1 ãðàäèåíò öåëåâîéôóíêöèè ï.í. ñòðåìèòñÿ ê íóëþ. Ïîñêîëüêó íàì èçâåñòíû òîëüêîìîíòåêàðëîâñêèå îöåíêè öåëåâîé ôóíêöèè è åå ãðàäèåíòà, òî ìûìîæåì ëèøü ïðîâåðÿòü ñòàòèñòè÷åñêóþ ãèïîòåçó îïòèìàëüíîñòè,êîòîðàÿ â íàøåì ñëó÷àå ñâîäèòñÿ ê ïðîâåðêå ðàâåíñòâà ãðàäèåí-òà íóëþ. Òàêèì îáðàçîì, ðåøåíèå î íàõîæäåíèè îïòèìóìà ìîæåòáûòü ïðèíÿòî, åñëè, âî-ïåðâûõ, ñòàòèñòè÷åñêàÿ ãèïîòåçà ðàâåíñòâàãðàäèåíòà íóëþ íå îòâåðãàåòñÿ ñ çàäàííûì óðîâíåì çíà÷èìîñòè,âî-âòîðûõ, îáú¸ì âûáîðêè ÿâëÿåòñÿ äîñòàòî÷íûì, ÷òîáû îöåíèòüöåëåâóþ ôóíêöèþ ñ äîñòàòî÷íî ìàëûì äîâåðèòåëüíûì èíòåðâàëîì.

Ïðè ðàçðàáîòêå ñîîòâåòñòâóþùèõ ñòàòèñòè÷åñêèõ êðèòåðèåâ íå-îáõîäèìî èìåòü â âèäó, ÷òî ðàñïðåäåëåíèå îäíî- è ìíîãîìåðíûõâûáîðî÷íûõ ñðåäíèõ (3) è (5) ìîæíî àïïðîêñèìèðîâàòü îäíî- è

ìíîãîìåðíûì íîðìàëüíûì çàêîíîì (ñì. [17�19]).  òàêîì ñëó÷àåòåñòèðîâàòü ñòàöèîíàðíîñòü ïîëó÷åííîãî ðåøåíèÿ ìîæíî ñ ïîìî-ùüþ õîðîøî èçâåñòíîé T 2-ñòàòèñòèêîé Õîòåëëèíãà (ñì. [20]). Ò. å.ãèïîòåçà îïòèìàëüíîñòè íå îòêëîíÿåòñÿ â òî÷êå xt ñ óðîâíåì çíà-÷èìîñòè 1� �, åñëè âûïîëíåíî óñëîâèå:

????Y = (y1; y2; : : : ; yN); (12)

8

Ïðè îöåíêå òî÷íîñòè îöåíêè (3) ìû ìîæåì îïÿòü âîñïîëüçîâàòü-ñÿ ôàêòîì àñèìïòîòè÷åñêîé íîðìàëüíîñòè è ñ÷èòàòü, ÷òî öåëåâàÿ

ôóíêöèÿ îöåíåíà ñ äîñòàòî÷íîé òî÷íîñòüþ, åñëè å¸ äîâåðèòåëüíûéèíòåðâàë íå ïðåâûøàåò íåêîòîðîé çàäàííîé âåëè÷èíû �:

�� ~D(xt)=pN t � �; (13)

ãäå �� ÿâëÿåòñÿ �-êâàíòèëåì ñòàíäàðòíîãî íîðìàëüíîãî ðàñïðåäå-

ëåíèÿ, à ~D2(xt) � âûáîðî÷íàÿ äèñïåðñèÿ (4).Òàêèì îáðàçîì, àëãîðèòì ñòàòèñòè÷åñêîé îïòèìèçàöèè çàêëþ-

÷àåòñÿ â ïîñëåäîâàòåëüíîì èòåðèðîâàíèè (7), ðåãóëèðóÿ îáú¸ì âû-áîðêè ñîãëàñíî ïðàâèëó (8) èëè (11), è ïðîâåðÿÿ íà êàæäîì øàãåóñëîâèÿ (12) è (13). Åñëè ýòè óñëîâèÿ íà êàêîé-ëèáî èòåðàöèè âû-ïîëíÿþòñÿ, òî ó íàñ íåò îñíîâàíèé äëÿ îòêëîíåíèÿ ãèïîòåçû îï-òèìàëüíîñòè, è ìû ìîæåì îñòàíîâèòü àëãîðèòì è ïðèíÿòü ðåøå-íèå î íàõîæäåíèè îïòèìóìà ñ òðåáóåìîé òî÷íîñòüþ. Íî, åñëè õîòüîäíî èç óñëîâèé (12) èëè (13) íå âûïîëíåíî, òî íåîáõîäèìî ïðî-äîëæèòü îïòèìèçàöèþ è ãåíåðèðîâàòü ñëåäóþùóþ âûáîðêó. Êàêñëåäóåò èç ðåçóëüòàòîâ ïðåäûäóùåãî ðàçäåëà, ïðîöåññ îïòèìèçà-öèè îñòàíîâèòñÿ ï.í. ïîñëå ãåíåðèðîâàíèÿ êîíå÷íîãî ÷èñëà âûáîðîêÌîíòå-Êàðëî.

??? (14)

Ðàññìîòðèì ðåçóëüòàòû êîìïüþòåðíîãî ìîäåëèðîâàíèÿ. Ïîñêîëü-êó ãëàäêèå ôóíêöèè â îêðåñòíîñòè îïòèìóìà õîðîøî àïïðîêñèìè-ðóþòñÿ êâàäðàòè÷íûìè ôóíêöèÿìè, ðàññìîòðèì ïðèìåíåíèå ïðåä-ëîæåííîãî ïîäõîäà äëÿ ôóíêöèé ñëåäóþùåãî âèäà:

F (x) � Ef(x+ !)! min;

ãäå

f(y) =

nXi=1

(aiy2i+ bi(1� cos(ciyi)));

yi = xi + !i, !i � ñëó÷àéíûå íîðìàëüíî N (0; d2) ðàñïðåäåë¸í-íûå âåëè÷èíû, d = 0:5; a = (8:00; 5:00); b = (3:70; 1:00); c =(0:45; 0:50); n = 2.

Çàìåòèì, ÷òî ýòó çàäà÷ó ìîæíî ðàññìàòðèâàòü êàê ñòîõàñòè-÷åñêèé âàðèàíò çàäà÷è îïòèìèçàöèè ñ äåòåðìèíèñòñêîé öåëåâîéôóíêöèåé f , ïðè âû÷èñëåíèè êîòîðîé íà çíà÷åíèÿ x íàêëàäûâàåòñÿ

9

ãàóññîâñêèé øóì, ñâÿçàííûé, íàïðèìåð, ñ ïîãðåøíîñòÿìè èçìåðå-íèé. Ðàññìàòðèâàåìàÿ öåëåâàÿ ôóíêöèÿ íå ÿâëÿåòñÿ âûïóêëîé.

Êà÷åñòâî êðèòåðèåâ îñòàíîâà, ðàññìîòðåííûå âûøå, îïðåäåëÿ-åòñÿ ñêîðîñòüþ ñõîäèìîñòè ðàñïðåäåëåíèé îöåíîê (7), (11) ê ïðå-äåëüíîìó çàêîíó [21]. Ýòà ñõîäèìîñòü èññëåäîâàëàñü ìåòîäîì ñòàòè-ñòè÷åñêîãî ìîäåëèðîâàíèÿ ïðè n = 2, èñïîëüçóÿ äëÿ îöåíêè ãðàäè-åíòà ìåòîä (3). Îïòèìàëüíàÿ òî÷êà èçâåñòíà: x+ = 0. Ãåíåðèðîâà-ëîñü 400 âûáîðîê Ìîíòå-Êàðëî îáú¸ìà N = (50; 100; 200; 500; 1000),äëÿ êîòîðûõ âû÷èñëÿëèñü T 2-ñòàòèñòèêè (15) äëÿ ðàçëè÷íûõ òî÷åêx. Äàëåå ïðîâåðÿëàñü ãèïîòåçà ñîîòâåòñòâèÿ ðàñïðåäåëåíèÿ ýòèõñòàòèñòèê ðàñïðåäåëåíèþ Ôèøåðà ïî êðèòåðèÿì !2 è 2 [20]. Äëÿâûáîðêè îáú¸ìà N = 50 çíà÷åíèå ïåðâîãî êðèòåðèÿ îêàçàëîñü ðàâ-íûì !2 = 0:2746 ïðè êðèòè÷åñêîì çíà÷åíèè 0:46(p = 0:05), à âòî-ðîãî 2 = 1:616 ïðè êðèòè÷åñêîì çíà÷åíèè 2:49(p = 0:05). Êðî-ìå òîãî, ãèïîòåçà ñîîòâåòñòâèÿ ðàñïðåäåëåíèÿ ýìïèðè÷åñêîãî ðàñ-ïðåäåëåíèÿ çàêîíó Ôèøåðà îòêëîíÿëàñü ïî îáåèì êðèòåðèÿì óæåïðè ðàññòîÿíèè òî÷êè îöåíèâàíèÿ îò îïòèìàëüíîé, ðàâíûì r =jx � x+j � 0:1). Òàêèì îáðàçîì, ðàñïðåäåëåíèå ìíîãîìåðíîé ñòà-òèñòèêè Õîòåëëèíãà (14) ìîæåò áûòü õîðîøî àïïðîêñèìèðîâàíîðàñïðåäåëåíèåì Ôèøåðà óæå ïðè íåáîëüøèõ âûáîðêàõ (N � 50). çàêëþ÷åíèå äîáàâèì, ÷òî ïîñêîëüêó òåñòèðîâàíèå óñëîâèé îñòà-íîâà îñíîâàíî íà ñõîäèìîñòè âûáîðî÷íûõ îöåíîê ê íîðìàëüíîìóçàêîíó, òî ìîæíî ââåñòè äîïîëíèòåëüíûå êðèòåðèè íîðìàëüíîñòè

ýòèõ îöåíîê, îñíîâàííèûå íà âû÷èñëåíèè òðåòüèõ èëè ÷åòâ¸ðòûõìîìåíòîâ è ò. ï. [17, 20].

Äàëåå èññëåäîâàëàñü âåðîÿòíîñòü îñòàíîâà ïî êðèòåðèþ (14) âçàâèñèìîñòè îò ðàññòîÿíèÿ r = jx � x+j äî îïòèìàëüíîé òî÷êè.Ýòè çàâèñèìîñòè äëÿ ðàçëè÷íûõ îáúåìîâ ìîíòåêàðëîâñêèõ âûáî-ðîê ïðåäñòàâëåíû íà ðèñ. 1 (äëÿ óðîâíÿ äîâåðèòåëüíîñòè � = 0:95).Íà ðèñ. 2 ïðåäñòàâëåíû àíàëîãè÷íûå çàâèñèìîñòè ïðè N = 1000 è� = (0:90; 0:95; 0:99). Èç ýòèõ çàâèñèìîñòåé ñëåäóåò, ÷òî ïîäáèðàÿñîîòâåòñòâóþùèì îáðàçîì îáú¸ì âûáîðîê ìîæíî òåñòèðîâàòü ãè-ïîòåçó îïòèìàëüíîñòè íà îñíîâå íà îñíîâå ñòàòèñòè÷åñêèõ êðèòåðè-åâ, äîáèâàÿñü ïðè ýòîì íåîáõîäèìîé òî÷íîñòè âû÷èñëåíèÿ öåëåâîéôóíêöèè.

Íà ðèñ. 3 ïðåäñòàâëåíû çàâèñèìîñòü ÷àñòîòû îñòàíîâà àëãîðèò-ìà (7), (11) ïî êðèòåðèÿì (12), (13), âû÷èñëåííûå â ðåçóëüòàòå 400ïîâòîðåíèé îïòèìèçàöèè èç ñëó÷àéíî âûáðàííûõ íà÷àëüíûõ òî÷åê.Ýòà çàâèñèìîñòü èëëþñòðèðóåò îãðàíè÷åííûé è ñëó÷àéíûé õàðàê-

10

Ðèñ. 1. ×àñòîòà ïðèíÿòèÿ îïòèìàëüíîãî ðåøåíèÿ, � = 0:95.

Ðèñ. 2.×àñòîòà ïðèíÿòèÿ îïòèìàëüíîãî ðåøåíèÿ, N = 1000.

11

Ðèñ. 3. ×àñòîòà îñòàíîâà ìåòîäà (7), (11).

òåð ÷èñëà èòåðàöèé, íåîáõîäèìûõ äëÿ îïòèìèçàöèè è îñòàíîâà àë-ãîðèòìà.

4. ×èñëåííîå ìîäåëèðîâàíèå

Ðàçðàáîòàííûé ìåòîä ïðèìåíÿëñÿ äëÿ ðåøåíèÿ ðàçëè÷íûõ ïðàê-òè÷åñêèõ è òåñòîâûõ çàäà÷. Ðàññìîòðèì åãî ðàáîòó ïðè ðåøåíèè çà-äà÷è îïòèìàëüíîé îðãàíèçàöèè òðóäà [6]. Ñîãëàñíî óñëîâèþ çàäà÷èðàáîòîäàòåëü äîëæåí ïîäîáðàòü íà íåñêîëüêèõ óðîâíÿõ èåðàðõè÷å-ñêîé ñèñòåìû îðãàíèçàöèè òðóäà ÷èñëà ïîñòîÿííî ðàáîòàþùèõ ñî-òðóäíèêîâ. Òàêæå òðåáóåòñÿ îïðåäåëèòü ÷àñû ñâåðõóðî÷íîé ðàáîòûïîñòîÿííîãî ïåðñîíàëà è ïîòðåáíîñòü âî âðåìåííî íàíèìàåìîé ðà-áî÷åé ñèëå, â çàâèñèìîñòè îò îáú¸ìà ðàáîò, êîòîðûå ïðåäïðèÿòèåîáÿçàíî âûïîëíèòü, è êîòîðîå çàðàíåå èçâåñòíî ëèøü ñ íåêîòîðîéîïðåäåë¸ííîñòüþ, îïèñûâàåìîé âåðîÿòíîñòíûì ñïîñîáîì.

 äàííîì ïðèìåðå ðàññìàòðèâàåòñÿ òð¸õóðîâíåâàÿ ñòðóêòóðà(1 óðîâåíü - ðàáî÷èå è ðÿäîâûå èñïîëíèòåëè, 2 - ïðîìåæóòî÷íûéóðîâåíü, 3 - ðóêîâîäÿùèå ñîòðóäíèêè). ×èñëî ðàáî÷èõ è ñîòðóäíè-êîâ íà êàæäîì óðîâíå îáîçíà÷èì ñîîòâåòñòâåííî (x1; x2; x3).

Òàêèì îáðàçîì, òðåáóåòñÿ íàéòè x = (x1; x2; x3), ìèíèìèçèðóþ-

12

ùèå ñðåäíèå çàòðàòû íà îïëàòó òðóäà:

F (x; z) =3X

j=1

cjxj +12Xt=1

Eminy;z

(3X

j=1

qjyj;t + rjzj;t)

ãäå

xj � 0; yj;t � 0; zj;t � 0; yj;t � 0:2atxj ; j = 1; 2; 3; t = 1; : : : ; 12;

3Xj=1

yj;t + zj;t � wt � �t

3Xj=1

xj ; t = 1; : : : ; 12;

j�1(xj+yj�1;t+zj�1;t)�(xj+yj�1;t+zj�1;t); j = 2; 3; t = 1; : : : ; 12;

xj � ÷èñëî ïîñòîÿííîãî ïåðñîíàëà íà óðîâíå j; j = 1; 2; 3,yj;t � êîëè÷åñòâî ÷àñîâ ñâåðõóðî÷íîé ðàáîòû,zj;t � îáúåì âðåìåííî òðåáóåìîé ðàáîòû,cj � îïëàòà òðóäà ñîòðóäíèêà íà óðîâíå j; j = 1; 2; 3;qj � ñòîèìîñòü ñâåðõóðî÷íûõ,rj � ñòîèìîñòü âðåìåííîé ðàáîòû,wt � îáúåì ðàáîò çà ïåðèîä t,�t � ïðîãíîçèðóåìàÿ íåÿâêà ðàáî÷èõ â ïåðèîä t, j�1 � ñîîòíîøåíèå ÷èñëà ñîòðóäíèêîâ íà óðîâíÿõ j è j � 1.

Èñõîäíûå äàííûå:c = [7:03; 4:53; 3:44],q = [9:59; 6:18; 4:69],r = [11:70; 9:95; 5:78],� = [:8943; :8917; :8948; :9086; :9032; :8842; :8513; :8798; :8871; :9043;:8606; :8341], = [0:6; 0:2],wt � íåçàâèñèìûå âåëè÷èíû, t = 1; : : : ; 12; N (��t; ��

2t), ãäå ��2

t= ��t,

�� = [11975; 11740; 12169; 13132; 13525; 12598; 13503; 14168; 12602;11807; 11334; 10410],� � êîýôôèöèåíò âàðèàöèè îáúåìà òðåáóþùèõñÿ ðàáîò, ðàâíûé 0,

1, 10, 20, 30.Ðåçóëüòàòû ðåøåíèÿ ýòîé çàäà÷è, ïîëó÷åííûå ìåòîäîì Ìîíòå-

Êàðëî, ïðåäñòàâëåíû â òàáëèöå 1 è íà ðèñ. 4�8.  òàáëèöå ïðåä-ñòàâëåíû îïòèìàëüíûå îáú¸ìû ðàáî÷åé ñèëû íà âñåõ óðîâíÿõ èçàòðàòû íà íå¸ â çàâèñèìîñòè îò êîýôôèöèýíòà âàðèàöèè îáú¸ìàòðåáóþùèõñÿ ðàáîò � (äëèíà äîâåðèòåëüíîãî èíòåðâàëà - 100 USD,

13

Ðèñ. 4. Çàâèñèìîñòü öåëåâîé ôóíêöèè ~F (xt) îò t.

çàòðàòû íà ðàáî÷óþ ñèëó â USD). Íà ðèñ. 4�7 èçîáðàæåíû èçìåíå-íèå öåëåâîé ôóíêöèè (6), åå äîâåðèòåëüíîãî èíòåðâàëà (16), ñòàòè-ñòèêè T 2

t=F ish(�; n;N t � n), âû÷èñëåííîé ñîãëàñíî (15), è îáúåìà

âûáîðêè, âû÷èñëåííîãî ñîãëàñíî (14), â çàâèñèìîñòè îò ÷èñëà èòå-ðàöèé ïðè � = 10. Íà ðèñ. 8 ïðåäñòàâëåíà çàâèñèìîñòü îòíîøåíèÿîáú¸ìà òåêóùåé âûáîðêè ê îáùåìó ÷èñëó âû÷èñëåíèé, èëëþñòðè-ðóþùàÿ îãðàíè÷åííîñòü ýòîãî îòíîøåíèÿ. Ïðåäñòàâëåííûå ðåçóëü-òàòû èëëþñòðèðóþò ñõîäèìîñòü ðàçðàáîòàííîãî ìåòîäà, à òàêæåîáúåì âû÷èñëåíèé, íåîáõîäèìûé äëÿ ðåøåíèÿ çàäà÷è ñ òðåáóåìîéòî÷íîñòüþ.

Òàáë. 1.Îïò. ðàñïðåäåëåíèå ðàáî÷åé ñèëû è åå ñòîèìîñòü.

� x1 x2 x3 F

0 9222 5533 1106 94,8991 9222 5533 1106 94,89910 9376 5616 1046 96,83230 9452 5672 1036 98,614

5. Âûâîäû

Ðàçðàáîòàí ìåòîä èòåðàòèâíîãî ðåøåíèÿ çàäà÷ ñòîõàñòè÷åñêîéîïòèìèçàöèè ñåðèÿìè âûáîðîêÌîíòå-Êàðëî. Ìåòîä îñíîâàí íà ïðà-

14

Ðèñ. 5. Äëèíà äîâåðèòåëüíîãî èíòåðâàëà.

Ðèñ. 6. Çàâèñèìîñòü T 2t=F ish(�; n;N t � n) îò ÷èñëà èòåðàöèé t.

15

Ðèñ. 7. Îáúåì âûáîðêè â çàâèñèìîñòè îò ÷èñëà èòåðàöèé.

Ðèñ. 8. Îòíîøåíèå N t=P

t

i=0Ni.

16

âèëàõ ïðîâåðêè ãèïîòåçû îïòèìàëüíîñòè è îñòàíîâà (12), (13), àòàêæå íà ïðàâèëàõ (8) è (11) ðåãóëèðîâàíèÿ îáú¸ìà âûáîðêèÌîíòå-

Êàðëî. Ïðåäëîæåíà ïðîöåäóðà îñòàíîâà àëãîðèòìà, îñíîâàííàÿ íàïðîâåðêå ñòàòèñòè÷åñêèì îáðàçîì ðàâåíñòâà ãðàäèåíòà öåëåâîé ôóíê-öèè íóëþ è îöåíêå å¸ äîâåðèòåëüíîãî èíòåðâàëà. Ïðàâèëà (8) è (11),ñîãëàñíî êîòîðûì îáú¸ì âûáîðêè íà êàæäîì øàãå áåð¸òñÿ îáðàòíîïðîïîðöèîíàëüíûì êâàäðàòó íîðìû îöåíêè ãðàäèåíòà, ïîçâîëÿåò

ýêîíîìíî ïðîâîäèòü âû÷èñëåíèÿ è â òîæå ñàìîå âðåìÿ ãàðàíòèðó-åò ñõîäèìîñòü ï. í. ê ðåøåíèþ çàäà÷è. ×èñëåííîå ìîäåëèðîâàíèå èðåøåíèå ïðàêòè÷åñêèõ ïðèìåðîâ ïîäòâåðäèëè òåîðåòè÷åñêèå âûâî-äû è ïîêàçàëè, ÷òî ðàçðàáîòàííûé ìåòîä ïîçâîëÿåò ðåøàòü çàäà÷èñòîõàñòè÷åñêîé îïòèìèçàöèè ñ çàäàííîé òî÷íîñòüþ çà ïðèåìëåìîåâû÷èñëèòåëüíîå âðåìÿ.

6. Ïðèëîæåíèå

Ë å ì ì à 1 Åñëè âûïîëíåíû óñëîâèÿ òåîðåìû 1,

òî äëÿ x 2 Rn èìååò ìåñòî îöåíêà:

EF (x� � ~G(x)) � F (x) � �Ej ~G(x)j2(1� �L

2) + �

�1� �L

2

�: (15)

Äîêàçàòåëüñòâî. Ñ ïîìîùüþ òåîðåìû Ëàãðàíæà ïîëó÷àåì îöåí-êó [22]:

F (x� � ~G(x)) = F (x) � � ~G(x)TZ 1

0

rF (x� �� ~G(x))d� = (16)

= F (x) � � ~G(x)TrF (x) � � ~G(x)TZ 1

0

r(F (x� �� ~G(x)) �rF (x))d�:

Òåïåðü ôîðìóëó (15) ìîæíî ïîëó÷èòü âçÿâ ìàòåìàòè÷åñêèå îæèäà-íèÿ îáåèõ ñòîðîí (16), è äàëåå ïðèìåíèâ óñëîâèå Ëèïøèöà è îöåíêó:

Ej ~G(x)�rF (x)j2 � K

N; 8x 2 Rn; 8N � 1; (17)

ñëåäóþùóþ, â ñâîþ î÷åðåäü, èç íåçàâèñèìîñòè îòäåëüíûõ ñëàãàå-ìûõ â ìîíòåêàðëîâñêîé îöåíêå (5). Ëåììà äîêàçàíà.

17

Äîêàçàòåëüñòâî Òåîðåìû 1. Ïóñòü fFtg1t=0 ÿâëÿåòñÿ ïîòîêîì �-àëãåáð, ïîðîæä¸ííûõ ïîñëåäîâàòåëüíîñòüþ âåêòîðîâ fxtg1t=0. Ââå-äåì ñëó÷àéíóþ âåëè÷èíó

Vt = F (xt) +3

2

�K

N t:

Çàìåòèì, ÷òî ýòà ïîñëåäîâàòåëüíîñòü îãðàíè÷åíà ñíèçó: Vt � F+ >

�1. Ïðè 0 < � < 1=L ñ ïîìîùüþ (15) è (17) ïîëó÷àåì, ÷òî

E(Vt+1jFt)leqVt ��

2

�j ~G(xt)j2jFt

�+

3�K

2E

�j 1

N t+1jFt

��

� Vt ��

2(1� 3K

C)E

�j ~G(xt)j2jFt

�; t = 1; 2; : : :

Ñëåäîâàòåëüíî, Vt ÿâëÿåíòñÿ ïîëóìàðòèíãàëîì ïðè 3K=C < 1. Ñî-ãëàñíî ëåììàì î ìàðòèíãàëüíîé ñõîäèìîñòè ïîëó÷àåì [23], ÷òî, íà-

ïðèìåð, ïðè C � 4K ï. í. limt!1 E�j ~G(xt)j2jFt

�= 0 è ï. í. limt!1

jrF (xt)j2 = 0, ïîñêîëüêó limt!1 jrF (xt)j2 � limt!1 E(j ~G(xt)j2jFt).Òåîðåìà äîêàçàíà.

Äîêàçàòåëüñòâî Òåîðåìû 2. Ââåä¸ì ôóíêöèþ Ëÿïóíîâà:

W (x;N) = jx� x+j2 + �K

N:

Ñ ïîìîùüþ ôîðìóëû Ëàãðàíæà è (17) ïîëó÷àåì, ÷òî

Ejxt+1 � x+j2 = E�E(jxt+1 � x+j2jFt)

�=

E�E(jxt � x+ � �(rF (xt)�rF (x+))� �( ~G(xt)�rF (xt))j2jFt)

��

� (1� �l)Ejxt � x+j2 + �2KE

�1

N t

�: (18)

Äàëåå ââèäó (8), óñëîâèÿ Ëèïøèöà è (17) ñëåäóåò îöåíêà:

E(1

N t) � EjrF (xt)�rF (x+)j2

C+K

CE(

1

N t) � L2

C+K

CE(

1

N t): (19)

Èñïîëüýóÿ (18) è (19) ïîëó÷àåì:

E(W (xt+1; N t+1)) ��1� 2�l + �2l2

�KL2

C

�Ejxt � x+j2+

18

+�K

��+

K

C

�E

�1

N t

���1� �(l � KL2

C)

�E(W (xt; N t)

åñëè 0 < � � minh1L; 34(1+l)

i; C � Kmax[4; L

2

l]. Òåîðåìà äîêàçàíà.

Ñïèñîê ëèòåðàòóðû

[1] Robins H., Monro S. A stochastic approximation method //Ann.Math.Statist.1951. Vol. 22. No 3. P. 400�407.

[2] Kiefer J., Wolfowitz J. Statistical estimation on the maximum ofa regression function // Ann.Math.Statist. 1952. Vol.23. P. 462�466.

[3] Åðìîëüåâ Þ. Ì. Ìåòîäû ñòîõàñòè÷åñêîãî ïðîãðàììèðîâàíèÿ.Ì.: Íàóêà. 1976.

[4] Ïîëÿê Á. Ò. Ââåäåíèå â îïòèìèçàöèþ. Ì.: Íàóêà. 1983.

[5] Ìèõàëåâè÷ Â. Ñ., Ãóïàë À. Ì., Íîðêèí Â. È. Ìåòîäû íåâû-ïóêëîé îïòèìèçàöèè. Ì.: "Íàóêà. 1987.

[6] Ermolyev Yu., Wets R. Numerical Techniques for StochasticOptimization. Springer-Verlag. Berlin. 1988.

[7] Sakalauskas L. Nonlinear stochastic optimization by Monte-Carloestimators // Informatica. 2000. Vol. 11 (4). P. 1�19.

[8] Sakalauskas L. Nonlinear stochastic programming by Monte-Carloestimators // European Journal of Operational Research. 2002.Vol. 137. P. 547�555.

[9] Þäèí Ä. Á. ×èñëåííûå ìåòîäû àíàëèçà ñëîæíûõ ñèñòåì //Èçâ. ÀÍ ÑÑÑÐ. ñåð. Òåõíè÷åñêàÿ êèáåðíåòèêà. 1965. No 1. C. 3�13.

[10] Êàòêîâíèê Â. È. Ëèíåéíîå îöåíèâàíèå è ïðîáëåìû îïòèìè-çàöèè. Ì.: Íàóêà. 1976.

[11] Rubinstein R. Smoothed functionals in stochastic optimization //Mathematical Operations Research. 1983. No 8. P. 26�33.

19

[12] Áåëÿêîâ Þ. Í., Êóðìàåâ Ô. À., Áàòàëîâ Á. Â. Ìåòîäû ñòà-òèñòè÷åñêîé îáðàáîòêè ÈÑ íà ÝÂÌ. Ì.: Ðàäèî è ñâÿçü. 1985.

[13] Jun ShaoMonte-Carlo approximations in Bayesian decision theory// JASA. 1989. Vol. 84. No 407. P. 727�732.

[14] Sakalauskas L. A centering by the Monte-Carlo method //Stochastic Analysis and Applications. 1997. Vol. 15. No 4. P.

[15] Êàíòîðîâè÷ Ë., Àêèëîâ Ã. Ôóíêöèîíàëüíûé àíàëèç â íîðìè-ðîâàííûõ ïðîñòðàíñòâàõ. Ì.: Ôèçìàòãèç. 1959.

[16] Ñàêàëàóñêàñ Ë. Àäàïòèâíûå ìåòîäû ñòîõàñòè÷åñêîé îïòèìè-çàöèè ÈÑ // Àâòîìàòèçàöèÿ ïðîåêòèðîâàíèÿ â ýëåêòðîíèêe.1990. Êèåâ. No 41. C. 118�124.

[17] Bhattacharya R. N., Ranga Rao R. Normal Approximation andAsymptotic Expansions. John Wiley. 1976. New York-London-Toronto.

[18] Box G., Watson G. Robustness to non-normality of regressiontests // Biometrika. 1962. Vol. 49. P. 93�106.

[19] Bentkus V., Gotze F. Optimal bounds in non-Gaussian limittheorems for U-statistics // Annals of Probability. 1999. Vol. 27.No 1. P. 454�521.

[20] Áîëüøåâ è Ñìèðíîâ 1983. ????

[21] Sakalauskas L. L., Steishunas S. Stochastic optimization methodbased on the Monte-Carlo simulation // Proc. Intern. AMSEConference "Applied Modeling and Simulation". Lviv (Ukraine).Sept. 30-Oct. 2. 1993. AMSE Press. P. 19�23.

[22] Äúåäîííå Æ. Îñíîâàíèÿ ñîâðåìåííîãî àíàëèçà. Ì.: Ìèð.1964.

[23] Ôåëëåð Â. Ââåäåíèå â òåîðèþ âåðîÿòíîñòåé è å¸ ïðèëîæåíèÿ,÷. 2. Ì.: Ìèð. 1984.

20