Метод оптимизации Хука-Дживса

МЕТОД НЕЛИНЕЙНОЙ ОПТИМИЗАЦИИ ХУКА-ДЖИВСА

Ознакомиться с методами нелинейной оптимизации нулевого порядка

Детально изучить метод нелинейной оптимизации Хука-Дживса

Используя алгоритм Хука-Дживса реализовать программу нахождения минимума функции Розенброка с заданной точностью

Нижников М. С. Курсовой проект 2011

Постановка задачи


Методы оптимизации, не использующие значения производных функции, называются методами нулевого порядка. Они сходятся медленнее, чем градиентные методы, но используются в том случае, если значения производных сложно получить в виде аналитических функций или процесс вычисления производных довольно трудоёмкий.


Методы нелинейной оптимизации нулевого порядка


Метод Хука — Дживса (англ. Hooke — Jeeves), служит для поиска безусловного локального экстремума функции и относится к прямым методам, то есть опирается непосредственно на значения функции. Алгоритм делится на две фазы: исследующий поиск и поиск по образцу.


Метод оптимизации Хука-Дживса


На начальном этапе задается стартовая точка (обозначим её 1) и шаги по координатам. Затем зафиксируем значения всех координат кроме 1-ой, вычисляем значения функции в точках и (где — первая координата точки, а — соответственно значение шага по этой координате) и переходим в точку с наименьшим значением функции. В этой точке зафиксируем значения всех координат кроме 2-ой, вычисляем значения функции в точках и , переходим в точку с наименьшим значением функции и т. д. для всех координат.


Исследующий поиск

hi

00 hx 00 hx 0x 0h

11 hx 11 hx


В случае, если для какой-нибудь координаты значение в исходной точке меньше, чем значения для обоих направлений шага, то шаг по этой координате уменьшается. Когда шаги по всем координатам станут меньше соответствующих значений , алгоритм завершается и точка 1 признаётся точкой минимума.



ih

ie



Иллюстрация первого этапа для двух координат

ih


Таким образом, проведя исследующий поиск по всем координатам, мы получим новую точку, с наименьшим значением функции в окрестности (обозначим ее 2). Теперь можно осуществлять переход ко второй фазе алгоритма.




На этапе поиска по образцу откладывается точка 3 в направлении от 1 к 2 на том же расстоянии. Её координаты получаются по формуле ,. Затем в новой точке 3 проводится исследующий поиск, как на 1 фазе алгоритма, за исключением того, что шаг на этой фазе не уменьшается. Если на этой фазе, в результате исследующего поиска, удалось получить точку 4, отличную от точки 3, то точку 2 переобозначим как 1, а 4 как 2 и повторим поиск по образцу. В случае, если не удаётся найти точку 4, отличную от точки 3, точку 2 переобозначаем как точку 1 и повторим 1-ю фазу алгоритма — исследующий поиск.


Поиск по образцу

)(2 1213 xxxx



Иллюстрация второго этапа поиска для двух координат



Алгоритм метода Хука-Дживса


Функция Розенброка

( ) — невыпуклая функция, используемая для оценки производительности алгоритмов оптимизации, предложенная Ховардом Розенброком (англ.) в 1960 году.


Функция Розенброка

222 )(100)1(),( xyxyxf


Прямой поиск минимума функции Розенброка с точностью 10E-5, начиная из точки [-1.2,2] (поиск минимума заканчивается в точке[0.991433,0.982924]), и из точки [-0.3,1.1] (поиск минимума заканчивается в точке [0.991190,0.982440])


Результаты поиска минимума функции Розенброка методом Хука-

Дживса


• изучены некоторые методы нелинейной оптимизации нулевого порядка

• детально изучен метод оптимизации Хука-Дживса

• с помощью алгоритма Хука-Дживса с заданной точностью найден минимум функции Розенброка


Заключение


• Химельблау, Д. Прикладное нелинейное программирование./Д, Химельблау М.: Мир, 1975.-536 с.

• Банди, Б. Методы оптимизации. Вводный курс: Пер с англ./Б, Банди./ М.: Радио и связь, 1988. – 128 с.

• [Электрон. ресурс] MAPLE. Язык технических вычислений. БГУ, факультет прикладной математики и информатики, \\Serv314\subfaculty\Каф. МФ\ Электронные ресурсы\Методика_MAPLE.rar

• [Электрон. ресурс] Электронный учебник по Maple, http://detc.usu.ru


Использованные материалы

Documents

Метод оптимизации Хука-Дживса