1) Погрешности численного решения задач.2) Постановка задачи численного метода решения нелинейных уравнений3) Два этапа численного метода решения нелинейных уравнений4) Метод половинного деления5) Метод простой итерации6) Метод Ньютона7) Метод хорд8) Сравнения численных методов решения нелинейных уравнений9) Постановка задачи аппроксимации10) Виды интерполяции11) Интерполяционный многочлен Лагранжа.12) МНК13) Конечные разности14) Интерполяционные формулы Ньютона15) Сравнительная характеристика Лагранжа и Ньютона16) Постановка задачи численного интегрирования17) Метод прямоугольников18) Метод трапеций19) Метод Симпсона20) Метод двойного просчета21) Постановка задачи численного решения ОДУ22) Метод Эйлера23) Метод Рунге-Кутты 2 порядка24) Метод Рунге-Кутты 4 порядка25) Обобщенный вид формулы Рунге-Кутты для решения ОДУ26) Метод автоматического выбора шага при решении ОДУ с заданной

точностью27) Постановка задачи одномерной оптимизации28) Унимодальность функции29) Метод дихотомии, Фибоначчи30) Метод золотого сечения, квадратичной оптимизации31) Сравнение методов дихотомии и золотого сечения32) Постановка задачи многомерной оптимизации33) Методы спуска34) Градиентный метод с дроблением шага35) Метод наискорейшего спуска НСА36) Метод наискорейшего спуска НСЧ37) Проблема оврагов38) Метод покоординатного спуска

Погрешности численного решения задач. Абсолютная и относительная погрешности, погрешность функции.

Степень отличия приближенного значения числа от его точного значения характеризуется погрешностью. – точное число и –приближенное значение

Абсолютная погрешность:

Относительная погрешность

Использование относительных погрешностей удобно тем, что они не зависят от масштабов величин и единиц измерений данных. Относительная погрешность измеряется в долях или процентах. при сложении и вычитании чисел абсолютные погрешности складываются при умножении и делении чисел отн. погрешности складываются д(a*b)=д(a)+д(b); д(a/b)=д(a)+д(b)при возведении в степень приближенного числа отн. погрешность умножается на степень

1

Постановка задачи численного метода решения нелинейных уравнений.

Определение корней уравнения с одним неизвестным можно представить как f(x) = 0. В зависимости от вида f(x) различают алгебраические и трансцендентные уравнения.

Алгебраическими уравнениями называются уравнения, в которых значение функции f(x) представляет собой полином n-й степени f(x) = Р(х) = an xn + a2 x2 + …+ a1 x + a0 = 0

Трансцендентным уравнением называется всякое не алгебраическое уравнение (sin(x), cos(x), ln(x),ex)

Решением уравнения f(x)=0 называется совокупность корней, то есть такие значения независимой переменной , при которых уравнение обращается в тождество .

Корень с заданной точностью ( >0) найден, если вычислено приближенное значение , которое

отличается от точного значения корня не более чем на значение e

2

Два этапа численного метода решения нелинейных уравнений.

1) отделение корней (локализация корней).2) итерационное уточнение корней.

Корень уравнения f(x)=0 считается отделенным на отрезке , если на этом отрезке данное уравнение не имеет других корней

Существуют графический и аналитический способы отделения корней.

Графическое отделение корней основано на графическом способе решения уравнений – отыскании точек, в которых функция f(x) пересекает ось 0Х.

Аналитическое отделение. [Т]: Если функция f(x) непрерывна и монотонна на отрезке [a;b] и принимает на концах отрезка значения разных знаков, то на отрезке [a;b] содержится один корень уравнения f(x)=0.

f(a)∙f(b)<0 и f'(x)>0 для xÎ [a;b], то график функции пересекает ось 0Х только один раз и, следовательно, на отрезке [a;b] имеется один корень уравнения f(x) = 0.

Задача уточнения корня уравнения с точностью , отделенного на отрезке [a;b], состоит в нахождении

такого приближенного значения корня , для которого справедливо неравенство . Если уравнение имеет несколько корней, то этап уточнения проводится для каждого отделенного корня.

3

Метод половинного деления.

Пусть корень уравнения f(x)=0 отделен на отрезке [a;b], то есть на этом отрезке имеется единственный корень, а функция на данном отрезке непрерывна.

В методе половинного деления от итерации к итерации происходит последовательное уменьшение длины первоначального отрезка [a0;b0] в два раза. Поэтому на n-м шаге справедлива следующая оценка

погрешности результата: где - точное значение корня, хnÎ [an;bn] – приближенное

значение корня на n-м шаге.

Погрешность

Алгоритм1)

Ввод E,a,b2)

Объявление f(x)

3) Вычисление f(x) в точке с = (a+b)/2

4) Проверка |f(c)|<E Если да то 8 если нет то 5

5) Проверка f(c)*f(b)<0 Если да то a=c иначе b=c

6) Вывод a,b,f(a),f(b)

7) C=(a+b)/2, переход к 4

8) Вывод f(c),c

9) Конец

4

Метод простой итерации. Сходимость метода простой итерации. Способы улучшения сходимости.

Метод итераций предполагает замену уравнения f(x)=0 равносильным уравнением x=j(x). Если корень уравнения отделен на отрезке [a;b], то исходя из начального приближения x0Î [a;b], можно получить последовательность приближений к корню x1 = j(x0), x2 = j(x1), …

Условие сходимости Пусть j(x) определена и дифф. на [a;b] причем все значения j(x) Î [a;b] Тогда если сущ. правильная дробь q: |j’(x)|<=q<1. Для xÎ [a;b] то процесс итер. сход.независимо от x0Î [a;b] и предельное значение x*=lim[n->inf] Xn – единств. корень ур-я x=j(x) на [a;b]

Оценка погрешности

За число q можно принимать наибольшее значение |j'(x)|, а процесс итераций следует продолжать до тех пор, пока не выполняется неравенство

Геометрическая иллюстрация метода итерацийКорень уравнения х=j(x) –точка пересечения y = j(x) и y=x. Возьмем x0 Î [a;b]. На кривой y = j(x)

ему соответств. А0=j(x0). Проведем через А0 горизонтальную линию до пересечения с прямой y = x (точка В1) и опустим перпендикуляр до пересечения с кривой (точка А1), то есть х1=j(x0). Получаем последовательное приближение х1, х2, …, хn («лестницу») к корню х*.

В первом случае 0< j’(x)< 1, а во втором j’(x)<0 и j’(x)>-1. Таким образом, если |j’(x)|<1, то процесс итераций сходится к корню.

в третьем случае j’(x) >1

в четвертом случае j’(x) <1

Способы улучшения сходимости процесса итераций1. Пусть j(x) дифф. и монотонна в окрестностях корня и существует число k £ |j‘(x)|, где k ³ 1

(т.е. процесс расходится). Заменим уравнение х=j(x) эквивалентным ему уравнением х=Y(х), где Y(х) = 1/j(x) . Тогда

,а значит q=1/k < 1 и процесс будет сходиться.

2. Представим j(x) как j(x) = х - lf(x), где l не равно нулю. Усл.сход: 0<|j¢(x)| = |1 - lf¢(x)| < 1. Возьмем l= 2/(m1+M1), где m1 и M1 минимальное и максимальное значение f’(x) для хÎ [a;b], т.е. 0£ m1 £ f¢(x) £ M1£1. Тогда

и процесс будет сходящимся, рекуррентная формула имеет вид

Если f¢(x) < 0, то в рекуррентной формуле f(x) следует умножить на -1.

5

Метод Ньютона для решения нелинейных уравнений(метод касательных).

Пусть корень уравнения f(x)=0 отделен на отрезке [a;b], причем первая и вторая производные f’(x) и f''(x) непрерывны и знакопостоянны при хÎ [a;b].

Рекуррентная формула

Геометрическая интерпретация метода Ньютона: x0 правый конец отрезка [a;b] и в соответствующей точке В0 на графике функции y = f(x) построим касательную. Точка пересечения касательной с осью OX принимается за приближение х1. Повторение этой процедуры позволяет получить последовательность приближений х0, х1, х2 , . . ., которая стремится к точному значению корня x.

Условия сходимости метода Ньютонаf(x) опр и непрер. при любом x; f(a)*f(b)<0; f’(x) и f’’(x)!=0 и на [a;b] знакопостоянна.

Оценка погрешности метода Ньютона определяется следующим выражением:

где =min при

=max при

Условие окончания

6

Метод хорд

Геометрическая интерпретация1) Неподвижен правый конец

Проведем отрезок прямой через точки A и B. Очередное приближение x1 является абсциссой точки пересечения хорды с осью 0х. Построим

уравнение отрезка прямой:

Положим y = 0 и найдем значение х = х1 (очередное приближение):

Повторим процесс вычислений для

получения очередного приближения к корню - х2:

В нашем случае f”(x)>0. В этом случае

расчетная формула метода хорд имеет вид

Эта формула справедлива, когда за неподвижную точку принимается точка b, а в качестве начального приближения выступает точка a2)Неподвижен левый конец

Уравнение прямой для этого случая имеет вид

Очередное приближение х1 при y = 0

Тогда рекуррентная формула метода хорд для случая f''(x)<0 имеет вид

Следует отметить, что за неподвижную точку в методе хорд выбирают тот конец отрезка [a;b], для которого выполняется условие f (x)∙ f¢¢ (x)>0.

Условие сходимости: Знакопостоянство f ’’(x) на [a;b]

Оценка погрешности:

Условие окончания : |f(Xn)|/m1<=E

7

Сравнение численных методов решения нелинейных уравнений.

Метод половинного деления очень прост и всегда сходится. Скорость сходимости очень мала, применим для грубого уточнения корня.

Метод касательных (метод Ньютона) эффективен для решения уравнений, график которых в окрестности корня имеет большую крутизну. Метод обладает высокой скоростью сходимости, но сходимость зависит от вида функции, поэтому надо выбирать отрезок небольшой длины.

Метод хорд также обладает хорошей скоростью сходимости. При правильном выборе неподвижной точки последовательность приближений гарантированно сходится к корню уравнения.

Метод простой итерации дает возможность «угадывать» новые значения х на любом шаге. Следовательно, если процесс сходится медленно, можно вносить коррективы, учитывая предыдущие результаты. Метод прост и обладает хорошей сходимостью. Однако перед его использованием требуется преобразование исходного уравнения и проведение дополнительных вычислений. Отметим, что на практике, при решении нелинейных уравнений обычно используется комбинация нескольких методов.

8

Постановка задачи аппроксимации. Понятия интерполяции и экстраполяции. Геометрическая иллюстрация задачи интерполяции.

Задача аппроксимации состоит в следующем. Функцию f(x), заданную таблично, требуется приближенно заменить (аппроксимировать) некоторой функцией j(х) так, чтобы отклонение j(х) от f(x) в некоторой области удовлетворяло заданному условию. Функция j(х) называется аппроксимирующей функцией. В качестве аппроксимирующей функции часто используют алгебраический многочлен вида jm(x) = a 0 + a 1 x + a 2 x2 + … + a m xm

В этом случае говорят о параболической аппроксимации.

Частным случаем задачи аппроксимации является интерполяция. Для функции y = f(x), заданной в (n + 1) точке , найти функцию j(х), принимающую в этих точках заданные значения, то есть.

j(Xi)=Yi – условие интерполяции

___ интерполируемая функция

----- интерполирующая функция

9

Виды интерполяции. Полиномиальная интерполяции.

Задача интерполяции состоит в следующем. Функцию f(x), заданную таблично, требуется приближенно заменить некоторой функцией j(х) так, чтобы j(х) совпадала с f(x) в узлах интерполяции. Функция j(х) называется интерполирующей функцией. В качестве интерполирующей функции часто используют алгебраический многочлен вида jm(x) = a 0 + a 1 x + a 2 x2 + … + a m xm

В этом случае говорят о параболической интерполяции. j(Xi)=Yi – условие интерполяции.

10

Интерполяционная формула Лагранжа

Пусть функция f(x) задана в (n + 1) узлах, произвольно расположенных на отрезке [a;b]: y0 = f(x0), y1 = f(x1), … yn = f(xn).

Требуется найти интерполирующий алгебраический многочлен Ln(x), степени не выше n, удовлетворяющий условию интерполяции.Будем искать Ln(x) вида Ln = Q0(x)y0 + Q1(x)y1 + … + Q n(x) yn, где Qi(x) – коэффициенты, зависящие от узлов и текущего значения х.

Для того, чтобы выполнялись условия интерполяции, требуется, чтобы коэффициенты Qi(x):

Чтобы L(х0)=y0, необходимо, чтобы Q0(x0) = 1, Q1(x0) = 0, …, Qn(x0)= 0.

Этим требованиям отвечает коэффициент вида:

Чтобы Ln(x1) = y1,необходимо, чтобы Q1(x1) = 1; Q0(x1) = 0… Qn(x1) = 0.Следовательно:

Для интерполяционного многочлена Лагранжа это выражение будет следующее:

.

Оценка погрешности где m – используемое число узлов.

11

Метод наименьших квадратов. Критерий близости, невязка.

Критерий близости где (n+1) – количество узловых точек.

Система уравнений относительно параметров a0, a1, ..., am матрица системы называется м. Грама.

Элементы матрицы:

Для получения значений параметров следует решить систему уравнений

Пусть в качестве аппроксимирующей функции выбрана линейная зависимость y= a0+a1x . Тогда

.Условия минимума:

Тогда первое уравнение имеет вид

Упрощая получим .

Первое уравнение принимает вид: .

Для получения второго уравнения, приравняем нулю частную производную по а1:

. .

Система линейных уравнений для нахождения коэффициентов многочлена :

Введем следующие обозначения (средние зн.).

В случае применения метода наименьших квадратов для определения коэффициентов аппроксимирующего многочлена второй степени y=a0+a1x+а2х2, критерий минимизации имеет вид

.Из условия

Решение этой системы уравнений относительно а0, а1, а2 позволяет найти коэффициенты эмпирической формулы - аппроксимирующего многочлена 2-го порядка.

НевязкаВ качестве меры уклонения заданных значений функции y0, y1, ..., yn от многочлена степени m -

φ(x)=a0 φ0(x)+a1 φ1(x)+...+am φm(x) ,принимается величина (n+1) –

количество узлов, m – степень аппроксимирующего многочлена, n+1>=m.

12

Конечные разности. Таблица конечных разностей.

Конечной разностью первого порядка называется разность Dyi = yi+1-yi, где yi+1= f(xi+h) и yi = f(xi).

Конечные разности второго порядка:

Отметим, что любые конечные разности можно вычислить через значения функции в узлах интерполяции, например:

Для конечной разности k-го порядка: .

Для таблицы с равноотстоящими узлами конечные разности k-го порядка постоянны или малы настолько, что соизмеримы с заданной погрешностью, то функцию можно представить многочленом k-й степени. Если конечные разности k+1 порядка равны 0, то функцию можно представить многочленом k порядка.

Таблица конечных разностейX Y Dy D2y D3y

13

Интерполяционные формулы Ньютона. Частные случаи формул. Погрешности.Пусть функция y = f(x) задана в n+1 равноотстоящих узлах , i = 0, 1, 2, …, n, с шагом h. Первая интерполяционная формулу Ньютона:

(интерполяция вперед)

Вторая интерполяционная формула Ньютона:

Погрешности интерполяционных формул Ньютона

14

Сравнительная характеристика формул Лагранжа и Ньютона.

Формулу Лагранжа можно применять для таблиц с различными расстояниями между узлами, а формулы Ньютона – только для таблиц с равноотстоящими узлами.

Формулы Ньютона имеют следующее преимущество перед формулой Лагранжа. Увеличение степени интерполяционного полинома на единицу (добавление в таблицу значений функции одного узла) при использовании формулы Лагранжа ведет не только к увеличению числа слагаемых, но и к необходимости пересчета каждого коэффициента заново, тогда как при использовании формулы Ньютона достаточно добавить к уже существующему многочлену только одно слагаемое.

15

Постановка задачи численного интегрирования.

Если функция f(x) непрерывна на отрезке [a;b] и дифференцируема, то определенный интеграл от этой функции в пределах от a до b существует и может быть вычислен по формуле Ньютона-Лейбница:

Для функции f(x), заданной в прямоугольной системе координат на интервале [a;b], этот интеграл численно равен площади, ограниченной кривой f(x), осью Ox и двумя ординатами ac и bd.

Задача численного интегрирования заключается в нахождении значения определенного интеграла через ряд значений подынтегральной функции yi=f(xi), заданной в точках xi (i=0,1,…,n). Причем, x0 = a, xn = b. Чаще всего интервал разбивают на подынтервалы длиной h = xi+1 - xi.

Формулы численного интегрирования представляют собой квадратурные формулы вида:

где Ai – числовые коэффициенты, называемые весами квадратурной формулы, а xi – точки из отрезка - узлами квадратурной формулы, n > 0 – целое число.

Искомый определенный интеграл можно представить в виде суммы интегралов:

На каждом i-м отрезке функция аппроксимируется некоторой другой легко интегрируемой функцией gi(x).

В результате получаем следующую квадратурную формулу:.

Для решения поставленной задачи заданную функцию f(x) необходимо заменить приближенной функцией, которая может быть проинтегрирована в аналитическим виде.Для получения простых формул интегрирования используют полиномы нулевой, первой и второй степени и соответственно получают формулы численного интегрирования: прямоугольников, трапеций и Симпсона.

Замена функции f(x) интерполирующим полиномом приводит к образованию погрешности

где I1 – точное значение интеграла, I – значение интеграла,

вычисленного численным методом, а – погрешность.Отметим, что увеличение числа подынтервалов n (или уменьшение длины шага интегрирования h)

ведет к уменьшению погрешности.

16

Метод прямоугольников: получение формул левых, правых и средних прямоугольников, геометрическая иллюстрация, алгоритм, погрешности.

Заменим подынтегральную функцию f(x) в пределах элементарного отрезка [xi;xi+1] интерполяционным многочленом нулевой степени, то есть постоянной величиной, равной f(xi), либо f(xi+1).

Значение элементарного интеграла равно площади прямоугольника, в первом случае I = h∙f(xi), а во втором I = h∙f(xi+1), где h = xi+1 - xi. Для определения значения интеграла на отрезке [a;b] найдем суммы элементарных интегралов, взяв в первом случае в качестве f(x) - значение подынтегральной функции в левом конце i –го отрезка, а во втором – в правом конце отрезка, тогда:

левых прямоугольников

правых прямоугольников

средних прямоугольников

Погрешность для левых или правых прямоугольников:

Для средних

17

x

dc

hxi xi+1

P0(xi) P0(xi+1) f(x)y

h/2

x

d

c

a=x0 b=xn

f(x)

Xi+1x1 x2 Xn-1xi

f(x)

Метод трапеций.

Разобьем интервал [a;b] на n равных отрезков и восстановим из полученных точек a, х1, x2, …, b

перпендикуляры до пересечения с графиком

функции. Соединив точки пересечения, представим площадь полученной криволинейной трапеции как сумму прямолинейных трапеций, площади которых легко подсчитать. Заменив подынтегральную функцию f(x) в пределах элементарного отрезка [xi;xi+1] интерполяционным многочленом первой степени, получим следующие формулы для элементарных площадей:

Отсюда получаем формулу трапеций:

Погрешность метода трапеций

18

x

y

f(x)

xi Xi+1 Xi+2

P2(x)yi+2

yi+1yi

Метод Симпсона.Для получения формулы Симпсона применяется квадратичный интерполирующий полином,

следовательно, за элементарный интервал интегрирования - [xi;xi+2]. Разобьем интервал интегрирования [a;b] на n отрезков, где n=2m – четное число

формула Симпсона выглядит следующим образом:

или

Погрешность метода Симпсона

19

Метод двойного просчета (правило Рунге).Этот прием основан на двукратном вычислении значения интеграла вначале с шагом h, а затем с

шагом h/2.

k=1 - для формул левых и правых прямоугольников;k=2 - для формул трапеции и средних прямоугольников;k=4 - для формулы Симпсона.

Если полученная погрешность не удовлетворяет требуемой точности, то вычисляется значение интеграла при h=h/4 и снова оценивается погрешность, и т.д. до тех пор, пока не окажется, что погрешность стала меньше заданной точности. Это правило называется правилом Рунге (или правилом двойного просчета).

20

Постановка задачи численного решения ОДУОбыкновенным называется такое дифференциальное уравнение от одной переменной, которое

содержит одну или несколько производных от искомой функции y(x).

Для ОДУ 1-го порядка справедливы следующие формы записи:

Решением ОДУ первого порядка называется такая функция, которая при подстановке в уравнение обращает его в тождество.

Общее решение ОДУ первого порядка содержит одну произвольную постоянную y = j(x,C) и описывает множество функций, удовлетворяющих уравнению y¢ = f(x,y)

Если произвольная постоянная принимает конкретное значение С=С0, то из общего решения ОДУ, по т. Коши, получаем частное решение y = j(x,C0), т.к. через каждую точку (x0, y0) проходит только одна интегральная кривая.

Теорема Коши для ОДУ 1-го порядка звучит так:

Если в ОДУ функция y¢ = f(x,y) и ее частная производная f¢ (x,y) определены и непрерывны в некоторой области G изменения переменных x и y, то для всякой внутренней точки (x0, y0) этой области данное уравнение имеет единственное решение.

Значения x0, y0 называются начальными условиями. Таким образом, численное решение ОДУ представляет собой таблицу значений искомой функции для заданной последовательности аргументов, xi+1=xi+h, i=0, 1, …,n, где h = xi+1-xi называется шагом интегрирования.

Выделяют два класса методов решения ОДУ: одношаговые и многошаговые. В одношаговых методах для нахождения следующего значения функции требуется значение только одной текущей точки,

то есть а в многошаговых – нескольких, например

21

x

y

x0

y=φ(x,C0)

y0

y=φ(x,C1)

Метод ЭйлераПусть дано уравнение y¢=f(x,y), с начальными условиями x0, y0 = y(x0). Требуется найти решение

данного уравнения на отрезке [a;b] (обычно x0=а) в n точках.Аналитический вывод

График искомой функции y(x) проходит через точку А(x0,y0), заданную начальными условиями.

Найдем yi = y(xi). Для этого проинтегрируем производную, заданную на интервале [x0;x1] по формуле Ньютона – Лейбница:

Отсюда значение искомой функции в точке x1

Примем допущение, что на интервале [x0;x1] производная исходной функции постоянна и равна своему значению в точке А(x0,y0). Тогда по формуле прямоугольников

Геометрический выводПоскольку значение производной f’(x0,y0)=tga, то в прямоугольном треугольнике ABD Dy0=h×tga, и, следовательно, y1=y0+Dy0=y0+h×f¢(x0,y0). Таким образом, y1 может быть найдено геометрически в результате замены искомой кривой y(x) касательной, проведенной в точке А.

Продолжая этот процесс и принимая подынтегральную функцию f(x) на соответствующем участке [xi,xi+1] постоянной и равной ее значению в начале отрезка, получим решение дифференциального уравнения в виде значений искомой функции y(x) на отрезке [a;b]. График решения представляет собой ломаную линию, которая называется ломаной Эйлера. При этом общая формула для определения очередного значения функции имеет вид:

Погрешность метода Эйлера связана с величиной шага интегрирования отношением e1 =C1h2, где C1 – произвольная постоянная.

22

y

y0

x0 x

y1

y2

x1 x2

A

C

BD

Аналитическое решение ОДУ y(x)

Угол α

Метод Рунге-Кутты 2-го порядка

Сначала вычисляют вспомогательную величину yi+1 по методу Эйлера:

Затем значение производной искомой функции в точке (xi+1,yi+1) используется для вычисления

окончательного значения функции:

Получим расчетную формулу метода Рунге-Кутты 2-го порядка:

Этот метод также называют методом прогноза и коррекций. Сначала находят грубое приближение yi+1 по методу Эйлера (прогноз), а затем уточненное значение yi+1 (коррекция).

В общем виде формулу (6.5.3-3) можно представить как

Построение: - пересечение перпендикуляра, из точки xi+1 c касательной L1, к кривой y(x) в

предыдущей точке (хi,yi). Затем в точке проводится прямая L2, с тангенсом равным .

Прямую проводят через точку под углом, тангенс которого – ср. знач. тангенсов углов L1 и L2.

L проводится параллельно через точку (хi,yi). Ее пересечение с перпендикуляром,из точки хi+1, и дает уточненное значение yi+1.

Погрешность метода Рунге-Кутты второго порядка:e2 =C2h3, где C2 – произвольная постоянная.

23

Метод Рунге-Кутты 4-го порядка

Расчетная формула для метода Рунге-Кутты 4го порядка:yi+1=yi+h/6(k1+2k2+k4)k1=f(xi,yi)k2=f(xi+h/2,yi+hk1/2)k3=f(xi+h/2,yi+hk2/2)k4=f(xi+h,yi+h*k3)

Погрешность метода Рунге-Кутты четвертого порядка значительно меньше методов первого и второго порядков и пропорциональна величине h ( e4 =C4h5).

24

Обобщенный вид формулы Рунге-Кутты для решения ОДУ. Порядок метода.

Методы Рунге-Кутты – это группа методов, применяемых для решения ОДУ. При вычислении значения искомой функции в очередной точке хi+1,используется предыдущая точка (хi,yi).

Порядок метода Рунге-Кутты определяется кратностью вычисления значения производной искомой функции f(x,y) на каждом шаге. В соответствии с этим метод Эйлера является методом Рунге-Кутты первого порядка, поскольку для получения очередного значения yi+1 функция f(x) вычисляется один раз в предыдущей точке хi, yi. В методах Рунге-Кутты более высоких порядков для вычисления очередного значения искомой функции в точке хi+1 значение правой части уравнения y’= f(x,y) вычисляется несколько раз, количество которых и определяет порядок метода.

25

Метод автоматического выбора шага при решении ОДУ с заданной точностью

Для обеспечения требуемой точности применяется автоматический выбор шага методом двойного просчета. При этом в каждой точке хi по формуле, соответствующей выбранному методу, производится расчет yi с шагом h (yi

(h)) и с шагом h/2 (yi(h/2)). Цель двойного просчета состоит в том, чтобы

для каждой точки численного решения эти значения отличались на величину, не превышающую заданной погрешности e. Для оценки погрешности решения ОДУ методами Рунге-Кутты имеет следующий вид:

где p – порядок метода Рунге-Кутты.

Если | yi(h)) - yi

(h/2)|< e, то шаг для следующей точки выбирается равным h, иначе шаг уменьшается вдвое и продолжается уточнение y i в точке хi.

26

Постановка задачи одномерной оптимизации. Локальный и глобальный минимум.

По количеству независимых переменных различают задачи одномерной оптимизации (n=1) и многомерной оптимизации (n ³ 2). При этом задача нахождения максимума целевой функции сводится к задаче нахождения минимума путем замены функции f(x) на -f(x).

В области допустимых значений функция f(x) может иметь несколько экстремумов. Функция f(x) имеет в точке x* локальный минимум, если существует некоторая положительная величина d, такая, что если ½х – х*½< d, то f(x)³ f(x*), т.е. существует d - окрестность точки х*, такая, что для всех значений х в этой окрестности f(x)³ f(x*).

Функция f(x) имеет глобальный минимум в точке x*, если для всех х справедливо неравенство f(x)³ f(x*). Таким образом, глобальный минимум является наименьшим из локальных.

y

x1x2

x3 x5

x4

Задачей одномерной оптимизации является нахождение точек локального минимума и соответствующих им значений функции, а в некоторых случаях требуется вычислить глобальный минимум. Однако, во всех случаях эта задача сводится к задаче нахождения локального минимума.

Интервал, на котором локализован единственный минимум, называется отрезком неопределенности.

27

Унимодальность функции. Необходимые и достаточные условия минимума.

Необходимое условие существования экстремума дифф. функции f(x) - f¢(х) = 0. Точка х, удовлетворяющая данному условию - точкой стационарности.Достаточное условие существования минимума в точке стационарности - f¢¢(х)>0,

максимума - f¢¢(х)<0.

Задача одномерной оптимизации имеет единственное решение, если f(x) на отрезке [a;b] имеет только один экстремум. Тогда говорят, что функция унимодальная на отрезке [a;b].

Достаточными условиями унимодальности функции на отрезке [a;b] являются:1. f(x)- дифф. ее производная f¢(х) является неубывающей.2. f(x)- дважды дифф. выполняется неравенство f¢¢(х)³0.

Все численные методы одномерной оптимизации применяются только для унимодальных на определенном интервале функций.

28

Метод Дихотомии. Метод Фибоначчи.f(x) -унимодальная на отрезке [a;b]. Обозначим a0=a и b0=b. Поиск минимума начинают с выбора на отрезке неопределенности [a0;b0] двух симметричных относительно середины точек:

где d - параметр метода.

Сравнивая вычисленные в точках a1 и b1 значения функций f(a1) и f(b1), в силу унимодальности функции можно провести сокращение отрезка неопределенности следующим образом:

1) если f(a1) £ f(b1), то x*Î [a0;b1] (Рис.1)2) если f(a1) > f(b1), то x*Î [a1;b0] (Рис.2).

Если описанную процедуру принять за одну итерацию, то алгоритм поиска минимума можно описать следующим образом. Опишем k+1 итерацию, исходя из того, что k-й отрезок неопределенности найден [ak;bk]:

1. Вычисляются

2. Находят значения f(ak+1) и f(bk+1).3. Находят k+1-й отрезок неопределенности по правилу:

если f(ak+1) > f(bk+1), то x* Î [ak+1;bk], если f(ak+1) £ f(bk+1), то x*Î [ak;bk+1]).

Вычисления проводятся до тех пор, пока не выполнится неравенство

где Dn – длина n-го отрезка неопределенности.Длину конечного интервала неопределенности, обеспечивающего заданную величину e, можно вычислить

по формуле

Положив Dn = e, можно определить соответствующее количество итераций:

Метод ФибоначчиПоследовательный метод определения минимума x* унимодальной на [a;b] ф-ции f(x) связан с числами фибоначчи, определяемых соотношением.F1=1 F2=1Fn+2=Fn+1+Fn, n=1,2,3…Последовательный метод Фибоначчи использует на каждом шаге числа (ak,bk,xk) локализующие минимум ф-ции на отрезке Дк=bk-ak=(b-a)Fn-k+3/Fn+2, 1<=k<=n, a1=a, b1=bТочка xk ak<=xk<=bk, f(xi)=min f(xi), 1<=i<=k совпадает с одной из точекx’k=ak+(b-a)Fn-k+1/Fn+2 x’’k=ak+(b-a)Fn-k+2/Fn+2 - на [ak;bk] симметрично относительно его середины.На каждом [ak;bk] содержащем xk с предыдущего шага при выборе следующей точки за xk+1 принимаем наиболее удаленную точку от xk

Точность вычисления x* удовл. |x*-xmin|<=E, xmin – истинное значение аргумента т. минимума ф-ции не превышает (b-a)/Fn+2

0<E<(b-a)/Fn+1, n>=1 => (b-a)/Fn+2 <=E<(b-a)/Fn+1 Длины последовательных отрезков [ak;bk]:Ln-1=2Ln-ELm-1=Lm+Lm+1, 1<m<nLn-j=Fj+1Ln-Fj-1E, j=1,2,3… (n-1)Число итераций N и число отсчетов n: n=N+1Длина конечного интервала минимизации по м.Фибоначчи: Ln<=2L0/Fn+2

29

x

y

f(x) fx)

b0a0

b1α1

a0 α1

a1

β1β1

Метод «золотого сечения». Метод квадратичной оптимизации.Отрезок неопределенности [a.b] разбивается в соотношении золотого сечения, так, что отношение длины его большей части ко всей длине отрезка равно отношению длины его меньшей части к длине его большей части:

l

l2 l1

Положим l =1, тогда l22= 1 - l2 , а l2

2 + l2 -1= 0, откуда

где k1, k2 - коэффициенты золотого сечения.В методе золотого сечения каждая точка (х1 и х2)осуществляет золотое сечение отрезка.

Точка х1 осуществляет золотое сечение не только [a;b], но и [a;х2]. Точно так же х2 осуществляет золотое сечение не только [a;b], но и [х1;b]. Значение функции на каждой итерации (кроме первой) вычисляется один раз.После каждой итерации длина отрезка неопределенности сокращается в 1.618 раза. Длина конечного отрезка неопределенности Dn = 0.618nD0, где D0= (b-a) – начальная длина отрезка.Условие окончания процесса итераций Dn e. Отсюда можно найти количество итераций, необходимое

для достижения точки минимума:

Метод квадратичной оптимизацииf(x)- унимодальная на [a;b]. Найдем прибл. знач. мин ф-ции с точностью E.Аппроксимируем ф-цию f(x) в окр-ти точки мин. ф-цией вида: ц(ч)=Ax2+Bx+C, где точка минимума имеет координаты: x=-B/2A; y=f(x) Далее: x*==x; f(x*)= yПо значениям f(x) в трех точках x1,x2,x3 из предположения f(x)==ц(ч) на малом отрезке содержащем точки x1,x2,x3 :

[Ax12+Bx1+C=f1

Ax22+Bx2+C=f2

Ax32+Bx3+C=f3] f1=f(x1); f2=f(x2); f3=f(x3)

Из системы находим A,B,C затемXM=(x1+x2)/2+((f1-f2)(x2-x3)(x3-x1))/(2*((x2-x3)f1+(x3-x1)f2+(x1-x2)f3)), где XM- прибл. зн. x*

Пусть t- прибл. зн. x* - точки минмума ф-ции f(x). Выберем H=const, H==x*-t

30

Сравнение методов дихотомии и «золотого сечения»

На каждой итерации при использовании метода дихотомии отрезок неопределенности сокращается практически в два раза, а при использовании метода золотого сечения в 1.618 раз.

Конечная длина отрезка неопределенности при использовании метода дихотомии , а

при использовании метода золотого сечения - , поэтому для обеспечения одного и того же значения погрешности методом дихотомии требуется произвести меньше итераций, чем при использовании метода золотого сечения.

На каждой итерации в методе дихотомии целевая функция вычисляется два раза, а в методе золотого сечения только один раз, следовательно, метод золотого сечения менее трудоемок с точки зрения вычислений.

31

Постановка задачи многомерной оптимизации. Необходимые и достаточные условия существования минимума.

Задача, требующая нахождения оптимального значения функции m переменных f(Х)=f(x1, x2, …, xm), называется задачей многомерной оптимизации.

В постановке задачи безусловной оптимизации для f(Х)=f(x1, x2, …, xm) требуется найти хотя бы одну точку минимума Х* и вычислить f*=f(Х*). Точка Х*Î Rm называется точкой глобального минимума функции f на множестве Х, если для всех ХÎ Rm выполняется неравенство f(Х*)£f(Х). В этом случае значение f(Х*) называется минимальным значением функции f на Rm.

Точка Х*Î Rm называется точкой локального минимума функции f, если существует такая d - окрестность Ud этой точки (d>0), что для всех ХÎХd=Х Ud выполняется неравенство f(X*)£f(X).

Множество точек, для которых целевая функция принимает постоянное значение f(x1, x2, …, xm) = c, называется поверхностью уровня.

Функция f(x1,x2) задает поверхность U=f(x1,x2), низшая точка которой и дает решение задачи минимизации. Чтобы изобразить рельеф этой поверхности, проведем несколько плоскостей (U = const): U=c1, U=c2, U=c3.

Проекции на плоскость Ох1х2 линий пересечений этих плоскостей с поверхностью и дают линии уровня.

Можно определить вектор из первых частных производных, который называется градиентом grad(f(x))=

.

Направление градиента указывает направление наискорейшего возрастания функции, а его длина равна скорости возрастания функции.Вектор - называется антиградиентом и показывает

направление наискорейшего убывания функции.grad(f(x))=0 является необходимым условием того, чтобы точка Х была точкой локального

минимума дифференцируемой функции f. Точка Х, для которой выполняется равенство f’(X) = 0, называется стационарной точкой функции.

Для функции двух переменных Q(x, y) это условие имеет вид:

Достаточным условием того, чтобы стационарная точка Х была точкой локального минимума, является положительная определенность матрицы Гессе:

Для того, чтобы матрица была положительно определена, необходимо, чтобы все угловые миноры были положительны.Для функции двух переменных Q(x, y) матрица Гессе имеет вид:

,а достаточное условие существования минимума:

32

Методы спуска (общая характеристика). Градиентные методы.Большинство итерационных методов, применяемых для решения задач безусловной минимизации

функции нескольких переменных, относятся к классу методов спуска. Это такие методы, для которых каждая итерация (шаг) приводит к уменьшению значения целевой функции: f(xk+1)<f(xk), для всех k³0.

Структура типичного алгоритма метода спуска для функции 2-х переменных Q(x,y) состоит в следующем:

1. Задается начальная точка (x0, y0)

2. На текущей k-й итерации (k=0,1, …n) определяется вектор задающий направление

спуска, причем такой, чтобы для всех достаточно малых значений l>0 (где l- коэффициент, являющийся шагом поиска) выполнялось неравенство: f(xk + lpk, yk+ lsk) < f(xk,yk)

3. Вычисляется шаг поиска - lk, для которого выполняется условие п.2, и за очередное приближение к точке минимума принимается точка:(xk + lpk, yk+ lsk), где xk + lpk = xk+1, а yk+ lsk = yk+1.

4. Проверяется выполнение критерия окончания итераций. Если критерий метода выполняется, то полагают (x*,y*)»(xk+1,yk+1). В противном случае осуществляется переход к п.2 и выполняется следующая итерация.

Последовательность точек х1, х2, …, хk, получаемую методом спуска, называют траекторий спуска. В градиентных методах спуска направление движения к точке минимума целевой функции совпадает с направлением вектора антиградиента, а направление спуска выбирается по формулам:

Для использования градиентного метода оптимизации необходимо определить правило выбора шага (lk) на каждой итерации и правило прекращения итерационного процесса.

При выборе lk следует учитывать, что выбор малого шага на каждой итерации приведет к малым изменениям аргумента и функции, и, следовательно, к увеличению числа итераций, необходимых для решения задачи. Выбор слишком большого шага lk может привести не к убыванию целевой функции Q(x,y), а к ее увеличению, и, следовательно, процесс не будет сходиться к точке минимума.

33

Градиентный метод с дроблением шага (ГДШ): суть метода, алгоритм выбора шага, геометрическая иллюстрация, алгоритм метода, условие останова.

На каждой итерации шаг спуска lk выбирается таким образом, чтобы выполнялось условие:

Выбор шага в методе ГДШ заключается в следующем. Задается начальное значение шага lk = l0 (как правило, l0=0,5). Проверяется условие сходимости.

Если условие сходимости выполняется, то шаг спуска для данной итерации выбран, а если оно не выполняется, то принимают новый шаг lk = lk/2, и снова проверяют условие сходимости (и т.д.). Алгоритм метода ГДШ можно описать следующей последовательностью действий:

1. При k = 0 задаемся начальной точкой спуска (xk, yk), требуемой точностью e и начальным шагом l0 (пусть l0 =0,5).

2. Вычисляем значения

3. Вычисляем новые значения переменных

4. Проверяем условие сходимости: 5.

Если условие выполняется, то полагаем величину шага равной lk, в противном случае lk = lk/2 и переходим к п.3.

6. Проверка окончания процесса итераций (необходимого условия существования минимума):

Если условие выполнено, то минимум найден, а если нет - вычисление координат следующей точки (k=k+1) и передача управления п.2.

34

Метод наискорейшего спуска с аналитическим выбором шага (НСА): суть метода, получение аналитического выражения для определения величины шага, геометрическая иллюстрация,

алгоритм метода, условие останова.

Из выбранной точки (x0,y0) спуск осуществляют в направлении антиградиента до тех пор, пока не будет достигнуто минимальное значение целевой функции Q(x, y) вдоль луча. В найденной точке луч касается линии уровня. Затем из этой точки спуск проводится в направлении антиградиента (перпендикулярном линии уровня) до тех пор, пока соответствующий луч не коснется в новой точке проходящей через нее линии уровня, и т.д.

Выразим целевую функцию Q(x, y) через шаг l, представим целевую функцию на определенном шаге как функцию одной

переменной, т.е. величины шага

Величина шага на каждой итерации определяется из условия минимума функции :

= min( (l)) lk = l*(x k, y k), l >0.

Таким образом, на каждой итерации выбор шага lk

предполагает решение задачи одномерной оптимизации. По способу решения этой задачи различают:

- аналитический метод (НСА); - численный метод (НСЧ).

В методе НСА значение шага получают из условия

35

Метод наискорейшего спуска с численным выбором шага (НСЧ): суть метода, принцип определения величины шага, геометрическая иллюстрация, алгоритм метода, условие останова.

Из выбранной точки (x0,y0) спуск осуществляют в направлении антиградиента до тех пор, пока не будет достигнуто минимальное значение целевой функции Q(x, y) вдоль луча. В найденной точке луч касается линии уровня. Затем из этой точки спуск проводится в направлении антиградиента (перпендикулярном линии уровня) до тех пор, пока соответствующий луч не коснется в новой точке проходящей через нее линии уровня, и т.д.

Выразим целевую функцию Q(x, y) через шаг l, представим целевую функцию на определенном шаге как функцию одной

переменной, т.е. величины шага

Величина шага на каждой итерации определяется из условия минимума функции :

= min( (l)) lk = l*(x k, y k), l >0.

Таким образом, на каждой итерации выбор шага lk

предполагает решение задачи одномерной оптимизации. По способу решения этой задачи различают:

- аналитический метод (НСА); - численный метод (НСЧ).

В методе НСЧ значение шага получают находя минимум Ф(л) используя методы одномерной оптимизации, с начальным отрезком неопределенности [0;1]

36

Проблема оврагов. Геометрическая иллюстрация.

К сожалению, выбор антиградиента в качестве направления спуска не всегда является удачным. Особенно ярко это проявляется для овражных функций.

Градиентный метод сходится достаточно быстро, если для минимизируемой функции поверхности уровня близки к сферам (при m=2 линии уровня близки к окружностям).

Действительно, известно, что градиентный метод сходится очень медленно, если поверхности уровня минимизируемой функции сильно вытянуты в некоторых направлениях.

В двумерном случае рельеф соответствует поверхности U=Q(x1,x2) напоминает рельеф местности с оврагом. Поэтому такие функции принято называть «овражными».

Вдоль направлений, характеризующих «дно оврага», «овражная» функция меняется незначительно, а в других направлениях, характеризующих «склон оврага», происходи резкое изменение значений функции.

Если начальная точка Х0 попадает на «склон оврага», то направление градиентного спуска оказывается почти перпендикулярным «дну оврага» и очередное приближение Х1 попадает на противоположный «склон оврага».

Следующий шаг в направлении ко «дну оврага» возвращает приближение Х2 противоположный «склон оврага» и т.д.

В результате вместо того, чтобы двигаться вдоль оврага (в направлении точки минимума), траектория спуска совершает зигзагообразные скачки поперек «оврага».

Один из существенных недостатков градиентного метода связан с его чувствительностью к погрешностям вычислений. Особенно сильно этот недостаток сказывается в малой окрестности точки минимума, где антиградиент, задающий направление поиска, мал по модулю. Поэтому, эффективность градиентного метода на завершающей стадии существенно ниже, чем на начальной.

Проблему «оврагов» позволяют решать специально разработанные «овражные» и другие методы спуска, например, метод покоординатного спуска.

37

Метод покоординатного спуска.

В методе покоординатного спуска в качестве очередного направления спуска выбирают направление одной из координатных осей. Наиболее известным является метод циклического покоординатного спуска.

Рассмотрим очередной n+1 цикл одного из вариантов этого метода, считая, что приближение к минимуму функции Q(X)=Q(x1, … xm) уже найдено Хn.

1-й шаг. На первом шаге проводят спуск по координате x1. Значения остальных координат x2 = x2(n) ,

x3 = x3(n) , … , xm = xm

(n) фиксируют, а x1(n) выбирают из условия:

Q(x1(n+1) , x2

(n) … xm(n) ) = min Q(x1, x2

(n) … xm(n) )

x1

Фактически решается задача минимизации функции одной переменной.Q(x1) = min Q(x1, x2(n) … xm(n) )

2-шаг. На втором шаге производится спуск по координате x2. Значения остальных координат x1 = x1(n)

, x3 = x3(n) , … , xm = xm

(n) фиксируют, а x2(n+1) выбирают как решение задачи одномерной оптимизации

Q(x1(n+1) , x2

(n+1) , x3(n) … xm

(n+1) ) = min Q(x1(n+1), x2, x3

(n) … xm(n) )

x2

Аналогично осуществляют следующие шаги.m-й шаг. На последнем шаге координату xm

(n+1) определяют из условияQ(x1

(n+1) , x2(n+1) , … xm-1

(n+1),xm(n+1) ) = min Q(x1

(n+1), … xm-1(n+1),xm)

x2

В результате получается очередное приближение x(n+1) к точке минимума.Далее цикл метода снова повторяется. Каждый цикл метода состоит из m шагов (т.е. по количеству

переменных). Т.к. на k-том шаге очередного цикла значение координаты xk(n+1) определяют из условия

минимизации функции f по направлению xk, то необходимо, чтобы в точке (x1(n+1) , x2

(n+1) , … xk-1(n+1), xk,

xk+1(n+1) , …xm

(n+1) ) производная обращалась в ноль.

На рисунке изображена графическая иллюстрация циклического покординатного спуска для случая m=2.

38