Embed Size (px)
Citation preview
НАЦІОНАЛЬНИЙ ТЕХНІЧНИЙ УНІВЕРСИТЕТ УКРАЇНИ
„КИЇВСЬКИЙ ПОЛІТЕХНІЧНИЙ ІНСТИТУТ”
Охріменко М. Г.
Фартушний І.Д.
Кулик А.Б.
НЕКОРЕКТНО ПОСТАВЛЕНІ ЗАДАЧІ
ТА МЕТОДИ ЇХ РОЗВ’ЯЗУВАННЯ
Підручник
для студентів вищих навчальних закладів
КИЇВ – 2016
2
УДК 330.43(075.8)
ББК 65.01я73
О 92
Затверджено
Міністерством освіти і науки України
як підручник для студентів вищих навчальних закладів
(лист №1/11-10434 від 08.07.2014 р.)
Рецензенти:
О.М. Станжицький – доктор фіз.-мат. наук, професор.
В.В. Новицький – доктор фіз.-мат. наук, професор.
Т.В.Блудова – доктор екон. наук, професор.
Охріменко М. Г.
О 92 Некоректно поставлені задачі та методи їх розв’язування:
Підручник./ М.Г. Охріменко , І.Д.Фартушний , А.Б.Кулик . – К.: В-во
«Політехніка» - 225 с. – Бібліогр.: с.220-225. – 500 пр.
ISBN 978-966-364-576-6
У підручнику вперше у вітчизняній навчальній літературі викладено
основні принципи розв’язування некоректно поставлених (нестійких) задач
(за Ж. Адамаром). Викладено і проілюстровано на конкретних прикладах
методи розв’язування нестійких (по відношенню до вхідних даних) задач,
пов’язаних з іменами А.Н. Тихонова та В.К. Іванова. Значну увагу в
підручнику приділено розв’язку некоректних задач економічного
походження: систем лінійних алгебраїчних рівнянь, задач лінійного
програмування, нелінійних екстремальних задач, інтегральних рівнянь І
роду тощо. Значну увагу приділено підбору та оцінкам залежностей
параметрів регуляризації задач від вихідних даних (параметрів)
математичних моделей. Приведено методологію алгоритмічного уточнення
вихідних даних моделей, якщо ці дані одержуються обчислювальним
шляхом.
Підручник містить велику кількість розрахунків і може бути
використаний для поглибленого вивчення задач лінійної алгебри,
математичного моделювання, лінійного та нелінійного програмування,
варіаційного числення, чисельного диференціювання, теорії похибок, задач
розв’язку операторних рівнянь.
Підручник призначений для студентів, аспірантів, викладачів вищих
навчальних закладів. УДК
330.43(075.8)
ББК 65.01я73
ISBN 978-966-364-576-6
3
Зміст
Передмова…….………………………………………………………….……. 7
Вступ.................................................................................................................... 9
1. Системи лінійних алгебраїчних рівнянь (СЛАР)...................................... 15
2. Норми векторів та матриці.......................................................................... 18
3. Метод Гаусса................................................................................................. 23
4. Ітераційні методи розв’язування СЛАР..................................................... 30
5. Метод простої ітерації................................................................................. 31
6. Метод Гаусса-Зейделя.................................................................................. 36
7. Міра коректності (обумовленості) матриці СЛАР.................................... 44
8. Аналіз похибок обчислень........................................................................... 51
8.1. Невірна організація обчислень в методі виключення...................... 51
8.2. Близькість до нуля визначника системи............................................ 52
8.3. Малі за модулем власні значення...................................................... 53
8.4. Наявність великих елементів в оберненій матриці.......................... 54
9. Узагальнене поняття розв’язку. Псевдорозв’язок..................................... 59
10. Метод регуляризації А. М. Тихонова....................................................... 62
11. Застосування методу регуляризації.......................................................... 69
12. Способи вибору параметру регуляризації............................................... 76
13. Ітераційні регуляризуючі алгоритми........................................................ 79
14. Інші методи регуляризації......................................................................... 84
14.1. Метод квазірозв’язків........................................................................84
14.2. Метод нев’язки.................................................................................. 85
14.3.Узагальнений метод нев’язки............................................................ 86
15. Методи сингулярного розкладу................................................................ 89
15.1. Основи методу................................................................................... 89
15.2. Застосування до задачі найменших квадратів................................ 92
16. Прямі методи розв’язку регуляризованих СЛАР.................................... 92
16.1. Метод квадратного кореня.................................................................... 92
4
16.2. Метод ітераційного уточнення............................................................. 93
17. Рекомендації до вибору алгоритму розв’язків СЛАР……..................... 95
18. Стійкі методи розв’язування задач лінійного програмування………... 98
19. Алгоритми відтворення функції та чисельного диференціювання…. 107
19.1. Умови коректності задачі обчислення значень
необмеженого оператора............................................................ 107
19.1.1. Постановка задачі..................................................................... 107
19.1.2. Коректність за Адамаром........................................................ 109
19.2. Задача про найкраще наближення необмеженого оператора... 109
19.2.1. Постановка задачі..................................................................... 109
19.2.2. Оцінка похибки знизу............................................................... 110
19.2.3. Зв’язок задач А і В.................................................................... 111
19.3. Оптимальна кінцево-різницева регуляризація в
просторі ),( C ...................................................................... 113
20. Інтерполяційні сплайни........................................................................... 117
21. Згладжуючи і апроксимуючі сплайни.................................................... 121
22. Метод середніх функцій.......................................................................... 128
23. Чисельні експерименти............................................................................ 133
24. Задачі на екстремум функціонала. Основні визначення і
умови коректності.................................................................................... 136
24.1. Постановка задачі................................................................................ 136
24.2. Коректність за Адамаром та Тихоновим........................................... 137
24.3. Достатні умови коректності за Тихоновим....................................... 139
25. Регуляризація екстремальних задач....................................................... 142
25.1. Регуляризація задачі з точними вхідними даними........................... 142
25.2. Регуляризація з наближеними даними.............................................. 143
25.3. Канонічна задача опуклого програмування (ОП)............................ 145
25.4. Основи методу штрафних функцій................................................... 149
25.5. Регуляризація в загальному випадку................................................. 152
26. Дискретизація оптимальних задач. Дискретна
5
апроксимізація і дискретна збіжність................................................... 156
26.1. Постановка задачі................................................................................ 156
26.2. Основні визначення і поняття.......…................................................. 157
27. Достатні умови збіжності........................................................................ 162
28. Застосування наведених достатніх умов збіжності до
задачі варіаційного числення.................................................................. 166
28.1. Формулювання задачі......................................................................... 166
28.2. Квадратурний (кінцево-різницевий) метод....................................... 166
28.3. Проекційні методи Рітца та Ейлера................................................... 169
28.4. Дискретний метод Рітца..................................................................... 171
29. Операторні та інтегральні рівняння першого роду. Постановка
задачі та умова коректності.................................................................... 172
29.1. Формулювання проблеми................................................................... 172
29.2. Рівняння, породжені інтегральними операторами........................... 174
30. Регуляризуючі методи.............................................................................. 177
30.1. Варіаційний метод............................................................................... 177
30.2. Зведення до рівняння другого роду................................................... 179
30.3. Ітеративна регуляризації..................................................................... 180
30.4. Нелінійні ітераційні методи розв’язку задач з
апріорною інформацією..................................................................... 181
31. Скінченновимірна апроксимація РА. Критерій збіжності................... 186
32. Реалізація загальної схеми дискретизації.............................................. 190
32.1. Метод механічних квадратур............................................................ 190
32.2. Метод коллокацій................................................................................ 193
32.3. Проекційні методи............................................................................... 196
33. Аналіз методів обчислення сум, добутків та цілих степенів............... 199
33.1. Високоточний алгоритм обчислення сум......................................... 199
33.2. Алгоритм обчислення добутків......................................................... 202
33.3. Алгоритм обчислення високих степенів........................................... 203
Питання для самоконтролю………………………………………………. 205
6
Завдання для самостійних та контрольних робіт……………………….. 208
Список використаних джерел…………………………………………….. 220
7
Передмова
Основою наукових досліджень є різноманітні математичні моделі
процесів та явищ, які відбуваються під час практичної діяльності людини.
Побудова математичних моделей ґрунтується на вихідних даних, які
одержуються або з показників технічних пристроїв, або є результатом
чисельних експериментів на обчислювальних агрегатах. І в першому, і в
другому випадках вихідні дані одержуються, як правило, в наближеному
варіанті. Це означає, що вихідні дані, на основі яких побудовані
математичні моделі, мають деякі похибки.
Математичні моделі будуються для різностороннього вивчення
процесів та явищ з метою їх дослідження. Самі дослідження проводяться
для одержання практичних зисків або уникнення негативних наслідків в
результаті виникнення явищ, процесів. Тому на основі побудованих
математичних моделей ставляться різноманітні задачі, розв’язування яких і
допомагає зробити конкретні обґрунтовані висновки відносно плину цих
процесів, явищ. Розв’язок поставлених задач здійснюється, як правило, за
допомогою синтезованих для цих задач алгоритмів на обчислювальних
комплексах.
Серед математичних задач, що виникають з побудованих
математичних моделей (на неточній вихідній інформації), існує широкий
клас задач, розв’язки яких нестійкі відносно малих змін вихідних даних.
Вони характеризуються тим, що як завгодно малі зміни вихідних даних
тягнуть за собою довільно великі зміни розв’язків. Подібні задачі, по суті,
є погано поставленими. Вони належать до класу некоректно поставлених
задач.
Якщо вихідні дані відомі наближено, то згадана нестійкість
призводить до практичної неєдиності розв’язку в рамках заданої точності і
до великих труднощів в інтерпретації одержаного наближеного розв’язку.
В силу цих особливостей довгий час вважалося, що некоректно поставлені
задачі не можуть мати практичного значення, оскільки, яке б не було
уточнення моделі за допомогою уточнення вихідних даних, воно не
призводить до уточнення розв’язку задачі. Як правило, спосіб побудови
коректно поставленої задачі невідомий.
Однак, можна вказати некоректно поставлені задачі, що відносяться
як до класичних розділів математики, так і до різноманітних класів
практично важливих прикладних задач.
Це дозволяє судити про широту класу розв’язуваних задач.
Практична діяльність дозволяє зробити висновок, що потужність класу
розглядуваних задач значно перевищує потужність класу коректно
поставлених задач. До числа некоректно поставлених задач відносяться
задачі створення систем обробки результатів експерименту, задачі
оптимального керування, задачі оптимального проектування систем, задачі
оптимального планування та багато інших.
8
Одним із суттєвих етапів обробки даних є розв’язок задач, нестійких
до малих змін вихідних даних. Тому не виникає сумніву в необхідності
розробки методів розв’язку таких задач. При цьому наближені розв’язки,
які отримуються з наближених вихідних даних, повинні бути стійкими до
малих змін останніх.
Вихідні дані некоректно поставлених задач, що одержуються, як
правило, в результаті вимірів або обчислень, містять випадкові похибки. З
цієї причини при побудові наближених розв’язків та при оцінці їх похибок,
в залежності від характеру вихідної інформації, можливий як
детермінований, так і ймовірнісний підхід. В даному підручнику ми
обмежимось, в основному, детермінованим варіантом.
В підручнику наводяться методи регуляризації побудови
наближених розв’язків некоректно поставлених задач.
Автори не ставили за мету дати повний виклад проблем при
розв’язку некоректно поставлених задач. Ставилось завдання ознайомити
студентів, аспірантів, викладачів, інженерів, економістів і наукових
співробітників з основними проблемами при розв’язування задач, що
виникають під час розв’язування задач математичної обробки даних,
прогнозування експерименту, планування в економічній діяльності тощо.
Автори вважають своїм обов’язком виразити щиру вдячність
Файнзільбергу Леоніду Соломоновичу за критичні зауваження, зроблені в
процесі підготовки до друку підручника, які сприяли його суттєвому
покращенню.
Автори: Охріменко М. Г.,
Фартушний І.Д.,
Кулик А.Б.
9
Кожна аналітична проблема завжди
коректно поставлена, якщо проблема
має механічну чи фізичну інтерпретацію
(Жак Адамар)
Коректно поставлені задачі – це далеко
не єдині задачі, які вірно відображають
фізичні явища
(М.М. Лаврент’єв)
Вступ Після виникнення сучасної електронної техніки почалося бурхливе
зростання її широкого використання для розв’язання широких класів задач,
які виникали в різноманітних галузях людської діяльності: науці, техніці,
економіці, соціології тощо. Для розв’язання назрілих задач на
обчислювальних пристроях необхідні чіткі схеми досягнення розв’язку
(алгоритми). Почався процес швидкого розвитку обчислювальних
алгоритмів для широких класів задач. Але слід усвідомлювати, що під
“розв’язком” задачі потрібно розуміти, яким вимогам повинні
задовольняти алгоритми знаходження “розв’язків”. Класичні концепції і
постановки задач не відображали багатьох особливостей тих задач, які
зустрічаються в практичній діяльності, а термін “розв’язок задачі” носив
розпливчатий характер. Слід зауважити, що найсучасніші обчислювальні
пристрої, як правило, здійснюють чисельні розрахунки і аналіз
різноманітних явищ, оперують неточною, наближеною інформацією.
Інформація для роботи алгоритмів, програм прикладних задач одержується
часто або з технічних пристроїв, або є результатом інших обчислень. Для
різних прикладних задач потрібна точність вихідних даних різна і
зумовлена потребою отримувати достовірний розв’язок задачі з наперед
заданим рівнем достовірності (наперед заданою точністю).
Існує досить широкий клас практичних задач, для яких точність
результату розв’язків залежить від точності вихідних даних так, що
10
підвищення точності вихідних даних тягне за собою підвищення точності
розв’язку. Але така ситуація має місце не завжди.
Наведемо приклад. Розглянемо систему лінійних алгебраїчних
рівнянь:
yAx , (1)
де x – шуканий вектор, y – відомий вектор, }{ ijaA – квадратна матриця
з відомими елементами ija , nji ...,,2,1, .
Якщо система (1) невироджена [5, с.96], тобто існує 0det A ( Adet
– визначник матриці A ), то вона має єдиний розв’язок, котрий можна
знайти за відомими формулами Крамера або за допомогою схеми Гаусса,
чи будь-яким іншим методом.
Якщо система (1) вироджена ( 0det A ), то вона має розв’язок (до
того ж не єдиний) лише за виконання умов розв’язності, які складаються з
рівності нулю відповідних визначників [5, с.97].
Таким чином, перш ніж розв’язувати систему (1), треба перевірити,
вироджена вона чи ні. Для цього треба обчислити визначник системи Adet
Якщо n – порядок системи, то для обчислення Adet треба виконати
3n арифметичних операцій. З якою б точністю ми не здійснювали
обчислення, при досить великому значенні n , внаслідок накопичення
похибок обчислень, існує можливість отримати значення Adet , яке
суттєво відрізняється від точного [6, с.5]. З цієї причини бажано будувати
такі алгоритми знаходження розв’язку системи (1), котрі не вимагають
попереднього вияснення факту її виродженості чи невиродженості.
Крім того, часто в практичних задачах вектор y і елементи матриці
A , відомі наближено. В таких випадках замість системи (1) ми маємо
справу з деякою іншою системою:
yxA ~~ (2)
11
такою, що hAA ~
, yy~ , h і – достатньо малі числа, цей сенс
норм є запозиченим з [6, с.29], [12, с.9].
Маючи замість матриці A матрицю A~
ми тим більше не можемо
висловити ніякого судження про виродженість чи невиродженість системи.
В такому випадку про точну систему yAx нам відомо лише те, що
для матриці A і вектора y виконуються нерівності hAA ~
і yy~ .
Але систем з такими вхідними даними ),( yA нескінченно багато, і в
рамках відомого нам рівня похибок вони не відрізняються. Серед таких
“можливих точних систем” можуть бути і вироджені системи.
Оскільки замість точної системи (1) ми маємо наближену систему
(2), то мова може йти лише про знаходження наближеного розв’язку. Але
наближена система (2) може бути і нерозв’язною. Виникає питання: що
розуміється під наближеним розв’язком системи (1)? Він повинен також
бути стійким відносно малих змін вхідних даних ),( yA .
Задачі, при яких малим змінам вхідних даних відповідають
достатньо малі зміни вихідних даних називаються коректно
поставленими. Вперше на такі задачі звернув увагу великий французький
математик Жак Адамар. Ним і було введено поняття коректно поставленої
задачі. Воно визначалось такими умовами (пояснимо на прикладі розв’язку
системи (1)):
1) для всякого y існує розв’язок x у множині дійсних чисел;
2) розв’язок визначається однозначно (єдиний);
3) задача стійка (це означає, що для всякого 0 знайдуться пара
додатних чисел , h , які задовольняють умовам: із того, що
hAA ~
і yy~ випливає виконання умови xx~ , де x~ –
розв’язок системи (2)).
Задачі, які не задовольняють хоч одній з цих умов, називають
некоректно поставленими.
12
В літературі довгий час існувала думка, згідно якої всяка
математична задача повинна задовольняти цим умовам. Жак Адамар також
вважав, що розглядати некоректно поставлені задачі немає сенсу.
Коректна постановка задачі часто трактувалась як умова, якій
повинна задовольняти всяка математична задача, відповідно будь-якій
фізичній чи технічній задачі. Домінуюча думка серед математиків та
авторитет Жака Адамара ставили під сумнів доцільність вивчення
некоректно поставлених задач. Однак така думка, цілком природна для
застосування до деяких явищ, які розвиваються в часі, не може бути
перенесена на всі задачі. В даному підручнику будуть наведені приклади
некоректно поставлених задач, що відносяться як до основного апарату
математики, так і до широкого класу прикладних задач техніки, економіки,
соціології тощо. Широким класом некоректно поставлених задач є, так
звані, обернені задачі.
Наприклад, застосування методу найменших квадратів (МНК) для
побудови математичних моделей реальних процесів за результатами
конкретних вимірів вихідних параметрів, призводить до необхідності
розв’язку некоректно поставлених задач [1, с.16], [2, с.60].
До числа важливих задач відносяться задачі створення систем
автоматичної математичної обробки результатів фізичного експерименту.
Одним із етапів обробки є розв’язок обернених задач виду (1) відносно x .
Велика кількість сучасних експериментальних установок для
дослідження різноманітних фізичних явищ і об’єктів є складними і
дороговартісними комплексами (прискорювачі елементарних часток,
устаткування для одержання і дослідження високотемпературної плазми,
для дослідження властивостей речовин за понаднизьких температур
тощо.).
13
Бажання мати надійну інформацію про досліджуване явище,
вивчення „рідких” і „слабких” ефектів часто призводить до необхідності
багаторазового повторення однотипного експерименту. Автоматизація
проведення експерименту і способів реєстрації його результатів
дозволяють одержувати за короткий час досить великий обсяг необхідної
інформації (десятки і сотні тисяч знімків, осцилограм, показників
детекторів тощо.). Для виявлення із цієї інформації необхідних
характеристик явища чи об’єкта, що вивчається, потрібна обробка
результатів спостережень. В багатьох випадках цю обробку треба
проводити практично одночасно з проведенням експерименту або з
невеликим доступним зсувом у часі.
Для широкого класу експериментальних пристроїв можна виділити
такі етапи обробки результатів спостережень.
Перший етап. Зняття інформації з реєструючої апаратури або з
постійного носія (наприклад, з фото- чи кіноплівки), переведення її в
числовий код і пересилання в пам’ять ЕОМ.
Другий етап. Первинна обробка. Вона може включати нормування
даних спостерігача, приведення до встановленої системи відліку,
статистичну обробку з оцінкою ступеня довіри, фільтрацію інформації
тощо. Метою її є отримання „вихідних результатів” („вихідної кривої”)
експерименту.
Третій етап. Інтерпретація результатів, одержаних на другому етапі
обробки. Вона складається, зазвичай, в оцінці шуканих характеристик
моделі явища чи об’єкта, що вивчається.
14
У фізичному експерименті не реєструються, як правило,
характеристики явища x , які нас не цікавлять, а лише деякі прояви. Тому
задача інтерпретації зводиться до розв’язку рівняння yAx . В багатьох
випадках ця задача є некоректно поставленою. В даній роботі буде
приділено увагу в основному методам розв’язку некоректно поставлених
задач, які відносяться до систем лінійних алгебраїчних рівнянь,
інтегральних рівнянь першого роду, методів розв’язку задач лінійного
програмування, методів наближення функції, чисельного
диференціювання, розв’язку екстремальних лінійних та нелінійних задач
тощо.
В роботі приділено увагу основним аспектам розв’язування
некоректно поставлених задач, тому підручних не слід розглядати, як
довідник з розв’язку нестійких задач.
15
§1. Системи лінійних алгебраїчних рівнянь (СЛАР)
Розглянемо систему m рівнянь з n невідомими
mnmnmm
nn
nn
bxaxaxa
bxaxaxa
bxaxaxa
...
..............................................
...
...
2211
22222121
11212111
(1.1)
де для розмірностей m, n може виконуватись одне з трьох співвідношень:
m < n, m > n, m = n.
Тут і надалі будемо використовувати термінологію і позначення з [1, с.18].
Далі будемо використовувати компактний векторно-матричний запис
системи (1.1)
bAx , (1.2)
де А – матриця коефіцієнтів, яка містить m рядків і n стовпчиків
,
...
............
...
...
21
22221
11211
mnmm
n
n
aaa
aaa
aaa
A
х – шуканий n-компонентний (n-вимірний) вектор розв’язку,
b – заданий m-компонентний вектор-стовпчик правих частин системи (1.2)
,...
2
1
nx
x
x
x ,...
2
1
mb
b
b
b n
T xxxx ...21 , (1.3)
Tx – транспонований вектор х.
Сукупність n-компонентних векторів х виду (1.3) складають n-
вимірний лінійний векторний простір nR , в якому визначена операція
додавання векторів
16
nnnn yx
yx
yx
y
y
y
x
x
x
yx.........
22
11
2
1
2
1
і множення вектора х на дійсне число
nn x
x
x
x
x
x
x
......
2
1
2
1
, які задовольняють таким властивостям:
1) ,xyyx
2) ,)()( zyxzyx
3) ,,xx – дійсні числа,
4) ,yxyx
5) .xxx
Для векторів n-вимірного простору вводимо скалярний добуток за
формулою
n
i
ii yxyx1
, , (1.4)
для якого виконуються такі властивості:
1) ,0, xx якщо 0x ; ,0, xx якщо 0x , тоді
0...00Tx ;
2) ;,, xyyx
3) yxyxyxx ,,, 2121 , 2121 ,,, yxyxyyx ;
4) yxyx ,, , yxyx ,, .
17
Вектори )()2()1( ...,,, kxxx будемо називати лінійно залежними, якщо
існують такі постійні числа kccc ...,,, 21 , не рівні нулю всі одночасно, що
виконується рівність
0... )()2(2
)1(1 k
k xcxcxc .
Якщо ж наведена рівність виконується тільки тоді, коли
0...21 kccc , тоді вектори називаються лінійно незалежними.
Система векторів },...,,{ )()2()1( kxxx називається базисом простору
nR , якщо будь-який вектор х є лінійною комбінацією цих векторів
)()2(2
)1(1 ... n
n xcxcxcx , .0,,...,1 icni
Запис ni ,...,1 означає, що серед перерахованої множини знайдеться хоч
один номер nk 1 , для якого виконується вказана умова.
18
§2. Норми вектора та матриці
Для визначення поняття границі векторів та матриці і оцінки
швидкості збіжності до розв’язку ітераційного процесу при розв’язуванні
систем лінійних рівнянь ітераційними методами, необхідно ввести міру
близькості між векторами та матрицями. Це можна зробити за допомогою
поняття норми.
Формально нормою вектора х називається зіставлення цьому
векторові невід’ємного числа x , яке задовольняє умови:
1) ,0x якщо 0x і 00 ;
2) xccx для будь-якого числового множника с;
3) yxyx (“нерівність трикутника”).
Із умов 2) – 3) можна вивести також нерівність
4) yxyx .
Наведемо конкретні способи задання норми n-мірного вектора х,
n
T xxxx ...21 , xxT :
I) ini
xx,...,1I
max
;
II) nxxxx ...21II;
III) xxxxxx n ,||...|||| 22
2
2
1III ;
IV) p p
n
pp xxxx ||...|||| 21IV , р >1.
Легко перевірити, що умови 1) – 3) для них виконуються.
Поняття норми вектора узагальнює поняття модуля (довжини)
вектора. Норма III
x називається евклідовою і є модулем вектора х.
Будемо вважати, що послідовність векторів }{ )(kx збігається до
вектора х, якщо:
,0lim )(
xx k
k де xx k )( – будь-яка з норм I – IV.
Збіжність за кожною з норм I – IV означає, що для будь-якої
компоненти ix , i =1, 2, ..., n
19
,lim 0)(
i
k
ik
xx
де )()(
2
)(
1 ...)( k
n
kkT xxxxk
, n
T xxxx ...21 .
Дійсно, для норми I
x це очевидно. Для інших норм це випливає із
очевидних нерівностей:
IIIIxnxx ,
IIIIIxnxx ,
IIVIxnxx
p .
Аналогічно вводиться норма матриці А, як невід’ємне число, яке
задовольняє властивості:
1) ,0A якщо 0A і 00 , якщо 0A ;
2) AccA , де с – числовий множник;
3) BABA ;
4) BAAB .
Добуток матриць pm
jiijaA ,
1,}{ , mp
jiijbB ,
1,}{ в 4) визначається
звичайним способом nm
lklkcC ,
1,}{ , де
p
i
liiklk bac1
, mk ,...,2,1 ,
nl ...,,2,1 .
Будемо говорити, що норма матриці узгоджена з даною нормою
векторів, якщо для будь-якої матриці А і будь-якого вектора х виконується
нерівність
xAAx . (2.1)
Розмірності матриці А та вектора х такі, що кількість стовпчиків в
матриці А збігається з кількістю компонент вектора х [5, с.34].
Наведемо способи побудови норм, узгоджених з заданою векторною
нормою:
,max1
AxAx
,max0 x
AxA
x (2.2)
20
}:min{ xMAxMA .
Безпосередньою перевіркою можна переконатися, що кожний з
трьох способів (2.2) визначають одну і ту ж норму, для якої виконані
властивості 1) – 4) і нерівність (2.1). Побудовану таким чином норму
матриць називають підпорядкованою даній нормі векторів.
Випишемо норми матриць (розмірністю nm ), які підпорядковані
векторним нормам I – III, відповідно
,max1
,1I
n
k
ikmi
aA
,max1
,1II
m
i
iknk
aA
maxIIIA ,
де max – найбільше власне число матриці AAT ( TA – транспонована до А
матриця).
Нагадаємо, що власним числом матриці А називається число
(взагалі кажучи комплексне), для якого система однорідних рівнянь
0 xAx ,
0)(det EA , (2.3)
де
1...000
...............
0...100
0...010
0...001
E – одинична матриця,
має ненульовий розв’язок x , а x називається власним вектором матриці
А. Зауважимо, що власні числа матриці AAT невід’ємні [12, с.14].
В деяких випадках зручно використовувати ще й такі матричні
норми як:
nm
ji
ijaA,
1,
2
V|| ,
21
||max
,1
,1VI ij
nj
mianA
.
Перша із записаних норм не підпорядкована ніякій векторній нормі,
але узгоджена, наприклад, з евклідовою нормою III, а друга – узгоджена з
нормами I – III. Помітимо, що для всякої норми матриці, підпорядкованої
нормі векторів, 1E . Надалі, як правило, будемо використовувати
евклідову норму та її підпорядковану матричну норму.
В подальшому нам буде потрібне поняття додатної напіввизначеної
матриці. Це симетрична матриця ( AAT ) і 0),( xAx для будь-якого
nRx що еквівалентно наступному: всі власні числа – невід’ємні.
На відміну від елементарної алгебри ми будемо вивчати системи
лінійних алгебраїчних рівнянь (СЛАР) з довільним числом рівнянь і
невідомих. Ми не будемо вважати, що число рівнянь сбігається з числом
невідомих.
Нехай нам дана система m рівнянь з n невідомими nm .
Домовимось використовувати символіку (1.1).
Розв’язком СЛАР (1.1) називається така система чисел nkkk ...,,, 21 ,
яка кожне з рівнянь (1.1) перетворює в тотожність після заміни в (1.1)
невідомих ix відповідними числами ik ( ix = ik ) ni ,1 .
СЛАР будемо називати сумісною, якщо вона має хоча б один
розв’язок (хоч один набір чисел ik ).
СЛАР називається визначеною, якщо вона має єдиний розв’язок.
СЛАР будемо називати невизначеною, якщо вона має більше ніж один
розв’язок. Пізніше встановимо, що сумісні системи мають або один
розв’язок або нескінченно багато.
Приклад 2.1. Система з двох рівнянь
4
,72
21
21
xx
xx
визначена: вона має єдиний розв’язок 3,1 21 xx .
22
Приклад 2.2. Система
226
,13
21
21
xx
xx (1.5)
невизначена, бо вона має нескінченно багато розв’язків
13, 21 kxkx , (1.6)
де число k довільне дійсне число (таких чисел безліч).
Формулами (1.6) вичерпуються всі розв’язки системи (1.5).
Задача теорії СЛАР являє собою розробку методів, які дозволяють
встановити, чи є сумісною дана система рівнянь, та у випадку сумісності,
встановити число розв’язків, а також вказати спосіб знаходження цих
розв’язків.
Ми почнемо з методу, найбільш зручного для практичного пошуку
розв’язків СЛАР з числовими коефіцієнтами – методу Гаусса. Крім
зручності у застосуванні метод Гаусса має переваги перед іншими
методами ще й у тому, що при обчисленні на ЕОМ має найменшу похибку
заокруглень і є скінченним (забезпечує знаходження розв’язку за кінцеву
кількість обчислювальних кроків, у випадку сумісності системи, або за
таку ж кількість кроків (або меншу) встановлює відсутність розв’язків).
Найменшу похибку заокруглень (серед відомих нині методів) метод Гаусса
має при розумній організації обчислень. Такі схеми розглядаються далі.
23
§3. Метод Гаусса
Спочатку зробимо зауваження. Нам в майбутньому доведеться
робити такі перетворення СЛАР: обидві частини деякого рівняння
системи, помножене на одне і теж число, віднімати від відповідних частин
деякого іншого рівняння системи. Нехай для визначеності обидві частини
першого рівняння системи (1.1), помножені на число с, віднімемо від
відповідних частин другого рівняння. В результаті одержимо нову систему
лінійних рівнянь:
,bxa...xaxa
..............................................
,bxa...xaxa
,bxa...xaxa
,bxa...xaxa
mnmnmm
nn
nn
nn
2211
33232131
22222121
11212111
(3.1)
де njcaaa jjj ,1,122 , 122 cbbb .
Системи рівнянь (1.1) і (3.1) будемо називати еквівалентними, тобто
вони є або обидві несумісні, або обидві сумісні і мають одні й ті ж
розв’язки. І справді, нехай nkkk ...,,, 21 – довільний розв’язок системи
(1.1). Ці числа задовольняють всім рівнянням (3.1), крім другого, оскільки
всі рівняння (3.1), крім другого, сбігаються з відповідними рівняннями
(1.1). Але числа nkkk ...,,, 21 задовольняють і другому рівнянню системи
(3.1), так як воно виражається через перше та друге рівняння (1.1), яким ці
числа задовольняють. І навпаки, всякий розв’язок системи (3.1) буде
задовольняти систему (1.1). І справді, друге рівняння системи (1.1) можна
одержати віднявши від обох частин другого рівняння (3.1) відповідні
частини першого рівняння цієї системи, помножені на число с.
Зрозуміло, що при багатократному застосуванні перетворень
подібного виду до системи (1.1), отримаємо нову систему еквівалентну до
вихідної (1.1).
Може статися, що після виконання таких перетворень в нашій
системі з’явиться рівняння, всі коефіцієнти лівої частини якого
дорівнюють нулю. Якщо і вільний член цього рівняння буде рівний нулю,
24
тоді рівняння справджується при всіх значеннях невідомих. Вивівши таке
рівняння з системи рівнянь, отримаємо систему рівнянь еквівалентну
вихідній. Якщо ж вільний член рівняння, яке розглядається, буде
відмінний від нуля, то це рівняння не може бути перетворене в тотожність
ні за яких значень невідомих. Одержана система рівнянь, рівно як і
еквівалентна їй вихідна система, буде несумісна.
Перейдемо тепер до викладу суті методу Гаусса. Нехай задана СЛАР
(1.1). Для визначеності покладемо 011 a . Насправді коефіцієнт 11a може
бути рівний нулю, але тоді необхідно вибрати рівняння в (1.1), яке має
коефіцієнт при 1x відмінний від нуля, переставити ці рівняння місцями, і
відповідно змінити індексацію в матриці nm
jiijaA ,
1,}{ . Тоді умова 011 a
буде виконана.
Перетворюємо тепер систему (1.1), виключаючи невідоме 1x з усіх
рівнянь, крім першого. Для цього обидві частини першого рівняння
помножимо на число 11
21
a
a і віднімемо від відповідних частин другого
рівняння. Далі, обидві частини першого рівняння, помножені на число 11
31
a
a
вирахуємо з відповідних частин третього рівняння і так далі.
Ми прийдемо, таким шляхом, до нової системи з m рівнянь та n
невідомих
,...
...............................................
,...
,...
,...
3322
33333232
22323222
11313212111
mnmnmm
nn
nn
nn
bxaxaxa
bxaxaxa
bxaxaxa
bxaxaxaxa
(3.2)
Система (3.2) еквівалентна системі (3.1).
Будемо перетворювати тепер систему (3.2). Перше рівняння цієї
системи залишимо без змін. Перетворювати будемо далі всі рівняння
системи, крім першого. При цьому будемо вважати, що серед цих рівнянь
немає таких, всі коефіцієнти лівих частин яких дорівнюють нулю. Якщо
такі рівняння є, то їх потрібно вилучити з системи, за умови, що праві їх
25
частини дорівнюють нулю. Якщо праві частини цих рівнянь відмінні від
нуля, то дана СЛАР розв’язків немає.
Таким чином, серед коефіцієнтів ija є відмінні від нуля; для
визначеності приймемо, що 022 a . Перетворимо тепер систему (3.2),
відраховуючи з обох частин третього і кожного з наступних рівнянь обидві
частини другого рівняння, помножені відповідно на числа
....,,,22
2
22
42
22
32
a
a
a
a
a
a m
Таким чином, із рівнянь системи, крім першого та другого буде
вилучено невідоме 2x . Отримуємо таку систему рівнянь еквівалентну до
систем (1.1) та (3.2):
....
...................................
,...
,...
,...
33
33333
22323222
11313212111
tnntt
nn
nn
nn
bxaxa
bxaxa
bxaxaxa
bxaxaxaxa
Наша система має тепер t рівнянь mt , бо деякі рівняння могли
бути відкинутими. Зауважимо, що число рівнянь могло зменшитися вже
після першого кроку методу Гаусса в системі (3.2).
В подальшому перетворенням підлягає лише частина одержаної
системи, яка містить всі рівняння, крім двох перших. І так далі.
Виконуючи послідовно кроки метода Гаусса (послідовного
виключення), можливо прийти до такої системи, в якій є рівняння, вільний
член якого відмінний від нуля, а всі коефіцієнти лівої частини дорівнюють
нулю. Тоді вихідна система несумісна. Якщо ж такий випадок місця не
має, то одержимо систему рівнянь еквівалентну (1.1):
)1()1()1(
)2(1
)2()1(
)2()1(1
)2()1()1(
22323222
11313212111
...
,...
.............................................................................................
,...
,...
kkn
knkk
kkk
kkn
knkk
kkkk
kkk
nn
nn
bxaxa
bxaxaxa
bxaxaxa
bxaxaxaxa
(3.3)
26
Тут .0,0...,,0,0 )1()2(
)1()1(2211
k
kk
k
kk aaaa
Зауважимо, що sk і, очевидно, nk .
В такому випадку система (1.1) сумісна, яка буде визначеною при
nk і невизначеною при nk .
І справді, якщо nk , то система (3.3) матиме вигляд
.
...........................................
,...
,...
)1()1(
22323222
11313212111
n
nn
n
nn
nn
nn
bxa
bxaxaxa
bxaxaxaxa
(3.4)
Із останнього рівняння маємо значення )1(
)1(
nnn
nn
na
bx . Підставляючи
його в передостаннє рівняння і розв’язуючи одне рівняння з одним
невідомим, одержимо 1nx . Продовжуючи метод (здійснюємо обернені
кроки Гаусса), знайдемо всі значення 11,...,, xxx nn .
Якщо nk , то в (3.3) невідомі nk xx ...,,1 можна покласти рівними
числам числової прямої. Їх будемо називати вільними змінними. Всі інші
змінні можуть бути визначені здійснюючи обернений хід Гауса, а саме
)...( )1(
1
)1(
1)1(
)1(
n
k
nkk
k
kkk
kk
k
kk xaxa
a
bx
.
Підставляючи значення kx в 1k рівняння і розв’язуючи його
відносно 1kx знайдемо вираз для цієї змінної, як функції відносно вільних
змінних nk xx ...,,1 і т.д. Звідси випливає нескінченність розв’язків системи
(3.3), а значить невизначеність системи (1.1).
Спостереження показують, що трикутна форма (3.4) СЛАР або
“трапецієподібна” форма (3.3) (при nk ) одержана при допущенні, що
коефіцієнти 2211, aa і т. д. відмінні від нуля. В загальному випадку
система рівнянь, до якої ми прийдемо, здійснюючи прямий хід методу
Гаусса (виключення невідомих), набуває трикутну чи трапецієподібну
форму лише після належної зміни нумерації невідомих.
27
Узагальнюючи вищевикладене, можемо свідчити, що метод Гаусса
можна застосовувати до довільної СЛАР. При цьому система буде
несумісною, якщо в процесі прямих перетворень методу Гаусса одержуємо
рівняння, в якому коефіцієнти при невідомих дорівнюють нулю, а вільний
член відмінний від нуля. Якщо ж такого рівняння не одержимо, то система
буде сумісною. В свою чергу, сумісна система рівнянь буде визначена,
якщо вона зводиться до трикутної форми вигляду (3.4), і невизначена,
якщо зводиться до трапецієподібного виду (3.3) при nk .
Застосуємо сказане вище до випадку лінійних однорідних систем,
тобто рівнянь, всі вільні члени яких дорівнюють нулю. Така система
завжди сумісна, бо має тривіальний (нульовий) розв’язок 0,...,0,0 .
Нехай в системі, яка розглядається, число рівнянь менше за число
невідомих. Тоді система не може бути зведеною до трикутної форми, так
як в результаті гауссових перетворень число рівнянь може лише
зменшитися; значить вона зводиться до трапецієподібного вигляду, тобто є
невизначеною.
Іншими словами, якщо в системі лінійних однорідних рівнянь число
рівнянь менше числа невідомих, то така система має, окрім нульового
розв’язку, також і ненульовий розв’язок, в якому значення деяких (і навіть
всіх) невідомих – відмінні від нуля; таких розв’язків буде нескінченно
багато.
При практичному розв’язуванні СЛАР методом Гаусса слід виписати
матрицю коефіцієнтів системи, приєднати до неї стовпчик вільних членів,
для зручності відділений вертикальною рискою, і всі перетворення
виконувати над рядками отриманої так званої розширеної матриці.
Приклад 3.1. Розв’яжемо систему
.2563
,23
,952
321
321
321
xxx
xxx
xxx
Здійснімо перетворення методом Гаусса над розширеною матрицею
системи:
28
8
11
9
800
230
521
52
11
9
16120
230
521
25
2
9
163
311
521
.
Отже, СЛАР
88
,1123
,952
3
32
321
x
xx
xxx
,
має єдиний розв’язок .1,3,2 321 xxx
Приклад 3.2. Розв’язати систему
.292011
,527
,1533
,385
432
431
4321
4321
xxx
xxx
xxxx
xxxx
.
Перетворимо розширену матрицю цієї системи:
2
8
8
3
920110
1150
821160
1851
2
5
1
3
920110
2701
5313
1851
2
8
160
3
0000
1150
290890
1851
2
8
160
3
290890
1150
290890
1851
.
Ми прийшли до системи, яка містить рівняння 0 = 2. Це означає, що
вихідна система несумісна.
Приклад 3.3. Розв’язати систему
.0322
,0532
,034
4321
4321
4321
xxxx
xxxx
xxxx
29
Наведена СЛАР однорідна, число рівнянь менше числа невідомих,
тому вона невизначена. Оскільки всі вільні члени дорівнюють нулю, то
будемо здійснювати перетворення методом Гаусса лише над матрицею
системи:
3
11
2
221
570
020
3
11
13
221
570
590
3
5
1
221
132
314
.
Ми прийшли до СЛАР
.0322
,01157
,02
4321
432
42
xxxx
xxx
xx
В якості вільної змінної можна прийняти будь-яке з невідомих 2x
або 4x .
Нехай 4x , – довільне число, тоді з другого рівняння одержимо
5
43 x , а з третього –
5
31 x .
Таким чином, загальний вигляд розв’язку такий:
5
31 x , 2x ,
5
43 x , 4x .
Зауважимо, що починаючи перетворення методом Гаусса з
найбільшого за абсолютною величиною коефіцієнту (це можна здійснити
за допомогою перестановки рівнянь і перенумерації невідомих), досягаємо
мінімальної сумарної похибки округлення розв’язку на відміну від інших
гауссових процедур виключення. Кількість арифметичних операцій є
3
3nK , де K – сталий коефіцієнт, який не залежить від n.
30
§4. Ітераційні методи розв’язування СЛАР
Метод Гаусса є скінченним методом розв’язування СЛАР: n-1 кроків
прямого ходу методу Гаусса і n кроків оберненого ходу методу Гаусса.
Розв'язок отримуємо з точністю до похибок заокруглень, якщо таких
похибок немає (обчислення ведуться точно), то й розв’язок отримуємо
точним. Для СЛАР великої розмірності (числа n та m великі)
обчислювальна громіздкість методу Гаусса може бути великою.
При економічних дослідженнях виникають СЛАР з розмірностями
рівними мільйонам і навіть десяткам мільйонів рівнянь та невідомих. В
такому випадку громіздкість методу Гаусса може бути настільки
величезна, що навіть на найсучасніших обчислювальних комплексах за
потрібний часовий проміжок розв’язок отримати не можливо. Тоді зручно
використати ітераційні методи розв’язування СЛАР. Крім того, точний
розв’язок не завжди потрібний. Нерідко замовника розв’язку СЛАР
задовольняє розв’язок одержаний з точністю до , де – наперед задане
число, для якого виконується, наприклад, умова
*
,1max ii
nixx .
В останній нерівності ix – точна компонента розв’язку системи, а *ix –
наближена компонента до точного розв’язку.
31
§5. Метод простої ітерації
Покладемо в (1.1) nm і запишемо СЛАР у вигляді
xAbx
або
.1...
..........................................................................
,...1
,...1
332211
232322212122
131321211111
nnnnnnnn
nn
nn
xaxaxaxabx
xaxaxaxabx
xaxaxaxabx
(5.1)
Далі покладемо
0022
011 ...,,, nn xxxxxx ,
де 0ix – довільні наперед задані числа.
Обчислимо праві частини (5.1) і одержимо
.1...
...........................................................................
,...1
,...1
00
33
0
22
0
11
0
2
0
323
0
222
0
12122
0
1
0
313
0
212
0
11111
nnnnnnnn
nn
nn
xaxaxaxabx
xaxaxaxabx
xaxaxaxabx
Далі отримуємо числа nxxx ...,,, 21 обчисливши праві частини (5.1)
при одержаних nxxx ...,,, 21 . Процес простого ітерування в загальному
випадку відображається у векторному вигляді
1 kk xAbx ,
а в деталізованому вигляді як:
11
33
1
22
1
11
1
2
1
323
1
222
1
12122
1
1
1
313
1
212
1
11111
1...
.......................................................................................
,...1
,...1
k
nnn
k
n
k
n
k
nn
k
n
k
nn
kkkk
k
nn
kkkk
xaxaxaxabx
xaxaxaxabx
xaxaxaxabx
Після кожного кроку простої ітерації (індекс вгорі означає номер
кроку) обчислюємо різниці
1122
111 ...,,, k
nkn
kkkk xxxxxx .
32
Якщо найбільше з цих чисел не перевищує , тоді kix ni ,1
____
вибираємо за розв’язок системи (5.1), а значить і (1.1).
Описана процедура одержання наближеного розв’язку можлива не
завжди. Говорять, що метод простої ітерації збігається до розв’язку
системи (1.1), якщо i
k
ik
xx
lim , ni ,1 . Зауважимо, що ця умова
виконується, якщо найбільше за модулем власне число матриці A
.1max,1
Aini Оскільки знаходження власних чисел процедура досить
громіздка, то використовуємо нерівність
1max1
,1
n
j
ijni
Aa , (5.2)
де ija – елементи матриці A , а (5.2) – достатня умова збіжності методу
простої ітерації.
Умова (5.2), як правило, виконується для систем лінійних балансових
рівнянь В. В. Леонтьєва, якщо балансові рівняння записані у вартісному
вигляді.
Приклад 5.1. Нехай систему рівнянь
,23,02,03,0
,34,03,0
,52,02,01,0
,41,03,02,0
3214
423
4312
4321
xxxx
xxx
xxxx
xxxx
необхідно розв’язати з точністю до 1,0 .
Спочатку перевіримо достатню умову (5.2) збіжності методу простої
ітерації. Легко бачити, що всі суми
4
1
11 16,01,03,02,0j
jaS ,
4
1
22 15,02,02,01,0j
jaS ,
4
1
33 17,04,03,0j
jaS ,
33
4
1
44 18,03,02,03,0j
jaS ,
менші за одиницю, тобто достатня умова (5.2) збіжності методу простої
ітерації виконується, і можна застосувати метод простої ітерації.
Покладемо .2,3,5,4 04
03
02
01 xxxx
.1,5233,052,043,0
,3,5324,053,0
,3,6522,032,041,0
,1,6421,033,052,0
1
4
1
3
1
2
1
1
x
x
x
x
Значення різниці 1,241,60
1
1
1 xx більш, ніж необхідна точність
1,0 , тому продовжуємо процес ітерування.
.71,623,53,03,62,01,63,0
,93,631,54,03,63,0
,69,751,52,03,52,01,61,0
,36,741,51,03,53,03,62,0
2
4
2
3
2
2
2
1
x
x
x
x
Знов порівнюємо значення різниці 26,11,636,71
1
2
1 xx з заданою
точністю 1,0 . Так як значення точності 1,0 не досягнуто, то
продовжуємо ітерування.
.825,7293,63,069,72,036,73,0
,991,7371,64,069,73,0
,464,8571,62,093,62,036,71,0
,288,8471,61,093,63,069,72,0
3
4
3
3
3
2
3
1
x
x
x
x
Так як 1,0928,036,7288,821
31 xx , то продовжуємо далі.
.5765,82991,73,0464,82,0288,83,0
,6692,83825,74,0464,83,0
,792,95825,72,0991,72,0288,81,0
,8726,84825,71,0991,73,0464,82,0
4
4
4
3
4
2
4
1
x
x
x
x
Необхідне значення точності не досягнуто
34
1,05846,0288,88726,831
41 xx ,
тому продовжуємо ітерування.
.22094,926692,83,0792,92,08726,83,0
,3682,935765,84,0792,93,0
,2364,955765,82,06692,82,08726,81,0
,41681,945765,81,06692,83,0792,92,0
4
4
5
3
5
2
5
1
x
x
x
x
Розраховуємо різницю
1,0544221,08726,841681,941
51 xx
і продовжуємо ітерування.
.742866,923682,93,02364,92,041681,93,0
,459296,9322094,94,02364,93,0
,66408,9522094,92,03682,92,041681,91,0
,579834,9422094,91,03682,93,02364,92,0
6
4
6
3
6
2
6
1
x
x
x
x
Розраховуємо різницю 1,0163024,041681,9579834,951
61 xx і
продовжуємо ітерування.
.729,92459,93,0664,92,0579,93,0
,796,93742,94,0664,93,0
,825,95742,92,0459,92,0579,91,0
,754,94742,91,0459,93,0664,92,0
7
4
7
3
7
2
7
1
x
x
x
x
Розраховуємо різницю
1,017497954,0579834,975481354,961
71 xx і продовжуємо
ітерування.
.877,92796,93,0825,92,0754,93,0
,839,93729,94,0825,93,0
,880,95729,92,0796,92,0754,91,0
,876,94729,91,0796,93,0825,92,0
8
4
8
3
8
2
8
1
x
x
x
x
Розраховуємо різницю
1,012209738,075481354,987691092,971
81 xx
35
і продовжуємо ітерування.
.891,92839,93,0880,92,0876,93,0
,915,93877,94,0880,93,0
,931,95877,92,0839,92,0876,91,0
,915,94877,91,0839,93,0880,92,0
94
93
92
91
x
x
x
x
Перевіряємо виконання таких умов:
.1,0013,0877,9891,9
,1,0075,0839,9915,9
,1,0053,0880,9931,9
,1,0038,0876,9915,9
8
4
9
4
8
3
9
3
8
2
9
2
8
1
9
1
xx
xx
xx
xx
Звідси випливає, що наближений розв’язок СЛАР має вигляд:
916,91 x , 931,92 x , 915,93 x , 891,94 x .
Слід зауважити, що покрокові похибки допущені при обчисленні
методом простої ітерації, суттєво не впливають на розв’язок, тому що за
умов (5.2) метод простої ітерації збігається при будь-яких початкових
наближеннях 0x ( kx ), а такими наближеннями можна вважати результати
обчислень на будь-якому кроці ітерування.
36
§6. Метод Гаусса-Зейделя
Оскільки в методі простої ітерації при обчисленнях компоненти
вектора )...( 21kn
kkk xxxx обчислюються послідовно ( kx1 , потім kx2
тощо.), то одержані значення компонент векторів можна використати при
обчисленні наступних компонент. Проілюструємо процедуру оперативного
використання обчислених компонент при обчисленні наступних, на
прикладі систем В. В. Леонтьєва.
Розглянемо систему, векторний вигляд якої:
bAxx , (6.1)
де n
jiijaA 1,}{ – матриця прямих витрат, njiaij ,1,0___
. В
деталізованому вигляді маємо
....
...................................................................
,...
,...
,...
332211
333332321313
223232221212
113132121111
nnnnnnnn
nn
nn
nn
bxaxaxaxax
bxaxaxaxax
bxaxaxaxax
bxaxaxaxax
(6.2)
Будемо вважати, що 0022
011 ...,,, nn xxxxxx , де nixi ,1
____0
наперед задані числа. Знайдемо
,... 10
10313
0212
01111 bxaxaxaxax nn
далі обчислимо 2x використавши 1x
,... 20
20323
02221212 bxaxaxaxax nn
потім
....
....................................................................
,...
0
332211
3
0
3
0
3332321313
nnnnnnnn
nn
bxaxaxaxax
bxaxaxaxax
В загальному вигляді ітераційний процес можна записати так
37
....
...............................................................................
,...
,...
,...
1
332211
3
1
3
1
3332321313
2
1
2
1
323
1
2221212
1
1
1
1
313
1
212
1
1111
n
k
nnn
k
n
k
n
k
n
k
n
k
nn
kkkk
k
nn
kkkk
k
nn
kkkk
bxaxaxaxax
bxaxaxaxax
bxaxaxaxax
bxaxaxaxax
(6.3)
В векторному вигляді процес виглядає так
,1 bCxBxx kkk (6.4)
де
0...
..................
00...0
00...00
00...000
1321
3231
21
nnnnn aaaa
aa
a
B ,
а
nn
nn
nn
nn
a
aaa
aaaa
aaaaa
C
0...000
..................
...3300
...0
...
313
2122322
111131211
.
Запишемо (6.4) у вигляді
.1 bCxxBE kk (6.5)
Оскільки матриця BE має обернену матрицю, тому що її
визначник дорівнює 1 (діагональні елементи трикутної матриці BE
дорівнюють одиниці). Запишемо (6.5) у вигляді
.111bBECxBEx kk
(6.6)
Формула (6.6) відображає просту ітерацію з матрицею CBE1
. В [9,
с.5] доведено, що сума елементів рядків цієї матриці має вигляд
38
n
jjaS
111 ,
n
j
j
j
jj
n
j
j aSaaSaS2
2
1
1
2
2
21212 ,
n
j
j
j
jj
n
j
j aSaaSaSaS3
3
2
1
3
3
32321313 ,
..........................................................................................
nn
n
j
jnjnnnnnnnn aSaaSaSaSaS
1
1
112211 ... .
Достатніми умовами збіжності процесу (6.3), (6.4) в такому разі є
niSi ,1,1____
. В роботі [9, с.6] показано, що
II
1ACBE
.
Крім того, в роботі [9, с.12] показано, що перенумерація рівнянь та
невідомих в (6.2) може прискорити ітераційний процес Гаусса-Зейделя,
якщо рівняння розміщувати в такому порядку: на першому місці
знаходиться рівняння (а, значить, і перенумеруємо відповідно невідомі),
рядок, коефіцієнти якого задовольняють умову
n
j
lijni
SSa1
1,1 1
min ,
на другому місці – рівняння (відповідно перенумерувавши змінні), для
якого досягається
2
2
11 21
min SSaSa l
n
j
ijili
,
на третьому –
3
3
2211, 3
21
min SSaSaSa l
n
j
ijiilli
тощо.
39
n
ij
ij
i
j
jijllli
i aSaSi
1
1,...,, 121
max . (6.7)
Розв’яжемо задачу з §5.
Приклад 6.1.
.23,02,03,0
,34,03,0
,52,02,01,0
,41,03,02,0
3214
423
4312
4321
xxxx
xxx
xxxx
xxxx
(6.8)
Розмістимо рівняння згідно (6.7). Для цього треба переставити
місцями перше та друге рівняння, змінивши при цьому нумерацію
невідомих 21,12 yxyx , одержимо:
.23,03,02,0
,34,03,0
,41,03,02,0
,52,02,01,0
3214
413
4312
4321
xyyx
xyx
xxyy
xxyy
(6.9)
Крок 1.
Оскільки
2,3,4,5,, 0
4
0
3
0
2
0
1
0
1
0
2
0
2
0
1 xxyyxyxy ,
то
,91,6272,53,038,63,04,62,0
,72,5324,04,63,0
,38,6421,033,04,62,0
,4,6522,032,041,0
1
4
1
3
1
2
1
1
x
x
y
y
і 1,04,154,601
11 yy .
Крок 2.
521,822132,83,00398,83,0164,82,0
,2132,8391,64,0164,83,0
,0398,8491,61,072,53,0164,82,0
,164,8591,62,072,52,038,61,0
2
4
2
3
2
2
2
1
x
x
y
y
,
40
і 1,0764,14,6164,811
21 yy .
Крок 3.
321,92154,93,0146,93,0151,92,0
,154,93521,84,0151,93,0
,146,94521,81,0213,83,0151,92,0
,151,95521,82,0213,82,0039,81,0
2
4
3
3
3
2
3
1
x
x
y
y
і 1,098682,0164,815082,921
31 yy .
Крок 4.
986,9261,93,06,93,061,92,0
,61,93321,94,061,93,0
,6,94321,91,0154,93,061,92,0
,61,95321,92,0154,92,0146,91,0
4
4
4
3
4
2
4
1
x
x
y
y
і 1,046,015082,961,931
41 yy .
Крок 5.
856,9282,93,082,93,082,92,0
,82,93686,94,082,93,0
,82,94686,91,0611,93,082,92,0
,82,95686,92,0611,92,06,91,0
5
4
5
3
5
2
5
1
x
x
y
y
,
і 1,021,061,982,941
51 yy .
Крок 6.
.935,92918,93,0915,93,0917,92,0
,9176,93856,94,0917,93,0
,915,94856,91,082,93,0917,92,0
,917,95856,92,082,92,082,91,0
5
4
5
3
5
2
6
1
x
x
y
y
Перевіримо умови виходу з процедури:
41
.1,0079,0856,9935,9
,1,00976,082,99176,9
,1,0095,082,9915,9
,1,0097,082,9917,9
5
4
6
4
5
3
6
3
5
2
6
2
5
1
6
1
xx
xx
yy
yy
Тобто, розв’язок системи (6.9), а значить і (6.8):
.935,9,9176,9,917,9,915,9 4321 xxxx
Використання наближених значень (шляхом заокруглень) не заважає
одержанню розв’язку, бо ітераційні методи (в умовах збіжності процесу)
стійкі відносно змін початкових чи проміжних значень ітерацій.
Порівнюючи процеси простої ітерації та методу Гаусса-Зейделя при
розв’язуванні одного і того ж прикладу (в §5 та §6) переконуємось, що для
розв’язку СЛАР методом простої ітерації необхідно 9 ітерацій, а методом
Гаусса-Зейделя лише 6 (в 1,5 рази швидше).
Зауважимо, що системи балансових рівнянь В.В.Леонтьєва у
вартісному вигляді мають таку властивість:
матриця 1)( AE , за умови продуктивності матриці A
1max A ,
може бути розкладена в збіжний матричний ряд
nAAAAEAE ...)( 321 .
Як відомо, 0lim
n
nA .
Це означає, що при заданій точності обчислень, знайдеться таке число
N , що виконується умова NA .
Звідси випливає, що пошук матриці повних витрат 1)( AE можна
звести до знаходження суми
N
i
iAEAE1
1)( ,
якщо
N
i
iAAE1
1)( .
42
Неважко перевірити, що для обчислення суми
N
i
iAE1
необхідно здійснити 2)2( nN операцій множення та 2)1)(2( nN
операцій додавання.
Якщо задана точність обчислень невелика, то сумарна кількість
арифметичних операцій
13])2[(2 2 NnNnnN
значно менша за кількість операцій
3
4nO , що необхідна при
використанні методу Гаусса та менша за кількість операцій )( 2knO , що
необхідна при застосуванні методу простої ітерації. Цей факт необхідно
враховувати так, як матриці Леонтьєва мають велику розмірність.
Розв’язки в цілих числах систем лінійних балансових рівнянь можна
одержати за допомогою методу послідовного аналізу варіантів
викладеного в [11, с.68].
При розв’язуванні СЛАР нерідко зустрічаються випадки, коли малі
похибки, при завданні коефіцієнтів або правих частин, призводять до
великих похибок у розв’язках. Похибки можуть виникати при
вимірюванні, обчисленні чи заокругленні елементів матриць систем або
правих частин. Такі СЛАР будемо називати некоректно поставленими або
погано обумовленими. Така термінологія виникла з часів Ж. Адамара, який
вважав вивчення некоректно поставлених задач недоцільним, тому що їх
завжди можна, уточненням математичної моделі, поставити коректно
(розумно). Але Ж. Адамар не вказав спосіб як “коректизувати” задачу, а
водночас ці задачі зустрічаються частіше, ніж коректно поставлені задачі.
Ця обставина випливає із труднощів при побудові адекватних діючим
процесам математичних моделей.
43
В якості погано обумовленої задачі наведемо СЛАР з матрицею Гілберта
.
12
1...
3
1
2
1
1
1
...............
3
1...
5
1
4
1
3
12
1...
4
1
3
1
2
11
1...
3
1
2
11
nnnn
n
n
n
A
Довгий час СЛАР з такою матрицею розміром 7n на сучасних
обчислювальних комплексах одержувались такі, що не мали в
компонентах розв’язку жодної вірної цифри.
В даний час така ж ситуація спостерігається для 35n . Матриці
Гілберта є одними з модельних задач для характеристики якості
алгоритмів розв’язку СЛАР.
Тому виникає проблема розв’язку погано обумовлених задач (в тому
числі СЛАР).
Перед тим, як зробити пояснення, введемо необхідні поняття.
44
§7. Міра коректності (обумовленості) матриці
Введемо важливу характеристику A матриці СЛАР – число
обумовленості
xA
AxA
x
0,0max , (7.1)
яку при використанні евклідової векторної норми можна записати у
вигляді
min
max
0
0
min
max
A
x
Ax
Ax
, (7.2)
де minmax , – максимальне та мінімальне власне значення матриці AAT
( TA транспонована матриця до матриці А).
Основні властивості числа обумовленості очевидні і виводяться
безпосередньо із визначення:
1) ,1,1 EA де E – одинична матриця;
2) constcAcA , ;
3) ii
ii
d
dA
min
max , якщо A –діагональна матриця;
4) 1 AA .
З’ясуємо роль величини A в оцінці похибки при збуренні
вихідних даних системи (1.1): вектора b і матриці А.
Розглянемо поряд з b , вектор bb .
Нехай x , xx – розв’язки рівнянь bAx , bbxxA )(
відповідно. Тоді bxA .
Згідно з означенням A із (7.1) маємо
x
x
xA
Ax
A
AA
,max ,
45
звідси
b
bA
x
x
, (7.3)
тобто A – найменша константа, для якої при всіх bbxx ,,,
виконується нерівність (7.3).
Таким чином, A виконує роль множника при зростанні відносної
похибки розв’язку. Це значить, що зміна вектора в правій частині системи
має, як наслідок, зміни в розв’язку, більші в A разів. Іншими словами,
нерівність (7.3) означає, що A обмежує зверху відношення відносної
невизначеності вектора x до відносної невизначеності вектора b . Важливо
підкреслити, що оцінка (7.3) точна. Це свідчить про те, що при
відповідному підборі векторів bb , можна досягти рівності. Оцінка (7.3)
досяжна. Значить, не можна дати більш точну оцінку, ніж (7.3) для
довільних векторів bb , незалежно від їх величини.
Аналогічний зміст числа обумовленості в загальній ситуації, коли
збурюється і вектор b і матриця А: bbxxAA . Не
зупиняючись на висновку, наведемо заключну оцінку [25, с.116]:
A
AA
A
b
b
A
A
x
x
1, (7.4)
яка отримана при допущенні невиродженості матриці А та умови
1
AA
A .
Доречно зауважити, що отримується крайній випадок A ,
якщо А – вироджена матриця (оскільки 0min
A і оцінки (7.3), (7.4)
втрачають сенс),
46
а якщо А – невироджена матриця, то:
1 AAA , (7.5)
де 1A – обернена до А матриця, тобто матриця, яка задовольняє
відношення:
EAAAA 11 .
І так, із оцінок (7.3), (7.4) випливає, що число обумовленості матриці
A є характеристикою того, наскільки розв’язок системи bAx стійкий до
збурень компонент вектора правих частин b та матриці коефіцієнтів А.
При великих значеннях A розв’язок x~ системи із збуреними даними
bxA~~ (7.6)
(навіть якщо всі обчислення при знаходженні x~ проводяться абсолютно
точно) може значно відрізнятися від розв’язку х системи (1.1), не
дивлячись на те, що A~
мало відрізняється від А, а b~
– від b .
Тому, якщо }~
,~
{ bA – збурені дані задачі (1.1), то приймаючи за
наближений розв’язок задачі (1.1) вектор x~ – точний розв’язок задачі (7.6),
ми не застраховані від великої відносної похибки в розв’язку (x
xx ~ може
бути великим, якщо A велике). Розуміється, що ситуація ще більше
ускладниться (в сенсі накопичення похибок), якщо при знаходженні x~
обчислення проводяться наближено (з заокругленнями), що практично
завжди має місце при реалізації методу за допомогою засобів
комп’ютерної алгебри. Слід зауважити, що сам процес вводу (запису)
елементів матриці А і вектора b в ЕОМ і заокруглення, пов’язаного з
обмеженою розрядністю ЕОМ, може призвести до недопустимо великих
похибок розв’язку (див. наприклад [13, с.501]).
47
Проілюструємо роль числа обумовленості A на наступних прикладах.
Приклад 7.1. Нехай
0
1,
7,9
1,4,
6,67,9
8,21,4xbA .
Очевидно, що
bAx , 8,13IIb , 1
IIx .
Замінимо тепер праву частину на
7,9
11,4b ,
тоді розв’язок буде
97,0
34,0x .
Позначимо ,, xxxbbb тоді
.63,1,01,0IIII xb
Мале збурення, внесене в b , значно змінило розв’язок х.
Дійсно, відносні зміни правої частини і розв’язку рівні, відповідно:
0007246,0
II
II
b
b, 63,1
II
II
x
x
Із визначення A і оцінки (7.3) випливає, що
5,22490007246,0
63,1
b
b
x
x
A .
48
В дійсності вектори та b вибрані таким чином, що вони дають
максимальне зростання похибки, так що для даного прикладу
5,2249A ,
в чому можна переконатись, використовуючи для обчислень A
формулу (7.5).
Дуже важливо зрозуміти, що в наведеному прикладі мова йде про
точний розв’язок двох систем рівнянь, які мало відрізняються. Значить,
метод за допомогою якого були одержані ці розв’язки, зовсім не важливий.
Незважаючи на штучність вибору прикладу таким, щоб ефект збурення b
був яскраво виражений, подібну ситуацію можна очікувати в будь-якій
задачі з великим числом обумовленості.
Приклад 7.2. Припустимо, що необхідно розв’язати систему, в якій
1,011 a , а всі інші елементи матриці А і b – цілі числа степеня 2. Число
обумовленості матриці A =107. Будемо вважати, що в нашому
розпорядженні обчислювальний комплекс, який використовує 32 біти для
дробової частини і ми якимось чином можемо обчислити точний розв’язок
системи, яка записана в пам’ять машини. Тоді єдина помилка буде
пов’язана з двійковим зображенням числа 0,1. І тим не менш можна
очікувати, що відносна похибка у розв’язку
3327 102210
x
x.
Це означає, що вже запис коефіцієнтів матриці може призвести до змін
третьої (десяткової) значущої цифри компонент вірного розв’язку.
Число обумовленості має ґрунтовне значення при аналізі похибок
заокруглень в процесі розв’язку СЛАР, наприклад, методом Гаусса. Нехай
елементи матриці A і вектора правих частин b є точно зображеними
числами з плаваючою комою, а *x – вектор розв’язку, одержаний на
виході підпрограм розв’язку СЛАР, які реалізують метод виключення
Гаусса. Точний розв’язок системи bAx , як і вище, позначимо черех x .
49
Тоді справедливі такі нерівності ([13, с. 502]):
t
xA
bAx
*
*
, (7.7)
tAx
xx
*
*
,
де
– основа числення системи, яка використовується (звичайно 2 )
для зображення чисел з плаваючою комою,
t – число розрядів мантиси, так що t відіграє роль машинного
(тобто найменшого числа 0 , зображеного в ЕОМ),
– деяка константа, не більша за .
Величину bAx * будемо називати нев’язкою.
Із першої нерівності (7.7) випливає, що відносна величина нев’язки
порівнювана з помилкою заокруглень, незалежно від величини
обумовленості. Друга нерівність, одержана при допущенні невиродженості
матриці, говорить, що відносна похибка розв’язку може бути великою,
якщо число обумовленості A велике. Це пов’язане з тим, що існують
приклади, на яких досягається рівність в другій нерівності (7.7).
Вищевикладене дозволяє дати наступну класифікацію матриць
СЛАР. Матриця А (системи bAx ) називається добре обумовленою, якщо
A відносно невелике. Матриця А (системи bAx ) називається погано
обумовленою, якщо A відносно велике.
Що означає A “відносно мале” чи “відносно велике”?
Однозначної відповіді на це питання дати поки що не можна, але можна
дещо уточнити ці поняття.
Припустимо, що вихідні дані СЛАР (тобто, матриця і праві частини)
задані з точністю :
A
AA~
,
b
bb~
.
50
Треба знайти розв’язок x~ , який апроксимує (наближає) точний
розв’язок х з похибкою не більшою ,
x
xx ~ (природно, що ).
На основі оцінок (7.3), (7.4) розв’язуючи систему bxA~~~
звичайним методом Гаусса, не можна, взагалі кажучи, одержати точність
вищу, ніж A .
З цієї причини, якщо A , то матрицю (систему) природно
вважати добре обумовленою відносно заданих рівнів похибок вихідних
даних і точності розв’язку, а якщо A , то – погано обумовленою.
Практично, системи з A , які неперевищують декількох сотень,
відносять до гарно обумовлених, а системи з величиною 1000A
вважають вже погано обумовленими. Неважко бачити, що такий розподіл є
умовним.
Прикладом дуже погано обумовленої системи може служити система
з матрицею Гілберта (див. §6), яка виникає при апроксимації функції )(xf
на відрізку [0;1] поліномом степеня n [13, с.503]. Вже для 6n
7105,1 A , а при 10n 13106,1 A . Ефективний розв’язок
настільки погано обумовлених систем складає нелегку обчислювальну
проблему.
51
§8. Аналіз похибок обчислень
Розглянемо різні випадки, в яких відбувається велика втрата точності
при знаходженні розв’язку або виникають явища чисельної нестійкості,
коли розв’язок значно змінюється при незначних збуреннях правих частин
та елементів матриць СЛАР.
8.1. Невірна організація обчислень в методі виключення
Приклад 8.1. Будемо розв’язувати наступну систему, виконуючи
арифметичні операції з 4 десятковими знаками:
.1,03,04,0
,5,05,00001,0
21
21
xx
xx
Справжнім розв’язком, заокругленим до 4-х вірних знаків, є
.9998,03,2000
9,1999,9999,0
0003,2
221 xx
Виключаючи невідоме 1x з 2-го рівняння і заокруглюючи до 4-х
знаків, одержимо методом Гаусса
.20002000
,5,05,00001,0
2
21
x
xx 0,1 12 xx .
Переставимо рівняння і знову проведемо виключення 1x
(заокруглюючи до 4-х знаків)
.20002000
,1,03,04,0
2
21
x
xx 1,1 12 xx .
Цей приклад показує, що слід уникати малих за абсолютною
величиною головних (ведучих) елементів iia (в першому випадку це
0001,011 a ). Вихідна система гарно обумовлена і правильна реалізація
методу виключення (з вибором головного елементу максимального в
стовпцю) дає гарний результат. Якщо ж головний елемент вибирати по
всій матриці
52
,2,02003,0.1,04,03,0
,5,00001,05,01
12
12
x
xx
xx
тоді .9998,0,9999,0 21 xx
Вірний розв’язок одержаний з точністю до 4-х знаків.
Таким чином, накопичення похибки в першому варіанті виключення
обумовлено не “поганими” властивостями системи, а непродуманою
схемою реалізації методу Гаусса.
8.2. Близькість до нуля визначника системи
Приклад 8.2. Наведемо три системи рівнянь з двома невідомими з
коефіцієнтами при них, які мало відрізняються. Праві частини також мало
відрізняються
2,5.173
,9998,00001,7321
21
21
xx
xx
xx,
0,
3
1
.173
,10001,7321
21
21xx
xx
xx,
.173
,9999,073
21
21
xx
xx – система несумісна.
Праві частини відрізняються правою частиною на величину 4102 ,
а їх розв’язки відрізняються значно. Третя система, котра відрізняється від
двох попередніх (в коефіцієнті матриці та в правій частині) на величину
410 , вже не має розв’язку. В наявності сильна чутливість розв’язку до
збурення вихідних даних. Причиною цього є дуже мале значення
визначника системи (майже виродженість)
.0003,073
0001,73
Таким чином, близькість до нуля визначника може бути причиною
поганої обумовленості. Однак це не завжди так. Наприклад, діагональна
матриця А порядку 100 і числом 10
1 на діагоналі має визначник
53
10010)(det A . Число ж обумовленості для неї – 1A (див. властивість
3) в §3). Компоненти вектора xAb відрізняються тільки множником 0,1
від компонент вектора х. Таким чином, проблем зі знаходженням
розв’язку не виникає.
8.3. Малі за модулем власні значення
Нехай А – квадратна матриця розміром nn . Нагадаємо, що власним
значенням матриці А є таке число , для якого рівняння xAx має
ненульовий розв’язок x . Такий вектор називають власним вектором
СЛАР. Власними значеннями n
ii 1}{ , є корені характеристичного рівняння
0)(det EA i .
Якщо всі корені i дійсні та різні, то відповідні власні вектори iu
утворюють базис в просторі nR .
Розкладемо вектор b за цим базисом
n
k
kk ubb1
і будемо шукати
розв’язок у вигляді
n
k
kk uxx1
. Тоді
n
k
kk
n
k
kkk
n
k
kk ubuxuAxxA111
,
звідси, в силу лінійної незалежності векторів ku маємо
k
kk
bx
. (8.1)
Очевидно, що відповідна компонента вектора розв’язку може бути
обчислена з великою похибкою, якщо серед i є близькі до нуля власні
значення 0i
і вектор b заданий або обчислений з похибкою (оскільки малі
похибки 0i
b в формулі (8.1) діляться на дуже малі 0i
). В цьому випадку
говорять, що розв’язок “розхитується” у напрямку власних векторів, які
відповідають малим власним значенням.
54
Справа ускладнюється ще й тим, що саме задача знаходження
власних значень i (які використовуються в формулі (8.1)), взагалі
кажучи, нестійка відносно збурень елементів матриці.
Пояснимо цей факт наступним прикладом. Розглянемо дві близькі
матриці розмірності 25×25.
1...00
10...000
...............
0...1010
0...0101
,
1...000
10...000
...............
0...1010
0...0101
AA .
Із рівнянь
,01)(det25 EA
25
25
252425
8
10,0
8
101101)(det
EA
знаходимо відповідно 4
1,1 . Звідки бачимо, що власні числа
відрізняються на величину 4
5, в той час як похибка при завданні
коефіцієнтів матриці складає число менше 10-22
. Зауважимо, що на ЕОМ,
які використовують десяткові числа з мантисою меншою 22 знаків, ці
матриці при завданні тотожні. З цієї причини, при знаходженні розв’язку
за формулами (8.1) помилка в розв’язку може значно збільшитися за
рахунок наближеного знаходження власного числа i .
8.4. Наявність великих елементів в оберненій матриці
Розглянемо спочатку, як зв’язані зміни елементів оберненої матриці
зі змінами елементів вихідної матриці.
Нехай n
jiijA 1,
1 }{
– обернена до A матриця. Тоді
EAA 1,
55
01
1
ijij a
AAA
a
A,
111
A
a
AA
a
A
ijij
,
j
iijeija
A
000
010
000
jeie
j
i
000
010
00
01
00
,
000
000
00
00
00
121
2
1
jnjj
ni
i
i
ija
A
jnnijni
jniji
jniji
1
212
111
.
jlki
ij
kl
a
. (8.2)
Звідси
ij
n
ji
jlkikl dad
1,
.
Провівши аналогічні викладки, одержимо
,1bAx
56
,
0
0
2
1
11111
jni
ji
ji
jijij
ijij
x
x
x
ixAxeAbAeAba
A
a
x
,jki
ij
k xa
x
ij
n
ji
jkjk daxdx
1,
, (8.3)
ni
ii
i
ii
iAb
bA
b
x
1
11
0
1
0
,
kii
k
b
x
, (8.4)
i
n
ji
kik dbdx
1,
.
Обернену матрицю 1A будемо називати нестійкою, якщо малим
збуренням елементів матриці А відповідають великі зміни елементів
оберненої матриці. Якщо 1A містить великі за абсолютною величиною
елементи ij , то на підставі формули (8.2) вона буде нестійкою. Як
показують співвідношення (8.3), (8.4), в такому випадку малі зміни
коефіцієнтів системи та вільних членів можуть потягнути значні
спотворення у розв’язках. Ця обставина також дає підстави
характеризувати погано обумовлену систему рівнянь (поряд з визначенням
в §7), як систему з нестійкою оберненою матрицею [13, с.503]. Такі
системи можуть бути практично виродженими, якщо її елементи задані з
похибками.
57
Приклад 8.3. Розглянемо квадратну матрицю розміром 40n :
,
10...000
21...000
..................
00...210
00...021
A
для якої 1)(det A і всі значення 1i .
Розглянемо поряд з А збурену матрицю
,
10...00
21...000
..................
00...210
00...021
A
для якої уже 3921)(det A ; при
1239 102 ,
3921)(det A , тобто система рівнянь з матрицею A після запису її
елементів до пам’яті ЕОМ з точністю 1210 буде виродженою. Тоді при
деяких правих частинах b ця система буде несумісна. Причиною
нестійкості є наявність великих коефіцієнтів в оберненій матриці
n
jiijA 1,
1 }{
, наприклад, 1139
11 102 .
Приклад 8.4. Розглянемо дві близькі матриці [26, с. 102]
10975
91086
78107
5675
A ,
10975
91086
78107
5675
A .
58
при 210 обернені матриці до них є, відповідно,
23610
351017
6102541
10174168
1A ,
12,531,881,1825,31
31,803,1478,3112,53
81,1878,3153,7712,128
25,3112,5312,1285,212
A .
Великі розбіжності елементів 1A і 1A показують, що матриця 1A
нестійка, система bAx буде погано обумовленою. Більше того, при
68
1 неважко обчислити, що 0681)(det A , тобто в границях
точності до 0,02 система повинна розглядатися як вироджена, з усіма
наслідками, що звідси випливають.
Приклади 8.3, 8.4 дають підстави ввести таку міру виродженості
матриці
x
AxAd
x 0min)(
.
Якщо А вироджена, то очевидно 0)( Ad . Для невироджених матриць А
справедлива формула
1
1)(
AAd ,
з якої випливає, що чим більше 1A (тобто, чим більше число
обумовленості )(A ), тим менше )(Ad , і, значить, тим ближче матриця A
до виродженості.
59
§9. Узагальнення поняття розв’язку. Псевдорозв'язок
Перш ніж перейти до викладу методів наближеного розв’язку погано
обумовлених систем, необхідно розв’язати питання про те, що треба
розуміти під розв’язком системи рівнянь (1.1), яка в загальному випадку
може бути перевизначеною, недовизначеною, тобто такою, коли апріорі
невідомо існування і єдиність розв’язку.
Позначимо через x вектор, який реалізує мінімум нев’язки
}:{min22
RnxbxAbxAx
. (9.1)
Величина x називається розв’язком системи (1.1) в сенсі методу
найменших квадратів.
Необхідною умовою мінімуму функціонала 2
)( bxAxI в (9.1) є
0)( xI , де I – варіація функціонала.
Оскільки для приросту функціоналу має місце представлення
),(),(2),(2)()( AhAhbAhAhxAxIhxI ,
то 0)(2)( bAxAAxI TT . Значить вектор x задовольняє системі рівнянь
bAxAA TT (9.2)
(нагадаємо, що TA – транспонована до А матриця).
Неважко показати, що вірне і обернене твердження: кожний
розв’язок (9.2) мінімізує нев’язку в (9.1), так, що задачі (5.1) і (5.2)
еквівалентні. Із елементарних геометричних міркувань можна встановити,
що задача (9.1) завжди має розв’язок, можливо не один. З цієї причини, в
силу встановленого факту еквівалентності, система (9.2) також має
розв’язок для будь-якої матриці А та вектора b .
Позначимо X – множину розв’язків системи (9.2), а значить і задачі
(9.1).
60
Задавши деякий фіксований елемент 0x , який відіграє роль пробного
розв’язку, наприклад, можна покласти 00 x , розглянемо задачу на
мінімум
}:{min2
0 Xxxx . (9.3)
Розв’язок x~ задачі (9.3) існує і єдиний, що випливає з того факту, що
строго опуклий функціонал досягає найменшого значення на опуклій
замкнутій множині в єдиній точці. Вектор x~ будемо називати
псевдорозв'язком задачі (1.1).
Із співвідношень
,0uAAT
,0,2
uAuuAAT
,0uA
,0xA
0xAAT
.
випливає, що множини розв’язків однорідних систем
,0uAAT 0xA збігаються.
Звідси випливає наступний важливий факт. Якщо система (1.1)
сумісна, то псевдорозв’язок x~ збігається з нормальним розв’язком цієї
системи, тобто є розв’язком, який найменше відхиляється за нормою від
вектора 0x . І в частинному випадку, якщо (1.1) однозначно розв’язується,
то псевдорозв’язок збігається зі звичайним розв’язком.
Переконаймося, що псевдорозв'язок нестійкий відносно збурення
елементів матриці.
61
Приклад 9.1. Для несумісної системи [16, с. 299]
,100
,10
21
21
xx
xx
,0
1,
10
01
bAAA TT
тому множина розв’язків системи (5.2) в даному прикладі:
11 x , 2x – довільне число, тобто при 00 x
псевдорозв'язком буде вектор 11 x , 02 x .
Збурену систему подамо у вигляді
,10
,10
21
21
xx
xx
де – мале число.
Оскільки ця система має єдиний розв'язок
T
x
1,1~ , то він і буде псевдорозв’язком збуреної системи. При
x~,0 і не апроксимує псевдорозв'язок Tx 0,1~ .
62
§10. Метод регуляризації А. М. Тихонова
В основі побудови стійких методів розв’язку некоректних задач
лежить поняття регуляризуючого алгоритму і зв’язаного з ним поняття
регуляризованого сімейства розв’язків. Цей метод був запропонований
академіком А. М. Тихоновим [13, с.501]. Погано обумовлені СЛАР слід
розглядати як некоректно поставлені задачі і при їх наближеному розв'язку
необхідно застосовувати ідеї регуляризації.
Умовимось розрізняти точні дані – пару
},{ bA ,
яка формує задачу (1.1) і яка є невідомою, і наближені дані
},{ bAh , bbhAAh ,
з рівнем похибок ,h , якими ми володіємо.
Суть регуляризованого методу наближеного розв'язку стосується
побудови послідовності векторів ,hx , яка збігається до розв'язку або
псевдорозв'язку рівняння (1.1) при 0 h . Як було показано в §7 – §9,
за наближений розв'язок ,hx не можна, взагалі кажучи, брати точний
розв'язок або квазірозв’язок рівняння з індивідуальними даними
bxAh (10.1)
(див. приклад 7.1).
Нехай в нашому розпорядженні є спосіб (правило), який за парою
},{ bAh і додатним параметром однозначно будує вектор );( bAx h .
Якщо існує залежність параметра ),( h від похибок h, вихідних даних
така, що
,0~,lim ),(
00
xbAx h
h
hδ
(10.2)
63
тоді множина )};({ ),(
bAx h
h називається регуляризованим сімейством
наближених розв’язків, а сам метод побудови );( bAx h регуляризуючим
алгоритмом для задачі (1.1).
Тут вектор x~ – розв’язок, нормальний розв’язок або псевдорозв’язок
системи (1.1) залежно від того, чи розв’язується ця система однозначно, чи
має множину розв’язків, чи не має.
Співвідношення (10.2) свідчить про те, що наближений розв'язок
);( bAx h тим краще аппроксимує точний розв'язок x~ , чим менша
похибка вихідних даних h, . Таким чином, регуляризуючий алгоритм дає
теоретичну базу для конструювання стійкого до збурень вихідних даних
наближеного розв'язку системи (1.1) загального виду, включаючи погано
обумовлені системи.
Важливо розуміти наступну обставину. Якщо 1A існує, тобто А
невироджена матриця, то для достатньо малих h існує і 1
hA та розв'язок
,hx рівняння (10.1) теоретично буде збігатися до розв’язку рівняння (1.1)
при 0, h . Однак, якщо А – погано обумовлена матриця ( A велике),
то величина похибки hxx ,~
, навіть при малих ,h може бути
недопустимо великою, і задачу слід вважати практично нестійкою
(некоректною). Метод регуляризації як раз і направлений на те, щоб
ослабити вплив похибок (вихідних даних, обчислень) і одержати
практично стійкий наближений розв'язок в цій несприятливій обстановці.
Тепер перейдемо до опису конкретних процедур побудови
регуляризованих наближених розв’язків );( bAx h . Далі для скорочення
запису будемо опускати залежність );(),(
bAx hh
від );( bAh і
записувати просто ),( hx .
Розглянемо спочатку частинний випадок – схему М.М. Лаврент’єва
[15, с. 36], коли A – симетрична додатна напіввизначена матриця, для якої
система (1.1) при заданому векторі b може бути розв’язана.
64
Перейдемо від (1.1) до регуляризованої системи
0xbxEA ,
де – додатній параметр, Е – одинична матриця, 0x – пробний розв'язок,
тобто деяке наближення до шуканого розв'язку (якщо інформація про
розв'язок відсутня, то можна покласти 00 x ).
При зроблених застереженнях, СЛАР (10.3) має єдиний розв'язок x ,
який збігається при 0 до нормального розв'язку x~ (див. §9).
Твердження 10.1 [15, с. 70]. Нехай
},{ bAh , hAAh , bb
– наближені дані задачі і hA – симетрична додатна напіввизначена
матриця. Тоді СЛАР
0xbxEAh (10.4)
однозначно розв’язана і при зв’язку параметра з похибками h,
такими, що
0, h ,
0,
h
h
, коли 0 , 0h ,
тобто ),( hx збігається до нормального розв'язку x~ рівняння (1.1). Це і є
розв'язок, який найменше ухиляється від вектора 0x .
Таким чином, згідно з визначенням, даним вище, розв'язки СЛАР
(10.4) }{ ),( hx утворюють регуляризоване сімейство наближених
розв’язків для системи (1.1); причому, вибір параметра за формулою
)1( php
задовольняє необхідним вимогам, оскільки
p
hh
hh
p
p
11
,0
, коли 0, h .
65
Зауваження (10.1). Нехай А – додатна напіввизначена вироджена
матриця і 1A (що можна завжди досягти відповідним масштабуванням
рівнянь системи (1.1)). Коли A , в той час як .1
EA З
цієї причини при виборі параметра можна досягти гарної обумовленості
систем (10.3), (10.4) і задовільної апроксимації xx ~ , не дивлячись на те,
що ці вимоги мають протиріччя.
Роль параметра регуляризації добре видно, якщо записати
розв'язок системи (10.3) (при 00 x ) у вигляді
i
n
i i
i ub
x
1
,
де i – власні значення ( 0i ), а iu – ортонормовані власні вектори
матриці A (виведення формули аналогічно п.3 §8). Це зображення показує,
що при малих i додавання додатного параметра суттєво збільшує
знаменник і тим самим послаблює вплив можливих похибок у відповідних
компонентах ib ( iii bbb ~
). Одночасно для 0i вплив малого
параметра незначний (і навіть такий, що ним можна знехтувати).
Тепер відмовимось від вимоги симетричності і додатності матриці А.
Нехай матриця В така, що для деякого 0 матриця BA 0 є
невиродженою матрицею і, значить, існує її обернена матриця. Тоді
можлива регуляризація в такій формі
bxBA ,
де
– параметр довільного знаку і
0 .
Має місце наступне.
Зауваження 10.2 [16, с.207]. Нехай
cABA1 (при 0 ),
,, BBhAAh bbb .
66
Тоді при достатньо малих ,,h СЛАР
bxBAh (10.6)
має єдиний розв'язок x і справедлива оцінка похибки
,~
hcxx B
(10.7)
де
Bx~ – розв'язок системи (1.1), що задовольняє умові
}:{min~ XxBxxB ,
а X – множина розв’язків системи (1.1).
Із оцінки (10.7) одразу випливає, що має місце збіжність
0~lim0
Bμh,δ,
xx ,
якщо
0,,
,0,,
h
hh при 0,, h .
Найбільш важливим моментом в описаній регуляризації є підбір
матриці В, для якої матриця
BA 0
невироджена і
ABA1 .
В роботі [15, с. 75] можна знайти деякі способи побудови матриць з
такою властивістю.
Дослідимо, врешті, загальну ситуацію, коли система (1.1), взагалі
кажучи, нерозв’язна. В такому випадку шуканим є псевдорозв'язок,
визначений в §9. Розв’язується задача стійкої апроксимації такого
псевдорозв'язку в умовах завдання вихідних даних з похибкою. Приклад
9.1 демонструє, що псевдорозв'язок x~ – нестійкий до збурень елементів
матриці, тому необхідно і тут використати принцип регуляризації. За
67
регуляризоване наближення розв'язку приймемо вектор x , що
задовольняє СЛАР
0xbAxEAA T
hh
T
h . (10.8)
Твердження 10.3 [17, с.51]. Нехай
bbhAAh , , 0 .
Тоді СЛАР (10.8) однозначно розв’язна і справедлива така оцінка
hccbxAh
cxx 32
122
211
2~~ , (10.9)
де
ic , 3,2,1i – константи, які залежать від норми x~ псевдорозв'язку.
Наслідок. Нехай h , величини порядку , причому достатньо
мале число. Якщо точне рівняння (1.1) має розв'язок, тобто 0~ bxA ,
тоді права частина оцінки (10.9) за характером залежності від та , є
функція вигляду
. (10.10)
При 3 2 функція (10.10) набуває значення порядку 3 2 . Якщо
СЛАР (1.1) нерозв’язна ( 0~ bxA ), то права частина нерівності (10.9) є
функція виду
. (10.11)
При вона приймає значення порядку . Такі порядки
одержуються за допомогою мінімізації функцій , , тобто є
розв’язками рівнянь 0,0 .
68
Таким чином, якщо вхідні дані рівняння (1.1) задані з точністю
порядку , то псевдорозв'язок може бути визначений з точністю порядку
3 2 , у випадку розв’язності точного рівняння, і з точністю порядку , в
оберненому випадку. Зауважимо, що більш складний спосіб вибору
параметру дозволяє апроксимувати псевдорозв'язок з точністю порядку
апроксимації h [64, с.585].
Задача (10.8) еквівалентна задачі на мінімум
}:{min2
02 n
δh RxxxαbxA , (10.12)
де L – невироджена матриця розмірності n×n, вибором якої можна
розпорядитися, щоб підвищити точність регуляризованого розв'язку.
При 0 задача на мінімум (10.12) переходить в метод найменших
квадратів (МНК), який, як показано в §9, нестійкий відносно збурень
матриці. Перехід від МНК до його регуляризованого аналогу (10.12)
відтворює стійкість наближеного розв'язку.
69
§11. Застосування методу регуляризації
Приклад 11.1. Звернемось до системи рівнянь, розглянутому в
прикладі 8.2. Візьмемо систему
,173
,9999,073
21
21
xx
xx (11.1)
яка несумісна, оскільки ранг 1)( Ar матриці
73
73A системи (11.1)
не дорівнює рангу 2)( Br розширеної матриці
173
9999,073B .
Нагадаємо, що ранг матриці визначається як максимальний порядок
мінорів матриці, відмінних від нуля.
Розв'язок системи (11.1) в звичайному сенсі не існує, тому знайдемо
спочатку псевдорозв'язок, який було визначено в §9. Для цього необхідно
знайти вектор-розв'язок системи bAxAA TT ( TA – транспонована до А
матриця) з найменшою евклідовою нормою (модулем) (див. (9.1) – (9.3)).
Для системи (11.1) маємо
73
73A ,
77
33TA ,
9842
4218AAT
,
1
9999,0b ,
9993,13
9997,5bAT .
В отриманій системі
9993,139842
,9997,54218
21
21
xx
xx
друге рівняння є наслідоком першого і одержано із нього множенням на
3
7 . Тому, покладаючи 1x – довільним, знаходимо з першого рівняння
42
9997,518 12
xx .
70
Так як норма розв'язку повинна бути мінімальною, то
псевдорозв'язок знаходиться на основі розв'язку задачі
)(min 1x ,
Тобто
2
12
142
9997,518min
xx .
Використовуючи необхідну умову екстремуму 01 x , знаходимо
9997,5116 1 x ,
05172,0~1 x ,
а
12068,042
9997,518~ 12
xx
після заокруглення до 4-х знаків.
Далі будемо вважати систему (11.1) точною (тобто з точними
даними), а систему
173
,10001,73
21
21
xx
xx (11.2)
наближеною, так що
73
0001,73hA ,
1
1b , 0001,0 bb , 0001,0 , 0001,0h .
Для цих даних застосуємо метод регуляризації (10.8), вибираючи,
згідно наслідку із твердження 10.3, параметр регуляризації
01,0 h .
Справа призводить до розв'язку системи bAxEAA T
hh
T
h
,0001,140114,980003,42
,60003,4201,18
21
21
xx
xx
,0511719,0161,1
06,0
01,9842
4201,18
0114,980001,14
0003,426
1
x
71
.11938,0161,1
140001,0
0114,980003,42
0003,4201,18
0001,140003,42
601,18
2
x
Одержаний регуляризований розв'язок Txxx 21 ,~ апроксимує
псевдорозв'язок Txxx 21~,~~ з точністю до 3-х вірних знаків, тобто з
точністю навіть вищою, ніж гарантується оцінками (10.9) – (10.11).
Приклад 11.2. Якщо взяти в якості наближеної системи
,173
,9998,00001,73
21
21
xx
xx
(11.3)
73
0001,73hA ,
1
9998,0b
і застосувати той же метод при 01,0 , тоді одержимо наближений
розв'язок
T123347,0;04546,0 ,
який апроксимує шуканий псевдорозв'язок з точністю 0,006.
Цей результат слід вважати досить задовільним, оскільки при
0002,0 , 0001,0h , згідно з оцінкою (10.11) можна
розраховувати тільки на точність 014,0 .
Таким чином, для наближеної системи (11.3) результат встановлено
дещо гірший, ніж для (11.2).
Приклад 11.3. Дослідимо процедуру регуляризації для СЛАР,
розглянутої в прикладі 9.1. Система
,100
,10
21
21
xx
xx (11.4)
несумісна, тому не існує звичайного розв'язку.
Псевдорозв’язок для (11.4) було знайдено в прикладі 9.1 і він рівний
Tx )0,1(~ . Наближена система вибиралась у вигляді
72
,10
,10
21
21
xx
xx
(11.5)
– параметр похибки.
Позначимо матрицю цієї системи через A , а вектор правих частин
через b , маємо
0
01A ,
0
01TA ,
20
01
AAT ,
1
bAT .
Регуляризована система (10.8) набуває вигляду
,0
,101
2
2
1
21
xx
xx
1
11x ,
22x , Txxx 21 , .
Покладаючи , знаходимо
T
x
1
,1
1
23
.
Знаходимо оцінку похибки
2
22
2
11~~~ xxxxxx
2
11
22
23
,
яка показує, що прямування помилки вихідних даних до нуля призводить
до того, що похибка розв'язку прямує також до нуля. Не буде зайвим
нагадати, що якщо взяти за наближений розв'язок псевдорозв'язок системи
(11.5) (так як вона розв’язна, то псевдорозв'язок її збігається зі звичайним
73
розв’язком
T
x
1,1 ), то він взагалі не апроксимує псевдорозв'язок
Tx 0,1~ точної системи.
Приклад 11.4. Розглянемо систему з прикладу 8.4 з точною
матрицею А і збуреною матрицею A . Оскільки A симетрична, то
допустима схема регуляризації (10.4).
Покладемо 048,0)01,0(3 2 , а вектор правої частини
Tb 048,31048,33048,32038,23 .
Тоді розв'язок системи (10.4) при AAh , bb , 048,0 , 00 x
Tx 1,1,1,1
.
Так як в прикладі 8.4 були обчислені 11, AA , то знаходимо
TbAx 04,193,084,028,1~ 1 ,
TbAx 44,125,081,000,41
.
Переконуємося, що x апроксимує точний розв'язок x~ з відносною
похибкою
16,0~
~
x
xx ,
а нерегуляризований розв'язок x апроксимує з точністю
8,1
~
x
xx ,
тобто на порядок гірше.
Приклад 11.5. Застосуємо метод регуляризації (10.8) до погано
обумовленої СЛАР із прикладу 7.1 при 046,0)01,0(3 2 , Tb 7,911,4 ,
AAh , 01,0 . Одержимо розв'язок Tx 46,068,0 з відносною
помилкою 78,0 в нормі II , що в два рази менша відносної помилки
нерегуляризованого розв'язку x , для якого 66,1 (див. приклад 7.1).
74
Приклад 11.6. Система рівнянь [1, с.147]
,25501,7515
,1700500100
21
21
xx
xx
1)(det A
має розв'язок
Tx 0,00,17~ ,
а близька до неї (наближені дані) система
,03,25501,7515
,1700500100
21
21
xx
xx
Tbbb 03,00,0 , 03,0
має розв'язок
Tx 0,30,2 ,
тобто
1~
~
x
xx .
Регуляризації в формі (10.5) при
EB , 1,0
дає розв'язок
Tx 5,11,10
,
для якого
14,0~
~
x
xx
.
Приклад 11.7. Нарешті розглянемо систему рівнянь
97,198,099,0
,99,199,0
21
21
xx
xx
з числом обумовленості(див. [13, с. 37])
75
39600A ,
її розв'язок
Tx 0,10,1~ .
Однак
Tx 0203,10,3
є розв’язком дуже близької до вихідної системи (наближені дані)
,970106,198,099,0
,989903,199,0
21
21
xx
xx
Tbbb 000106,0000097,0 ,
тобто
0001,0 .
Регуляризованим розв'язком за формулою (10.4) з цими
наближеними даними, заокруглений до 5 знаків, є
Tx 0002,198985,0
,
який апроксимує розв'язок x~ з точністю до 1% при 01,0 .
Зробимо висновки. У всіх розглянутих прикладах регуляризований
розв'язок суттєво краще апроксимує точний розв'язок, ніж звичайний
розв'язок або псевдорозв'язок з наближеними даними. Для подальшого
підвищення точності необхідно уточнити вихідні дані.
76
§12. Способи вибору параметру регуляризації
Згідно висновкам, одержаним в §10, параметр регуляризації
необхідно пов’язувати з похибками h, вихідних даних. Там же наведені
асимптотичні залежності h, , які гарантують збіжність наближених
розв’язків при 0, h . Однак тут допускається значна довільність.
Наприклад, поряд з
3 2
або
(див. наслідок з твердження 10.3) допустимі також залежності
3 2
c , 2
c ,
де c – довільна константа, а 0 , звідси неясно, яким вибрати c .
Крім того, в прикладних задачах звичайно рівень похибок h,
фіксований ( h, не прямує до нуля) і треба вказати конкретне h, в
визначеному сенсі, найкраще. Справа в тім, що при зменшенні
погіршується обумовленість матриць регуляризованих задач, а значить,
можуть виникнуть обчислювальні похибки, а при збільшенні
наближений розв'язок погано апроксимує точний розв'язок, що випливає із
оцінок (10.10), (10.11). Тому потрібний розумний компроміс.
Опишемо деякі практичні способи вибору параметру .
1) Метод нев’язки. Припустимо, що похибка є тільки в правій
частині СЛАР
bb , AAh ( 0h ).
Через x , як і раніше, позначимо розв'язок системи (10.8). Легко
бачити, що функція
2 bAx
є строго зростаючою неперервною функцією параметра , так як функція
від
1 буде вгнутою [33, с.540].
77
Значить, для знаходження кореня рівняння
22
. : bAxнев
можна використати метод Ньютона. Тут і далі x – розв'язок рівняння
(10.8) при 00 x і відповідних наближених даних.
2) Метод узагальненої нев’язки. Цей метод охоплює загальний
випадок появи похибок:
hAA h , bb .
Параметр .,0 нев знаходиться із рівняння
,:22
. xhbAxнев
для якого розроблені чисельні методи та відповідне програмне
забезпечення [12, с.130].
3) Вибір за квазіоптимальним розв'язком. Даний метод ґрунтується
на розв'язку оптимальної задачі (випадок AAh )
,maxmin:..
d
dx
δbb:bαоптк
δδ
де max шукається серед всього сімейства наближених правих частин b .
Але практично достатньо взяти досить багатий набір b , генеруючи його
методом псевдовипадкових чисел. Що стосується обчислення вектора
d
dxy ,
то він знаходиться із СЛАР
bAAxAyEAA TTT .
78
4) Метод співвідношень [13, с.501]. Параметр .опт визначається, як
розв’язок задачі знаходження максимуму (випадок AAh )
.:.
bAx
bAxd
dxA
maxвідн
5) Оптимальний критерій. Якщо відомий точний розв'язок x~ , то
параметр .опт , за якого реалізується
xxδbb:bα
оптδδ
~maxmin:.
природно назвати оптимальним.
На великому класі СЛАР, що виникають при апроксимації
інтегральних рівнянь I роду [14, с. 78-86], були експериментально
встановлені наступні нерівності
..... невопткоптвідн ,
які можуть бути корисними при практичному пошуку найкращого
параметру регуляризації в методі А. М. Тихонова.
Наприклад, відшукавши .відн і ..оптк , можна уточнити параметр
, взявши середнє арифметичне
2
... оптквідн
.
79
§13. Ітераційні регуляризуючі алгоритми
При розв’язуванні погано обумовлених систем можуть бути
використані ітераційні методи при відповідній організації процесу
ітерування. Принциповим тут є той факт, що необхідно сформулювати
правило зупинки ітераційного процесу в залежності від рівня деформації
викревлення вихідних даних, тоді як для гарно обумовлених систем в
цьому необхідності немає. Роль керуючого параметра (регуляризації)
відіграє кількість кроків (ітерацій), виконаних за даною ітераційною
схемою.
1) Дослідимо це питання на прикладі простої ітерації
...,2,1,1 kbAxAAEx TkTk (13.1)
У випадку наближених даних bAh , замість (13.1) маємо
ітераційну схему
,...,2,1,1 kbAxAAEx T
h
k
h
T
h
k
(13.2)
де
bbhAA h , .
Припустимо, що система (1.1) розв’язна і
1A , 1hA .
Остання умова не обмежує класу розв’язувальних задач, оскільки його
виконання можна завжди досягти, помноживши рівняння (1.1) на
масштабуючу константу.
Як і раніше через x~ позначимо нормальний розв'язок, фактично
розв'язок системи (1.1), для якого норма 0~ xx найменша, де
0x -
початкове наближення в процесі (13.2).
Визначимо тепер правило зупинки ітерування.
П30: задамо довільні числа 01 a та 02 a ; ітерування зупинимо на
такому номері hK , , для якого перший раз виконано
80
haaxx kk 211 .
П31: задамо довільні числа xbb ~~,11 ; ітерування зупинимо на
такому номері hK , , для якого перший раз виконується нерівність
hbbbxA kh
~1 .
П32: задамо довільні числа 1,1 21 bb і 0a ; ітерування
призупинимо на такому номері hK , , для якого вперше буде виконано
хоч одну з умов:
hxbbbxA kk
h 21 ,
221
),(hxbb
ahK
k
.
Твердження 13.1 [20, с.85]. Нехай послідовні наближення (13.2)
призупиняються за будь-яким з правил П30, П31, П32. Тоді
0~lim ,
0
xx hK
hδ,
. (13.3)
При цьому для числа ітерацій hK , у випадку П30 справедливе
співвідношення
0, hKh при ,0, h
у випадку правил зупинки П31, П32 виконується співвідношення
0,2
hKh при .0, h
Співвідношення (13.3) означає, що правила зупинки П30, П31, П32
послідовних наближень (13.2) визначають регуляризуючі алгоритми
розв’язку рівнянь (1.1).
Зауваження 13.1. Позначимо через hx , нормальний відносно 0x
розв'язок СЛАР
bAxAA T
hh
T
h . (13.4)
Тоді
0lim ,
h
k
kxx .
81
Значить, із збільшенням номера kxk, все точніше апроксимує
розв'язок hx , . Але, як було показано раніше (див. приклади 8.2, 8.4),
точні розв’язки рівняння (13.4) з наближеними даними можуть неймовірно
відрізнятися від розв'язку рівняння (1.1) навіть у випадку однозначної
розв’язності (помітимо, що якщо 1
hA існує, то розв'язок hx , СЛАР (13.4)
збігається з розв’язком системи bxAh ). Тому недоцільно виконувати
дуже багато ітерацій згідно схеми (13.2). Процедури П3і ( 20 i ) вірно
регулюють при заданих h, число ітерацій і, у визначеному сенсі, цей
вибір є оптимальним [20,с.85].
Зауваження 13.2. Твердження 13.1 справедливе і для так званої
неявної ітераційної схеми
bAxAABAAxx T
h
k
h
T
hh
T
h
kk 111 , (13.5)
де В – додатновизначена матриця і допускає перестановку з h
T
h AA .
Для одержання необхідної точності, вимагається менше число
ітерацій за схемою (13.5), ніж за схемою (13.2). Але, крок ітерування тут
буде більш громіздкий, оскільки треба обертати матрицю BAA h
T
h .
Помітимо також, що в якості матриці В можна брати матрицю
0, EB .
Зауваження 13.3. Якщо виникає потреба знаходження розв'язку
системи (1.1), який повинен задовольняти додатковим обмеженням Qx
(Q – опукла множина), що відображають деякі властивості шуканого
розв'язку, то необхідно замість схем (13.2), (13.5) використати нелінійні
ітераційні процеси [16, с.387]
bAzAAEPz T
h
k
h
T
h
k
Qr 1 ,
bABzBAAPz T
h
k
h
T
h
k
Qr 11
,
де Qr
P – матрична проекція, яка кожному вектору ставить у відповідність
вектор із множини Q, найближчий до x .
82
Наведемо приклади апріорних множин Q, для яких Qr
P виписується
явно:
,,0:1
1 xxPxRxQ
Qrn
де
0якщо0,
0якщо,
i
iii
x
xxx ,
,,:0
0
0
0
2
2
rrxx
xxxxPxxRxQ
Qr
n
,,:3
3 zxPbxaRxQQ
riii
n
де
. якщо
, якщо,
, якщо,
, iii
iii
iiii
i
bxb
axa
bxax
z .
Приклад 13.1. Застосуємо метод простої ітерації для розв'язку
системи bxA на прикладі 8.4 з точною матрицею і збуреною
10975
91086
78107
56799,4
,
10975
91086
78107
5675
hAA
для вектора правих частин
Tb 048,31048,33048,32038,23 .
Як встановлено в §11, точним розв'язком (а саме, розв'язком системи
bxA ) є
Tx 04,193,084,028,1 .
Оскільки матриця hA симетрична і додатновизначена, то метод
простої ітерації можна використати у формі
,1 bxAEx k
h
k ...,2,1k . (13.6)
83
Попередньо нормувавши систему (поділивши в кожному рівнянні
елементи матриці і праві частини на 1000 таким чином, щоб 1hA , і
задавши початковий вектор Tx 00000
), виконаємо ітерації за
формулою (13.6).
Після 42000 ітерацій одержимо наближений розв'язок
Tx 03,1949,0878,021,142000
,
який апроксимує точний розв'язок
Tx 03,1949,0878,021,1~
який є кращим, ніж розв'язок, одержаний за методом Тихонова
Tx 1111
при 048,0 .
Враховуючи, що
01,0h , 01,0,2 bAxx kk ,
можна вважати, що зупинка ітераційного процесу відбулася згідно з
правилом П32 при 1,12 b .
84
§14. Інші методи регуляризації
Викладені в §10 – §13 регуляризуючі алгоритми, ясна річ, не
вичерпують всі стійкі методи розв’язування погано обумовлених СЛАР. В
цьому параграфі наведено поверховий огляд деяких інших методів на
розв’язування погано обумовлених СЛАР.
14.1. Метод квазірозв’язків
Будемо вважати, що апріорі відомо про належність розв'язку
системи рівнянь (1.1) опуклій замкненій обмеженій множині
QxRQ n ~, . Опуклість множини означає, що якщо дві точки Qxx 21, ,
то і відрізок їх з’єднуючий, належить Q . Замкненість множини означає,
що якщо Qxn і xxn , то Qx , а саме, множина містить всі свої
граничні точки (вектори).
Будемо вважати, що система (1.1) має на множині Q єдиний
розв'язок x~ .
Позначимо через hx ,
розв'язок задачі
QxbxAh :min , (14.1)
де hAAbb h , .
За таких припущень задача на мінімум розв’язна для будь-яких
bAh , , можливо, не єдиним чином (матриця hA оберненої може і не мати)
і справедливе співвідношення
0~lim ,
0
xx h
hδ,
.
Спосіб побудови наближених розв’язків за допомогою (14.1)
відомий, як метод квазірозв’язків В. К. Іванова [2, с.33].
Якщо система (1.1) має на Q множину розв’язків X~
, то можна
стверджувати, що сукупність граничних точок послідовностей }{ ,hx ,
належить x~ , а саме, якщо послідовність xx h ,, то обов’язково Xx
~ .
85
14.2. Метод нев’язки
Будемо спочатку вважати, що збурена тільки права частина b ,
, bb
а матриця А системи (1.1) відома точно AAh . За наближений розв'язок
x приймемо розв'язок задачі на умовний екстремум
220 :min bxAxx h (14.2)
Задача 14.2 завжди має єдиний розв'язок і справедливе
співвідношення
0~lim0
xxδ
, (14.3)
де x~ – нормальний відносно 0x розв'язок системи (1.1), яку вважаємо
розв’язною.
Якщо відома оцінка для норми розв'язку СЛАР (1.1),
cx ~ ,
то метод нев’язки можна узагальнити на випадок, коли матриця hA теж
відома з помилкою hAA h . Тоді замість (14.2) необхідно розглянути
задачу на мінімум
220 :min chbxAxx h .
Для її розв'язку hx , справедливий аналог співвідношення (14.3)
0~lim ,
0
xx h
hδ,
.
Деталі відносно методів квазірозв’язків і нев’язки можна знайти в
монографії [14, с.75].
Зауваження 14.1. Методи нев’язки і квазірозв’язків зводяться до
методу Тихонова при деякому виборі параметра регуляризації [14, с.79].
Зрозуміло, що знаходження векторів hx ,
в (14.1), (14.2) можна
здійснити методами математичного програмування [13, с.501].
86
Зауваження 14.2. При розв’язуванні вироджених СЛАР (1.1) в
деяких випадках необхідно знайти не розв'язок з мінімальною нормою, а
розв'язок, що задовольняє визначеним додатковим обмеженням у вигляді
лінійних (або опуклих) нерівностей, наприклад,
}...,,2,1,0),(:{ mjlxhxKx jj . (*)
Ця задача в рамках метода найменших квадратів досліджувалась в [18,
с.19]. Для загального випадку опуклих обмежень
}...,,2,1,0:{ mjgxKx j (**)
в [16, с.387] запропоновано ітераційні процеси для сумісного розв'язку
СЛАР (1.1) і нерівність (**) (в частинному випадку, нерівність (*)).
14.3. Узагальнений метод нев’язки
Якщо інформація про вихідну СЛАР (1.1) відома у вигляді
індивідуальної наближеної системи }~
;~
{ bA , то, як видно з прикладів, при
скільки завгодно малих збуреннях bA~
,~
розв'язок x~ може мати як
завгодно великі зміни. Таким чином, наближена система }~
;~
{ bA не містить
достатньої інформації для побудови стійкого наближеного розв'язку.
А.М. Тихонов запропонував в [24, с.1373] під наближеними даними
системи (1.1) розуміти: індивідуальну наближену систему }~
;~
{ bA , рівень
похибки h, і сукупність СЛАР, еквівалентних по точності парі }~
;~
{ bA :
}~
,~
:,{,~
bbhAAbAh . (14.4)
Вектор x називають допустимим розв’язком з h,~ , якщо існує
пара
hbA ,,~
така, що bAx .
Сукупність всіх допустимих розв’язків позначимо
},,,:{,~ ~
hbAbAxxhZ ,
87
або в еквівалентній формі
}~
,~
:{,~
hAAbbxhZ .
Наближені дані h,~ системи (1.1) назвемо еквівалентними, якщо
hZ ,~ . Вектор hx ,
~ , який реалізує мінімум в задачі
},~
:{min hZxx , (14.5)
будемо називати нормальним наближеним розв’язком системи (1.1).
Знаходження прямого розв’язку (14.5) є громіздким, оскільки
структура множини hZ ,~ може бути складною і наперед нам
невідомою.
В роботі [24, с.1373] було проведено дослідження цієї задачі і
запропоновано обчислювальна процедура для знаходження hx ,~ . Її суть
полягає у наступному.
Приймемо до розгляду функції:
}~~
:min{)( bxAx ,
}:
~~min{)( rxbxAr .
1 етап: розв’язуємо рівняння
rhr)( (14.6)
і знаходимо корінь rr ~ .
2 етап: розв’язуємо задачу на екстремум
}~:~~
min{ rxbxA ,
або, що еквівалентно,
}~~~:min{ rhbxAx .
Одержаний екстремальний вектор і буде нормальним наближеним
розв’язком hx ,~ .
Наведемо умови розв’язності рівняння (14.6).
Нехай
88
},~
:~
min{}:~~
min{ nn* RxxAbbbRxbxAx
і *x – розв'язок задачі
}:~~
min{ nRxbxA ,
а
** rx ,
тим самим
.~~ ** bxAx
Величину *x природно називати порогом розв’язності (або мірою
несумісності).
Умови розв’язності рівняння (14.6) відносно h виглядають так:
a) Якщо ** rhx , то рівняння розв’язно для всіх :
b~
0 ,
b) Якщо ** rhx , тоді рівняння розв’язно для всіх :
bhx r~** .
Твердження 14.1[17, с.26]. Нехай hbA ,,~ , тобто система
bxA розв’язна і нехай x – її нормальний розв'язок. Тоді
0~lim ,0
xx hhδ,
.
Крім того, якщо h,~ – інші наближені дані, породжені
індивідуальною наближеною системою }~
;~
{ bA , а hx ,~ побудований за цією
системою нормальний наближений розв'язок, тоді справедлива оцінка
0,,,~~,, hhxx hh при 0, h .
89
§15. Метод сингулярного розкладу
15.1. Основи методу
Зупинимось ще на одному алгоритмі розв'язку довільної системи,
який дозволяє знаходити множину всіх розв’язків. Обмежимось описом
цього методу на ідейному рівні, направляючи за деталями до відповідної
літератури [31, с.125], [33, с.539].
Сингулярним розкладом матриці А з дійсними елементами
розмірності m×n, називається всякий розклад вигляду
TUSVA , AVUS T (15.1)
де
U – ортогональна m× m матриця, тобто EUU T , TUU 1 ,
V – ортогональна n×n матриця,
S – діагональна m×n матриця, у якої jiij при0 , а 0 iii .
Величини i називаються сингулярними числами матриці А.
Відомо, що
ii ,
де i – власні числа матриці AAT або TAA .
Мовою лінійної алгебри матриця А є зображенням деякого лінійного
оператора в конкретній координатній системі. Виконуючи одне
ортогональне перетворення координат в області визначення оператора, а
друге ортогональне перетворення в області значень, перетворюємо
зображення в діагональне. Опис алгоритму одержання сингулярного
розкладу, на якому тут ми не зупиняємося, можна знайти в [31, с.125], [33,
с.539].
Використовуючи розклад (15.1), перепишемо систему bAx у
вигляді
bxUSV T , (15.2)
або в еквівалентній формі
bUdxVzdSz TT ,, . (15.3)
90
Оскільки матриця S діагональна, ця система легко розв’язується.
Перепишемо її в наступному вигляді (припускаючи, що nm )
,якщо,0
,0,якщо,0
,0,якщо,
njdz
njdz
njdz
jj
jjj
jjjj
(15.3)
де друга підсистема не має сенсу, якщо 2n (система повного роду), а
третя підсистема немає сенсу, якщо mn .
Зауважимо, що вихідне рівняння розв’язне тоді і тільки тоді, коли
0jd завжди, коли 0j або nj . Якщо 0j , то невідомому jz ,
яке відповідає нульовому 0j , можна надати довільне значення (яке
грає роль параметра). Розв'язок вихідної системи обчислюється за
формулою Vzx .
Нагадаємо, що ядром матриці А є множина К векторів х, для яких
0Ax , а область значень – множина R векторів b , для яких система
bAx має розв'язок.
Сингулярний розклад дозволяє описати множини К і R .
Дійсно, позначимо jj vu , стовпці матриці VU , , тоді (15.1) можна
переписати наступним чином
njuAv jjj ...,,2,1, (15.5)
(для цього достатньо помножити рівність (15.1) справа на матрицю V і
врахувати, що EVV T ).
Якщо 0j , то із (15.5) маємо ,0jAv тобто Kv j . Якщо 0j ,
то Ru j .
Нехай 1U – система стовпців ju , для яких 0j , а 0U – система
інших стовпців. Аналогічно визначаємо 1V , 0V . Тоді
a) 0V – ортонормований базис ядра К,
b) 1U – ортонормований базис для області значень R .
Вкажемо на одну суттєву перешкоду, котра може виникнути при
реалізації метода сингулярного розкладу, коли в результаті обчислень
одержані малі сингулярні числа. В такому випадку при визначенні jz , за
91
формулою j
jj
dz
можемо отримати велику похибку. Тому ключем до
вірного використання сингулярного розкладу є введення границі , яка
відображає точність вихідних даних і машинних обчислень. А саме, всяке
i є придатним і j
jj
dz
. А довільне i слід вважати нульовим і
відповідному jz може бути надано довільне значення (або можна
покласти 0jz , щоб одержати розв'язок з мінімальною нормою).
Величина відіграє тут роль параметра регуляризації.
15.2. Застосування до задачі найменших квадратів
На підставі сингулярного розкладу можна одержати розв'язок в сенсі
найменших квадратів (див. (9.1))
}:{2
min nRxbAx .
Оскільки ортогональні матриці зберігають норму і EVV T , то
bUddSzbxAVVUbAx TTT ,)( .
Вектор z , який забезпечує мінімум нев’язкі, виражається формулою
j
jj
dz
,
якщо 0j , kj ...,,2,1 , jz – довільне, якщо 0j , причому,
m
kjjdbAx
1
22.
Множина всіх розв’язків в сенсі найменших квадратів обчислюється
за формулою Vzx .
Якщо 0jz , коли 0j , то х буде збігатися з псевдорозв’язком.
При виникненні малих сингулярних чисел для уникнення
накопичення похибки, як і в попередньому пункті, необхідно передбачити
операцію “анулювання” малих сингулярних чисел, яку можна
інтерпретувати як спеціальну процедуру регуляризації.
92
§16. Прямі методи розв'язку регуляризованих систем
16.1. Метод квадратного кореня
При використанні схем регуляризації Лаврент'єва-Тихонова
наближений розв'язок знаходиться із систем (10.4), (10.8) з симетричною
додатновизначеною, а при виборі , і гарно обумовленою матрицею А
розмірності n×n. Для їх використання, поряд з ітераційними процесами,
можна використати традиційні прямі методи типу Гаусса, Жордана тощо
[2, с.41]. Тут ми опишемо тільки метод квадратного кореня (МКК), який
пристосований для рівнянь з симетричними матрицями і відрізняється
економічністю та стійкістю.
МКК ґрунтується на розкладі Холецького симетричної матриці
UUA T , (16.1)
де U – верхня трикутна матриця.
Позначимо через iju коефіцієнти матриці U і розписуючи рівність
(16.1) поелементно, матимемо
n
k
ijkjki auu1
ni ...,,2,1 , nj ...,,2,1 (16.2)
Розв’язуючи (16.2), одержуємо розрахункові формули в МКК
1
1
2i
kkiiiii uau ,
ii
i
kkjkiij
iiu
uua
u
1
1, ni ...,,2,1 , nij ...,,1 .
93
Після одержання розкладу для обчислення розв'язку системи
достатньо розв’язати дві трикутні системи
bzU T , zUx (16.3)
Особливо зручний МКК для рядкових матриць [22, с.132], оскільки
схема методу дозволяє легко врахувати структуру матриці і виключити
операції з нулями.
Проста модифікація МКК, 0iju для будь-якого значення i , при
якому 0iiu , зберігає обчислювальну процедуру і для випадку тільки
додатної напіввизначеної матриці. Крім того, клітинні аналоги МКК [24, с.
1373] дозволяють ефективно розв’язувати системи високого порядку,
притягуючи пам’ять ЕОМ другого рівня.
16.2. Метод ітераційного уточнення
В результаті застосування якого-небудь методу до розв'язку системи
(вихідної або регуляризованої) може виникнути проблема, коли, через
вплив обчислювальної похибки, замість точного розв'язку x~ , bxA ~ , буде
отримано деяке наближення x
.
Припустимо, що матриця A – невироджена і спосіб розв'язку такий,
що
1
~
qx
xx
(16.4)
незалежно від вектора правих частин b .
Перепозначимо
kxx
і визначимо величини
kkxx ~ , kk rAxb .
Тоді
94
kkk rAxbA .
В результаті розв'язку прийнятним методом системи
kk rA ,
одержимо вектор k~
і, значить,
kkk xx ~1 .
В силу припущень
xxqxxxx kk
k
kk
kkk ~~
~~~1
(16.5)
Таким чином, процес (16.4) – (16.5)
kkkkkkk AxbrrAxx ,,1 (16.6)
при оговорених умовах збігається зі швидкістю геометричної прогресії.
Важливо зауважити, що поправки k потрібно знаходити з максимальною
точністю, для чого треба обчислити kr з подвійною точністю.
95
§17. Рекомендації до вибору алгоритму розв’язків
СЛАР
Для вибору придатного методу розв'язку СЛАР необхідна якісна та
кількісна інформація про вхідні дані: обумовленість матриці, точність
задання коефіцієнтів, довжина мантиси машинного слова тощо. Для СЛАР,
що виникають в прикладних дослідженнях при описі конкретних фізичних
та економічних процесів, найбільш типовою є ситуація, коли апріорі
властивості матриці нам невідомі.
Найбільш важливою характеристикою матриці (системи), від якої
залежить точність розв'язку, є число обумовленості A . Оскільки
формула 1 AAA неконструктивна, вкажемо практичні способи
одержання наближених апостеріорних оцінок числа обумовленості
системи.
Помітимо тільки спочатку, що при використанні різноманітних
матричних норм одержимо і різні числа обумовленості. Але це – не
принципово, так як при невеликих розмірностях матриці при різних
нормах величини A мають, як правило, один і той же порядок, так що
можна обмежитись обчисленням A для будь-якої матричної норми.
В роботі [32, с. 54] (див. також [58, с. 204]) для оцінки
II
1
III
AAAI
використовується наближена формула
II
II
IIIIy
maxz
aA jj
,
де ja – стовпці матриці A , а yz, – розв’язки систем
yRzeyR ,*
при спеціально підібраному векторі e з компонентами ±1,
R – верхня трикутна матриця, одержана при розкладі QRA ,
96
Q – ортогональна матриця.
В [32, с. 54] пропонується наступна наближена оцінка числа
обумовленості матриці
2
1
1
1011
xA ,
де – найбільше число, для якого рівність 11 справедлива в
обчисленнях на заданій ЕОМ з плаваючою комою, а 11, x знайдені із
співвідношень (16.6) та
ixxx
maxlnI
I
1
I
1
.
Значок означає машинне додавання з заокругленням.
Практично ж систему слід розглядати як погано обумовлену, якщо
спостерігається не зменшення норм двох послідовних поправок k або
надмірно повільне зменшення в ітераційному процесі (16.6): наприклад, за
один крок ітерації уточнюється менше половини десяткового розряду.
В [31, с.125] детально викладено алгоритм обчислення числа
обумовленості довільної системи з гарантованою точністю на основі
алгоритму сингулярного розкладу (див. §15), який є більш громіздким, ніж
згадувані вище способи.
Якщо на основі тієї чи іншої апостеріорної оцінки встановлений факт
поганої обумовленості системи, то необхідно застосовувати методи
регуляризації (див. §§10-15). Якщо для цієї мети використовується схема
Лаврент’єва-Тихонова, то регуляризовані системи (10.6), (10.8), що тут
виникають, при належному виборі параметру (§12) можна розв’язати
звичайними прямими методами (див. §16) або ітераційними, типу простої
ітерації, Гаусса-Зейделя [9, с.4], [10, с.67].
97
Природно, що допустимі і інші регуляризуючі алгоритми, описані в
§§14, 15. Вибір того чи іншого методу звичайно диктується міркуваннями
зручності, типом апріорної інформації, наявними технічними і
програмними засобами і цілями, котрі при цьому ставляться (точність,
економічність і т. д.).
Якщо ж в результаті чисельного аналізу встановлено, що система
гарно обумовлена, то її розв'язок здійснюється традиційними методами на
базі стандартного програмного забезпечення для розв'язку СЛАР. Для
добре обумовлених систем порівняно невисокого порядку практично всі
прямі методи (інколи в поєднанні з процедурою ітераційного уточнення)
дозволяють знаходити розв’язки з необхідною точністю, яка визначається
точністю вихідних даних. Тут не виникає проблеми катастрофічного
накопичення обчислювальної похибки, якщо операції на ЕОМ
відбуваються з належною довжиною машинного слова.
Опис різноманітних підходів до побудови алгоритмів і вибору
тактики розв’язування СЛАР загального виду можна знайти в [28, р.368],
[31, с.13], [57, р.211], а інформацію про якість математичного забезпечення
для розв’язування задач лінійної алгебри.
98
§18. Стійкі методи розв’язування задач лінійного
програмування
Нажаль, проблема стійкості розв’язку притаманна і задачам
лінійного програмування (ЗЛП). Часто математичні моделі будуються у
вигляді лінійних агрегатів (лінійних залежностей) за допомогою методу
найменших квадратів (МНК) на основі спостережень на деякому інтервалі
часу. Данні спостережень на різних проміжках інтервалу можуть бути
ідентичними – близькі одні до одного, але не тотожно рівні. З цієї причини
в обмеженнях ЗЛП можуть бути обмеження, які мало відрізняються одне
від одного, але малим відхиленням коефіцієнтів матриці обмежень можуть
відповідати великі розбіжності в розв’язках ЗЛП. Фактично в таких
задачах ми маємо справу з недовизначенністю розв’язку. Це свідчить про
неповноту постановки задачі. Уточнення постановки задачі має суттєве
прикладне значення, так як розв’язок ЗЛП лежить в основі застосування
математичного апарату до багатьох задач планування.
Наведемо класичну постановку типової задачі оптимального
планування.
Нехай
jx – кількість виробів j -го виду, nj ...,,2,1 ;
j – максимально можлива кількість виробів j -го виду;
jc – сумарна трудомісткість для виробів j -го виду по всім
основним видам устаткування (група станків).
Тоді скалярний добуток xcL , векторів ncccc ...,,, 21 та
nxxxx ...,,, 21 характеризує завантаження станків за плану x випуску
виробів.
Нехай, далі,
ib – фонди часу i -ї групи станків, mi ...,,2,1 ;
ija – трудомісткість для j -го виробу на i -й групі станків.
Тоді
bAx , ax 0 ,
де
a і b вектори naaaa ...,,, 21 , mbbbb ...,,, 21 ,
}{ ijaA – матриця з елементами ija .
99
Задача визначення оптимального плану x може складатися зі
знаходження такого вектору з множини векторів x (планів)
bAxxG : , для якого завантаження устаткування буде максимальним,
тобто
xLxcxLGx
,max
Функція xL називається цільовою функцією задачі.
За даними одного із заводів добре відомим симплекс-методом
розраховані з різною точністю оптимальні квартальні плани, які
відповідали деякому набору вхідних даних [1, с.248]. Результати
розрахунків наведені в таблиці 1, де римськими цифрами пронумеровані
варіанти розв’язків, які відповідають різним вхідним даним, арабськими –
компоненти розв’язків (векторів x ).
Таблиця 1.
x I II III IV V VI VII VIII IX X XI
1 614 590 596 765 638 507 469 446 373 642 383
2 638 634 634 684 644 611 604 548 583 444 581
3 418 424 423 376 412 446 555 479 479 479 479
4 49 49
5 66 36 105 66 232 238
6 36 60 106
7 105
8
9
10 56
11
12 296 297 294 314 298 293 295 291 255 286 237
13 50 49 50 47 61 59 69 68 68 78
14 54 72
xL ,
в
тис.грн.
2391 2390 2390 2388 2387 2382 2380 2376 2373 2371 2370
Із таблиці видно, що для порівняно близьких оптимальних значень
цільової функції xL (при відхиленнях близько 1%) кількість виробів, які
100
будуть випущені, згідно з такими оптимальними планами, за окремими
видами виробів, коливається в межах декількох сотень.
Отже, сформована задача (ЗЛП) нестійка.
Нестійкі ЗЛП природно також називати некоректно поставленими.
Очевидно, що точні розв’язки x некоректно поставленої задачі з
наближеними вхідними даними не несуть в собі достатньої інформації про
розв’язок задачі.
Таким чином, точні розв’язки задач такого виду не є надійним
способом розв’язку задач оптимального планування з наближеними
початковими даними.
Така ситуація часто виникає в обчислювальній процедурі при
використанні багатьох методів розв’язку задач математичного
програмування.
Зауважимо, що при цьому, не дивлячись на великі розбіжності
розв’язків x та x , значення цільової функції xL і xL можуть
відрізнятись одне від іншого мало. Це знаходить своє відображення в
результатах, наведених в таблиці 1.
Однак, в ЗЛП з наближеними вхідними даними, як завгодно
близькими до точних, мінімальні значення цільової функції можуть
суттєво відрізнятись. Різниця може бути як завгодно велика.
y
0y
3l
1l
2l
0yy
2x
x
Рис.1
101
Приклад 18.1. Розглянемо наступну ЗЛП. Нехай треба знайти
мінімум функції yxL на частині прямої 00 yxy , розташованої в
першому квадранті 0,0 xy . Тут 0 і 0y наперед задані числа і 00 y .
Нехай 00 , але замість 0 ми маємо деяке число таке, що
0 , – наперед задане мале число. Розглянемо два випадки.
1) 0 . В такому випадку замість прямої 0yy ( 00 ) маємо
пряму 1l : 0yxy (див. рис.1).
Мінімум функції yL на частині прямої 1l розміщеній в області
0,0 xy , досягається в точці 0,0 y , при 0x , і рівний 0y .
2) 0 . В цьому випадку замість прямої 0yy ми маємо пряму
2l : 0yxy (див. рис.1). Мінімум функції yL на частині прямої 2l ,
яка розміщена в області 0,0 xy , досягається в точці 0,2x , тобто
при 2xx дорівнює нулю.
При 0 , 0 , 2x . Таким чином, ця задача нестійка. При
цьому нестійка як задача мінімізації функції yL по аргументу, так і
задача мінімізації по значенню функції yL .
Сформулюємо ЗЛП в наступному вигляді.
Необхідно знайти
xcxLGx
,min
(18.1)
Якщо область G утворена системою рівностей
yAx (18.2)
0x (18.3)
де nyyyy ...,,, 21 , ncccc ...,,, 21 , nm
jiijaA ,
1,}{ .
Якщо система (18.2) містить в собі лінійно залежні рядки, то задача
(18.1) – (18.3), як правило, некоректно поставлена. Зазвичай робиться
припущення, що рядки наведених умов (18.2) лінійно незалежні. Однак це
припущення при наближеному заданні початкових даних практично
перевірити неможливо. З цієї причини в майбутньому ми не будемо робити
припущень про лінійну незалежність наведених умов і будемо вважати, що
задача (18.1) – (18.3) некоректно поставлена. Слід зауважити, що ця задача
може мати не єдиний розв’язок. Приклад наведений нижче.
102
Приклад 18.2. Нехай 3xxL , а умова (18.2) має вигляд
021 xx
Очевидно, що мінімум функції 3xxL на множині
}3,2,1;0;{: jxxG j
дорівнює нулю і досягається в точках напівпрямої 01 x , що визначається
рівняннями 12 xx , 02 x .
За наявності множини розв’язків для визначеності задачі можна
накласти додаткові умови на шуканий розв’язок. Нехай мова йде про
задачу оптимального планування. Припустимо, що робота виконується у
відповідності з планом 0x і його треба змінити у зв’язку з тим, що
змінились вхідні (початкові) дані. Новим вхідним даним відповідають інші
оптимальні плани. Природно вибрати той із них, котрий найменше
ухиляється від 0x . Подібний критерій вибору пов’язаний з мінімумом
витрат на організаційні перебудови, які не були враховані в самій
постановці задачі. Мірою відхилення нового плану від старого 0x і 0x
вибирається зважене квадратичне відхилення
2
1
1
20000
n
jjjj xxPxx
або взагалі, додатновизначена квадратична форма.
Маючи це на увазі, введемо наступне
Означення 18.1. Нехай дано деякий вектор nRx 0 . Вектор 0x
будемо називати нормальним розв’язком (18.1) – (18.3) (по відношенню до
0x ), якщо 000 xxxx , де x – довільний розв’язок задачі.
Якщо розв’язок задачі (18.1) – (18.3) єдиний, то він, очевидно,
збігається з нормальним. Якщо задача має не один розв’язок, то існування
нормального розв’язку очевидно, так як множина H , на елементах
(векторах) котрої досягається мінімум функції xL , замкнена, оскільки
вона є спільною частиною трьох замкнених множин:
},{: yAxxG , },...,2,1,0;{1 njxxR j , };{ 0LxLxS .
103
Можна довести, що нормальний розв’язок завжди єдиний.
Розгляд некоректно поставлених екстремальних задач, а значить і
ЗЛП, детальніше буде розглядатись в наступних розділах. Тут наведемо
лиш метод регуляризації ЗЛП [1, с.258].
Вхідні дані в задачах лінійного програмування задаються, як
правило, наближено. Будемо в подальшому термінологічно розрізняти
розв’язувану (точну) і задану (задану наближено до точної) задачі.
Задана задача не дозволяє робити висновки ні про стійкість
розв’язуваної задачі, ні про єдиність її розв’язку, навіть якщо задана задача
такими властивостями володіє. Точний розв’язок заданої задачі, як видно,
неефективний для дослідження розв’язуваної задачі. З точки зору наявної
інформації в якості вхідних даних розв’язуваної (точної) задачі може
слугувати будь-який набір вхідних даних з області, що задається
нерівностями:
1 cc , 2 AA , 3 yy (18.4)
Слід зауважити, що поповнення умов yAx лінійно залежними
рівняннями робить задачу нестійкою (навіть якщо вона була нестійкою),
хоч вона і залишається еквівалентною в класичному розумінні. Для ЗЛП з
досить великим числом умов yAx ми, як правило, не можемо практично
встановити факт їх лінійної залежності. Значить необхідний такий підхід
до розв’язку ЗЛП, який не вимагає допущення про лінійну незалежність
умов yAx . Виявилось, що це можливо.
ЗЛП є екстремальною задачею: потрібно знайти мінімум функції
xL , або (за умови 0xL ), що одне і теж, функції 22 , xcxL на
множині: },;{ 1 yAxRxxG
Якщо xL2 для множини G є стабілізуючою функцією, то існує
множина G елементів Gx , для яких dxL 2 , компактна, тоді
існування елемента 0x , реалізуючого мінімум xL , очевидна. Однак,
xL2 не завжди є стабілізуючою функцією.
Зупинимось детальніше на визначенні міри похибки завдання xL .
Нехай на nR заданий стабілізуючий функціонал x (наприклад,
104
n
iiii xxpx
1
20 ) і цільові функції xL та xL~
. Міру відхилення
xL2 і xL2~ визначимо, як найменше число, для якого виконується
xxLxL 1~22 .
Наявність в правій частині доданка, рівного одиниці необхідна, так
як, якщо 00 x , то xL2 , взагалі кажучи, не дорівнює нулю.
Візьмемо допоміжну функцію
,1~2 xxLx 0 (18.5)
і будемо наближено розв’язувати, тепер уже задачу квадратичного
програмування з цільовою функцією (18.5). Така заміна допустима з точки
зору точності завдання цільової функції, якщо 0 , так як
xxxLx 11~22 .
Таким чином, серед векторів x , які належать множині 1R і таких, що
yAx ~ , треба знайти вектор x , що мінімізує функцію x2 .
Допоміжна цільова функція x2 є, очевидно, квазімонотонним
стабілізуючим функціоналом на множині 1R (де x2 – квадратична
функція).
Одним із частинних випадків ЗЛП є задача оптимального
планування. Як правило, в математичній постановці задач оптимального
планування при виборі цільової функції xcxL , враховуються не всі
фактори. До них, наприклад, може відноситись вимога найменшого
відхилення шуканого оптимального плану, що відповідає новим (дуже
наближених до попередніх) вхідним даним, від попереднього плану
(вимога найменших організаційних переобладнань). Введення в новій
цільовій функції x2 доданку x1 можна розглядати як поправку
на вплив неврахованих факторів у цільовій функції xL2~, а – як
величину експертної оцінки їх впливу.
105
Аналогічним чином мотивується побудова наближеного розв’язку
задачі оптимального планування з наближеними вхідними даними ycA ~,~,~
як розв’язок задачі на мінімум згладжуючої функції
}][1)({~~]
~,~,~,[ 2
2
xxLyxAAcyxM ,
де визначається по узагальненій нев’язці з умови
22~~
xhyxA ,
де
2~~inf
1
yxARx
.
Тут h характеризує похибку в завданні оператора A~
:
hAA ~
.
Повернемось знову до ЗЛП: знайти елемент 0x , що мінімізує
функцію xcxL , на множині
12 ,; RzyAxxR ,
де A – матриця.
Нехай 0x – елемент, відносно якого шукається нормальний
розв’язок. Розглянемо допоміжну задачу I : знайти елемент x , що
мінімізує функцію
xxLx 22
на множині 2R . Тут x – додатновизначена квадратична форма
(наприклад,
n
iiii xxpx
1
20, nipi ,1,0 або
20xxx ).
106
Існування елементів 1x очевидно, якщо умови, які визначають 2R ,
сумісні. Можна переконатись, що елемент x єдиний. І справді, для ЗЛП
множина 2R опукла. Нехай існує два елементи 1x ті 2
x , які мінімізують
квадратичну функцію x2 . На відрізку прямої
121 xxxx , ,
який належить 2R , значення функції x2 є квадратичною функцією від
, котра не може мати двох мінімальних значень (парабола). Можна
показати [1, с.258], що розв’язок x задачі з функцією x2 прямує при
0 до нормального розв’язку задачі.
Зауваження. Ми інколи вважали, що 2
0xxx або
n
iiii xxpx
1
20 і фактично використовували тільки те, що множина
елементів з X , для яких dx , компактна для будь-якого 0d . Усі
висновки зберігаються, якщо в якості x брати довільну
додатновизначену квадратичну форму
n
jijjiiij xxxxPx
1,
00 ,
видозмінивши, відповідно, визначення нормального розв’язку.
Розв’язок задачі квадратичного програмування, що виникає в
результаті регуляризації ЗЛП, можна здійснювати методом Пауелла.
107
§19. Алгоритми відтворення функції та чисельного
диференціювання
19.1. Умови коректності задачі обчислення значень
необмеженого оператора
19.1.1. Постановка задачі. Задача наближеного зображення функції
та її похідних від вхідних даних, які містять помилки (неточності), добре
відома будь-якому досліднику, що стикається з прикладними проблемами.
При цьому збурені дані можуть бути відомі як аналітично, так і дискретно,
наприклад у вигляді наближених значень на деякій фіксованій сітці.
Будемо вважати, що оператор диференціювання діє на парі лінійних
нормованих просторів (ЛНП) m
m
dt
dT : XY . Далі будемо
обмежуватись, як правило, випадком baCYX , або baLYX ,2 ,
YTD або їх дискретними аналогами. Де baC , – простір неперервних
на відрізку ba, функцій, baL ,2 – простір інтегрованих з квадратом
функцій на відрізку ba, , TD – підмножина операторів Y .
Задача 19.1. Нехай r
yy , де значок означає деяку із норм
елемента, який міститься в ньому, TDy , Yy . Треба побудувати
послідовність x , Xx таку, що
0lim0
X
Tyx
, (19.1.1)
де
m
m
dt
ydTy , Ryx , XYR : .
Задача 19.2. Нехай задана деяка підмножина YM (яка є
обмеженою і компактною [2, с.39] і спосіб побудови (оператор R )
yRx . Потрібно дати оцінку величини
MRTrRyTyyyYyMy
;;sup,,
(19.1.2)
108
найбільшої похибки методу R на класі M , тут m
m
ydt
ydT .
Зауважимо, що задачі 1, 2 мають сенс і при 0m ( задача
відтворення функції), якщо норма X
сильніша норми Y .
Основна проблема при побудові наближеного зображення похідної
виражається в тому, що операція диференціювання m
m
dt
dT розривна при
вибраній парі ЛНП, в чому легко переконатись, розглянувши послідовність
n
nttyn
sin)( 0)(lim
,
baCnn
ty ,
однак
baC
m
baCm
nm
nt
ntn
dt
tyd
,
2
1
, cos
sin)(, якщо n
Звідси, поклавши )()( tytyy nn , приходимо до висновку, що
функції n
y і )(ty як завгодно близькі по нормі ],[ baC , а норма різниці
похідної будь-якого порядку як завгодно велика.
З цієї причини за наближений розв’язок не можна брати
m
m
dt
tydtx
)( ,
навіть, якщо )(ty диференційована необхідну кількість разів. Крім того,
слід пам’ятати, що )(ty – елемент простору ],[ baC або ],[2 baL , і не
зобов’язана мати похідну.
Узагальнюючи задачу чисельного диференціювання можна говорити
про обчислення значень деякого лінійного абстрактного оператора
xTy , (19.1.3)
де елемент y заданий своїм - наближенням y , yy , і для цієї
спільної ситуації мають сенс задачі 19.1, 19.2.
109
19.1.2. Коректність за Адамаром. Означення 19.1. Задача (19.1.3)
називається коректною за Адамаром [2, с.9], [35, с.543], якщо виконані
умови:
1. область визначення оператора T YTD )( ;
2. T – однозначне відображення (оператор);
3. T – неперервний оператор.
Якщо порушена хоча б одна з умов 1–3, то задача (19.1.3) вважається
некоректно поставленою (некоректною).
Вище було показано, що оператор m
m
dt
dT розривний
(необмежений), то у відповідності з означенням 1.1 задача
диференціювання є типовою некоректно поставленою задачею.
Означення 19.2. Множина відображень R , XYR :
називається регуляризуючою множиною операторів або регуляризуючим
алгоритмом (РА) задачі (19.1.3) в точці y , якщо виконані умови:
1. YRD )(0 ;
2. 0)(suplim:0
TyyRyyy
Якщо співвідношення 2 виконано для довільного )(tDy , то
говорять про розв’язок за Адамаром для задачі (19.1.3). Якщо R – РА
для (19.1.3), то сукупність 00),(: yRxx називається
регуляризованим сімейством наближених розв’язків, а кожний оператор
R – регуляризатором задачі.
Таким чином, в задачах 19.1, 19.2 мова йде про побудову
регуляризованого сімейства розв’язків і оцінку максимальної похибки для
цих розв’язків.
19.2. Задача про найкраще наближення необмеженого оператора
19.2.1. Постановка задачі. При дослідженні конкретних методів
чисельного диференціювання нам знадобляться деякі факти, які
відносяться до загальної задачі обчислення значень необмеженого
оператора (19.1.3). Будемо вважати, якщо не обумовлено окремо, що
110
множина m (клас допустимих елементів в задачі 2) можна зобразити у
вигляді
}:{ zLyyMM z , (19.2.1)
де L – деякий лінійний (необмежений) оператор, причому XYLD )( .
Сформулюємо задачу про знаходження найкращого (оптимального)
регуляризатора на множині M при заданому рівні похибки .
Задача А. Знайти величину
xTMRTRyTy
XYR
yyYyMyXYR
;;;infsupinf,,
(19.2.2)
і екстремальний оператор *R , на якому реалізується нижня грань в
(19.2.2); тут XY – множина лінійних обмежених операторів, діючих з
Y в X .
Таким чином, це – задача пошуку оптимального лінійного РА і
обчислення максимальної похибки, яку допускає РА на множині M при
заданій можливій похибці елемента y .
Задача А тісно пов’язана з наступною задачею про найкраще
наближення необмеженого оператора обмеженими [20, с.84], [36, с.137]
Задача В. Знайти величину
),(supinf zTERTy NyMyNR
(19.2.3)
і визначити екстремальний оператор *NR , для якого досягається нижня
грань в (19.2.3).
19.2.2. Оцінка похибки знизу. Введемо ще одну функцію
yMyTyzT ,:sup),( , (19.2.4)
яку будемо називати модулем неперервності оператора Т в нулі на
множині М, і оцінимо величини ),( zT , ),( zTEN знизу через цю
функцію [2, с.9], [36, с.140].
Лема 19.1. Справедлива нерівність
),(),( zTzT (19.2.5)
111
Доведення. Враховуючи, що нульовий елемент належить множині
М, заданій у формі (19.2.1), а оператори лінійні (однорідні та аддитивні), то
при y одержимо
),(
,,
supsupinf),( zTyMy
yYyMyXYs
TyRTyzT
(19.2.6)
Можна одержати оцінку типу (19.2.6) і в суттєво більш загальній
ситуації [34, с.151].
Лема 19.2. Нехай Т – довільний (нелінійний оператор), М – довільна
непорожня множина із )(TD , XY – множина віх відображень із Y в
X , тоді
),(
2
1supinf);(
,,
MTRTyMT yyyYyMyXYR
, (19.2.7)
де 212121 ,,:sup);( yyMyyTyTyMT .
Зауваження. Для лінійного оператора Т і множини М, зображеного в
формі (19.2.1), оцінки знизу для ),( zT і ),( MT , в (19.2.6), (19.2.7)
збігаються.
Лема 19.3. Справедливі співвідношення
NzTzTEN
);(sup);(0
NzTEzT MN
);(inf);(0
Доведення випливає із наступних нерівностей
yMyNR
N RTyzTE supinf);(
yNTyRTyMy
yMyNR
supsupinf
NzT );( .
19.2.3. Зв’язок задач А і В. Тепер встановимо взаємозв’язок між
екстремальними операторами в задачах (19.2.2), (19.2.3) за деякого
узгодження параметрів і N .
Теорема 19.1. Якщо *R – екстремальний оператор в задачі А, задача
В розв’язна при * RNN і виконано співвідношення
112
**sup);( RyRTyzT
My
,
тоді *R – екстремальний оператор в задачі В при NN .
Навпаки, якщо *NR – розв’язок задачі В, а параметр )(N
задовольняє співвідношенню
NzTEzT N );();( ,
тоді *NR буде екстремальним оператором в задачі А при )(N і
NTEzT Nn );(),()( .
Доведення. Позначимо через *NR екстремальний оператор задачі В
при *RN . Тоді маємо наступні нерівності:
y
yyYyMyXYRyyYyMy
RTyyRTyzT,,
*
,,
supinfsup);(
***
,,
supsup NNMy
NyyYyMy
RyRTyyRTy
**** supsup RyRTyRyRTy
MyN
My
.
Оскільки **NRR , то на підставі умов теореми
yRR
NMyMy
RTyyRTyyRTy
*infsupsup **
,
то *R – екстремальний оператор в задачі В при *
RN .
Обернене твердження з врахуванням (19.2.5) отримується з
наступних очевидних нерівностей
y
yyYyMyXTRRTyzTzT
,,
supinf);();(
yyRyRTyyRTy Nyy
NMy
NyyYyMy
(supsupsup ***
,,
NzTEN );(
113
19.3. Оптимальна кінцево-різницева регуляризація
в просторі ),( C
Нехай ),( C – простір неперервних на дійсній прямій функцій
)(ty з нормою )(sup tyyt
. Будемо вважати, що функція )(ty , похідну
котрої треба знайти, має обмежену другу похідну, тобто належить множині
rdt
ydC
dt
ydyM
C
2
2
2
2
),,(: (19.3.1)
Будемо розв’язувати задачі 19.1, 19.2 з п.1 для ),( CYX ,
1m для множини М, визначеної в (19.3.1).
Визначимо кінцево-різницевий оператор:
h
htyhtyyh
2
)()( .
Лема 19.3. Справедлива оцінка
h
rhy
dt
dyMh
dt
dr
C
hyyMy
2sup;;,
(19.3.2)
Доведення. Розглянемо розклад Тейлора
,2
)~
()()()(2h
tyhtytyhty
2)
~~()()()(
2htyhtytyhty
Віднімаючи із першого співвідношення друге і враховуючи (19.3.2)
множини М, одержимо
,)~~
()~
(42
)()()( tyty
h
h
htyhtyty
звідки
2)(
rhty
dt
dy
Ch (19.3.3)
Очевидно, що
114
h
htyhtyhtyhtyyy
tChh
2
)()()()(sup
(19.3.4)
Із нерівності трикутника для норми оцінок (19.3.3), (19.3.4)
одержуємо (19.3.2).
Лема 19.4. Для модуля неперервності оператора dt
d на множині М
(19.3.1) справедлива рівність
rrdt
d2;
(19.3.5)
Доведення. Згідно нерівності Ландау-Адамара-Колмогорова [34, с.5]
2
1
2
22
1
2
Cdt
ydy
dt
dyC
C
(19.3.6)
і для будь-якої трійки чисел 0m , 1m , 2m , яка задовольняє умові
201 2 mmm , знайдеться така функція ),()( Ct , що
2,1,0, imdt
mdi
C
i
і, значить, в (19.3.5) реалізується рівність. Звідси випливає (19.3.5).
Теорема 19.2. Оператор
h
htyhtytyh
2
)()()(:)(
при співвідношенні r
h
2 є оптимальним регуляризатором в задачі
диференціювання на множині (19.3.1), тобто реалізує нижню грань в задачі
(19.2.2) при dt
dT , rr
dt
d 2;
.
Доведення. Застосовуючи оцінки (19.3.3), (19.3.4), маємо
115
,2
)()()()( hh
rhtytyty
dt
dyty
dt
dyChh
Ch
Ch
Із умови мінімуму правої частини, 0),( hh , одержуємо
залежність h
h2
, а, значить, hh 2),( . З цієї причини
rtydt
dyr
dt
d
C
hyyCyMy
2)(sup; )(,,
.
З іншого боку, згідно (19.2.5), (19.3.5)
rrdt
dr
dt
d 2;;
.
Звідки й випливає доведення теореми.
За такою ж схемою досліджується задача А для 2
2
dt
dT і множини
rdt
ydC
dt
ydyM
C
3
3
3
3
),,(: (19.3.7)
Для апроксимізації 2
2
dt
dT використовується оператор другої
різниці
2
)()(2)(
h
htytyhtyyh
.
(19.3.8)
При співвідношенні 33
2r
h
є оптимальним регуляризатором в
задачі диференціювання 2
2
dt
dT на множині (19.3.7), тобто реалізує
нижню грань в задачі (19.2.2), причому 33 23
2
2
3; rrrdt
d
.
116
Доведення. Додаючи два розклади
!3)(
2)()()()(
32 hty
htyhtytyhty ,
!3)(
2)()()()(
32 hty
htyhtytyhty
знаходимо оцінки
3
)(2
2rh
tdt
yd
C
h (19.3.9)
Норма оператору CCh : легко оцінюється
22
4,
4
hyy
h Chhh
(19.3.10)
Із співвідношення (19.3.9), (19.3.10) випливає
3 2
22
2
348
3
2min; r
h
hr
dt
d
h
Разом з нерівністю Колмогорова
3
3
33
3
3dt
ydy
dt
yd
C
і нерівністю (19.2.5) завершуємо доведення теореми.
117
§20. Інтерполяційні сплайни
Обмежимось розглядом кубічних сплайнів, як найбільш поширених
при застосуванні. На відрізку ba, , ba , задамо сітку:
bttta n ...: 10 . (20.1)
Нехай mP – множина поліномів степеня не вище 0m і
baCC kk , – множина неперервних на ba, функцій, які мають
неперервну k -у похідну.
Означення 20.1. Функцію ),(),( 333 ytSytStS називають
інтерполяційним сплайном відносно сітки (20.1) для функції )(ty , якщо:
1) ;...,,2,1,,,)( 133 NjtttPtS jj
2) ;,)( 23 baCtS
3) .,...,2,1,)(3 NjtytS j
Введемо позначення jj tSM 3 , jj yty , 1 jjj tth і
знайдемо зображення сплайна )(3 tS на відрізку ],[ 1 jj tt .
В силу лінійності другої похідної на ],[ 1 jj tt
j
j
jj
j
jh
ttM
h
ttMtS
1
13 )(
. (20.2)
Інтегруючи обидві частини рівності (20.2)
1
21
2
1322
)( ch
ttM
h
ttMtS
j
j
jj
j
j
,
21
31
3
1366
)( ctch
ttM
h
ttMtS
j
j
jj
j
j
і визначаючи константи 1c , 2c із умови інтерполяції 3)
,6
211
2
1131 ctch
MtSy j
j
jjj
118
,6
213 ctch
MtSy j
j
jjj
одержуємо
j
j
jj
j
jh
ttM
h
ttMtS
66)(
31
3
13
j
jjj
jj
jjj
jh
tthMy
h
tthMy
122
1
166
,
,622
)(11
21
2
13 j
jj
j
jj
j
j
jj
j
j hMM
h
yy
h
ttM
h
ttMtS
(20.3)
Із (20.3) знаходимо односторонні границі
j
jjj
j
j
jjh
yyhM
hMtS
1
1336
)0(
, (20.4)
1
11
1
1
363
)0(
j
jjj
j
j
jjh
yyhM
hMtS .
Звідки з врахування неперервності )(3 tS в точках jt
)0()0( 33 jj tStS одержуємо систему
j
jj
j
jj
j
j
j
jj
j
j
h
yy
h
yyM
hM
hhM
h 1
1
1
1
11
1636
,
(20.5)
для 1,1 Nj
1N рівнянь з 1N невідомими }{ jm , 1...,,2,1 Nj .
Щоб замкнути систему, необхідно поповнити її крайовими умовами.
Розглянемо деякі з них
003 )( aMaS , NN aMbS )(3 (20.6)
де Naa ,0 – невідомі числа, зокрема, 00 Naa ;
NabS )(3 (20.7)
Тоді із (20.4) одержуємо два додаткових рівняння
119
0
1
01
110
62 a
h
yy
hMM ,
N
NNN
NNN
h
yya
hMM 1
1
62 .
Можна також використати і другі співвідношення, наприклад, ті, що
випливають із умови перпендикулярності [38, с.13].
Таким чином, побудова кубічного сплайна звелась до розв’язку
системи (20.5) з трьохдіагональною матрицею, яка успішно може бути
розв’язана методом прогонки за N8 арифметичних операцій.
Інтерполяційні сплайни широко використовуються при здійсненні
чисельного диференціювання.
Відповідно до постановки задачі чисельного диференціювання в
задачах І, ІІ замість функції )(ty нам відомо тільки її -наближення )(ty :
c
tyty )()( . З цієї причини інтерполяційний сплайн будується по
значенням )(~jj tyy , то є )~,(3 ytS . Як і в випадку кінцево-різницевих
процедур, для одержання РА на ґрунті сплайнів необхідно зв’язувати крок
сітки з рівнем похибки.
Це питання розв’язує наступна теорема.
Теорема 20.1. Нехай сітка (20.1) рівномірна і htt jj 1 ( Nj ,1 ).
Нехай baCy ,4 , c
yy ~ . Тоді справедлива оцінка
4
4
)(3
)( )~,()(
i
c
ii cytSty
(20.8)
при 4 ch , де ,3,2,1,0i – порядок обчислювальної похідної.
Доведення. Відповідно до результатів [38, с.130]
c
ii
c
ii ytSyytSty ),()~,()()(
3)()(
3
ii
c
iihchcytSytS 3
42
)(3
)(3 )~,(),(
120
Мінімізувавши за h праву частину нерівності, знаходимо найкращий
за порядком крок сітки 4 ch і найкращу за порядком оцінку похибки
(20.8) для даної мажорантної оцінки.
Нарешті, наведемо формулювання теореми про властивість
мінімальності кубічного сплайна [38, с.83].
Теорема 20.2. Єдиним розв’язком задачі на мінімум
b
a
ii ytybaWydtty )(,;:)(min 22
2 (20.9)
є інтерполяційний кубічний сплайн ),(3 ytS з граничними умовами
0),(),(3 ybSyaS .
Зауваження. Якщо замість baW ;22 в задачі (20.9) розглянути класи
})({;~ 2
2
2
2 WізфункціїabперіодомзперіодичніbaW ,
})(,)(:;{;~
0
2
2
2
2 NabyaaybaWybaW ,
то мінімум реалізується на сплайні із того ж класу, тобто з тими ж
граничними умовами.
121
§21. Згладжуючи і апроксимуючі сплайни
Будемо вважати, що наближені вихідні дані про функцію iy~
задовольняють умовам апроксимації
),1(~)( Niyty iii (21.1)
Якщо похибки i відносно великі, то ця обставина погано сприяє на
поведінку інтерполяційного сплайна і особливо його похідних.
Спостерігається сильна осциляція сплайна, зумовлена великими
розбіжностями вихідних даних iy~ , по яким будується інтерполяційний
сплайн.
Тому природно побудувати сплайн, графік якого проходить поблизу
заданих значень iy~ , але більш „гладкий”, ніж інтерполяційний. Такий
сплайн називається згладжувальним (див. рис. 21.1)
Математично згладжувальний сплайн знаходиться із розв’язку задачі
на мінімум [39, с.149], [40, р.177]:
b
a
N
i i
ii Wyp
yydtty
0
22
22
:~
)(min (21.2)
де ii yp ~, – задані наперед величини.
Зрозуміло, що чим менше ip , тим ближче підходить функція, яка
мінімізує функціонал в (21.2), до заданих значень iy~ . При збільшенні ip у
розв’язку буде спостерігатись в більшій мірі ефект згладжування.
+ +
+ +
+
+ +
+
+ +
+ +
+ +
+ +
+ +
+
+ +
+ +
+ +
+ +
+ +
+
+
+
+ + +
Рис. 21.1
122
Теорема 21.1. Єдиним розв’язком задачі (21.2) є кубічний сплайн
)(tS , який задовольняє умові:
0)()( bSaS (21.3)
Доведення. Позначимо цільовий функціонал в задачі (21.2) через
)(yI . Нехай baWt ,)( 22 мінімізує )(yJ . Покажемо, що )(t – кубічний
сплайн з крайовими умовами (21.3). Дійсно, нехай ця обставина не має
місця. Візьмемо інтерполяційний кубічний сплайн ))(;(3 ttS з граничними
умовами (21.3). Другий доданок у виразі )(yJ однаковий для )(t і
);(3 tS . Згідно теореми (20.1):
b
a
b
a
dttdttS22
3 )();(
Значить, JtSJ ),(3 , що протирічить тому, що )(t мінімізує
)(yJ .
Вияснимо тепер необхідну умову мінімуму.
Нехай )(tS – кубічний сплайн, що мінімізує )(yJ . Покладемо
)()()(~
tFtStS k ,
де )(tFk ( Nk 0 ) – фундаментальний кубічний сплайн, що задовольняє
умовам:
0)()(;,0,,0
,1)(
bFaFNi
ik
iktF kkkiik .
Тоді маємо
kk baSJSJ 2~ 2 ,
де
2
2 1
k
b
a
k dttSa
, 2
~
k
kkb
a
kk
ySdttStFb
.
Тут 0ka . Покажемо, що 0kb . І справді, якщо припустити, що
0kb , то обираючи так, щоб 12 kk ab , kbsignsign , одержуємо
123
0~
SJSJ . Це протирічить тому, що сплайн )(tS мінімізує )(yJ . Тоді
рівність:
Nkbk ,0,0 (21.4)
є необхідною умовою мінімуму.
Перетворимо інтеграл, що входить в kb , наступним чином:
1
0
1N
i
t
t
k
b
a
k
i
i
dttFtSdttStF
1
1
1
1
N
i
t
t
kt
tk
i
i
i
i
dttStFtStF
1
010 )(
N
iikiki tFtFtS
00 0 tFtS k
kNkN
N
i
iiik DtFtStStStF
000 1
1
1
1
.
Із властивості функції )(tFk випливають формули:
NktS
NktStS
ktS
D
N
kkk
,0
1,1,00
0,00
Таким чином, необхідні умови (21.4) приймають вигляд:
2
2
20
000
)(~0
1,1,)(~
00
)(~0
N
NNN
k
kkkk
tSytS
NktSy
tStS
tSytS
(21.5)
124
Вище було встановлено, що tS – кубічний сплайн з граничними
умовами (21.3), тоді 2CS і тому виконані співвідношення (теж необхідні
умови):
NijtStS ij
ij ,0,2,1,0,0)0()0( )()( . (21.6)
Покажемо далі, що співвідношення (21.5), (21.3) є достатніми
умовами мінімуму.
Нехай існує задовольняючий їм сплайн tS . Для любої функції
baWty ,)( 22
справедлива тотожність
N
i i
iiii yssyISJyJSyJ
02
~2
~
, (21.7)
де
M
i i
iib
a
sydttStySyJ
02
22 )(
)()(~
,
1
11000 )0()0()()0()(
N
iiiii tStSSytSSyI
)0()( 1 NNN tSSy .
Неважко переконатися, що при виконанні умов (21.5) вирази в квадратних
дужках перетворюються в нуль. Значить
SyJSJyJ ~
.
Оскільки 0~
SyJ , то сплайн S забезпечує мінімум функціоналу
yJ .
Для завершення доведення необхідно показати, що сплайн, який
задовольняє умовам (21.3), (21.5), існує і єдиний. З цією метою, задавшись
зображення сплайна )(tS на відрізку 1, ii tt в формі
32 )()()()( iiiiiii ttdttcttbatS (21.8)
125
встановимо, що знаходження коефіцієнтів iiii dcba ,,, зводиться до
розв’язку СЛАР з невиродженою матрицею. При 2k і (21.6), (21.8)
знаходимо
02)()( 00 ctSaS ,
02)0()( NN ctSbS ,
1
)(62)0( 1ittiiii ttdctS
1
)(62)0( 1111
ittiiii ttdctS .
Звідки
iiii
iii tth
h
ccd
1
1 ,3
. (21.9)
При 0k аналогічно одержуємо
21iiii
i
iii hdhc
h
aab
. (21.10)
При 1k маємо співвідношення
1232 iiiiii bhdhcb . (21.11)
При 3k з врахуванням ii atS )(
21
~66
i
iiii
aydd
. (21.12)
Введемо наступні векторно-матричні позначення:
3
)(2
3........000
00.............000
.......................................................................
00...........33
)(2
3
00...........033
)(2
222
2211
110
NNN hhh
hhhh
hhh
T
,
126
де матриця T має розмірність )1()1( NN ;
TNcccc 121 ...,,, ,
TNyyyy ~...,,~,~~10 ,
TNaaaa ...,,, 10 ,
2...,,
2,
2
21 NdiagD
,
1122
2211
1100
1111..................000
000.....0000
........................................................................................................
000.......1111
0
000.......01111
NNNN hhhh
hhhh
hhhh
Q
де матриця Q має розмірність )1()1( NN .
Об’єднуючи співвідношення (21.9) – (21.11), приходимо до рівності:
aQTc T , (21.13)
а з (21.9), (21.12) випливає
)~(2 ayDQc . (21.14)
Із (21.13), (21.14) одержуємо систему:
yQcTQDQ TT ~2 (21.15)
з симетричною додатновизначеною 5-ти діагональною матрицею для
визначення вектора c . За знайденим c із (21.14) знаходимо
QcDya 2~ ,
127
а із рівностей (21.9), (21.10) послідовно виразяться вектори d і b .
Що і треба було довести.
Зауваження 21.1. Поряд з інтерполяційними і згладжуючими
сплайнами розроблений підхід [41, с.189] до задачі відтворення функції і
чисельного диференціювання, заснований на використанні явної
апроксимації сіткової (періодичної) функції комбінацією В-сплайнів [39,
с.22]:
N
inni
P
pjjiijn tSyctS
112,,12 )()(
(21.16)
де )(, tS mi – базові сплайни ступеня 12 nm , які мають вигляд
1
,1,
)(
)()()(
mi
ij jmi
iimimi
t
tttttS
,
де
0,0
0,)(
uякщо
uякщоuu
1
1, )()(
mi
jjmi ttt .
Коефіцієнти ijc знаходяться із умови апроксимації для всіх функцій
)(ty одночасно.
Наприклад, для 2n і 3,2,1 маємо відповідно:
N
ii
iii tSyyy
tS1
3,211
1,3 )(63
4
6)( ,
N
ii
iiiii tSyyyyy
tS1
3,22112
2,3 )(3618
5
2
3
18
5
36)( ,
N
i
iii yyytS1
1233,3 7512(216
1)(
)()1275344 3,2321 tSyyyy iiiii .
Завдяки використанню явної апроксимації (21.16) немає необхідності
розв’язувати СЛАР (на відміну від інтерполяційних та згладжуючих
сплайнів). З цієї причини досягається висока економічність, особливо в
багатовимірному випадку, для якого побудовані аналоги формул (21.16)
[39, с.22], [41, с.189].
128
§22. Метод середніх фунцій
Кінцево-різницеві розв’язки за Адамаром (РА), розглядувані в
попередньому параграфі, породжують наближені розв’язки yh , які
мають ту ж гладкість, що і y . Більш гладкі (навіть нескінченно
диференційовані) апроксимації похідних можна конструювати за
допомогою апарату середніх функцій. Побудовані на їх основі РА, на
відміну від кінцево-різницевих, є оптимальними за порядком.
Означення 22.1. Регуляризуючий алгоритм R називається
оптимальним за порядком на множині M , якщо
K
zdt
d
dt
yd
yR
m
m
m
m
yyYyMy
;
sup,
.
При 1K одержуємо оптимальність в сенсі задачі А.
Нижче побудуємо РА, для якого 9,1K , а )()( tyRtx –
нескінченно диференційовані функції.
Визначимо функцію двох змінних:
stпри
stприst
stc
st
0
)(
)(exp
),( 22
2
,
де
dr
r
rс
22
2
exp
1.
Для неї справедливі наступні властивості [42, с.18]:
1. Функція ),( st неперервна разом зі своїми похідними на
площині 2R ;
2. При st функція ),( st і всі її похідні дорівнюють нулю;
129
3. 1),(),(
stst
dtstdsst ;
4. Середня функція
st
dssystty )(),()(
від функції ,)( Cty нескінченно диференційована, крім того
stk
k
k
k
dssystdt
dty
dt
d)(),()( .
Для задачі обчислення першої похідної визначимо регуляризуюче
сімейство R операторів
st
dssystdt
dtyR )(),()( . (22.1)
Лема 22.1. Нехай )(ty належить множині M , визначеній в (19.3.1),
тоді справедлива оцінка
rtydt
dtyR
cMy
)()(sup
Доведення. Приймаючи до уваги властивості 1, 2 і інтегруючи по
частинам, одержуємо:
stst
dssystds
ddssyst
dt
dtyR )(),()(),()(
st
dssyds
dst )(),( . (22.2)
Далі, із умов леми, властивості 3 і формули (22.2) знаходимо
stst
tMycMy
dssydt
dstdssy
ds
dstty
dt
dtyR )(),()(),(supsup)(sup
rdsttysyst
stMy
),()()(supsup
.
130
Лема 22.2. Нехай ,)( Cty , Mty )( і c
tyty )()( ,
тоді справедлива оцінка
htyRtyR
cyyMy
c
)()(sup,
(22.3)
де
65,11
exp
11
02
2
drr
rh .
Доведення. Маємо очевидні нерівності
sttc
dssysydt
stdSuptyRtyR )()(
),()()(
d
ecds
dt
stdSup
stt22
2
22
2),(2
hd
ecduec u
11
02
0
122
2
.
Теорема 22.1. Якщо виконані умови лем 22.1, 22.2 і 2
n
справедлива оцінка
rdt
d
dt
dyyRSupr
dt
d
cyyMyc
;83,1;,
(22.4)
Доведення. Із нерівності
ccc
tyRtyRtyRdt
tdytyR
dt
tdy)()()(
)()(
)(
і тверджень лем 22.1, 22.2, випливає оцінка
2)(
)(sup
nrtyR
dt
tdy
c
(22.5)
131
Залежність r
n надає мінімум правій частині (22.5) і забезпечує
оцінку зверху в (22.4).
Таким чином, справедливість теореми встановлена і розв’язані задачі
І, ІІ.
Зауваження 22.1. Регуляризатор R , визначений формулою (22.1),
можна зобразити у вигляді добутку TSR , де
st
dssysttyS )(),()( dt
tdzTr
)(
.
Користуючись аргументацією, приведеною при доведенні лем 22.1,
22.2, можна довести, що для оператора S : ,, cc
справедливі наступні властивості:
а) 1S ;
б) 0)( c
tEyS при 0 для довільної рівномірно неперервної
функції.
Сімейство S з властивостями а),б) називається фільтруючим в
)(TD , регуляризуюче сімейство R , зображуване у вигляді TSR ,
називається нормальним регуляризуючим сімейством операторів [43, с.65].
Задача відтворення похідної n -ого порядку розв’язується заміною
оператора (22.1) оператором
stn
n
dssydt
sttyR )(
),()(
.
Для чисельного знаходження наближеного значення похідної )(ty в
точці t достатньо застосувати до інтегралу в (22.1) яку-небудь
квадратурну формулу:
dt
tdytyRSy
dt
StdA
nn
kk
kk
)()(),(
)(1
.
Зауваження 22.2. Властивості а), б) підказують, що замість ),( st
можна використати інші усереднюючи ядра, які утворюють -подібні
послідовності [44, с.3].
132
Зауваження 22.3. Задача І із §19 при 0m є задачею відтворення
функції в просторі X із більш сильною нормою, ніж в Y . Вона
розв’язується за допомогою послідовності ySx , де сімейство S ,
XYS : задовольняє наступним умовам:
а) cS0 ;
б) 0)(lim0
X
yESXy
.
Дійсно, це випливає із нерівності
XYXyySyySyyS
за допомогою вибору залежності такою, що 0c при
0 .
Задача 22.4. Довести, що послідовність ySx розв’язує задачу
І при 0m , де
t
t
dyyS )(2
1,
)20( , ),(2 LY , ),(~
CCX – простір рівномірно
неперервних функцій.
Аналогічні результати можна одержати і для ],[ baLY p ( 1p ),
],[ baCX .
133
§23. Чисельні експерименти
Наведемо результати чисельних реалізацій розглянутих методів на
деяких прикладах.
Приклад 23.1.
tty sin)( ,
t0
із значеннями сітки, обчисленими в точках 180
ktk ( 180,0k ) з точністю
до 4-х вірних знаків, трьома методами відтворювались функції і її похідні
до третього порядку. В таблиці 1 приведена середньоквадратична похибка
[40, р.177].
Таблиця 23.1
Порядок
похідної
Кінцево-
різницевий
метод
Інтерполяційний
кубічний сплайн
Згладжуючий
кубічний
сплайн
0 5103 5103 5103.1
1 3106.2 3104.3 31021.0
2 26.0 67.0 21042.0
3 28 74 16.0
Із наведених числових даних видно, що )(ty , )(ty всіма методами
відтворюються приблизно однаково, тоді як для )(ty , )(ty згладжуючий
сплайн дає набагато кращі результати.
134
Приклад 23.2.
tty sin)( , 2
0
t , tty cos)( .
Інтерполяційний кубічний сплайн, побудований по 100 точках сітки
з округленням значень функції до 5-ти знаків ( 5105 ), дає при
відтворенні похідної абсолютну похибку 4102 .
Метод середніх функцій для тієї ж функції при 410 з
використанням формули Сімпсона з числом точок 100m дає абсолютну
похибку 4105.1 .
Це означає, що обидва методи працюють однаково добре для гладкої
функції при малих похибках.
Приклад 23.3.
tty 1)( , 11 t ,
0,1
0,1)(
t
tty .
На відміну від попереднього прикладу ця функція негладка (кусково-
диференційована). Для інтерполяційного сплайна – це сприятлива
ситуація; похибка чисельного диференціювання зростає до 26.0 . Метод
середніх функцій не реагує на зміну ситуації і відтворює при тих же
параметрах ( 100m , 410 ) похідну з точністю 410 .
Приклад 23.4.
tety )( , 10 t ,
tety )( .
Значення iy заокруглювались з точністю 05.0 і обчислювались
на сітці 20
ktk ( 20,0k ). Інтерполяційний сплайн з граничними даними
135
дає похибку чисельного диференціювання 9.0 , а згладжуючий сплайн
при деякому виборі параметрів i покращує ситуацію, помилка тут
1.0 .
Модельні розрахунки підтверджують міркування §21, що для сильно
“зашумлених” вихідних даних для чисельного диференціювання переважає
застосування згладжуючи сплайнів.
Приклад 23.5.
2
)( tety , 1,1t ,
1.0;25.01 kk tth .
Використовувалась апроксимуюча формула (21.16) при 4,3,2,1n і
0 . Обчислювались похідні до порядку 22 n на сітці з кроком h . В
таблиці 23.2 наведені похибки
4,3,2,1,0,)(max)(
0,121
lStylni
l
Nie
Таблиця 23.2
n 0 1 2 3 4
25.0h
1n 2102
2n 21002.2 2100.4 1103.1
3n 2103 2108.5 14.0 47.0 78.1
4n 21095.3 21053.7 11018.2 61.0 18.2
1.0h
1n 31047.2
2n 31032.3 31046.6 21045.2
3n 3100.5 31067.9 21097.2 21006.8 11038.3
4n 3106.6 21028.1 21094.3 11007.1 11091.3
136
§24. Задачі на екстремум функціонала.
Основні визначення і умови коректності
24.1. Постановка задачі
Задачі оптимізації (мінімізації функціоналів) є математичними
моделями широкого кругу прикладних проблем техніки, економіки,
керування [22, с.10], [45, с.43]. Серед багато чисельних постановок
оптимізаційних задачі особливе місце займають нестійкі (некоректно
поставлені) задачі. Характерною рисою цих задач є відсутність
неперервної залежності розв’язку від цільового функціоналу і допустимої
множини і, як наслідок, неможливість ефективного їх розв’язку
традиційними методами.
Тут сформулюємо основну задачу оптимізації, визначимо два типи
коректності і дамо достатні умови для їх виконання.
Нехай – підмножина (скалярний добуток позначимо , )
гільбертового простору X , а f – функціонал з областю визначення
)( fD , обмежений знизу на . Розглядається задача мінімізації
Fxxf :)(min . (24.1)
Число F називається оптимальним значенням )(xf , –
допустимою множиною, а сукупність елементів FyfyM )(: –
оптимальною множиною.
Означення 24.1. Послідовність елементів nx , nx називається
множиною наближених розв’язків задачі (24.1) по функціоналу, якщо
Fxf nn
)(lim,
або по функціоналу, якщо
0,inflim,lim
yxMx nMyn
nn
.
Спосіб побудови послідовності nx назвемо алгоритмом розв’язку
задачі (24.1) за функціоналом (за аргументом).
137
24.2. Коректність за Адамаром та Тихоновим
Відповідно до [46, р.204] справедливе таке
Означення 24.2. Задача (24.1) називається коректно поставленою
(або, коротко, коректною) по Адамару, якщо:
1) розв’язок існує, то є M ;
2) єдиний, тобто M – одноточкова множина;
3) розв’язок неперервно залежить від f і .
Раніше в роботах [1, с.15], [13, с.501], було дано інше визначення
коректності.
Означення 24.3. Задача (24.1) називається коректною по Тихонову,
якщо:
1) розв’язок існує;
2) розв’язок єдиний;
3) кожна мінімізуючи послідовність nx (то є nx і Fxf n )( )
збігається до єдиного розв’язку x задачі (24.1).
Означення 24.4. Якщо порушена одна з умов 1-3 в визначенні 24.2,
24.3, то говорять, що задача некоректно поставлена (або, коротко,
некоректна) за Адамаром (Тихоновим). Як правило, тут мова йде про
порушення умови 3.
Наведені поняття коректності тісно пов’язані між собою. Перш ніж
перейти до точних формулювань, введемо два види збіжності множин.
Означення 24.5. Послідовність множин Xn збігається до
множини X в сенсі Хаусдорфа (позначимо H
n ), якщо
а) ,::0 xXxNnN n ;
б) nn xXxNnN ,::0 ;
або еквівалентно
0,,,maxlim,lim
nnn
nn
,
де yxxy
n
n
,infsup,
(див. рис. 24.1).
138
Величину ),( PQ називають напіввідхиленням множини Q від P (в
сенсі Хаусдорфа).
Означення 24.5. Послідовність множин Xn збігається до
множини X в сенсі Моско (позначимо M
n ), якщо
а) xxxxx nn ,: ;
б) xxxxx njnjnjnj ,, ,
де символ „” означає слабку збіжність в X .
Твердження 24.1. Нехай f – опуклий рівномірно неперервний
функціонал. Якщо задача мінімізації (19.1.1) коректно поставлена за
Адамаром відносно збіжності H
n на всякій замкненій опуклій
множині , то ця задача коректно поставлена за Тихоновим на кожній
опуклій замкненій множині .
Наслідок. Якщо задача (19.1.1) некоректна за Тихоновим на
множині , то ця задача, взагалі кажучи, некоректна за Адамаром.
Твердження 24.2. Нехай f – опуклий рівномірно неперервний
функціонал. На всякій опуклій обмеженій множині. Тоді коректність за
Тихоновим на всякій замкненій опуклій множині тягне за собою
коректність за Адамаром відносно Моско-збіжності, тобто
xxfxxf n
M
n :minarg:minarg .
Доведення цих тверджень наведено в [66, р.204].
Р Q
),( PQ
),( QP
Рис. 24.1
139
24.3. Достатні умови коректності за Тихоновим
Мета пункту – пояснити умови на вихідні дані (24.1), які гарантують
властивості коректності за Тихоновим і які, згідно твердженню 24.2.
тягнуть за собою неперервну залежність розв’язку при варіації допустимої
множини.
Означення 24.7. Функціонал f називається сильно опуклим на
замкнутій множині , якщо )()1()1( 2121 xfxfxxf при
будь-яких 21 xx , 21, xx , 10 .
Означення 24.8. Функціонал f називається сильно опуклим на
замкнутій множині , якщо існує константа 0r така, що
2212121 )1()()1()1( xxrxfxfxxf
, (24.2)
21 xx , 21, xx 10 .
Приклади:
1. xxf )( – опуклий, але не строго опуклий функціонал;
2. 2
)( xxf , xpxBxxf ,,)( (де 2
, xcxBx , 0c ) –
сильно опуклі і, значить, строго опуклі функціонали.
Сформулюємо послідовність лем, в яких виясняються деякі властивості
опуклих функціоналів. Перші дві з них повністю очевидні.
Лема 24.1. Якщо задача мінімізації (24.1) розв’язна і функціонал f –
строго опуклий, то розв’язок єдиний.
Лема 24.2. Якщо f – опуклий неперервний функціонал, а –
опукла замкнута множина, тоді множина розв’язків М (оптимальна
множина) задачі (24.1) опукла, замкнута або порожня.
Лема 24.3. Якщо функціонал f – сильно опуклий на , то
справедлива нерівність
xfxfr
xx ~2~ , (24.3)
де x~ – розв’язок задачі (24.1), x – довільний елемент із .
140
Доведення. Оскільки f сильно опуклий, із нерівності (24.2) при
2
1 випливає:
2~
4
~
2
1
2
1~
2
1
2
1xx
rxfxfxxf
.
Звідки
xxfxfxfxx
r ~
2
1
2
1~
2
1
2
1~
4
2
xfxfxfxfxf ~
2
1
2
1~~
2
1
2
1 (24.4)
Лема 24.4. Якщо f – сильноопуклий функціонал, тоді
xfxlim .
Доведення. Визначимо – оптимальний елемент x співвідно-
шенням FxfF , x .
Замінимо в першій нерівності із ланцюга (24.4) елемент x~
(розв’язність не гарантується) на x і замінимо
xxf ~
2
1
2
1 на
Fxf із одержаної нерівності
xfxfr
xx2
1
2
14~ 2,
із якого і випливає потрібна властивість.
Лема 24.5. Якщо f – сильно опуклий неперервний функціонал, а
– опукла замкнена множина, то задача (24.1) розв’язна єдиним способом.
Доведення. Переконаємось, що множина 00 : xfxfx ,
де 0x – довільна точка із , обмежена. І справді, допустимо протилежне,
що існує nx , таке, що
nn
xlim , згідно леми (24.4) будемо мати
nn
xflim . Тоді при 0nn , nx , що протирічить вибору nx . Так як
0xfF , то задача (24.1) еквівалентна:
141
FFxxf 00:)(min
Нехай kx – мінімізуюча послідовність, тобто 0kx ,
Fxf k
k
lim .
В силу обмеженості 0 kx слабо компактна [47, с.54], тобто є
xxk ~ . Множина 0 , як і , опукла і замкнена, значить слабо замкнена
[35, с.196]. Це означає, що 0~ x . Опуклий неперервний функціонал слабо
неперервний знизу, тому
FxfxfF ki
i
inflim)~( ,
це означає, що x~ – розв’язок. Єдність випливає із леми (24.1).
Означення 24.9. Нехай 0x – деякий елемент із X , M – оптимальна
множина задачі (24.1). Розв’язок задачі на мінімум
Mxxx :min2
0
називається нормальним розв’язком (в подальшому, як правило,
покладаємо 00 x ).
Лема 24.6. Якщо f – опуклий неперервний функціонал, то існує
єдиний нормальний розв’язок.
Доведення. Безпосередньою перевіркою можна легко переконатись,
що 2
0)( xxxf – сильно опуклий функціонал. Згідно Леми 24.2 M –
опукла і замкнена, а звідси справедливе твердження леми 24.6.
Теорема 24.1. Нехай f – сильно опуклий неперервний функціонал,
– замкнена опукла множина. Тоді задача (24.1) коректно поставлена за
Тихоновим (означення 24.3).
Доведення. Розв’язність і єдиність розв’язку x~ є наслідок леми 24.5.
Нехай kx – мінімізуючи послідовність: Fxf k
k
lim , kx .
Підставляючи в нерівність (24.3) kxx , робимо висновок, що
0~2lim~lim
xfxf
rxx k
k
k
k.
142
§25. Регуляризація екстремальних задач
25.1. Регуляризація задачі з точними вхідними даними
Якщо функціонал f – тільки опуклий, але не сильно опуклий, то,
взагалі кажучи, малі похибки цільового функціоналу і допустимої
множини можуть суттєво спотворити розв’язок, що приводить до значних
труднощів при побудові стійкого обчислювального алгоритму. Суть
методу регуляризації є в апроксимації некоректної задачі параметричним
сімейством коректних задач і розумною узгодженістю параметра
регуляризації з похибкою вхідних даних.
Теорема 25.1. Нехай f – випуклий неперервний функціонал, –
опукла замкнена множина і M . Тоді для довільного 0 існує
єдиний розв’язок x задачі
Fxxxf }:)(min{2
(25.1)
і
0~lim0
xx
,
де x~ – нормальний розв’язок задачі (24.1) (означення 25.9 при 00 x ).
Крім того,
Fxf
)(lim0
.
Доведення. Оскільки функціонал f – опуклий, то 2
)( xxff –
сильно опуклий функціонал. Тому існує і єдиний розв’язок x , що
випливає із леми 24.5. Із сукупності нерівностей
222 ~)(~)~()( xxfxxfxxf
випливає оцінка xx ~ , що означає існування слабкої збіжної
послідовності xxk (що випливає із слабкої замкнутості ) і
нерівності
xxxxkk
~inflim~
, (25.2)
143
2)(inflim)(inflim)(
kkkxxfxfxfF
kk
Fxxf kk
2~)~(lim
де використана слаба напівнеперервність знизу функціоналів 2
)( xx ,
)(xf . Отже, Fxf )( , x . Із (25.2) і леми 24.6 випливає, що xx ~ , а із
слабкої збіжності }{k
x і збіжності норм у гільбертовому просторі
випливає 0~lim
xxkk
. Міркуючи від протилежного, переконуємось в
сильній збіжності всієї послідовності.
Наслідок 25.1. Якщо регуляризуючий функціонал взяти в формі
20)()( xxxfxf , то послідовність }{
kx буде збігатись до
розв’язку Mx~ , який найменше ухиляється від 0x .
25.2. Регуляризація з наближеними даними
Будемо вважати, що замість точного функціонала f відомо лише
його -наближення )(xf , яке задовольняє умові апроксимації:
)()( xfxf , x . (25.3)
Тоді регуляризована задача приймає вигляд:
Fxxxf }:)(min{2
. (25.4)
Зауважимо, що допустима множина тут задана точно, ця обставина
принципово важлива.
Теорема 25.2. Нехай f , f – опуклі неперервні функціонали і
виконана умова апроксимації (25.3). Тоді для довільних 0 і f задача
(25.4) має єдиний розв’язок x і 0~lim
0
xx
, Fxf
)(lim
0
, якщо
залежність )( вибрана так, що 0lim0
,
0lim0
.
144
Доведення. Так як f – опуклий, то 2
)( xxf – строго опуклий
функціонал, тому згідно леми 24.5 розв’язок x задачі 25.4 існує і єдиний.
Маємо
22 ~)~()( xxfxxf
22 ~~)~()~()~( xFxxfxfxf ,
де x~ – нормальний розв’язок задачі 24.1.
З врахуванням одержаної оцінки отримаємо:
xxfxfFxF )()(
2
222 ~)()()( xFxxfxxfxfF
,
звідки
2~ 22 xx
. (25.5)
Із обмеженості }{ x випливає існування слабо збіжної
підпослідовності
xxx i
i
)( (25.6)
(множина опукла і замкнена, значить, слабо замкнена). Із співвідношень
(25.5), (25.6) і умов теореми одержуємо
xxxx i
i
~lim~ 2
(25.7)
Приймаючи до уваги слабку напівнеперервність знизу f , маємо
2)(inflim)(inflim)( ii
i
i
ixxfxfxfF
Fxxfxxf iii
ii
ii
i
i
2~)~(inflim)(inflim
22
Це означає, що Mx . Разом з нерівністю (25.7) і лемою 24.6
одержуємо xx ~ . Об’єднуючи тепер співвідношення (25.6), (25.7),
145
одержуємо 0~lim
xxi
i. Так як }{
x має єдину граничну точку, то
збігається вся послідовність 0~lim0
xx
, значить, враховуючи
неперервність f , маємо Fxf
)(lim0
.
Зауваження 25.1. Нехай rx , – елемент, що задовольняє нерівності
rFxxfF rr
2,, )( , тобто елемент, реалізуючий мінімум з
точністю r . Тоді за припущень теореми 25.2.
0~lim ,
0
xx r
,
якщо 0 , 0r ,
0
r при 0 .
25.3. Канонічна задача опуклого програмування (ОП)
Коректність сильна та слабка. Стандартна постановка задачі ОП
записується в наступному вигляді:
Fmixfxf i ...,,2,1,0)(:)(min (25.8)
де f , if – опуклі функції, а nRx .
Більш загальне формулювання запису передбачає також поряд з
обмеженнями типу нерівностей також обмеження вигляду Sx , де S –
опукла множина. Для простоти викладу обмежимось частинним випадком
(25.8) – nRS . Відповідна задача з наближеними даними має вигляд:
Fmixfxf i }...,,2,1,0)(:)(min{ , (25.9)
де
)()( xfxf , )()( xfxf ii , nRx . (25.10)
Через , M – позначимо допустиму та оптимальну множину в
задачі (25.9).
Оскільки на відміну від попередніх пунктів дозволяється задання
функціоналів з похибкою, які визначають допустиму множину, то доцільно
146
ввести декілька інших визначень коректності [45, с.121], які враховують
специфіку задачі.
Означення 25.1. Задача (25.8) називається слабо коректною, якщо
0infsuplim0
yyMy
або рівносильно: для довільного 0 існує
00 таке, що для довільних 0,0 і My знайдеться My , яке
задовольняє нерівності yy .
Звідси випливає близькість оптимальних значень
)()()( 1 yfyf .
З цієї причини слабка коректність відповідає стійкості (неперервній
залежності) по функціоналу.
Означення 25.2. Задача (25.8) називається сильно коректною, якщо
0suplim,0
yyMMyy
або еквівалентно: для будь-якого 0 існує 0 таке, що для довільних
0,0 та My , My виконується yy .
Із означення 25.2 випливає, що M – множина одноточкова і M
стягується в одну точку при 0 .
Приклад 25.1.
Fxxxxxx 0,0,1:min 212121 ,
Fxxxxxx 0,0,111:min 212121
При 0 , 0,1M , 1F .
При 0 , 1,0M , 1F , зрозуміло, що 1F .
Тому задача слабо коректна, але не сильно коректна (множина M –
не одноточкова).
В наступному прикладі розглянута задача лінійного програмування
(ЗЛП), яка не є слабо коректною, тим більше сильно коректною.
Приклад 25.2. Розглянемо задачу
147
Fxxxxxx 0,0,10:min 212112 ,
Відповідна їй задача з наближеними даними має вигляд
Fxxxxxx 0)1(,0)1(,10:min 212112 .
Тут 1F , 1,1M , 0F , 0,0M .
Оскільки
FF ,
0infsuplim0
yyMyMy
,
то задача не слабо коректна.
Обґрунтуємо для задачі (25.8) аналог теореми 24.1. при більш
загальних допущеннях на f , але при , то є )()( xfxf ii .
Теорема 25.3. Нехай f – неперервна і сильно опукла функція на ,
f – неперервна (не обов’язково опукла), і задовольняє умовам (25.10), і
0)(lim0
. Тоді задача (25.8) має єдиний розв’язок y і
0~suplim yy , де )}()~(:~{~
FyfyM r .
Доведення. Так як із (25.10) видно, що )()( xfxf , то
)(lim xfx
, а це в свою чергу означає, множина )(: xfxQ
обмежена і замкнута. Нехай My , My , тоді з врахуванням
)()( yfyf :
)()()()~()~()~()()~( yfyfyfyfyfyfyfyf
)(2)()()( yfyf
Враховуючи (24.3), знаходимо
0)(24
)()~(2~sup
2
~~
ryfyf
ryy
My
.
148
Зауваження 25.2. Із теорем 24.1, 25.1, 25.2, 25.3 випливає, що задачі
(24.1), (25.8) коректні за Тихоновим і стійкі до збурень цільового
функціоналу при фіксованій допустимій множині.
З іншого боку, згідно з твердженням 24.2, коректність за Тихоновим
тягне за собою коректність за Адамаром, тобто є стійкість розв’язку до
збурень допустимої множини відносно збіжності за Моско. Але для задачі
ОП (25.8) малі збурення функції f можуть сильно змінити допустиму
множину і, значить, оптимальне значення і оптимальну множину.
Тому задача буде некоректною в сенсі означень 25.1, 25.2,
незважаючи на те, що функціонал сильно опуклий, що гарантує
коректність за Тихоновим.
Приклад 25.3.
Fxxxxxx }0,0,10:min{ 21211
2,
де )}0,0{(M , 0F .
Збурена задача має вигляд
Fxxxxxx }0)1(,0)1(,10:min{ 21211
2,
для якої 1,1M , 2F , для 0 .
Таким чином, задача не є коректною ні в слабкому, ні в сильному
сенсі (означення 25.1, 25.2), хоч 2
)( xxf строго опуклий функціонал.
Цей приклад засвідчує, між іншим, що для задачі із прикладу 25.2
стандартна схема регуляризації в формі }:)(min{2 xxxf не
призводить до мети і не породжує стійкого регуляризуючого алгоритму
(див. рис. 3).
1x
2x
1
1
Рис. 3
149
Для побудови стійких алгоритмів розв’язку таких задач знадобляться
більш складні схеми регуляризації, які включають в себе поряд з
тихоновською ідеєю методи штрафних функцій (МШФ).
Тому в наступному пункті 25.4 наведемо основи цього методу, а в
пункті 25.5 опишемо загальну схему регуляризації.
25.4. Основи методу штрафних функцій
Перехід від оптимізаційної задачі з обмеженнями до задачі без
обмежень можна здійснити різними методами. Найпростіші обмеження
можна зняти заміною змінних:
txx sin1 ( t )
20 txx або tx 2 ( t )
tabaxbxa 2cos)( ( t ), а і b – дійсні числа.
Очевидно, що такий підхід не є універсальним і не підходить в
загальному випадку опуклих обмежень задачі (25.8).
Один із варіантів МШФ – метод зовнішньої точки – зводиться до
такого перетворення цільової функції )(xf , при якому значення
перетвореної цільової функції в допустимій області точно або
наближено дорівнює )(xf , в той час як значення поза областю дуже
велике в порівнянні із значеннями )(xf (дуже великий штраф за границею
області).
Загальна схема МШФ для задачі (25.8) виражається в наступному:
вибирається функція )(x , яка володіє властивістю:
x
xx
,0
,0)( (25.11)
150
і утворюється функція
)()()(
xxfxf , де 0 ( 0 ), яка
називається параметром штрафу. Вихідній задачі (25.8) співставляється
задача на безумовний мінімум
FRx
xxf n
:)(
)(min (25.12)
Розв’язок x і оптимальне значення F цієї задачі розглядається в
якості апроксимації розв’язків вихідної задачі (25.8) і значення F .
Термін “метод штрафних функцій” можна обґрунтувати наступним
чином: коли x порушує одне або декілька обмежень, на цільову функцію
накладається штраф величиною
)(x, збільшуючи її значення.
Розглянемо більш загальну задачу, ніж (25.8), долучив обмеження
типу рівностей:
mSSixfSixfxf ii ...,,2,1,0)(,...,,2,1,0)(:)(min ,(25.13)
вважаючи if ( mSSi ...,,2,1 ) такими, що – опукла множина. Задамо
функцію )(x в наступній формі:
m
Si
Pi
S
i
Pi xfxfx
11
)(0),(max)(
,
0P ,
і сформулюємо задачу (25.12), в якій позначимо
),()(
x
xxf .
Теорема 25.4. Нехай f , if ( mi ...,,2,1 ) – неперервні функції, nRx
і
)(lim xfx
. Тоді задачі (25.12), (25.13) мають розв’язок і всі граничні
точки послідовності розв’язків задачі (25.12) є розв’язками задачі (25.13).
Доведення. Оскільки
)(lim xfx
, а 0x , то також
),(lim xx
. Тому існування розв’язку доводиться стандартно.
151
Позначимо через x~ , x ці розв’язки. Так як x~ задовольняє обмеженням,
то 0)~( x і
)~()(
, xfx
xfx
, (25.14)
звідки constx , а значить,
xxk , k . (25.15)
В силу неперервності f , if
)~()},(sup{lim)(lim)( xfxxfxf kkk kk
,
звідки
cxfxfk
)()( ( constc ),
і враховуючи (2.15), отримаємо оцінку
cxfxfx
k )()~()(
.
Для кожного if , Si ...,,2,1 справедливо
Pk
ik
i kkxxfxf
1
suplim)(lim)(
0)()~(suplim1
1
PiiP
kk
cxfxf , (25.16)
а при mSSi ...,,2,1
0lim)(lim)(01
Pk
ik
i kkxxfxf . (25.17)
Об’єднуючи (25.16), (25.17), робимо висновок, що x –
допустимій множині задачі (25.13). Враховуючи встановлену вище
нерівність )~()( xfxf , одержуємо, що x – розв’язок задачі (25.13). Крім
того,
FFxfkk kk
lim)(lim
Разом з (25.15) доведення завершується.
152
25.5. Регуляризація в загальному випадку
Введемо параметричну функцію.
)()()(2
xxxfx ,
де
m
Sii
S
ii xfxfx
11
)(0),(max)( ,
)()( xfxf , )()( xfxf ii , nRx . (25.18)
Позначимо
m
Sii
S
ii xfxfx
11
)(0),(max)(
Лема 25.1. Для будь-якого nRx mxx )()( .
Доведення. Випливає з очевидних нерівностей:
)()()()( xfxfxfxf iiii ,
)()(0),(max0),(max xfxfxfxf iiii
і способу задання , .
Лема 25.2. Нехай f – опуклий функціонал. Тоді для любих
00 , 00 і фіксованого 0
)(inf* xnRx
.
Доведення. Функція 2
)()( xxfxN при 0 сильно опукла,
тому з врахування нерівності (24.3)
153
)(min** xNNnRx
.
Так як )()( xfxf згідно 25.18, одержимо співвідношення
**2)()()( NxNxxfx ,
що й забезпечує доведення.
Будемо мінімізувати функцію наближено з точністю і
позначимо через y~ елемент, який задовольняє умові
0,)~( *
y
.
Введемо позначення:
Myxy :minarg2
,
*)(,:)(minarg NyNxxNy .
Теорема 25.5. Нехай виконані наступні умови:
а) f , if – опуклі неперервні функції, nRx ;
б) виконуються умови апроксимації (25.18);
в) задача (25.8) має розв’язок, то є M .
Тоді, якщо параметри , узгоджені з так, що виконуються
умови:
0lim0
,
0lim0
,
0
)(lim
0
,
тоді
0~limlim00
yy
.
Доведення. Приймаючи до уваги співвідношення, що
0)( x , )()( xfxf , )()( xfxf ,
*)~(y
154
виконуються для любих nRx , одержуємо сукупність нерівностей:
)~(~)~()~(
)~()~(2
**y
yyfy
yNyNN
*2 )~()~(~)~(yy
yyf
)(
)()( 2 y
yyfy
(25.19)
Так як y , то 0 y і, значить, з врахуванням леми 25.1
my )( , крім того,
)()( yfyf , тому
22~ *2**
mN
myyfyNN
(25.20)
Звідси, а також з умов теореми випливає, що
cyyf2~~
,
а оскільки N строго опукла функція, то 1
2~ cy ( constc 1 ,
фіксовано). З нерівності
2
~~~ ***
mN
yyNyNN , (25.21)
яка є наслідком нерівностей (25.19), (25.20), випливає, що
0~lim
k
k
k yk
.
Із леми 25.1 одержуємо
0])([lim)(lim)~(
myyy kkk
k
k
kk
k
,
тобто y~ . Переходячи в (25.21) до границі при 0k , маємо
)(:)(min)~( * yNxxNNyN ,
це означає, що )()~( yNyN . Із єдиної точки мінімуму для сильно
опуклого функціонала можемо зробити висновок, що yy ~ . Оскільки
155
встановлено, що будь-яка гранична точка }~{ y збігається з y , то
yy
~lim0
. Згідно з теоремою 25.1 yy
0lim , тому
0~limlim00
yy
.
Зауваження 25.3. Із нерівності
yyyyyy ~~
випливає, що для любого 0 знайдуться такі )( , )( , що
)()(yy
Таким чином, має місце апроксимація нормального розв’язку y
, з
елементами y , яка є стійкою відносно збурень вихідних даних.
156
§26. Дискретизація оптимальних задач. Дискретна
апроксимізація і дискретна збіжність
26.1. Постановка задачі
Основна задача на оптимум, сформульована в §24, є, взагалі кажучи,
нескінченновимірною в тому сенсі, що аргумент x – елемент нескін-
ченновимірного простору, а обчислення цільового функціоналу на цьому
аргументі не можна реалізувати за кінцеве число арифметичних операцій,
наприклад
1
0
22
)()(2)()()(
)(min dttxtptxtgdt
tdxxf (26.1)
при 1,012Wx , 0)1()0( xx , де 1,01
2W – простір функцій з нормою
1
0
22 )(
12
dtdt
tdxx
W
.
Замінимо похідну кінцево-різницевими співвідношеннями, а до
інтервалу застосуємо квадратурну формулу прямокутників, тоді,
покладаючи 1 iii tth , маємо
n
iiiii
i
iiinn txtptxtg
h
txtxhxf
1
2
2
1 )()(2)()()()(
)(min (26.2)
при
nn Wx ,1
2 , 0)1()0( xx ,
21,,
1 2
inin
n
iin
xxhx .
Для загальної задачі мінімізації
Fxxf :)(min (26.3)
під дискретною апроксимацією будемо розуміти послідовність
скінченновимірних задач
157
nnnnn Fxxf :)(min , (26.4)
де nf – звичайні функції n змінних, n – підмножина евклідового
простору.
Необхідно встановити умови, при яких має місце збіжність FFn
і оптимальних (або -оптимальних) множин MMn ( MMn ).
26.2. Основні визначення і поняття
Перш ніж викласти загальну схему дискретної оптимізації, введемо
деякі поняття, посилаючись [49, р.231].
Розглянемо наряду з линійно-нормованим простором (ЛНП) X
послідовність скінченновимірних ЛНП nX (які не обов’язково будуть
підпросторами X ). Перехід із простору X в простір nX здійснюється за
допомогою зв’язуючих операторів (операторів звуження) nP : nXX ,
nn XXP , які задовольняють умовам
XXn
nxxpXx
n
lim , (26.5)
0)(lim,,, nXnnn
nxpaxapxaaxPconstaaxx . (26.6)
Означення 26.1. Послідовність з ЛНП nX утворює дискретну
апроксимацію ЛНП X , якщо існує сімейство зв’язуючих операторів nP ,
які задовольняють властивостям (26.5), (26.6).
В подальшому для спрощення запису будемо опускати індекси при
нормах, якщо це не викликає непорозумінь.
Означення 26.2. Послідовність
nX , nn Xx ,
називається дискретно збіжною до X ( будемо позначати XX n ), якщо
0lim
xpx nnn
.
Нехай X , nX – гільбертові простори, в яких задані скалярні добутки
, , n, відповідно.
158
Означення 26.3. Послідовність nX дискретно слабо збігається до
X (позначимо XX n ), якщо vxvxnnn
n,,lim
, то для довільної
дискретно збіжної послідовності VVn .
Для оцінювання похибки наближеного розв’язку по нормі простору
X визначають оператори поповнення XXr nn : . В необхідних випадках
на оператори nr накладаються деякі умови.
Означення 26.4. Послідовність nr утворює сімейство сильних
(слабких) операторів поповнення, якщо XXr nn : лінійно обмежені і
задовольняють співвідношенню
)(0lim xxrxxrXXXX nnXnnn
nnn
.
Пояснимо на прикладах сенс введених операторів.
Приклад 26.1. Нехай 1,0CX – простір неперервних функцій на
відрізку 1,0 , )(max10
txxtC
.
На відрізку 1,0 задамо розбиття
1...0: 10 nn
nnn tttT n
ini
ni tth 1 0max
ni
nh .
Визначимо nnnnnnnn xxxxxCX ...,,,: 21 ,
niniXn xx
n
1max n
nnn
n txtxtxxp ,...,, 21 .
Приклад 26.2.
1,02LX ,
n
ini
nin xhx
1
22, n
ini
ni tth 1 ,
0maxlim1
ni
ninh ,
1
01 1
1
0
)(1
,...,)(1 n
n
t
tnn
t
tnn dssx
hdssx
hXP .
Приклад 26.3.
1,012WX ,
1
0
21
0
22
)( dttxdtdt
dxx ,
159
nnnnnnn xxxxxX ...,,,: 10 ,
n
ini
ininnn
n
iin
nin
h
xxhxhx
1
2
1,,
1
2
,2
.
Побудована nX утворює дискретну апроксимізацію відповідних
просторів X . Для прикладу 26.1 це очевидно випливає із неперервності
функції.
Щоб перевірити властивості (26.5), (26.6) для сімейства }{ i
np
введемо ще одне означення і встановимо декілька допоміжних тверджень.
Означення 26.5. Дві системи операторів np і np , які
задовольняють властивостям (26.1), (26.2), називаються еквівалентними,
якщо
Xxxpxp nnn
0lim.
Очевидно, що системи і еквівалентні тоді і тільки тоді, коли
виконано співвідношення
0lim0lim
nnn
nnn
xxpxxp.
Лема 26.1. Нехай np , np – дві системи операторів, які
задовольняють властивостям (26.5), (26.6), і X щільна множина в X ,
тобто є X . Якщо
xxpxp nnn
0lim ,
то системи і еквівалентні.
Доведення. Для довільного Xx вибираємо x так, щоб
xx . Тоді для достатньо великого n має місце оцінка
3 xpxpxpxpxpxpxpxp nnnnnnnn
оскільки на підставі (26.5), (26.6)
0)()()( xxpxpxpxxpxpxp nnnnnn ,
160
xxxxpnn
)(lim.
Теорема 26.1[49, р.231]. Нехай np система операторів np :
nXX , де X щільне в X і np задовольняють умовам (26.5), (26.6) на
X . Тоді оператори np можна поширити на весь простір X зі
збереженням властивостей (26.5), (26.6), при тому, якщо np і
np – довільно продовжені оператори, що ці системи еквівалентні.
Лема 26.2. Сімейства зв’язуючих операторів np , np із
прикладів 26.1, 26.2, еквівалентні і, значить, визначають еквівалентну
дискретну збіжність.
Доведення. Оператори np лінійні і обмежені
2
1
1
2
2
1
2
)(n
i
t
tni
ni
ln
ni
ni
n dssx
h
hxp
1,)(2
1
2
1
1
2
2
nL
n
i
t
t
n
in
i
n
i pxdshsxh
hni
ni
.
Для кожного baCtx ,)( справедливо
02
n
n Cnnlnn xpxpxpxp ,
22 Lln xxp n
(останнє співвідношення випливає із збіжності квадратурної формули
прямокутників для неперервної функції 2
)(tx ).
Значить, 22 Lln xxp n 1,0Cx , а так як 1np , то збіжність
зберігається для любого 2LXx . На підставі справедливості тверджень
леми 26.1 і теореми 26.1 системи і еквівалентні.
При дискретизації задачі на мінімум (26.3) від множини X
переходимо до множини n і скінченновимірного простору nX . В
наступному прикладі випишемо деякі множини і апроксимуємо їх n .
161
Приклад 26.4.
}0)(:,{ 2 txbaLx , }0:{ 2 ni
n
nn xlx , (26.7)
0:,12
dt
dxbaWx , }0,{ 1,,
,1
2 inin
n
nn xxWx , (26.8)
}:,{2
2 rxbaLxL , }:{
22 rxlx nln
n
nn . (26.9)
В якості прикладу задання nr можна розглянути оператор кусково-
постійного відтворення
iininnnnnnn tttприxtxxxxxr 121 )(,...,,:
(26.10)
або оператори кусково-лінійного відтворення
nnnnnn xxxxr ,...,,: 10
ii
ii
iniini
ii
ninin ttt
tt
txtxt
tt
xxtx 1
1
11
1
1 ,)(
. (26.11)
162
§27. Достатні умови збіжності
Будемо розв’язувати задачу (26.4) наближено з точністю n і
позначимо через nnx
елемент із , який задовольняє співвідношення
nFxf nnnnnn ,0,)(
. (27.1)
Теорема 27.1. Нехай X – гільбертів простір, nX – послідовність
скінченновимірних просторів, f – слабо напівнеперервний знизу
функціонал, – замкнена випукла обмежена множина із X . Нехай
виконані наступні умови:
1) npn ,
де nn XXp : – зв’язуючі оператори;
2) nrn ,
де XXr nn : – оператори поповнення;
3) для деякого Mx
)()(suplim xfxpf nnn
;
4) nX , nnX
0)()(suplim
nnnnn
xfxrf .
Тоді задача (26.3) розв’язна, тобто існує M і всі слабо граничні
точки послідовності }{ n
nnxr
, які визначаються формулою (27.1), належать
множині M задачі (26.3), крім того
Fxfxrf nn
nnn
nnn
)(lim)(lim
. (27.2)
Доведення. Розв’язність задачі встановлюється по стандартній схемі.
В силу слабкої компактності обмеженої множини, в гільбертовім просторі
існує }{ k
k
n
nx
, xr k
k
n
n
, при цьому x , оскільки множина – випукла і
замкнена, а значить, слабо замкнена і згідно з умовою 2) nnxr .
163
Враховуючи умови 3), 4) означення nnx
і властивості слабкої
неперервності f маємо
)(suplim)( kn
kk nnk
xrfxfF
)](sup[lim)]()(sup[lim kn
kk
kn
kk
kn
kk nnk
nnnnk
xfxfxrf
FxfxPfFkkkk nn
knn
k
)()(lim)sup(lim
.
Звідки Mx
, що й завершує доведення.
Зауваження 27.1. В умові 3) вимогу “для деякого Mx
” можна
замінити на “для любого x ”, а якщо функціонал f неперервний, то
достатньо вимагати „для довільного x , де ”.
Зауваження 27.2. При відповідному виборі операторів nP і nr (див.
приклади 26.1, 26.2) для пар множин , n на (26.7) – (26.9) виконуються
умови теореми 27.1.
Для задачі безумовної мінімізації, тобто для X , nn X ,
теорему 27.1 не можна застосувати, оскільки не виконуються допущення
про обмеженість множини . Для цього випадку необхідні додаткові
вимоги на цільові функціонали. Тому покладемо в задачі (26.3) X , а в
задачі (26.4) nn X .
Теорема 27.2. Нехай X – гільбертовий простір, nX – послідовність
гільбертових просторів. Нехай f – слабо напівнеперервний знизу
функціонал і виконані наступні умови:
1) 0lim
m
mxf , коли
m
mxsuplim ;
2)
nnn
xfsuplim , коли
nn
xsuplim ;
3) існує 0a таке, що nnn xaxr для любих nn Xx ;
4) 0suplim
nnnnn
xfxrf для любих обмежених послідовностей
nnxr ;
5) xfxPf nnn
lim для деякого Mx
.
Тоді справедливе твердження теореми 27.1.
164
Доведення. Існування розв’язку задачі (26.3) доводиться подібно лемі
24.5. Нехай елемент nnx
визначений співвідношенням (27.1) і Mx
, тоді у
відповідності з умовою 5)
nnnn
nnn
nnn
xPfFxf n
suplimsuplimsuplim
звідки на підставі умов 1), 3)
cx nn ,
nnnnn xaxr
.
Слаба компактність обмеженої множини в X тягне за собою
Xxxr kn
kk nn
.
З умов 4), 5) теореми і слабкої напівнеперервності знизу f ,
одержуємо
)(suplim)( kn
kk nnk
xrfxfF
)](sup[lim)]()(sup[lim kn
kk
kn
kk
kn
kk nnk
nnnnk
xfxfxrf
FxfxPfFkkkkk nnn
knn
k
)())(sup(lim)sup(lim
,
тобто Mx
.
На відміну від установлених вище теорем [50, р.573] сформулюємо
твердження [51, с. 824] про апроксимацію задач оптимізації в термінах
дискретної збіжності, в якому явно використовуються властивості
зв’язуючих операторів відтворення, а також умова дискретної
апроксимації простору.
Теорема 27.3. Нехай сімейство Xnx }{ утворює дискретну
апроксимацію гільбертового простору X , f – опуклий неперервний
функціонал, – замкнена опукла множина і виконані наступні умови:
1) для любого x , де , існує nx , nnx , таке, що
xxn ;
2) для пари x , nx із умови 1) виконано співвідношення
165
xfxf nnn
suplim ;
3) справедливе співвідношення nnx ,
nnn
xflim
nn
xsuplim ;
4) nr – сімейство слабких операторів відтворення, для якого
nnr за будь-якого n ;
5) xxn nnn
xfxf inflim
.
Тоді задача 26.3 розв’язна, FFnn
lim , всі дискретно слабо граничні
точки nnx
, що визначаються формулою (27.1), належать M , причому,
якщо xx n
kn
, то Mx
і xxr kn
kk nn
, тобто слабка в X .
Доведення з деякими змінами проводиться подібно до доведень
теорем 27.1, 27.2. При цьому суттєво використовується факт дискретної
слабкої компактності обмеженої послідовності nx , Xxn , cxn [49,
р.231].
Наслідок 27.1. Якщо цільові функції мають вигляд
2xxxf ,
2nnnnn xxxf ,
де , n задовольняють умовам 2), 5) теореми, тоді
FFnn
lim і xxn
при n , 0n ,
а якщо додатково nz – оператори сильного відтворення, то
0suplim
xxr nnMxn
nn
.
Зауваження 27.3. Якщо в умовах 1), 2) теореми 27.3 змінити
“ x ” на “для деякого Mx ”, то вимогу неперервності f можна
пропустити. Крім того, якщо X , nn X , то вимога “ nr – оператори
слабого відтворення” в умові 4) зайва.
166
§28. Застосування приведених достатніх умов
збіжностідо задачі варіаційного числення
28.1. Формулювання задачі
Розглянемо загальнішу задачу варіаційного числення, ніж (26.1):
010,1,0:,,min 1
2
1
0
xxWtxdt
tdxtxtg , (28.1)
де функції tytxtg ,, задовольняють наступним властивостям[52, р.345]:
а) tytxtg ,, – неперервна функція в області
tytxtG ,,10 ;
б) існують константи 0, ba такі, що 2,, ybatytxtg для
любих кінцевих значень t , tx ;
в) для любих t , tx із області значень існує неперервна похідна
tytxtg y ,, , не спадаюча по y ;
г) існують додатні константи dc, і неперервна функція txtS , , такі
що
22112
2211 ,,,,,, txtStxtSydcytxtgytxtg
для задовільних 1t , 2t , 1tx , 2tx із області визначення CS .
Будемо також вважати, що існує розв’язок задачі (28.1) 1,0tx ,
тобто функція tx – неперервно-диференційована.
28.2. Квадратурний (кінцево-різницевий) метод
Послідовність дискретних задач, порівнених з задачею (28.1) має
вигляд
n
innn
nin
ininini txxWtx
h
txtxtxthg
1
,12
1 00,:,min (28.2)
167
де n
tth ii
11 .
В якості простору X приймається
}010:{1,0 1
2
01
2 xxWxW
з нормою
1
0
22
dtdt
tdxx .
nn WX ,1
2 – 1n -мірний простір з нормою елемента
n
i
inin
h
txtxhx
1
212
,
np – оператор переносу на сітку }{ it , тобто
),...,,())(),...,(),(()( 121121 nnn xxxtxtxtxtxp ,
nr – оператор кусково-лінійного відтворення (див. (26.10)).
Перевіримо умови теореми 27.2.
Умови 1), 2) випливають із нерівностей
1
0
1
0
2
,, dtdt
tdxbadt
dt
tdxtxtgxf ,
n
i
ninin
i
nininiinn
n
xxbah
n
xxxthgxf
1
21
1
1,, ,
які є наслідками властивості б).
Умова 3) випливає із нерівності
n
i
t
t
nnnnnn
i
i
dtdt
xrddt
dt
xrdxr
1
21
0
22
1
n
in
nini xn
xxh
1
22
1 , ( 1a ).
Звернемось до властивості 5). Оскільки розв’язок 1,01Ctx , то
168
0maxlim 1
1
h
txtx
dt
tdx ii
tttn ii
,
0maxlim 11
iitttn
txtxii
,
значить, із рівномірної неперервності g на обмеженій замкнутій
підмножині із G права частина оцінки
n
i
t
t
iiiinn
i
i
dth
txtxtxtg
dt
tdxtxtgxpfxf
1
111
1
,,,,
буде прямувати до нуля при n .
Наприкінці, умову 4) одержуємо із властивості 2) і ланцюга
нерівностей:
n
i
t
t
nn
ninn
nnnnnnn
i
i
ii
idt
n
xxxtg
dt
xrdxrtghxfxrf
11
1,,,,
n
i
nn
nnin
xxxxhtgh ii
ii
1
1
0
111
11
dn
xxxtg ii
i
nn
ni1
1,,1
,,11
1
0111
2
11
1
n
ininni
nndxtSxxhtS
n
xxdch
iii
ii
де
,1
n
tt ii nnnnnnnn xnxxxxxxxiiiiiii
1111
1 .
Значить, права частина останньої нерівності прямує до нуля.
Зауваження 28.1. Якщо )(tp , )(tg – функції неперервні і
0)()( tgtg , тоді підінтегральна функція в задачі (26.1) задовольняє
вимогам а) – г) для )(),(, tytxtg . Тому для пари задач (26.1), (26.2)
справедлива теорема 27.2 про слабку збіжність наближень
(аппроксимацій).
169
Зауваження 28.2. Слабка збіжність в просторі 1,012W тягне за собою
сильну збіжність в просторі 1,0C .
28.3. Проекційні методи Рітца та Ейлера
Нехай задана система функцій в просторі 1,012W . Для визначеності
будемо вважати, що це тригонометрична система функцій. Розглянемо
задачу (28.1) з тією лиш різницею, що вважатимемо відрізок інтегрування
, , а 12WX - підпростір періодичних функцій, опускаючи для
простоти граничні умови.
За nX приймемо підпростір, утворений першими 12 n елементами
тригонометричними системами, а за nP – оператор, який ставить у
відповідність функції ,)( 12 Wtx частинну суму Фейера, тобто:
n
tStStStxP n
n
)(...)()()(: 110
,
де
k
j
jjjjk tbtaa
tS1
0 sincos2
)( , }{ ja , }{ jb , kj ,1 – коефіцієнти Фур’є
функції tx .
Визначимо nf як звуження функціонала на підпростір nX
nnn
nnn Xxdtdt
dxxtgxf ,,, (28.3)
що відповідає методу Рітца.
Переконаємось, що виконані допущення теореми 27.3, вважаючи
X , nn X , Irn . Приймаючи до уваги, що згідно з теоремою
Фейера [35, с.145] для довільної неперервно-диференційованої періодичної
функції tx
nn
n Xn
tStStStx
)(...)()(
)( 110
170
рівномірно збігається до tx , dt
tdxn )(прямує до
dt
tdx )( і той факт, що
)(),(, tytxtg рівномірно неперервна на обмеженій множині, одержуємо
0,,,,suplimsuplim dtdt
dxtg
dt
tdxtxtgxfxf n
nn
nnn
.
Таким чином, виконується умова 2) згаданої теореми.
Для проекційних методів дискретна збіжність збігається зі
звичайною збіжністю, тому умова 5) є наслідком слабкої неперервності
функціонала f . Що стосується умови 3), то вона безпосередньо
одержується із умови 5) функції )(),(, tytxtg . Всі інші умови очевидні.
У варіаційному численні [53, с.4] вельми поширений ще один спосіб
дискретизації – метод Ейлера, який легко вкладається в нашу схему. Цей
метод є різновидністю проекційного методу Рітца з вибором в якості
базисних функцій– кусково-лінійних.
Нехай для функції g виконані властивості а) – г) і також задане
рівномірне розбиття n
it 0}{ відрізка 1,0 . За nX приймемо підпростір
кусково-лінійних функцій з вершинами в вузлах сітки }{ it . Оператор np
функції 1,0)( 12Wtx ставить у відповідність кусково-лінійну функцію
)(txn
, яка приймає значення )( itx в точках it . Функціонал nf визначається
як звуження f на підпростір nX
1
0
,)(
),(, nnnnn Xxdtdt
tdxtxtgxf .
Властивість 2) теореми 27.3 з врахуванням неперервності
)(),(, tytxtg , випливає із того, що якщо функції 1,0)( 1Ctx , то для
любого 0 знайдеться достатньо великий номер n (крок сітки h ), при
якому для ],[ 1 ii ttt
)()( txtx n ,
h
txtx
dt
tdx
dt
txd
dt
tdx iin )()()()()( 1 ,
171
де )(txn – кусково-лінійна функція, яка приймає значення )( itx в точках it
і лінійна на ],[ 1 ii tt . Звідси, до речі, випливає, що 12
1
WXn
n
згідно з
нормою простору 12W , і для np виконані властивості (26.5), (26.6) на всюди
щільній в 1,012W множині 1,01C . З цієї причини існує єдине з точністю до
еквівалентності продовження np на весь простір 12W (див. теорему 26.1).
Не важко переконатись в виконанні інших умов теореми.
28.4. Дискретний метод Рітца
Розглянуті в попередньому пункті методи Рітца і Ейлера не дають
повної дискретизації задачі, бо залишається “неперервний об’єкт” –
інтеграл. Якщо додатково провести аппроксимацію інтегралу по
квадратурній формулі (прямокутників)
m
iinininmn txtxthgxf
1
)(),(, (28.4)
То приходимо до дискретного методу Рітца. Для його збіжності
необхідні більш жорсткі вимоги до вхідних даних задачі 28.1. Для його
збіжності, зокрема, достатньо допустити, щоб точний розв’язок задачі 26.1
належав 1,02C . При цьому від функції )(),(, tytxtg вимагається лише
виконання властивості а) із пункту 28.1.
Зауваження 28.3. Дискретний метод Рітца, в частковому випадку,
при nm і виборі в якості X підпростору кусково-лінійних функцій для
сітки it , переходить в скінченно-різницевий метод, розглянутий в п.28.2.
172
§29. Операторні та інтегральні рівняння першого
роду.Постановка задачі та умова коректності
29.1. Формулювання проблеми
Нехай на парі ЛНП YX , задане лінійне операторне рівняння
першого роду
yAx , YARy )( , (29.1)
включення )(ARy означає, що задача (29.1) розв’язна.
Будемо вважати, що замість точних yA, відомі наближені дані
myAh , задачі (29.1) з умовою аппроксимації
hAA h , hAA h , myAh , , (29.1)
де
YYXm , YX – множина лінійних обмежених операторів
на X в Y .
Треба за наближеними даними myAh , побудувати
послідовність ),(: hx , яка збігається до розв’язку рівняння (29.1).
Формалізуємо цю вимогу в двох наступних визначеннях [1, с.128],
[2, с.41].
Означення 29.1. Сімейство операторів }{ ,hR (не обов’язково
лінійних), заданих на множині m з областю значень в X , називається
регуляризуючим алгоритмом для задачі (29.1), якщо виконані умови:
1) оператор hR , визначений для любої пари };{ 0yAh і який
задовольняє співвідношенню (29.1’);
2) 0,,sup 0, xyAR hh при 0, h , yyy : ,
hAAA hh : , де 0x – розв’язок (або множина розв’язків) задачі (29.1)
(означення напіввідхилення див. в п.1.2 (корректність за Адамаром і
Тихоновим )).
173
Означення 29.2. Якщо hR , – регуляризуючий алгоритм (РА), то
сукупність
}0,0,,,,:{ 00, hhmyAyARxx hhh
називається регуляризованим сімейством наближених розв’язків.
В допущенні, що обернений оператор 1A до A існує, проаналізуємо
два випадки:
1) оператор 1A обмежений, значить, неперервний;
2) оператор 1A необмежений, значить, розривний.
В першій ситуації на підставі відомого факту [47, с.157] при
достатньо малих h існує обмежений оператор 1hA , для якого виконується
умова
011 AAh , якщо 0h .
Ця обставина дозволяє прийняти в якості регуляризованого
(наближеного) розв’язку yAx h1
.
Дійсно, із цілком очевидної оцінки
0111
0 yyAyAAxx h
одержуємо збіжність 0xx при 0 .
У випадку 2) цей факт, взагалі кажучи, вже місця не має, тому за
наближений розв’язок не можна брати розв’язок рівняння yxAh .
Природно, що становище ускладнюється, якщо оператори A , hA не мають
обернених. Сказане вище дає підстави ввести наступні визначення
корректності за Адамаром.
Означення 29.3. Якщо виконані умови:
1) для любого Yy знайдеться елемент Xx такий, що yAx , то
є YAR (факт існування розв’язку);
2) елементом y розв’язок x визначається однозначно, тобто існує
обернений оператор 1A (факт єдиності розв’язку)
174
тоді задача (29.1) називається коректно поставленою (або коректною) на
парі ЛНП X , Y .
Якщо порушено хоча б одну з умов 1) – 3), то задача називається
некоректно поставленою (або некоректною), притому якщо не виконано
умову 3), то говорять про суттєво некоректну задачу.
29.2. Рівняння, породжені інтегральними операторами
Приклад 29.1. Інтегральне рівняння Фредгольма першого роду
)()(),( tydssxstKAxb
a
, dtc , (29.2)
розглядуване на парі ЛНП
],[2 baLX , ],[2 dcLY
або
],[ baCX , ],[ dcCY .
Нехай ),( stK – неперервна функція від t , s і така, що 0)( AКеr , і,
значить, 1A існує, тому умова 2) коректності виконана. Однак умови 1), 3)
завідомо місця не мають (не виконуються).
І справді, оператор A в (29.2) в наших допущеннях цілком
неперервний (тобто обмежену множину переводить в компактну), в чому
легко переконатись, перевіривши критерії компактності в просторах 2L , C
[47, с.236,245]. Якщо допустити, що 1A неперервний (обмежений), то
добуток IAA 1 зобов’язаний бути цілком неперервним оператором. Це
протирічить тому, що сфера (яка переводить відображення 1 AAI в
себе) некомпакта в просторах 2L , C [47, с.107,110]. Відомо також, що
область визначення цілком неперервного оператора не замкнута [47,
с.225].
У факті стійкості можна також переконатись із наступних простих
міркувань.
175
Нехай
Sx1 і xNSxSx sin12 0,0 N
розв’язок рівняння (29.2) для правих частин, 11 Axy ; 22 Axy . Тоді в
допущенні неперервності ),( stKS
NxNSxSxbaC
sinmax,12 ,
b
atbaCxdsstKNtyty sin,max
,12
cN
xdsstKxstKNb
a
b
at
cos,cos,
1max , constc .
Звідки випливає, що розв’язки можуть бути як завгодно далекі (при
великих N ), в той час, як відповідні праві частини як завгодно близькі (за
рахунок достатньо великих ).
Установлений факт суттєвої некоректності задачі (29.2) призводить
до сильної чисельної нестійкості, якщо розв’язати систему лінійних
алгебраїчних рівнянь (СЛАР), одержану після дискретизації задачі
квадратурним методом, наприклад, методом прямокутників:
in
jjjii tysxstKs
1
, , ni ,1 . (29.3)
Наведемо результати чисельного експерименту [54, с.744], в якому
розв’язувалась СЛАР (29.3) для інтегрального рівняння
12
7
3
1
2
11
0
ttydssxtsstAx (29.4)
на сітці
11.005.0 jst jj , nj ,1 , 10n .
176
Точний розв’язок рівняння (29.2) заданими (29.4) є 1sx .
Таблиця 29.1
js 0.05 0.15 0.25 0.35 0.45
jsx~ -8.00 -23.9 -7.75 7.62 0.00
js 0.55 0.65 0.75 0.85 0.95
jsx~ -12.5 4.00 -2.00 -14.0 -1.25
Машинний розв’язок )}(~{ jsx , зображений в таблиці 29.1, показує,
що воно не має нічого спільного з точним розв’язком.
Та ж схема, основана на розв’язку СЛАР (29.3) для інтегрального
рівняння [55, с.564].
tydssxhsx
h
1
122
1
. (29.5)
22 )1()( ssx – точний розв’язок на сітці із 41 точкою ( hjs j 11 ,
40
2h , 41,1j ) дає абсолютно нерегулярний розв’язок )}(~{ jsx , який
змінюється в границях від 6109 до 5102 .
177
§30. Регуляризуючі методи
30.1. Варіаційний метод
Регуляризуючий алгоритм для операторного (інтегрального)
рівняння Фредгольма першого роду будуємо на засадах тихонівської
процедури у варіаційній формі (§25.Регуляризація екстремальних задач)
FXxxxyxAh
:min2
02, (30.1)
де 0x – пробний розв’язок, роль якого полягає у врахуванні якісної та
кількісної інформації про розв’язок, одержаний a priori.
Введемо також позначення x
– для нормального розв’язку задачі
(29.1) за аналогією з означенням 24.8.
Теорема 30.1. Нехай X , Y – гільбертові простори, A , hA
00 hh – лінійні обмежені оператори із X в Y і виконано умови
аппроксимації (29.1’). Тоді для любих myAh ; , Xx 0 , 0 існує
єдиний розв’язок x і
0lim0
xx , h, , (30.2)
якщо
0
2
h, 0 при 0 .
Доведення. Оскільки 2yxAxf h – опуклий, а
20xxx –
сильно опуклий функціонал, тоді цільовий функціонал в задачі (30.1) –
сильно опуклий. Згідно з лемою (15. гл.ІІ) задача розв’язна і її розв’язок
x
– єдиний. На підставі визначення x і умов аппроксимації маємо
2022
02
xxyxAxxyxA hh
2
02202
xxxhxxyxAxAxAh
. (30.3)
Звідки одержуємо оцінку
178
20
22
0 xxxh
xx
. (30.4)
Відповідно до вибору і слабкою компактністю обмеженої
множини в X виділяємо послідовність
00 xxxx k
k
(30.5)
Враховуючи слабку неперервність A , умов аппроксимації і оцінки
(30.3)-(30.5), знаходимо
yAxyxAkk
inflim
yyyxAxAAxkk
k
kk
k
kk
k
k hhk
suplim
21
20
2
suplimsuplim xxyxAxh k
kk
k
kk
k
kkh
kkk
k
0suplim2
12
02
xxxh kkkk
,
тобто x – розв’язок задачі (29.1).
Тепер, об’єднуючи (30.4), (30.5) маємо
000 inflim xxxxxx k
kk
. (30.6)
А оскільки нормальний розв’язок єдиний, то xx
. Цей факт замість
(30.5), (30.6) тягне сильну збіжність
0lim
xx k
kk
, (30.7)
а так як x
– єдина гранична точка, то (30.7) еквівалентно (30.2).
Наступна лема встановлює зв’язок між розв’язком задачі (30.1) і
розв’язком операторного рівняння другого роду
0xyAxEAA T
hh
T
h , (30.8)
де XYAT : – спряжений до A оператор.
Лема 30.1. Задачі (30.1) і (30.8) еквівалентні, тобто розв’язок задачі
(30.1) є розв’язком задачі (30.8), і навпаки.
Доведення. Позначимо
179
2
02xxyxAxJ h
і обчислимо першу варіацію J цього функціоналу. Так як
220,2,2 vvAvxxvAyxAxJvxJ hhh ,
то
vxxyAxAAJv hh
T
h ,2 0 .
Використовуючи необхідну умову екстремуму 0J , одержуємо
(30.8). І так розв’язок задачі (30.1) задовольняє рівняння (30.8). Навпаки,
нехай x – розв’язок рівняння (30.8). Оскільки
222222
, xxxxAAxAAEAA h
T
hh
T
hh
T
h ,
то оператор EAA h
T
h має обернений, значить, x – єдиний розв’язок
( EAAКеr h
T
h ). Тоді на підставі доведеного вище x буде єдиним
розв’язком екстремального ї задачі (30.1).
30.2. Зведення до рівняння другого роду
Як було показано в попередньому пункті, варіаційна постановка в
формі (30.1) редукується в рівняння другого роду (30.8). При деяких
додаткових допущеннях регуляризація, заснована на зведенні до рівняння
другого роду, може бути виконана в більш простій формі
0xyxEAh . (30.9)
Теорема 30.2. Нехай X , Y – гільбертові простори, A , hA – лінійні
самоспряжені вектори (тобто AAT , h
T
h AA ) і додатновизначені (тобто
0, xAx Xx ) оператори, для яких виконані умови аппроксимації
(29.1’). Тоді рівняння (30.9) має єдиний розв’язок x для довільних
myAh ; , Xx 0 і 0
0lim0
xx , h, ,
180
коли
0
2
h, якщо 0 при 0 .
Доведення можна знайти в книжці [2, с.63].
30.3. Ітеративна регуляризація
Не обмежуючи загальності міркувань, можна вважати, що 1A .
Розглянемо дві ітераційні схеми:
11 kT
h
k
h
T
h
k UxyAxAAEx , (30.10)
111 kT
h
k
h
T
h
k UxyAxEAAx . (30.11)
Відомо, що ітераційні послідовності (30.10), (30.11) збігаються до
розв’язку hx рівняння yxAh . Якщо воно розв’язне. Але, як було
показано в §29, якщо 1A необмежений, то елемент hx не аппроксимує
розв’язку рівняння (29.1) при 0, h . Тому не доцільно виконувати
велику кількість кроків в процесах (30.10), (30.11), а необхідно
формулювати правила зупинки в залежності від рівня похибки [20,с.84].
Теорема 30.3. Нехай виконані умови теореми 30.1. Якщо
здійснювати зупинку за одним з правил:
hK ,:0 , для якого вперше виконується
haaxx kk21
1 ,
де 01 a , 02 a ;
hK ,:1 , для якого вперше виконується
*
1 bbyxA kh ,
де xb
*;
hK ,:2 , для якого вперше виконується одна з нерівностей
hxbbyxA kkh 21 ,
181
221 hxbb
ak
k
,
де 0a , 01 b , 02 b , тоді для ітерацій (30.10)
0lim ,
0,
xx hk
h
,
де x
– нормальний розв’язок (розв’язок, який найменше ухиляється від
початкового наближення 0x ).
При цьому
0, hKh для правила 0 ,
0,2
hKh для правил 1 , 2 .
Зауваження 30.1. Аналог теореми 30.3 має місце і для неявної схеми
(30.11).
30.4. Нелінійні ітераційні методи розв’язку задач
з апріорною інформацією
В багатьох прикладних задачах, що описуються рівнянням (29.1),
часто відома деяка додаткова інформація про властивості розв’язку, яку
математично можна зобразити у вигляді належності шуканого розв’язку
опуклій замкнутій множині Q .
Конкретний вигляд множини Q , як зазвичай, визначається фізичною
суттю розв’язку (29.1). Часто характерними прикладами завдання множини
Q є
0:
l
l
dt
txdtxQ , (30.12)
де 2,1,0l , XWtx l 2 .
В деяких випадках в апріорні обмеження входять також значення
похідних у фіксованих точках.
Введемо на розгляд більш загальний спосіб завдання апріорної
множини у формі
182
mjxgXxQ j ...,,2,1,0: , (30.13)
де jg – опуклі диференційовані функціонали.
Зауважимо, що після кінцево-різницевої аппроксимації похідних
множини (30.12) зображувані в формі (30.13) допускаються обмеження у
вигляді рівнянь 0, jjj bxhg .
Позначимо через M множину розв’язків задачі (29.1) при точних
даних yA; .
Вимагається побудувати регуляризоване сімейство наближених
розв’язків, регуляризуюче відносно слабкої чи сильної збіжності елемент
MQx
, тобто розв’язок, що задовольняє фізичним вимогам задачі.
Побудована задача розв’язується на основі однокрокових
ітераційних процесів:
...,2,1,, 01 kXxFUxx kk (30.14)
...,2,1,,1 01 kXxxUPx kk (30.15)
де U – оператор переходу розв’язуючої ітераційної процедури для задачі
(29.1) без врахування умови Qx (див., наприклад, (30.10), (30.11) при
yy , AAh ), QP – псевдозвужуючі відображення, конструктивно
визначаються за множиною Q .
Означення 30.1. Відображення
XXV :
називається Q -псевдозвужуючим, якщо
zVzzQ :
і існує 0v таке, що
xvxvzxzvx 22
для будь-яких Qz , Xx .
Клас таких відображень позначимо через QP .
Означення 30.2. Відображення
183
XXV :
називається Q -квазірозтягуючим, якщо множина
zVzzQ : і zxzvz
для будь-яких Qz , Xx .
Клас таких відображень позначимо через QK .
Очевидно, що має місце строге входження QQ KP , крім того,
справедливе співвідношення
QQ PKI }10;1{ .
Необхідно зауважити, що основна суть використання
псевдозвуження в методах (30.14), (30.15) є в тому, що наближений
розв’язок, одержаний після кожного кроку базової ітераційної схеми,
зсувається відображенням P в напрямку множини Q , чим в результаті і
досягається збіжність }{ kx до елементу із MQ .
Теорема 30.3. Нехай відображення U , P задовольняє умовам:
a) 10, vPPPU QM ;
b) із того, що xzk (“” – знак слабкої збіжності), 0kzk Uz ,
0kzk Pz , випливає QMx .
Тоді для любих Xx 0 для ітераційних послідовностей (30.14),
(30.15) справедливі наступні властивості:
1) QMxxk
;
2) xxQMzzx k
k
k
kz
lim}:lim{inf ;
3) або xxxx kk 1 , або }{ kx стаціонарна, починаючи з
деякого 0kk , то є xxxkk
...100 ;
4) v
yxxx
k
kk
20
0
12
QMy .
Доведення теореми можна знайти в [4, с.12].
184
Якщо права частина рівняння задана з похибкою, то є yy , то
при деяких допущеннях і зв’язку параметрів ( 0 n , 0 ) також
має місце слаба збіжність ітерацій до елементу QMx [4, с.34]. З цієї
причини можна твердити, що послідовність kx , одержана методами
(30.14), (30.15), утворює регуляризоване сімейство наближених розв’язків
відносно слабкої топології.
Зауваження 30.2. Матрична проекція QPr на множину Q
(відображення, яке кожному Xx ставить у відповідність елемент із Q ,
найближчий до X ) належить класу QP і, значить, може бути використана в
якості відображення P в процесах (30.14), (30.15). Крім того, якщо
mQQQQ ...21 , то
mQQQP Pr...PrPr21
,
m
iQi i
P1
Pr , 11
m
ii , 0i ,
тобто операцію P можна конструювати в такій формі, знаючи матричну
проекцію на кожну з множин iQ (яке вважається обмеженням типу
рівності або нерівності).
Так, наприклад, при розшифровці атомної структури сплавів на
основі EXAFS-методики виникає інтегральне рівняння [52, р.343]:
tXdssxtts
t
sAx
b
a
2sin2
exp , (30.16)
де
sx – шукана функція радіального розподілу атомів (ФРРА),
tx – експериментально визначена,
t , t – задані функції.
Із фізичної суті задачі функція sx задовольняє додатковим
обмеженням:
0sx , qab
dssxsxvb
a
3
,33
2 .
Ці співвідношення визначають дві множини
185
0:1 sxsxQ , qxvxQ ,:2 .
Матрична проекція на ці множини обчислюється за явними
формулами
,0,0
,0,Pr
1 txякщо
txякщоtxtxxQ
2
,Pr
2
v
vqvxxxQ
.
Після дискретної аппроксимації (30.16) методом коллокацій (базис-
ступеневої функції) з числом 300m вузлів по t , а по s 100n ,
застосовувалась ітераційна схема (30.10) (при mnh AA , mxy , де mnA –
матриця, аппроксимуюча оператор A , mx – вектор, аппроксимуючий tx ,
то є
m
T
mn
k
mn
T
mn
k xAxAAEx )(1 (30.17)
і її нелінійний аналог (30.14) з псевдозвуженням, то є
])[(PrPr
21
1
m
T
mn
k
mn
T
mnQQ
k xAxAAEx . (30.18)
За модельном розв’язком sx , який вибирався якісно подібним
ФРРА для деякого сплаву, обчислювалась права частина tx . З одержаною
tx розв’язувалось рівняння (30.16) ітераційними методами (30.17),
(30.18) з початковим наближенням 00 x .
Схема (30.18) показала себе цілком ефективною (похибка
наближеного розв’язку складала 3% після 400 ітерацій), в той час, як явна
схема (30.17) дає значну похибку (33% після 400 ітерацій). Аналогічна
картина спостерігається при використанні замість базової наявної схеми
(30.11), а також при розв’язування рівнянь [51, с.824], [56, с.5], [57, р.211].
186
§31. Скінченновимірна апроксимація РА.
Критерій збіжності
В попередньому параграфі встановлено, що побудова
регуляризованого сімейства розв’язків редукується до пошуку
оптимальних елементів в задачі мінімізації (30.1), яка є нескінченно
вимірною (наприклад, по простору X і оператору hA ). Тому дискретизація
(скінченновимірна апроксимація) задачі (30.1) – необхідний етап при
розробці обчислювальних процедур.
Нижче наводяться необхідні і достатні умови збіжності
скінченновимірних наближень в термінах дискретної збіжності. Для
елементів це поняття введено в §26. Далі нам знадобиться також поняття
дискретної слабої і сильної збіжності для операторів [49, р.231].
Нехай послідовності nX , mY утворюють дискретну
аппроксимацію просторів X , Y з оператором звуження np і mq
відповідно (див. визначення 26.1).
Означення 31.1. Послідовність операторів mnmn YXA : дискретно
слабко збігається до оператора YXA : , якщо виконане співвідношення
AxxAxx nmnn ;
позначимо AAmn .
У відповідності з загальною схемою дискретизації проблеми (30.1)
запишемо послідовності аппроксимуючих задач
mnnnnnmnmn FXxxxyxA }:min{ 02
. (31.1)
Введемо позначення x , mnx для розв’язку задач (30.1), (31.1)
відповідно. Зауважимо, що в силу сильної опуклості цільових
функціоналів існує єдиний розв’язок згаданих задач.
187
Теорема 31.1. Нехай YXA : , mnmn YXA : – лінійні обмежені
оператори, причому
CAmn , (31.2)
де X , nX , Y , mY – гільбертові простори, які володіють властивостями
дискретної аппроксимації (означення 26.1).
Для того, щоб
xxmn , FFmnnm
,
lim (31.3)
для будь-яких Xx 0 , nn Xx 0 , Yy , mm Yy таких, що 00 xxn ,
yym , необхідно і достатньо, щоб
AAmn . (31.4)
Доведення. Достатність легко виводиться із наслідку 30.1 до теореми
30.3, оскільки легко перевірити, що співвідношення (31.4) і властивості
слабкої збіжності в гільбертовім просторі
nn
n xxxx inflim
;
constcxxx nn ;
xxcxknn ;
xxxx nn
тягнуть за собою виконання умов наслідку 30.1.
Встановимо необхідність умов.
Нехай виконано (31.3) для любих
188
00 xxn , Xx 0 , nn Xx 0 , yym , Yy , mm Yy . (31.5)
Для розв’язку задач (30.1), (31.1) маємо
yAxEAAx TT 01
, (31.6)
m
T
mnnmn
T
mnmn yAxEAAx 01
. (31.7)
При нульових y , mmy із (31.3), (31.5) – (31.7) одержуємо
дискретну збіжність операторів
nmEAAEAA T
mn
T
mn ,,11
,
а при нульових 0x , nnx 0 при тих же міркуваннях маємо
TTT
mnmn
T
mn AEAAAEAA11
. (31.8)
Так як 222
nnmn
T
mn xxEAA , то з врахуванням (31.2)
приходимо до нерівностей
11
EAA mn
T
mn ,
constcEAA mn
T
mn .
Згідно з теоремою Ф. Штумеля [48, с.55] можна зробити висновок,
що
AAAAEAAEAA T
mn
T
mn
T
mn
T
mn . (31.9)
189
Нехай xxn . Тоді внаслідок дискретної збіжності (31.9),
визначення і властивостей слабкої дискретної збіжності
nmnnmnnm
nmnnm
xAxAxA ,limlim,
2
,
2**
,,,lim AxAxAxxAAx nmnmnn
nm
. (31.10)
Далі переконаємось, що
AxxA nmn . (31.11)
Попередньо зауважимо, що із (31.8), (31.9) випливає властивість
TT
mn AA , (31.12)
оскільки для любої yym справедливі співвідношення
yAEAAyAEAAyy TT
m
T
mnmn
T
mnm
11
yAyA T
m
T
mn .
Скористуємось критерієм дискретної слабої збіжності [48, с.21] і
(31.12)
constcxA nmn ,
zAxzAxzqAxzqxA T
m
T
mnnnm
mnmnnm
,,,lim,lim,,
AxxA nmn .
Таким чином, властивість (31.11) встановлена.
Так як в гільбертових просторах із (31.10), (31.11) випливає
AAmn ,
а із (31.12)
AAmn ,
то доведення теореми завершено [48, с.27].
190
§32. Реалізація загальної схеми дискретизації
Дослідимо три конкретні схеми кінцево-вимірної аппроксимації
інтегральних рівнянь Фредгольма І-го роду (29.2) на парі гільбертових
просторів baLX ,2 , dcLY ,2 .
32.1. Метод механічних квадратур
Задамо деякий збіжний квадратурний процес, наприклад, по формулі
прямокутників
nj
nj
nj
n
jn
nj
nj
b
a
sshuRsUhdssu 11
,)(
,
у якого залишок 0)(lim
uRnn
для любої неперервної функції. Сімейство
зв’язуючих операторів np і аппроксимуючих просторів nX визначимо,
як в прикладі 26.2. Дискретну аппроксимацію dcLY ,2 визначимо також
за допомогою формули прямокутників на сітці mit 1 m
jmj
mj tth і
зв’язуючих операторів mq , mm YYq : , які визначаються аналогічно
np .
Аппроксимуючі оператори mnmn YXA : задамо формулою
n
jnj
nj
mi
njinmn mixstKhxA
1
,1, . (32.1)
Теорема 32.1. Для операторів A , mnA , що визначаються формулами
(29.2), (32.1), справедливе співвідношення
n
j
n
jm
y
nj
m
i
d
c
nj
mi
nj
mi
mi
nin
mn yRhdttzstKtzstKhhwpw
1 1
2
2
1
2sup,,~
.
Доведення. Для перевірки першого співвідношення в (31.4)
застосуємо критерій дискретної збіжності операторів.
191
Перш за все із ланцюга нерівностей
m
i
n
jnj
nj
mi
nj
minmn xstKhhxA
1
2
1
2,
m
i
n
jnj
nj
n
j
nj
mi
nj
mi xhstKhh
1
2
2
1
1
22
1
1
2,
2
11
2,max n
m
i
mi
n
j
nj
dtcbsa
xhhstK
.
І обмеженості сум випливає висновок про рівномірну обмеженість норм
constcAmn .
Введемо зв’язуючі оператори np~ , mq~ (див. приклад 26.1), котрі
еквівалентні np , mq відповідно. Тоді для неперервної функції маємо
m
i
b
a
mi
n
j
nj
nj
mi
nj
mimnmn dssxstKsxstKhhAxqxpA
1
2
1
2,,~~
wRsdhdssxstKsxstKh nw
m
i
mii
n
j
nj
nj
mi
nj
mi
2
1
21
011sup,,max
,
де wRn – залишок квадратурної формули, а сімейство
10,,: tsxstKswsw tt в силу неперервності sxstK ,
відносно компактне в 1,0C .
Згідно [48, с.97],
0suplim
wRnwn
(32.2)
і перше співвідношення в (31.4) доведено.
Для перевірки другого співвідношення скористуємось критерієм
дискретної слабої збіжності [48, с.21].
AxzxAzqxx nmnmnm
n ,,~lim.
192
для любої функції baCtz , , де baLdcC ,, 2 .
З врахуванням означення 26.3 достатньо переконатись в дискретній
збіжності
wwmn ,
m
i
mi
nj
mi
mi
mnj tzstKhw
1
, , d
c
dttzstKw ,
.
Згідно з означенням дискретної збіжності маємо
n
j
n
jm
y
nj
m
i
d
c
nj
mi
nj
mi
mi
nin
mn yRhdttzstKtzstKhhwpw
1 1
2
2
1
2sup,,~
,
де сімейство bsatzstKtyty ss ,,: відносно компактне в
dcC , . З цієї причини, згідно з (32.2), права частина прямує до нуля при
nm, . Теорема доведена.
Відповідно до теореми 32.1 це гарантує дискретну збіжність
скінченновимірних розв’язків задач (32.1), одержаних на підставі
квадратурного методу, до регуляризованого розв’язку x задачі (30.1).
В §29 було показано, що для інтегральних рівнянь (29.4), (29.5)
пряме застосування квадратурних схем в формі (29.3) веде до абсолютно
нестійких результатів. Однак використання тих же схем для
регуляризованої задачі у вигляді (31.1), де mnA задаються формулою (32.1),
yqy mm , дає регулярну процедуру. При цьому регуляризація допустима
як в формі (29.1), так і в (29.9).
Таблиця 32.1
0.05 0.15 0.25 0.35 0.45 0.55 0.65 0.75 0.85 0.95
40
1 0.62 0.688 0.756 0.824 0.892 0.96 1.028 1.096 1.164 1.235
70
1 0.671 0.731 0.791 0.851 0.911 0.971 1.031 1.091 1.151 1.211
1024
1 0.937 0.947 0.959 0.971 0.983 0.995 1.007 1.02 1.032 1.044
Так, протягуючи квадратурну формулу прямокутників до
регуляризованого рівняння (29.9) з даними (29.4), тобто до рівняння
s
193
1
0 12
7
3
1
2
1tdssxsttssx
при 0n , одержуємо чисельні розв’язки [54, р.744], які зображені в
наступній таблиці (точний розв’язок 1sx ).
Отже, при 1024
1 розв’язок відтворюється з точністю
%6%4 .
Формула прямокутників, застосована до регуляризованої задачі
(30.1) для даних (30.5) при 41n (то є крок сітки 41
2h ) і 3105 ,
відтворює розв’язок з похибкою меншою 1% [55, с.564].
32.2. Метод коллокацій
Цей метод, зазвичай, використовується для наближеного розв’язку
операторних (диференційних, інтегральних та інших) рівнянь, які
задовольняють умовам коректності Адамара. Нижче ми застосуємо його
для дискретної апроксимації варіаційної задачі (30.1); його використання
безпосередньо для рівнянь (29.1), взагалі кажучи, неможливе в силу
нестійкості вихідної задачі.
Будемо вважати, виконаними допущення попереднього пункту про
вибір простору і властивостей ядра stK , . Нехай nx – послідовність
скінченновимірних підпросторів в baLX ,2 і сімейство np
ортогональних проекторів np на X із властивостями
Xxxpx
nppXXp
nn
nnnn
0lim
...,2,1, 2
(32.3)
Послідовність np приймаємо за зв’язуючі оператори між
baLX ,2 і nX , а сіткові оператори mq : mm
m tytyty ,...,1 – між
baLY ,2 і простором mm lY 2 з нормою
m
imi
mim yhy
1
22, m
imi
mi tth 1 .
194
Аппроксимуючі оператори mnmn YXA : визначаються для nn Xx
формулою
b
an
miinmn dssxstKxA , . (32.4)
Лема 32.1. Дискретна слабка збіжність, що визначається сімейством
проекційних операторів (32.3), еквівалентна збіжності по нормі і слабкій
збіжності, відповідно, в довільному гільбертовому просторі.
Доведення. Нехай xxn , тобто 0lim
xpx nnn
, тоді з
врахуванням (32.3)
xxpxpxxx nnnn
і права частина прямує до нуля при n .
Навпаки, нехай
0lim
xxnn
,
тоді
xpxxxxpx nnnn
і перша частина твердження доведена.
Припустимо тепер, що xxn . Це означає, що згідно з означенням
29.3, справедливе співвідношення
xvxv nnn
,,lim
(32.5)
для любої vvn .
Покажемо, що xzxz nn
,,lim
для всіх Xx (слабка збіжність).
В очевидній нерівності
xzxzpxzpxzxzxz nnnnnn ,,,,,,
другий доданок прямує до нуля, так як zzpn і виконано (32.5). Для
першого ж доданку справедлива оцінка
zzpxxzpxz nnnnn ,, ,
195
де constxn , 0lim
zzpnn
.
Обернена імплікація xxxx nn випливає із наступних
співвідношень:
xvxvxvxvxvxv nnnnnn ,,,,,, ,
де vvn , а, значить, 0lim
vvnn
.
Звернемось тепер до співвідношень (31.4), які гарантують збіжність
аппроксимацій. Дискретна збіжність AAmn для операторів, що
визначаються формулами (29.2) і (32.4), випливає із леми 32.1 і оцінки
m
i
b
ani
mimnmn dssxsxstKhAqxA
1
22
* ,
m
i
b
an
b
ai
mi dssxsxdsstKh
1
22,
b
abaLn
dtcxxdsstKcd
2
,
2
2
,max .
Будемо вважати, що xxn .
Для перевірки співвідношення AAmn , яке еквівалентне
AxzxAzqxx nmnmnm
n ,,lim,
,
де tz – неперервна функція, достатньо переконатись, що
zAdttzstKtzstKhzqA T
b
a
m
i
m
i
m
i
m
im
T
mn
,,1
.
Враховуючи компактність сімейства
bsastKtztt ss ,,:
одержуємо
0,,suplim10
b
a
m
i
mi
mi
mi
bsmdttzstKtzstKh ,
із якого і випливає бажане співвідношення.
196
32.3. Проекційні методи
Нехай задана послідовність скінченновимірних підпросторів nX
( mY ) простору X (Y ); сімейство np ( mq ) проекторів, які володіють
властивостями (32.3), приймаємо за зв’язуючі оператори між X (Y ) і nX
( mY ).
Вважаючи nmmn ApqA , прийдемо до проекційних методів. Зокрема
при Eqm одержуємо метод Рітца. Так як np , mq – оператори
ортогонального проектування, то 1np , 1mq .
Тоді для лінійного обмеженого оператора A (зокрема, оператора
(29.2)) потрібні властивості (31.2), (31.4) випливають із Леми 32.1 і
співвідношень
ApAqApqA nmnmmn ,
AxxApqAxqxpA nmmnmn ,
yAxxqAxyAxxqxApqyAxyqA mnmnnmmmn ,,,,,, ,
де xxn , тому xxn .
В силу слабкої неперервності A AxAxn , значить,
0,,lim,
yAxyqAx mnnm
.
Крім того, покладаючи yqy mm , 00 xpx nn , будемо мати yym ,
00 xxn .
Нехай nX ( mY ) утворені першими n ( m ) елементами
ортонормованого базису }{ jl ( }{ jg ). Тоді для вищевикладеного
проекційного методу задачу (31.1) можна переписати у вигляді
197
XxxxpyqxApq nmnm :min2
02
nnnnmnm XxxxyAxq :min2
02 . (32.6)
Застосовуючи лему 30.1 робимо висновок, що задача (32.6)
еквівалентна розв’язку СЛАР
kn
m
i
imik
kn
n
j
jn
m
iikij xyqAlxxqAlqAl ,0
11 1
,,,
, nk ,1 , (32.7)
котра дозволяє обчислити коефіцієнти Фур’є }{ j
nx наближеного розв’язку
n
jj
jnn lxx
1
за коефіцієнтами }{ i
my Фур’є правої частини і матриці
d
c
b
aijij dttqdsslstKqAl ,, .
Для інтегрального рівняння (див. (29.4))
tftdssxtsstAx
12
7
2
11
0
, 10 t
з точним розв’язком 1sx
система функцій ,...}sin2,cos2,1{ tt
приймалась за ортонормований базис nm
jjj ql
1}{ , 10 mn і
розв’язувалась система (32.7) при 00 nx для різноманітних значень
параметра .
198
Результати чисельних розрахунків зведені в таблиці 32.2, де прийняті
позначення для нев’язки mnmn yxA і відносної похибки розв’язку
jjnj
sxsx
101max ( js j 1.005.0 ).
Таблиця 32.2
410 1104.3
210114.0
710 3102
510431.0
910 5108
710426.0
1010 3104
810355.0
Аналіз отриманих результатів показує, що найменшу похибку
розв’язку одержуємо при 910 , і при подальшому зменшенні
похибка починає зростати, хоч нев’язка (при 1010 ) продовжує
зменшуватись. Цей факт підтверджує, що нев’язка не є надійною
характеристикою для оцінки якості розв’язку погано обумовлених СЛАР
[58, с.54].
199
§33. Аналіз методів обчислення сум,
добутків та цілих степенів
З аналізу достовірності обчислень, при розв’язку
некоректнопоставлених задач, здійсненого в попередніх параграфах,
випливає, що в багатьох ситуаціях під час обчислень при розв’язку
нестійких задач важливо мати як можна точнішу інформацію про вхідні
дані сформульованої задачі. Не рідко вхідна інформація для
сформульованої задачі є результатом розв’язку інших обчислювальних
задач. Це означає, що неточність вхідних даних пов’язана не тільки з
точністю вимірювальних приладів (носіїв вихідної інформації), а й з
неточністю попередніх обчислень, тому підвищення їх точності може
суттєво збільшити якість результату (в сенсі точності розв’язку
розв’язуваної в даний момент задачі). Проілюструємо це явище на
прикладі розв’язування канонічних задач обчислювальної математики:
обчисленні сум, добутків та цілих степенів. Аналіз будемо проводити
(виходячи з простоти та наглядності міркувань) в форматі двійкової
системи обчислень.
33.1. Високоточний алгоритм обчислення сум
Беручи до уваги [60, с.182], [63, р.201], вважатимемо, що потрібно
обчислити
n
iixS
1
Будемо також вважати, що обчислювальний пристрій (ЕОМ) працює
в режимі плаваючої коми, використовує двійкову систему зображення
чисел та стандартні правила заокруглення чисел при сумуванні.
Похибками зображення чисел в ЕОМ будемо нехтувати, тобто будемо
вважати, що числа в обчислювальній машині зображуються точно, а
довжина машинного зображення чисел не змінюється в процесі обчислень.
Розглянемо наступний алгоритм обчислень:
200
а) розташуємо доданки ix , ni ...,,2,1 по зростанню порядків. У
випадку рівності порядків розсортуємо числа на додатні та від’ємні.
Ділянки однаковості порядків і знаків запам’ятаємо;
б) перевіряємо, чи утворюють останні доданки ділянку
однокроковості порядків? Якщо так, то обчислюємо парні суми, доданки
яких мають різні знаки. Потім одержану послідовність доданків (вже
вкорочену) знову впорядковуємо згідно пункту а) і повторюємо процедуру,
поки не зникнуть всі ділянки однаковості порядків;
в) якщо умова, сформульована в пункті б) не виконується, тоді
обчислення починаємо з найменших по порядку доданків;
г) якщо всі одержані доданки та частинні суми мають різні порядки,
тоді для обчислення S здійснюємо просте накопичення суми, тобто
11~xS , lll xSS ~
1 . (33.1)
Тут lx~ є числа, що утворились в результаті парного сумування, а
також доданки ix , які не зазнали змін (до яких не було застосоване парне
сумування);
д) якщо, спочатку вищеописаної процедури, на ділянках однаковості
порядків не було чисел з різними знаками (додатних і від’ємних), тоді
попарне сумування на цих ділянках здійснюється за принципом: парні
числа сумуються (попарно) з непарними, а непарні з непарними з
подальшою перестановкою доданків і частинних сум, утворених попарним
сумуванням.
Теорема 33.1. Для описаного алгоритма обчислення S справедлива
оцінка
,,222
,,222
,,222
1
1
1
1
1
1
1
n
ks
n
k
n
ks
ksякщо
ksякщо
ksякщо
SS
(33.2)
де S – наближене (обчислене) значення S , s – порядок S , ik – порядок
доданка ix , nkkk ...21 , – кількість двійкових розрядів (розмір
мантиси) комірок ЕОМ, – найбільший порядок доданків та частинних
сум, які зустрічались під час обчислень S .
201
Доведення. Якщо всі доданки різних порядків, то S обчислюється
шляхом поступового накопичення (33.1) і порядок суми може лише на
одиницю бути більшим за порядок найбільшого доданку. Якщо доданки
всі одного знаку і одного порядку, то, враховуючи той факт, що при
попарному додаванні парних і непарних чисел вирівнювання мантис не
призводить до втрати останнього розряду, помилка обчислень оцінюється
сумою
1log2*
21 2...2...2212nrk
, (33.3)
де nr 2log доданок в сумі (33.3) дає оцінку помилки обчислень при
1r -му кроці обчислення парних сум.
Але сума (33.3) рівна
11 222krk
,
де n2log – ціла частина n2log , 1log21 nkn .
Що й відповідає формулі три в (33.2).
Другий вираз в (33.2) одержується у випадку виникнення ситуації
передбаченої пунктом б).
Зауваження 33.1. Для виконання пункту а) необхідно, згідно з
алгоритмом Шелла, використати nn 2log порівняльних операцій.
Зауваження 33.2. Наведений алгоритм забезпечує точність
обчислення S , в якій можуть бути невірними лиш два останні (двійкові)
розряди мантиси. Помітимо, що алгоритм, запропонований в [64, с.584],
забезпечує лиш 1log2 n вірних розряди, тому твердження автора про
його оптимальність помилкова. Запропонований в даному параграфі
алгоритм є оптимальним по точності серед алгоритмів, які відрізняються
перестановкою доданків і частинних сум.
Зауваження 33.3. Обчислення сум є основною операцією при
чисельному знаходженні визначених інтегралів, сум збіжних рядів,
обробці варіаційних рядів в економічній статистиці тощо. Алгоритм, як
плату за підвищену точність, вимагає додаткової роботи по впорядкуванні
доданків. Неважко побудувати приклад, в якому стандартний спосіб
організації обчислення суми (спосіб поступового її накопичення) не
202
забезпечує жодного вірного знаку. Якщо перший доданок в сумі достатньо
великий, а величезна кількість інших доданків має достатньо малий
порядок, то при вирівнюванні порядків (що відбувається при всякому
додаванні) мантиса анулюється і всі доданки ніяким чином не впливають
на результат сумування. Водночас сума великої кількості доданків може
бути величезною, це означає, що помилка може бути як завгодно великою.
33.2. Алгоритм обчислення добутків
Нехай треба обчислити
n
ini xxxP
1321 ...... . (33.4)
Будемо вважати, що множники i , ni ,1 , зображені в ЕОМ точно.
Теорема 33.2. Якщо ніяка частинна комбінація співмножників не
утворює добутку рівному машинному нулю або машинній нескінченності,
то алгоритм, при якому n ...21 , де i – двійкова мантиса i ,
буде оптимальним за точністю серії всіх алгоритмів, які відрізняються
розташування співмножників.
Доведення.Можливе збурення алгоритму (33.4) має вигляд [26, с.233]
1
2
1 2
n
n
j
n
jiijPP , (33.5)
де P – наближене значення P , i – помилка при i -му кроці обчислення P
( iP -ий частинний добуток).
В (33.5) доданки одного порядку з p2 , p – порядок добутку.
Тому
2
1 2
12n
i
n
lji
pPP . (33.6)
Очевидно, що вираз в дужках досягає свого найменшого значення,
якщо мантиси співмножників розташовані в порядку спадання.
Якщо 11 ii (чого не може бути в ЕОМ з плаваючою комою),
оцінка (33.5) буде близька до аналогічної оцінки [26, с.240].
203
Якщо – оцінка похибки обчислення P , то вона задовольняє умові
312 222121 onnn pp . (33.7)
Якщо хоч один послідовно одержуваний частинний добуток (при
вказаному розташування співмножників) перетворюється в нуль або
нескінченність, тоді слід перестановкою множників виключити виниклу
ситуацію (якщо це можливо), але номінально порушити умови теореми
33.2.
Зауваження 33.3. Обчислення добутків з множниками малих і
великих порядків виникає часто в теорії ймовірностей, коли виникає
необхідність застосувати біноміальні розподіли випадкових величин.
Біноміальні розподіли характеризуються необхідністю виконувати
множення великих чисел (біноміальних коефіцієнтів) на малі числа
(добутки степенів ймовірностей випадкових величин). Порядок виконання
множень при великих розмірностях оброблюваних чисел часто вирішує
долю точності обчислень.
33.3. Алгоритм обчислення високих степенів
Нехай треба обчислити
nLR , (33.8)
де L може бути числом або любим алгебраїчним виразом, n – ціле число.
Розглянемо наступний алгоритм обчислення (33.8) [62, с.108]:
1) Запишемо число n в двійковій системі (булевий вигляд). Для
цього слід виділити машинне слово такої довжини, якої вимагає
вказане зображення.
2) Нехай число (вираз) закодовано в слові a , а результат міститься в
слові за номером r (спочатку це слово містить одиницю).
3) Перевіряємо значення молодшого розряду двійкового зображення
n (значення найменшого розряду слова комірки a ).
Якщо останній розряд в a містить одиницю, тоді множимо все, що
міститься в слові r на L L1 і обчислюємо 2LLL . Якщо ж останній
розряд дорівнює 0, тоді обчислюємо 2L і перевіряємо значення
204
передостаннього розряду в r . Якщо передостанній розряд містить 1, то r
множимо на 2L і переходимо до обчислення 422 LLL і повторюємо
процес знову, якщо зустрічаються нульові розряди, множення r на
одержаний розряд не здійснюється, а обчислюємо наступний квадрат.
Якщо вказана послідовність дій проведена над старшим розрядом з a , то
обчислення R завершено.
Теорема 33.3. Описаний вище алгоритм вимагає для своєї реалізації
не більше 1log2 2 n множень, причому n2log із них будуть
піднесенням до квадрату.
Доведення. Зобразимо n у вигляді
00
11 2...22
kk
kkn . (33.9)
Тут k може бути нулем або одиницею.
00
11 222
...
LLLLR
kk
kkn
. (33.10)
Неважко побачити, що кожний множник вищого степеня (якщо
1i , ki ,1 ) одержується із множників наступного за старшинством
степеня шляхом піднесення його до квадрату, то є iii
LLL 222 11
. Звідси
одержуємо, що описаний рекурентний спосіб обчислення R закінчується
після 1k послідовних множень справа наліво (33.10) і k піднесень до
квадрату. Якщо у розкладах (33.9) при будь-якій степені двійки стоїть
нуль, то в (33.10) множити на відповідний множник не треба, оскільки він
дорівнює одиниці. З цієї причини кількість множень в (33.10) може лише
зменшитися. Теорема доведена.
Наступним міркуванням роботи [63, р.200] відносно обчислення
добутків, можна одержати оцінку похибки заокруглень для розглядуваного
способу обчислення R , якщо L дійсне число:
nnRR 21log2 2 (33.11)
де R – наближене (обчислене) значення R , – машинний порядок L .
Оцінка (33.11) досягається лише при R , розклад (33.9) яких має 1i
ki ,1 , тобто 12 1 kn .
205
Особливу ефективність можна отримати в реалізації цього алгоритму
в програмах, які здійснюють аналітичні перетворення, так як економія в
кількості множень тягне за собою значну економію в громіздкість операції
приведення подібних. При реалізації процедур, пов’язаних із
застосуванням біноміальних розподілів в економічній статистиці цей
алгоритм незамінний. Чисельні експерименти підтверджують цей
висновок.
Питання для самоконтролю
1. Чим принципово відрізняються коректно поставлені задачі від
некоректно поставлених?
2. Наведіть практичні приклади некоректно поставлених задач.
3. Що таке лінійно залежні вектори )()2()1( ...,,, kxxx ?
4. Що таке базис простору nR ?
5. Дайте формальне визначення норми вектора х.
6. Наведіть конкретні способи завдання норми n-вимірного вектора х.
7. Наведіть способи побудови норм, узгоджених з заданою векторною
нормою.
8. Що таке власне число матриці А?
9. Що таке сумісна системи лінійних алгебраїчних рівнянь?
10. Що таке розв’язок системи лінійних алгебраїчних рівнянь.
11. Яку систему лінійних алгебраїчних рівнянь називають визначеною та
яку невизначеною?
12. Наведіть приклад визначеної системи лінійних алгебраїчних рівнянь.
13. Наведіть приклад невизначеної системи лінійних алгебраїчних
рівнянь.
14. В чому полягає суть метода Гауса розв’язку системи лінійних
алгебраїчних рівнянь?
15. В чому полягає ітераційний метод розв’язування системи лінійних
алгебраїчних рівнянь?
206
16. Чи суттєво впливають похибки при обчисленні методом простої
ітерації на розв’язок системи лінійних алгебраїчних рівнянь?
17. В чому полягає метод Гаусса-Зейделя розв’язку системи лінійних
алгебраїчних рівнянь?
18. Яким чином можна прискорити ітераційний процес Гаусса-Зейделя
за рахунок перенумерації рівнянь та невідомих?
19. В чому полягають основні переваги методу Гаусса-Зейделя над
процесом простої ітерації?
20. В чому полягає міра коректності (обумовленості) матриці?
21. Наведіть основні властивості числа обумовленості матриці.
22. Що характеризує число обумовленості матриці А при розв’язку
системи bxA ?
23. Чи може число обумовленості характеризувати похибки закруглень в
процесі розв’язку системи лінійних алгебраїчних рівнянь методом
Гауса?
24. Наведіть приклади невірної організації обчислень в методі
виключення.
25. В чому полягає метод наближеного розв’язку погано обумовлених
систем?
26. Що таке псевдорозв'язок системи m рівнянь з n невідомими?
27. Чи є псевдорозв'язок стійким відносно збурень елементів матриці?
28. В чому полягає метод регуляризації А. М. Тихонова?
29. Що таке регуляризуючий алгоритм?
30. В чому полягає перехід від класичного методу найменьших
квадратів (МНК) до його регуляризованого аналогу?
31. Як визначається ранг матриці?
32. Чи краще регуляризований розв'язок апроксимує точний розв'язок,
ніж звичайний розв'язок або псевдорозв'язок з наближеними даними?
Відповідь обґрунтуйте.
207
33. Що необхідно зробити для підвищення точності регуляризованого
розв'язку?
34. Наведіть способи вибору параметру регуляризації.
35. Які методи можуть бути використані при розв’язуванні погано
обумовлених систем?
36. Який факт є принциповим при організації процесу ітерування для
розв’язування погано обумовлених систем?
37. Наведіть правило зупинки ітерування.
38. Коли виникає необхідність використання нелінійних ітераційних
процесів?
39. В чому полягає метод сингулярного розкладу?
40. Які існують прямі методи розв'язку регуляризованих систем?
41. Які існують стійкі методи розв’язування задач лінійного
програмування?
42. Наведіть умови коректності задачі обчислення значень
необмеженого оператора.
43. В чому полягає оптимальна скінченнорізницева регуляризація в
просторі ),( C ?
44. Яку функцію називають інтерполяційним сплайном?
208
Завдання для самостійних та контрольних робіт
1. Дослідити на розв’язність СЛАР з даною розширеною матрицею A .
Методом Гаусса знайти всі розв’язки СЛАР, якщо вони існують або
встановити факт їх відсутності.
1)
5
3
2
1
86744
72912
53411
11111
A ; 2)
2
5
1
3
920110
2701
5313
1851
A ;
3)
5
3
2
7
1324
1131
3121
2312
A ; 4)
3
6
1
2
1521
0933
2111
0311
A ;
5)
5
2
0
0
13653
1916105
2720147
4321
A ; 6)
3
5
1
2
1851
2701
5313
920111
A ;
7)
23
11
15
8
5011
1104
1310
0121
A ; 8)
10
1
5
2
6321
2312
1221
1111
A ;
9)
12
1
3
5
54185
8951
2531
1372
A ; 10)
5
3
8
3
1324
3122
2313
1131
A ;
11)
3
3
3
2
5
4
9
5
5756
9735
8957
4423
A ; 12)
1
2
1
1
9153
8473
6562
5331
A ;
209
13)
0
0
0
0
22152
21123
32112
11121
A ; 14)
0
0
0
1
1
2
4
1
0014
2152
3231
1121
A ;
15)
4
1
2
1
23134
73747
44558
32435
A ; 16)
7
2
4
3
2312
3121
2131
1224
A ;
17)
9
4
1
4
3644
2131
3212
2321
A ; 18)
6
16
12
2
581252
012357
24315
14321
A ;
19)
11
2
4
7
4372
5231
2115
1123
A ; 20)
3
4
3
2
1224
2131
2223
3121
A ;
21)
1
1
1
1
1222
1132
1123
1321
A ; 22)
3
2
0
1
75554
43333
21111
11112
A ;
23)
3
2
1
1
3127
1613114
2332
7543
A ; 24)
1
3
5
4
73321
14321
41232
32113
A ;
25)
0
1
0
0
10014
22152
43231
11121
A ; 26)
4
2
3
3
55756
54423
98957
49735
A .
210
2. Знайти розв’язок СЛАР з точністю до двох вірних знаків із заданою
розширеною матрицею A .
1)
2
1
2
402
031
212
A ; 2)
10
7
5
321
231
112
A ;
3)
6
4
7
712
423
7010
A ; 4)
20
9
8
408,004,0
15,0309,0
08,024,04
A ;
5)
0
1
3
1041
253
112
A ; 6)
14
13
12
1022
1102
1110
A ;
7)
25
43
13,9
512
141
115
A ; 8)
22,25
15,15
26,12
17,2631,663,4
86,574,2833,7
34,628,547,36
A ;
9)
8
7
6
1011
2101
2210
A ; 10)
06,7
71,5
12,6
73,416,017,0
22,011,443,0
34,071,021,3
A ;
11)
20
9
8
408,004,0
15,0309,0
08,024,04
A ; 12)
10
7
3
712
251
113
A ;
13)
1
9,1
3,2
4,37,01,2
3,17,54,0
7,03,12,6
A ; 14)
3,9
5,14
9,4
7,33,18,0
7,26,94,3
7,17,26,5
A ;
15)
8,1
8,0
52,0
8,31,11,2
8,03,84,3
5,02,64,9
A ; 16)
398,1
849,0
795,0
04,112,011,0
05,003,111,0
1,005,002,1
A ;
211
17)
78,2
555,1
515,0
21,114,025,0
15,013,141,0
3,025,002,1
A ; 18)
42
32
33,11
611
161
116
A ;
19)
8,16
55,10
55,16
2,75,12,1
5,15,52,2
2,12,21,6
A ; 20)
17
7
6,2
1072
9101
6210
A ;
21)
2
2
1
5,318,0
4,374,3
6,053,6
A ; 22)
9
6
5
7,94,11,2
3,11,62,1
1,17,03,5
A ;
23)
5
4,7
7,0
6,85,24,1
3,17,61,2
3,22,14,5
A ; 24)
6,0
8,3
2,5
5,85,44,2
7,23,114,6
2,17,68,8
A ;
25)
4,3
9,1
9,2
2,36,04,0
6,03,21,0
4,03,01,1
A ; 26)
4,12
9,1
5,3
2,52,09,0
2,05,41,1
9,01,12,3
A ;
3. Розв’язати наведені СЛАР В.В.Леонтьєва методом простої ітерації та
методом Гаусса-Зейделя. Порівняти отримані результати.
1)
.81,01,0
,202,01,04,0
,41,02,003,0
,81,01,0
214
4213
4312
321
xxx
xxxx
xxxx
xxx
2)
.71,02,0
,22,02,009,0
,808,03,02,0
,81,01,0
214
4213
4312
321
xxx
xxxx
xxxx
xxx
3)
.61,03,0
,202,005,008,0
,41,02,025,0
,81,01,0
214
4213
4312
321
xxx
xxxx
xxxx
xxx
4)
.51,04,0
,21,02,004,0
,41,002,003,0
,81,01,0
214
4213
4312
321
xxx
xxxx
xxxx
xxx
212
5)
.407,005,0
,23,015,04,0
,41,008,02,0
,81,01,0
214
4213
4312
321
xxx
xxxx
xxxx
xxx
6)
.31,006,0
,22,002,008,0
,41,02,03,0
,82,01,0
214
4213
4312
321
xxx
xxxx
xxxx
xxx
7)
.21,007,0
,22,025,008,0
,405,02,03,0
,809,01,0
214
4213
4312
321
xxx
xxxx
xxxx
xxx
8)
.13,008,0
,22,01,02,0
,41,01,03,0
,82,01,0
214
4213
4312
321
xxx
xxxx
xxxx
xxx
9)
.1,009,0
,22,02,008,0
,405,025,03,0
,81,01,0
214
4213
4312
321
xxx
xxxx
xxxx
xxx
10)
.91,0
,22,03,004,0
,41,01,03,0
,61,02,01,0
24
4213
4312
4321
xx
xxxx
xxxx
xxxx
11)
.71,02,0
,22,01,0
,41,02,03,0
,61,02,01,0
214
413
4312
4321
xxx
xxx
xxxx
xxxx
12)
.81,01,0
,22,02,04,0
,41,02,03,0
,61,02,01,0
214
4213
4312
4321
xxx
xxxx
xxxx
xxxx
13)
.51,04,0
,22,02,0
,41,02,03,0
,61,02,01,0
214
413
4312
4321
xxx
xxx
xxxx
xxxx
14)
.61,0
,22,02,04,0
,41,02,03,0
,61,02,01,0
24
4213
4312
4321
xx
xxxx
xxxx
xxxx
15)
.41,01,0
,22,02,04,0
,41,02,0
,61,02,01,0
214
4213
432
4321
xxx
xxxx
xxx
xxxx
16)
.61,006,0
,22,02,04,0
,41,02,03,0
,61,02,01,0
214
4213
4312
4321
xxx
xxxx
xxxx
xxxx
17)
.21,01,0
,23,02,0
,41,02,03,0
,61,02,01,0
214
423
4312
4321
xxx
xxx
xxxx
xxxx
18)
.11,02,0
,22,02,04,0
,41,03,0
,61,02,01,0
214
4213
412
4321
xxx
xxxx
xxx
xxxx
213
19)
.1,02,0
,22,02,01,0
,41,02,03,0
,61,02,01,0
214
4213
4312
4321
xxx
xxxx
xxxx
xxxx
20)
.91,0
,22,02,04,0
,41,02,03,0
,42,03,01,0
24
4213
4312
4321
xx
xxxx
xxxx
xxxx
21)
.81,01,0
,22,02,04,0
,41,02,03,0
,42,03,01,0
214
4213
4312
4321
xxx
xxxx
xxxx
xxxx
22)
.71,02,0
,22,02,04,0
,41,02,03,0
,52,03,01,0
214
4213
4312
4321
xxx
xxxx
xxxx
xxxx
23)
.61,01,0
,22,02,04,0
,41,02,03,0
,42,03,01,0
214
4213
4312
4321
xxx
xxxx
xxxx
xxxx
24)
.51,02,0
,22,01,04,0
,41,02,01,0
,42,03,01,0
214
4213
4312
4321
xxx
xxxx
xxxx
xxxx
25)
.41,005,0
,22,02,004,0
,41,02,03,0
,42,003,01,0
214
4213
4312
4321
xxx
xxxx
xxxx
xxxx
26)
.31,006,0
,23,008,02,0
,42,03,0
,42,03,01,0
214
4213
312
4321
xxx
xxxx
xxx
xxxx
27)
.21,007,0
,22,006,02,0
,41,01,03,0
,43,01,0
214
4213
4312
321
xxx
xxxx
xxxx
xxx
28)
.11,008,0
,22,02,004,0
,41,02,03,0
,42,03,01,0
214
4213
4312
4321
xxx
xxxx
xxxx
xxxx
29)
.21,009,0
,23,02,01,0
,41,02,03,0
,42,03,01,0
214
4213
4312
4321
xxx
xxxx
xxxx
xxxx
30)
.91,0
,22,02,0
,41,02,03,0
,23,04,01,0
24
423
4312
4321
xx
xxx
xxxx
xxxx
4. Використовуючи норми 1
A , 2
A невиродженої матриці A , обчислити її
число обумовленості.
214
1)
1,01,01,0
9,001,0
5,03,02,0
A ; 2)
5
1
4
1
3
14
1
3
1
2
13
1
2
11
A ;
3)
56701,5
91086
78107
10975
A ; 4)
10016
12100
0210
0021
A ;
5)
4,04,019,0
5,03,02,0
1,05,04,0
A ; 6)
10010
10100
01010
00101
3
A ;
7)
123
221
132
A ; 8)
10975
91086
78107
56799,4
A ;
9)
04,06,0
01,0001,0
5,05,00
A ; 10)
7
1
6
1
5
1
4
16
1
5
1
4
1
3
15
1
4
1
3
1
2
14
1
3
1
2
11
A ;
11)
6321
2312
1221
1111
A ; 12)
9153
8473
6562
5331
A ;
215
13)
1010
101010
01010
00101
3A ; 14)
100125,0
2100
0210
0021
A ;
15)
05,05,0
6,004,0
68,03,001,0
A ; 16)
10975
91086
78107
56701,5
A ;
17)
02,02,059,0
2,002,06,0
3,05,002,0
4,03,02,01,0
A ; 18)
10222
11022
11102
11110
A ;
19)
2021
2421
2252
1127
A ; 20)
4
1
3
1
2
11
5
1
4
1
3
1
3
16
1
5
1
4
1
3
17
1
6
1
5
1
4
1
A ;
21)
1004
12100
0210
0021
A ; 22)
098,001,0
8,002,0
4,06,00
A ;
23)
5675
56799,4
91086
10975
A ; 24)
1123
1001
4320
0321
A ;
25)
8164
8168
241,0
A ; 26)
1,0416
2168
284
A ;
216
27)
2164
288
1,024
A ; 28)
484
4161,0
222
A ;
29)
1621,0
8216
844
A .
5. Знайти розв’язок СЛАР, якщо він існує. Знайти псевдорозв’язок
збуреної до неї СЛАР. Знайти регуляризований розв’язок збуреної СЛАР.
Порівняти отримані розв’язки.
СЛАР Збурена СЛАР
1)
.325
,532
21
21
xx
xx
.0004,30001,25
,532
21
21
xx
xx
2)
.1,03,04,0
,50004,05,00004,0
21
21
xx
xx
.1,03,04,0
,50004,05,00001,0
21
21
xx
xx
3)
.173
,9998,00001,73
21
21
xx
xx
.173
,9998,073
21
21
xx
xx
4)
.1700500100
,25501,7515
21
21
xx
xx
.1700500100
,03,25501,7515
21
21
xx
xx
5)
.99,199,0
,97,198,099,0
21
21
xx
xx
.989903,199,0
,970106,198,099,0
21
21
xx
xx
217
6)
.60
472,025,0
3
1
,12
1325,0
3
15,0
,6
11
3
15,0
321
321
321
xxx
xxx
xxx
.30
232,025,0
3
1
,12
1325,0
3
15,0
,6
11
3
15,0
321
321
321
xxx
xxx
xxx
7)
.75
582,024,0
3
1
,12
1325,0
3
15,0
,6
11
3
15,0
321
321
321
xxx
xxx
xxx
.25
192,024,0
3
1
,12
1325,0
3
15,0
,6
11
3
15,0
321
321
321
xxx
xxx
xxx
8)
.125,18
1
,32
,32
,32
41
43
32
21
xx
xx
xx
xx
.1254,18
1
,32
,32
,32
41
43
32
21
xx
xx
xx
xx
9)
.32
27
32
5
,910
,910
,910
41
43
32
21
xx
xx
xx
xx
.8
7125,0
,910
,910
,910
41
43
32
21
xx
xx
xx
xx
10)
.173
,9999,00001,73
21
21
xx
xx
.173
,10001,73
21
21
xx
xx
11)
.9999,00001,73
,173
21
21
xx
xx
.173
,9998,00001,73
21
21
xx
xx
12)
.2
,0001,10001,0
21
21
xx
xx
.2
,0001,10
21
21
xx
xx
218
13)
.7,96,67,9
,1,48,21,4
21
21
xx
xx
.7,96,67,9
,11,48,21,4
21
21
xx
xx
14)
.97,198,099,0
,99,199,0
21
21
xx
xx
.970106,198,099,0
,989903,199,0
21
21
xx
xx
15)
.25501,7515
,1700500100
21
21
xx
xx
.03,25501,7515
,1700500100
21
21
xx
xx
16)
.32
,32
,32
,125,1125,0
21
43
32
41
xx
xx
xx
xx
.32
,32
,32
,1254,1125,0
21
43
32
41
xx
xx
xx
xx
17)
.910
,910
,910
,999,00001,0
21
43
32
41
xx
xx
xx
xx
.910
,910
,910
,9991,00001,0
21
43
32
41
xx
xx
xx
xx
18)
.3110975
,235675
,3178106
,3278107
4321
4321
4321
4321
xxxx
xxxx
xxxx
xxxx
.3110975
,2356701,5
,3178106
,3278107
4321
4321
4321
4321
xxxx
xxxx
xxxx
xxxx
19)
.173
,999,97030
21
21
xx
xx
.173
,9999,073
21
21
xx
xx
20)
.1979899
,19999,0100
21
21
xx
xx
.0106,1979899
,9903,19899,0100
21
21
xx
xx
21)
.51002,153
,175
21
21
xx
xx
.0006,51002,153
,175
21
21
xx
xx
219
22)
.173
,999,97030
21
21
xx
xx
.173
,10001,7030
21
21
xx
xx
23)
.25,111025,1
,302010
,302010
,302010
41
43
32
21
xx
xx
xx
xx
.25,111025,1
,302010
,302010
,01,302010
41
43
32
21
xx
xx
xx
xx
24)
.3210975
,3191086
,3278107
,01,2356701,5
4321
4321
4321
4321
xxxx
xxxx
xxxx
xxxx
.3210975
,3191086
,3278107
,235675
4321
4321
4321
4321
xxxx
xxxx
xxxx
xxxx
25)
.9993,139842
,9997,54218
21
21
xx
xx
.9993,139842
,9996,54218
21
21
xx
xx
26)
.976697
,412841
21
21
xx
xx
.976697
,1,412841
21
21
xx
xx
220
Список використаних джерел
1. Тихонов А.Н. Методы решения некорректных задач / А.Н. Тихонов,
В.Я. Арсенин. – М: Наука, 1979. – 285 с.
2. Иванов В.К. Теория линейных некорректных задач и ее приложение /
В.К Иванов, В.В. Васин, В.П. Танана.– М.: Наука, 1978. – 206 с.
3. Охріменко М.Г. Досліджння операцій / М.Г. Охріменко, І.Ю. Дзюбан.
– К.: Центр навчальної літератури, 2006. – 184 с.
4. Лаврентьев М.М. Некорректные задачи математической физики и
анализа / М.М. Лаврентьев, В.Г. Романов, С.П. Шишанский – М.:
Наука, 1980. – 286 с.
5. Курош А.И. Курс высшей алгебры / А.И. Курош. – М.: Наука, 1965. –
431 с.
6. Заборовець М.О. Сучасні методи розв’язування систем лінійних
алгебраїчних рівнянь. Навч.-метод. посіб. / М.О. Заборовець,
Ф.А. Левченко, М.Г. Охріменко – К.:КНЕУ, 2006. – 76 с.
7. Морозов В.А. Регулярные методы решения некорректно поставленнях
задач / В.А. Морозов – М. Изд.-во МГУ, 1987 – 238 с.
8. Охріменко М.Г. Методи розв’язування некоректно поставлених задач:
Навч. посіб. / М.Г. Охріменко, О.А. Жуковська, О.О. Купка – К.:
Центр учбової літератури, 2008. – 166 с.
9. Охрименко М.Г. К вопросу о решении систем линейных балансовых
уравнений / М. Г. Охрименко // ДАН СССР. – 1977. – Т. 234, №1. –
С. 4-14.
10. Охрименко М.Г. Ефективна організація обчислень при розв'язку
систем лінійних рівнянь / М.Г. Охріменко, І.В. Сергієнко,
О.С. Стукало // ДАН УРСР. – 1978. – Серія „А”,№1. – С. 67-70.
11. Волошин О.В. Алгоритм послідовного аналізу варіантів для
розв’язування балансових моделей / О.В. Волошин, С.О. Мащенко,
М.Г. Охріменко // Доп. АН УРСР. – 1988. – Серія „А”,№9. – С. 67-70.
12. Воеводин В.В. Численные методы алгебры. Теория и алгоритмы /
В.В. Воеводин – М.: Наука, 1966. – 248 с.
221
13. Тихонов А.Н. О решении некорректно поставленых задач и методе
регуляризации / А.Н. Тихонов // ДАН СССР. – 1963. – Т. 151, №3. –
С. 501-504.
14. Бакушинский А.Б. Итеративные методы решения некорректных задач
/ А.Б. Бакушинский, А.В. Гончарский – М.: Физматлит, 1989. – 130 с.
15. Назимов А.Б. Исследования методов регуляризации сдвигом и его
приложения: дис. ... кандидата физ.-мат. Наук: 01.01.07 / Назимов
Акбар Багадурович. – М., 1986. – 95 с.
16. Воеводин В.В. Линейная алгебра / В.В. Воеводин – М.: Наука, 1974. –
326 с.
17. Регуляризующие алгоритмы и априорная информация / [Тихонов А.Н.,
Гончаровский А. В., Степанов В. В., Яголе А. Г.]. – М. : Наука, 1983. –
198 с.
18. Фразе-Фразенко О.О. Спосіб регуляризації некоректно поставленої
задачі розпізнавання у системі телебачення замкнутого контуру / О.О.
Фразе-Фразенко // Системы и процесы управления. – 2012. - №6/4(8). –
С. 19-20.
19. Заикин П.Н. Некоторые вопросы численного решения интегральных
уравнений первого порядка методом регуляризации / П.Н. Заикин,
А.С. Меченов // Отчет ВУМГУ: Изд. МГУ, 1971, – Т. 3, №144. – 29 с.
20. Войникко Г.М. Оценки погрешности метода последовательных
приближений для некорректных задач / Г.М. Войникко // Автоматика
и телемеханика. – 1980. – №3. – С.84-92.
21. Васин В. В. Дискретизация, итерационно-аппроксимационные
алгоритмы решения неустойчивых задач и их приложения: дис. …
док. физ.-мат. Наук: 01.01.07 / Васин Владимир Васильевич. –
Свердловск, 1980. – 299 с.
22. Реклейтис Г. Оптимизация в технике. / Г. Реклейтис, А. Рейвиндрен,
К. Рэгсдел – М.: Мир, 1986. –349 с.
23. Лоусон Ч. Численное решение задач метода наименьших квадратов /
Ч. Лоусон, Р. Херсон – М.: Наука, 1986. – 230 с.
24. Тихонов А.Н. О приближенных системах линейных алгебраических
уравнений / А.Н. Тихонов // Журн. вычисл. матем. и мат. физика. –
1980. – №6. – С.1373-1383.
222
25. Годунов С. К. Решение систем линейных уравнений / С.К. Годунов. –
М.: Наука, 1980. – 177 с.
26. Фаддеев Д. К. Вычислительные методы линейной алгебры /
Фаддеев Д.К., Фаддеева В. Н. – М.: Физматгиз, 1963. – 734 с.
27. Волович В.М. О решении систем линейных уравнений клеточными
методами / В.М. Волович // Вычисл. методы и програмир. –1965. –
№ 3. – С. 106-133.
28. An estimate for the condition number of matrix / [Cline A.K., Moler C. B.,
Stewart C.W., Wilkinson J. H.] // SIAM J. Numer. Analysis. – 1979. –
Vol. 16, No 2. – P.368-375.
29. Молчанов И.Н. Машинные методы решения прикладных задач.
Алгебра, приближение функций / И.Н. Молчанов – К: Наукова думка,
1987. – 288 с.
30. Проблемы создания пакетов программ лмнейной алгебры: Тр.
Всесоюзн. конф. [“Вычислительные методы линейной алгебры”]
(Москва,. 23 – 25 августа, 1982 г.) / – М.: Изд-во Моск. ун-та 1983. –
С. 187 – 202.
31. Уилкинсон Дж. Справочник алгоритмов на языке АЛГОЛ. Линейная
алгебра / Дж. Уилкинсон, К. Райнш – М.: Машиностроение, 1976. –
390 с.
32. Форсайт Дж. , Численное решение систем линейных алгебраических
уравнений / Дж. Форсайт, К. Моулер – М.: Мир, 1969. – 167 с.
33. Гордонова В. И. Численные методы выбора параметра в методе
регуляризации / В. И.Гордонова, В.А. Морозов // Журн. вычисл.
математики и мат. физики. – 1973. – Т. 3, №3. – С. 539-545.
34. Колмогоров А.Н. О неравенствах между верхними гранями
последовательных производных произвольной функции на
бесконечном интервале / А.Н. Колмогоров // Учен. зап. МГУ,
Математика, 1930. –Т.30, №.3. – С. 3-16.
35. Колмогоров А.Н. Элементы теории функций и функционального
анализа / А.Н. Колмогоров, С.В. Фомин – М.: Наука, 1976. – 542 с.
36. Стечкин С.Б. Наилучшее приближение линейных операторов /
С.Б. Стечкин // Мат. заметки, 1967. – Т.1. №2, – С. 137-148.
223
37. Тихонов А.Н. Численные методы решения некорректных задач / А.Н.
Тихонов, А.В. Гончарский, В.В. Степанов, А.Г. Ягола – М.: Наука,
1990. – 232 с.
38. Стечкин С.Б. Сплайны в вычислительной математике / С.Б. Стечкин,
Ю.Н. Субботин – М.: Наука, 1976. – 248 с.
39. Завьялов Ю.С. Методи сплайн функцій / Ю.С. Завьялов, В.И. Квасов,
В.Д. Мирошниченко – М.: Наука, 1980. – 382 с.
40. Reinsh C.N. Smoothing by spline function / C.N. Reinsh // Numer. math. –
1967. –Vol.10. P. 177-183.
41. Морозов В.А. Методы решения некоректно поставленных задач:
алгоритм / В.А. Морозов, А.И.Гребенников – М.: Изд-во Моск. ун-та,
1987. – 80 с.
42. Соболев С.Л. Некоторые применения функционального анализа в
математической физике / С.Л. Соболев – Новосибирск: Узд. СО АН
СССР, 1962. – 255 с.
43. Страхов В.Н. Теория приближенного решения линейных
некорректных задач в гильбертовом пространстве и ее использование
в разведочной геофизике / В.Н. Страхов // Изв. АН УССР, Физика
Земли. – 1969, №8. – С. 50-53.
44. Хромов Г.В. О задаче восстановления производной / Г.В Хромов //
Вычислительные методы и программирование. – Саратов: Изд-во
Сарат. ун-та. – 1970. –Т.4. – С. 3-13.
45. Карманов В. Г. Математическое программирование: Учебное пособие
/ В.Г. Карманов – М.: Наука, 1980. – 256 с.
46. Licchetti R. Hademard and Tyhonov wellpossedness of a certain class of
convex functions / R Licchetti, F. Paizone // J.Math. Anal. and Appl. –
1962. – Vol. 88. – P. 204-215.
47. Люстерник Л.А. Элементы функционального анализа /
Л.А. Люстерник, В.И. Соболев – М.: Наука, 1965. – 519 с.
48. Васин В.В. Некорректные задачи с априорной информацией / В.В.
Васин, А.Л. Агеев – Екатеринбург: УИФ «Наука», 1993. – 264 с.
49. Stummel F. Diskrete Konvergenz Linearer Operatoren. / F Stummel //
Math. Ann., 1970. – Vol. 190, №1. – P. 45-92.
224
50. Daniel J.W. On the approximate minimization of functionale / J.W. Daniel
// Math. Comput., 1969. – Vol. 23,№107 – P. 573-581.
51. Васин В.В. Дискретная аппроксимация и устойчивость в
экстремальных задачах / В.В. Васин // Журн. вычисл. матем. и мат.
физики, 1982. – Т. 22, №4, – С. 824-839.
52. Ageev A.L. Amorphous problem in EXAFS data analysis / A.L. Ageev,
Y.A. Babanov, V.V. Vasin // Phys. Stat. Sol., 1983. – Vol. 177. – P. 343-
350.
53. Ахиезер Н.И. Вариационное исчисление / Н.И. Ахиезер – Харьков:
Высшая школа, 1981. – 168 с.
54. Бакушинский А.Б. Об одном численном методе решения интегральных
уравнений Фредгольма І рода / А.Б. Бакушинский // Журн. вычисл.
мат. и мат. физики, 1965. – Т.5, №4. – С. 744-749.
55. Тихонов А.Н. О приближенном решении интегральных уравнений
Фредгольма І рода / А.Н. Тихонов, В.Б. Гласко // Журн. вычисл. мат. и
мат. физики, 1964, – Т.4, №3. – С. 564-571.
56. Васин В.В. Проксимальный алгоритм з проектированием в задачах
выпуклого программирования / В.В. Васин – Свердловск, 1982. – 47 с
– (Препринт / АН СССР, Урал. науч. центр, ин-т математики и
механики, . Свердловск, 1982).
57. Iterative methode for approximate solution of illposed problems with a
priori information and their applications [ “Inverse and ill-posed
problems”], (Boston: Acad. Press, 1987) / Notes and Reports in Math., in
Sci and Eng. – Vol.4. Vol.4 P.211-229.
58. Форсайт Дж. Машинные методы математических вычислений /
Дж. Форсайт, М. Малькольм, К. Моулер – М.: Мир, 1980. – 279 с.
59. Анализ точности вычисления сумм. Сб. Математическое обеспечение
и организация вычислительного процесса./ ИК АН УССР. – Киев. –
1974. – С. 161-168.
60. Замечание к вопросу о вычислении целых степеней на ЭВМ. Сб.
Математическое обеспечение и организация вычислительного
процесса, ИК АН УССР. – Киев. – 1974. – С. 182-187.
225
61. Анализ точности вычисления сумм и произведений на ЭВМ. Сб.
Оптимизация и организация вычислений. / ИК АН УССР. – Киев. –
1974. – С. 74-81.
62. Витенко И.В. Оптимальные алгоритмы сложения и умножения на
машинах с плавающей запятой / И.В. Витенко И. В. // ЖВМ и МФ. –
1968. –Т.8, №5. – С. 108-114.
63. Wilkinson J.H. Rounding Errors in Algebraic Processes / J.H. Wilkinson –
London:Her Majesty’s stat.Offic, – 1963. – 564 p.
64. ДжумаевС.О. О приближенном вычислении псевдорешения /
С.О. Джумаев // Докл. АН Тадж. ССР. – 1982. – Т.25, №10, – С. 584-
587.
![dgb]m - DRS · 2018-09-15 · електронної пошти. Кількість тих, хто вважає, що це дало б їм змогу отримувати конфіденційну](https://img.pdfslide.tips/doc/110x75/5e630f230fe66743d550d67b/dgbm-drs-2018-09-15-oeoe-.jpg)
