Embed Size (px)
Citation preview
ĐẠI HỌC QUỐC GIA HÀ NỘITRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
ĐẶNG VĂN HIẾU
MỘT SỐ PHƯƠNG PHÁP HIỆU CHỈNHGIẢI HỆ PHƯƠNG TRÌNH TOÁN TỬ
LUẬN VĂN THẠC SĨ KHOA HỌC
Hà Nội - 2011
ĐẠI HỌC QUỐC GIA HÀ NỘITRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
ĐẶNG VĂN HIẾU
MỘT SỐ PHƯƠNG PHÁP HIỆU CHỈNHGIẢI HỆ PHƯƠNG TRÌNH TOÁN TỬ
Chuyên ngành: Toán học tính toánMã số: 604630
LUẬN VĂN THẠC SĨ KHOA HỌC
Người hướng dẫn khoa học:GS.TSKH Phạm Kỳ Anh
Hà Nội - 2011
LỜI CẢM ƠN
Để hoàn thành bản luận văn này tôi đã nhận được sự giúp đỡ to lớn củacác Thầy, Cô giáo, gia đình và bạn bè xung quanh.
Tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới thầy giáo hướng dẫnGS.TSKH Phạm Kỳ Anh, Khoa Toán - Cơ - Tin học, Trường đại học khoahọc tự nhiên, ĐHQG Hà Nội. Trong quá trình giảng dạy cũng như hướng dẫn,thầy đã ân cần, động viên, giúp đỡ chỉ bảo tận tình cho tôi.
Tôi cũng gửi lời cảm ơn tới các Thầy, Cô trong Khoa Toán - Cơ - Tin học,Phòng sau đại học, Trường Đại học khoa học tự nhiên, ĐHQG Hà Nội đã dạydỗ, giúp đỡ tôi trong suốt quá trình học tập, đặc biệt là các Thầy, Cô trongSeminar của Bộ môn Toán học tính toán đã có những ý kiến đóng góp quýbáu giúp cho bản luận văn hoàn chỉnh hơn.
Ngoài ra tôi cũng xin gửi lời cảm ơn tới các bạn đồng nghiệp đã giúp đỡ,động viên tôi trong quá trình thực hiện luận văn này.
Cuối cùng, tôi xin gửi lời cảm ơn tới gia đình đã sinh thành, nuôi dưỡngvà động viên tôi rất nhiều trong thời gian qua.
Dù đã cố gắng hết sức nhưng luận văn không thể tránh khỏi những thiếusót. Mọi ý kiến đóng góp tôi xin được đón nhận với lòng biết ơn chân thành.
Hà Nội, ngày 23 tháng 11 năm 2011
Học Viên
Đặng Văn Hiếu
1
Mục lục
Lời cảm ơn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Bảng kí hiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
Mở đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1 Hiệu chỉnh đa tham số - sự hội tụ và tốc độ hội tụ 71.1 Đặt bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 Các kết quả về tính ổn định . . . . . . . . . . . . . . . . . . 8
1.3 Tốc độ hội tụ . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4 Hiệu chỉnh đa tham số trong không gian Hilbert . . . . . . . 16
1.5 Mối liên hệ giữa phương pháp nhân tử Lagrange và phương pháp hiệu chỉnh đa tham
2 Phương pháp hiệu chỉnh đa tham số Tikhonov 222.1 Nhắc lại bài toán . . . . . . . . . . . . . . . . . . . . . . . 22
2.2 Một số kết quả . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3 Ví dụ minh họa . . . . . . . . . . . . . . . . . . . . . . . . 34
3 Phương pháp chỉnh lặp song song dạng Gauss - Newton 373.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2 Sự hội tụ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.3 Ví dụ minh họa . . . . . . . . . . . . . . . . . . . . . . . . 46
Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Tài liệu tham khảo 54
2
BẢNG KÍ HIỆU
∆u Toán tử Laplace của u
L2(Ω) Không gian các hàm bình phương khả tích trên ΩHk(Ω) Không gian SobolevD(F) Miền xác định của toán tử F
∂Ω Biên của ΩJ(x) Phiếm hàm ổn địnhMδ Tập các phần tử chấp nhận đượcD(x,x) Khoảng cách Bregman giữa x và x
Br(x†) Hình cầu mở tâm x† bán kính r
‖.‖2 Chuẩn Euclid< ., . > Tích vô hướng trong không gian X
< ., . >X∗,X Tích đỗi ngẫu trong X
Y ∗j Không gian liên hợp của không gian Yj
F∗ Toán tử liên hợp của toán tử F
L(X ,Y ) Không gian các ánh xạ tuyến tính từ X vào Y
L(x,λ ) Hàm LagrangeF
′(x) Đạo hàm Fréchet của toán tử F tại x
Tα(x) Phiếm hàm làm trơn TikhonovIRGNM Phương pháp lặp Gauss-NewtonPIRGNM Phương pháp lặp song song dạng Gauss-Newton
3
MỞ ĐẦU
Nhiều bài toán khoa học kĩ thuật dẫn đến việc giải phương trình
F(x) = y,
trong đó F : X → Y là toán tử (tuyến tính hoặc phi tuyến), X ,Y là các khônggian Banach. Bài toán trên được gọi là đặt chỉnh, nếu
1. Phương trình luôn có nghiệm duy nhất với mọi y ∈ Y .
2. Nghiệm phụ thuộc liên tục vào các dữ liệu F,y.
Khi đó ta có nhiều phương pháp giải bài toán trên. Tuy nhiên trong thực tếkhông phải lúc nào bài toán cũng đặt chỉnh, tức là
1. Tồn lại y ∈Y để phương trình vô nghiệm hoặc có nhiều hơn một nghiệm.
2. Nghiệm không phụ thuộc liên tục vào các dữ liệu F,y.
Các bài toán đặt không chỉnh rất khó giải do có sai số của dữ liệu và phảitính toán gần đúng trên máy tính. Khi đó ta cần có chiến lược hiệu chỉnh đểgiải bài toán trên. Nói nôm na, ta sẽ thay bài toán đặt không chỉnh bằng mộthọ các bài toán đặt chỉnh phụ thuộc tham số mà nghiệm của chúng hội tụ đếnnghiệm của bài toán đặt không chỉnh khi tham số hiệu chỉnh dần tới không.
Trong các bài toán nhận dạng đa tham số, ta phải xác định x, khi biết cácdữ liệu gần đúng yδ
i của yi, tức là phải giải hệ phương trình (thông thường làđặt không chỉnh)
Fi(x) = yδi , i = 1, ..., l.
Nếu xem yδ như là một véc tơ yδ = (yδ1 ,y
δ2 , ...,y
δl ), với yδ
i ∈ Yi, δ như làmột véctơ nhiễu δ = (δ1,δ2, ...,δl)
T ∈ Rl (mức nhiễu) thì hệ phương trìnhtoán tử trên đưa về một phương trình toán tử trong không gian tích
F(x) = yδ .
4
Trong nhiều trường hợp việc xét hệ phương trình thay cho một phươngtrình trong không gian tích với bộ tham số hiệu chỉnh cho kết quả khả quan.Sau đây là hai ví dụ đưa về hệ phương trình toán tử đặt không chỉnh.
Ví dụ 1. (Bài toán khôi phục hệ số của phương trình từ ánh xạ Dirichlet -Neumann)
Ứơc lượng hệ số q ≥ 0 từ phương trình vi phân riêng
−∆u+qu = 0, x ∈ Ω ⊂ Rd,
với điều kiện biên Neumann g =∂u∂v
trên biên ∂Ω của Ω. Giả sử biết trước p
các giá trị Dirichlet của u trên biên ∂Ω là f0, f1, . . . , fp−1 và đo đạc được các
giá trị Neumann gi =∂ui
∂vtrên biên ∂Ω tương ứng. Khi đó ta viết lại bài toán
Fi(q) = gi, i = 0, ..., p−1,
trong đó Fi : D(Fi) ⊂ L2(Ω)→ H−1/2(∂Ω) là toán tử phi tuyến ánh xạ q tới∂ui
∂v, ui ∈ H1(Ω) là nghiệm yếu của hệ
−∆ui +qui = 0, x ∈ Ω ⊂ Rd
ui = fi,x ∈ ∂Ω.
Bài toán ước lượng q ≥ 0 từ hệ trên là đặt không chỉnh (xem [5]).
Ví dụ 2. (Bài toán ước lượng mômen phi tuyến).
Bài toán ước lượng mômen phi tuyến là tìm hàm u ∈ L2(Ω) trên miền bịchặn Ω ⊂ Rd thỏa mãn hệ phương trình tích phân phi tuyến
gi =
∫
Ωki(x,u(x))dx ∈ Rm, i = 1, ..., p,
với các nhân trơn ki : Ω×R → Rm và các véctơ gi cho trước (i = 1, ..., p).Ta đưa về bài toán
Fi(u) = gi, i = 1, ..., p,
trong đó Fi : L2(Ω)→ Rm là toán tử phi tuyến đưa u vào∫
Ω ki(x,u(x))dx. Đâycũng là bài toán đặt không chỉnh (xem [5]).
5
Đã có nhiều phương pháp giải hệ phương trình toán tử đặt không chỉnh.Ngoài các phương pháp lặp xoay vòng như Landweber - Kaczmarz, Newton -Kaczmarz, đường dốc Kaczmarz, một nhóm các nhà khoa học tại Trường Đạihọc khoa học tự nhiên, ĐHQG Hà Nội đã đề xuất các phương pháp chỉnh lặpsong song: Newton hiệu chỉnh song song, Gauss - Newton hiệu chỉnh songsong, phương pháp chiếu điểm gần kề song song, phương pháp CQ - songsong giải hệ phương trình toán tử. Đăc điểm của các phương pháp này là haiquá trình hiệu chỉnh và phân rã song song được thực hiện đồng thời và tươngthích với nhau.
Luận văn này sẽ trình bày ba phương pháp giải hệ phương trình toán tửđặt không chỉnh: Phương pháp cực tiểu phiếm hàm ổn định với hạn chế độlệch trong mức sai số cho phép. Phương pháp cực tiểu phiếm hàm làm trơnTikhonov và phương pháp Gauss - Newton hiệu chỉnh song song.
Nội dung chính của bản luận văn bao gồm các vấn đề sau đây:
1. Thiết lập tính đặt chỉnh của bài toán tối ưu có ràng buộc liên kết với hệphương trình toán tử đặt không chỉnh.
2. Đánh giá tốc độ hội tụ của phương pháp hiệu chỉnh đa tham số trongtrường hợp tổng quát.
3. Thiết lập mối liên hệ giữa phương pháp nhân tử Lagrange và phươngpháp hiệu chỉnh đa tham số.
4. Nghiên cứu phương pháp hiệu chỉnh đa tham số Tikhonov và đánh giátốc độ hội tụ.
5. Trình bày phương pháp chỉnh lặp song song dạng Gauss - Newton.
Các vấn đề 1−3 được trình bày trong bài báo của Torsten Hein [2]. Phần5 được nghiên cứu trong công trình của Phạm Kỳ Anh và Vũ Tiến Dũng [1].Phần 4 là các kết quả do học viên phát triển dựa theo tài liệu của Torsten Hein[2], Nguyễn Bường và Nguyễn Đình Dũng [3].
6
Chương 1
Hiệu chỉnh đa tham số - sựhội tụ và tốc độ hội tụ
Trong chương này, chúng tôi đề cập tới phương pháp hiệu chỉnh đa tham sốdo Torsten đề xuất dựa trên việc cực tiểu phiếm hàm ổn định với điều kiệnđộ lệch của các phương trình nằm trong giới hạn sai số cho phép, bao gồmcác bổ đề về tính ổn định và định lý về tốc độ hội tụ. Cuối chương, chúng tôigiới thiệu hai thuật toán giải bài toán tối ưu và mối liên hệ giữa phương pháphiệu chỉnh đa tham số và phương pháp nhân tử Lagrange. Nội dung chính củachương được trình bày theo dựa theo tài liệu [2].
1.1 Đặt bài toán
Cho X ,Yj, ( j = 1, ..., l) là các không gian Banach phản xạ. Để đơn giản, chuẩntrong các không gian X ,Yj cùng được kí hiệu là ‖.‖. Fj : D(Fj)⊂ X →Yj( j =
1, ..., l) nói chung là các toán tử phi tuyến. Đặt D=⋂l
j=1D(Fj), giả sử D 6=∅.
Nếu vế phải cho là chính xác ta có hệ sau
Fj(x) = y j ( j = 1, ..., l),x ∈ D. (1.1.1)
Tuy nhiên dữ liệu y j thường bị nhiễu bởi yδj : ||yδ
j − y j|| ≤ δ j khi đó ta chỉcó phương trình
Fj(x) = yδj ( j = 1, ..., l),x ∈ D. (1.1.2)
7
Trong ứng dụng thì bài toán (1.1.2) thường là bài toán đặt không chỉnh.Ngay cả khi các hệ (1.1.1) và (1.1.2) giải được duy nhất thì nghiệm của (1.1.2)cũng không chắc phụ thuộc liên tục vào dữ liệu. Nghĩa là nếu x† là nghiệmduy nhất của (1.1.1) và xδ là nghiệm duy nhất của (1.1.2) thì ||x†− xδ || cóthể lớn tùy ý khi δ j( j = 1, ..., l) đủ nhỏ.
Chiến lược hiệu chỉnh. Xét phiếm hàm ổn định J : D ⊂ X → R mà tínhchất của nó được liệt kê trong mục 1.2 và thay (1.1.2) bởi bài toán tối ưu córàng buộc sau
J(x)→ minx∈D∥∥∥Fj(x)− yδ
j
∥∥∥≤ δ j, j = 1, ..., l.(1.1.3)
Trong lý thuyết hiệu chỉnh Tikhonov, ta thay (1.1.2) bằng bài toán cực tiểuphiếm hàm
l
∑j=1
λ j
∥∥∥Fj (x)− yδj
∥∥∥2
Yj
+ J (x)→ minx∈D
, (1.1.4)
trong đó λ j > 0( j = 1, ..., l) là các tham số hiệu chỉnh.
Khi dùng phương pháp Lagrange để giải bài toán (1.1.3) ta có thể xemcác tham số λ j > 0( j = 1, ..., l) như các nhân tử Lagrange. Các hằng số α j =1λ j
,( j = 1, ..., l) đóng vai trò các tham số hiệu chỉnh trong phương pháp hiệu
chỉnh đa tham số.
1.2 Các kết quả về tính ổn định
Ta sẽ chỉ ra tính đặt chỉnh của bài toán (1.1.3). Cụ thể ta sẽ thiết lập một sốđiều kiện để bài toán (1.1.3) có nghiệm duy nhất xδ phụ thuộc liên tục vàocác dữ liệu yδ
j , j = 1, ..., l. Ta sẽ chỉ ra rằng cách tiếp cận bài toán (1.1.3) cũnggần giống như việc chứng minh sự tồn tại, tính ổn định và hội tụ của điểmcực tiểu xδ
α của phiếm hàm Tikhonov∥∥∥F(x)− yδ
∥∥∥2
Y+αJ(x), (1.2.1)
8
ở đây J(x) = ||x− x∗| |2 hoặc J(x)= ||D(x− x∗)| |2, trong đó D là toán tử tuyếntính đóng.
Sau đây là một số giả thiết đối với toán tử Fj,( j = 1, ..., l) và phiếm hàmổn định J(x):
A1. Với dữ liệu chính xác thì hệ (1.1.1) có nghiệm x†, tức là Fj(x†) = y j,( j =
1, ..., l).
A2. Fj,( j = 1, ..., l) là các toán tử liên tục và đóng yếu (xn ∈ D(Fj),xn
x,Fj(xn) y j thì x ∈ D(Fj) và Fj(x) = y j).
A3. Phiếm hàm J : D ⊂ X → R không âm và nửa liên tục dưới yếu (xn x
thì J(x)≤ limn→∞
(inf J(xn))).
A4. Tập
A(C) :=
x ∈ X : J(x)+
l
∑j=1
∥∥Fj(x)∥∥≤C
bị chặn trong X với mọi C ≥ 0.
A5. Nếu xn x và J(xn)→ J(x) thì xn → x.
Nhận xét. Giả thiết A1 là một giả thiết tự nhiên đối với bài toán nhậndạng, tức là nếu có quan sát chính xác y j,( j = 1, ..., l) thì ta có thể giả thiếtcó bộ "tham số" x† ∈ D thỏa mãn hệ (1.1.1). Nhưng điều này có thể khôngcòn đúng khi dữ liệu bị nhiễu yδ
j ,( j = 1, ..., l). Tức là nghiệm của (1.1.2) cóthể không tồn tại.
Kí hiệu
Mδ =
x ∈ X :
∥∥∥Fj(x)− yδj
∥∥∥Yj
≤ δ j,( j = 1, ..., l)
(1.2.2)
là tập các phần tử chấp nhận được. Vì x† ∈ Mδ ,∀δ ≥ 0 nên Mδ 6= Ø. Ngoàira vì Fj liên tục nên Mδ là tập đóng.
Bây giờ ta chứng minh sự tồn tại nghiệm xδ của (1.1.3).
Bổ đề 1.2.1. Với các điều kiện (A1)− (A4) thì luôn tồn tại nghiệm xδ của
(1.1.3).
9
Chứng minh. Giả sử xn ⊂ Mδ là dãy cực tiểu sao cho: J(xn+1)≤ J(xn)
và limn→∞
J(xn) = infx∈D
J(x). Ta có: J(xn)≤ J(x0),∀n ≥ 0.
Từ (1.2.2) ta có∥∥Fj(xn)
∥∥≤∥∥∥yδ
j
∥∥∥+δ j ≤∥∥y j∥∥+2δ j, j = 1, ..., l.
Đặt C := J(x0)+l∑j=1
(∥∥y j∥∥+2δ j
).
Suy ra xn ∈ A(C).Do đó (xn,F1(xn) , ...,Fl(xn)n là bị chặn trong không gian Banach phản xạX ×Y1× ...×Yl.Suy ra, tồn tại dãy xnk sao cho xnk x và Fj(xnk) y j,(1≤ j ≤ l).
Theo (A2) thì Fj(x) = y j và ta có
Fj(xnk)− yδj y j − yδ
j = Fj(x)− yδj ,
Theo tính nửa liên tục dưới yếu của chuẩn,suy ra∥∥∥Fj (x)− yδ
j
∥∥∥≤ limk→∞
inf∥∥∥F (xnk)− yδ
j
∥∥∥≤ δ j, (1≤ j ≤ l) ,
chứng tỏ x ∈ Mδ .
Theo (A3) và xnk x suy ra J (x)≤ limk→∞
inf J (xnk). Từ đó x là nghiệm của
(1.1.3).⊠
Bổ đề 1.2.2. Cho các điều kiện (A1)−(A4). Hơn nữa y(n)j với∥∥∥y(n)j − yδ
j
∥∥∥≤c(n)j ,c(n)j → 0 (n → ∞) . Gọi xδ
n là dãy nghiệm của (1.1.3) ứng với yδj = y(n)j
và δ j + c(n)j .
Khi đó
1. Tồn tại dãy con xδnk xδ là nghiệm của (1.1.3).
2. Nếu xδ là nghiệm duy nhất thì xδn xδ .
10
Chứng minh
1. Với mỗi n ∈ N, đặt
M(n)δ = x ∈ X :
∥∥Fj(x)− ynj
∥∥≤ δ j +2c(n)j ,( j = 1, ..., l),
suy ra xδ ∈ M(n)δ ∀n và M(n)
δ → Mδ ,(Mδ ⊂ M(n)δ ).
Do đóJ(xδ
n )≤ J(xδ ) ∀n. (∗)Như lập luận trong Bổ đề 1.2.1.,tồn tại dãy xδ
nk sao cho
xδnk x ∈ Mδ ,
suy ra J(xδ )≤ J(x)≤ limk→∞
inf J(xδnk)≤ J(xδ ), (**)
Do đó J(x) = J(xδ ).Vậy x là nghiệm của (1.1.3).2. Nếu bài toán (1.1.3) có nghiệm duy nhất xδ thì x = xδ , từ đó suy ra sự hộitụ yếu của dãy xδ
n về xδ . ⊠
Bổ đề 1.2.3. Giả sử có các giả thiết của Bổ đề 1.2.2. Nếu thêm điều kiện
(A5) thì xδn hội tụ mạnh về xδ .
Chứng minh. Hiển nhiên từ (*) và (**) cùng với xδn xδ , suy ra lim
n→∞J(xδ
n )=
J(xδ ). Kết hợp với (A5) ta có ngay điều phải chứng minh.⊠
Cuối cùng chúng ta muốn chứng minh sự hội tụ của nghiệm của (1.1.3)tới nghiệm x† của (1.1.1) khi δ j → 0,(1≤ j ≤ l).
Định nghĩa 1.2.1. x† được gọi là nghiệm J −min của (1.1.1) nếu
J(x†) = minJ(x) : Fj(x) = y j,1≤ j ≤ l.
Từ Bổ đề 1.2.1. và 1.2.3. suy ra xδ hội tụ tới nghiệm J −min của hệ (1.1.1)khi δ → 0. Nếu thay δ j + c(n)j bởi δ j và yδ
j bởi y j và lặp lại chứng minh củaBổ đề 1.2.2., ta thu được kết quả sau.
Bổ đề 1.2.4. Cho các điều kiện (A1)− (A4) và δ j → 0, tức là (yδj →
y j,1 ≤ j ≤ l). Nếu xδ là nghiệm của (1.1.3) thì tồn tại dãy con xδ hội tụ
yếu tới nghiệm J −min x† của (1.1.1). Hơn nữa, nếu nghiệm J −min x† là
duy nhất thì xδ x†. Nếu thêm điều kiện (A5) thì xδ → x†.
11
1.3 Tốc độ hội tụ
Định nghĩa 1.3.1. Giả sử J là hàm lồi và khả vi Fréchet với J′(x) ∈ X∗,∀x ∈D. Khoảng cách Bregman giữa x,x ∈ D là D(x,x) xác định bởi
D(x,x) := J(x)− J(x)−< J′(x), x− x >X∗,X ,
trong đó < ., . >X∗,X là tích đối ngẫu trong X.
Sau này, để đơn giản, ta sẽ bỏ các kí tự X∗,X trong tích đối ngẫu.
Nhận xét. Từ tính lồi của hàm J(x) suy ra D(x,x) ≥ 0. Nếu J(x) lồi chặtthì D(x,x)> 0, ∀x 6= x.
Trước khi nghiên cứu tốc độ hội tụ của phương pháp hiệu chỉnh đa thamsố ta xét thêm điều kiện sau
A6. ∃γ : 0≤ γ < 1 và β = (β1,β2, ...,βl)T ∈ Rl với β j ≥ 0,( j = 1, ..., l) thỏa
mãn
∣∣∣⟨
J′(x†),x− x†⟩∣∣∣≤ γD(x,x†)+
l
∑j=1
β j
∥∥∥Fj(x)−Fj(x†)∥∥∥ (1.3.1)
∀x ∈ Br(x†)∩D với Br(x†) =
x ∈ X :∥∥x− x†
∥∥< r
, r > 0 đủ lớn.
Điều kiện A6 rất tổng quát và bao gồm các điều kiện nguồn, điều kiện nónpháp tuyến vv...
Định lý 1.3.1. Giả sử có các giả thiết (A1)− (A6); δ := (δ1, ...,δl)T , khi
đó
D(xδ ,x†)≤ 21− γ
∥∥∥β∥∥∥
2‖δ‖2, (1.3.2)
trong đó ‖.‖2 là chuẩn Euclid trong Rl.
Chứng minh. Do x† ∈ Mδ ∀δ ≥ 0 nên J(xδ )≤ J(x†).Ta có
D(xδ ,x†) = J(xδ )− J(x†)−⟨
J′(x†),xδ − x†⟩,
suy raD(xδ ,x†)≤
∣∣∣⟨
J′(x†),xδ − x†⟩∣∣∣ .
12
Theo (A6), ta suy ra
D(xδ ,x†)≤ γD(xδ ,x†)+l∑j=1
β j
∥∥∥Fj(xδ )−Fj(x†)∥∥∥
≤ γD(xδ ,x†)+l∑j=1
β j
∥∥∥Fj(xδ )− yδj
∥∥∥+∥∥∥yδ
j − y j
∥∥∥
≤ γD(xδ ,x†)+2l∑j=1
β jδ j
≤ γD(xδ ,x†)+2∥∥∥β∥∥∥
2‖δ‖2
Do đóD(xδ ,x†)≤ 2
1− γ
∥∥∥β∥∥∥
2‖δ‖2.⊠
Nhận xét. Để thiết lập tốc độ hội tụ trong X ta cần đặt thêm điều kiện lêncác toán tử Fj hoặc/và hàm J(x). Chẳng hạn giả sử J(x) là hàm lồi mạnh vớihệ số η > 0, tức là
J(tx+(1− t)y)≤ tJ(x)+(1− t)J(y)− η2
t(1− t)‖x− y‖2 , ∀t ∈ [0;1].
Suy ra ‖x− y‖2 ≤ 2η D(x,y) =C.D(x,y) với C = 2
η .Từ đây kết hợp với (1.3.2) ta có
∥∥∥xδ − x†∥∥∥
2
X≤C.D(xδ ,x+)≤ 2C
1− γ
∥∥∥β∥∥∥
2.‖δ‖2 .
Từ đó ta có đánh giá tốc độ hội tụ trong X .Mặt khác nếu J(x) = ‖x− x∗‖2 thì D(x,x) = ‖x− x‖2.
Từ (1.3.2), ta được∥∥∥xδ − x†
∥∥∥2= D(xδ ,x†)≤ 2
1−γ
∥∥∥β∥∥∥
2.‖δ‖2.
Ta xét một số trường hợp đặc biệt của giả thiết (A6). Giả thiết này đạtđược nếu ta có điều kiện nguồn sau
J′(x†) =l
∑j=1
G∗jw j,w j ∈ Y ∗
j ,(1≤ j ≤ l), (1.3.3)
trong đó G j ∈ L(X ,Yj) là xấp xỉ tuyến tính của Fj với phần dư là
r j(x,x†) := Fj(x)−Fj(x
†)−G j(x− x†). (1.3.4)
13
Sau đây là 3 ví dụ điển hình.
Hệ quả 1.3.1. Giả sử (1.3.3) thỏa mãn với
∥∥r j(x,x†)∥∥≤C j.D(x,x†) và C :=
l∑j=1
∥∥w j∥∥
Y ∗j.C j < 1
thì điều kiện (A6) nghiệm đúng với γ =C và β j =∥∥w j
∥∥Y ∗
j,1≤ j ≤ l.
Chứng minh. Ta có
⟨J′(x†),x− x†
⟩X∗,X =
l∑j=1
⟨G∗
jw j,x− x†⟩
X∗,X
=l∑j=1
⟨w j,G j(x− x†)
⟩Y ∗
j ,Yj
≤l∑j=1
∥∥w j∥∥
Y ∗j
∥∥G j(x− x†)∥∥
Yj
≤l∑j=1
∥∥w j∥∥
Y ∗j
∥∥Fj(x)−Fj(x†)∥∥+
∥∥r j(x,x†)∥∥
≤l∑j=1
∥∥w j∥∥
Y ∗j
∥∥Fj(x)−Fj(x†)∥∥+
(l∑j=1
∥∥w j∥∥
Y ∗jC j
)D(x,x†)
Từ đó suy ra điều phải chứng minh. ⊠
Nhận xét. Nếu J(x) = ‖x− x∗‖2 và Fj khả vi Fréchet thì các giả thiết củaHệ quả 1.3.1 giống các giả thiết trong phương pháp hiệu chỉnh Tikhonov,trong đó G j = F ′(x†) : X →Yj là liên tục Lipschitz. Điều này chứng tỏ (1.3.1)là khái quát hóa của các giả thiết quen biết để chứng minh tốc độ hội tụ. Mặtkhác tính liên tục Lipschitz của đạo hàm Fréchet không phải là điều kiện cầnđể phương pháp hiệu chỉnh hội tụ. Do đó nó có thể được thay bởi các giả thiếtkhác.
Hệ quả 1.3.2. Giả sử (1.3.3) thỏa mãn với∥∥∥r j(x,x
†)∥∥∥
Yj
≤C j
∥∥∥Fj(x)−Fj(x†)∥∥∥
Yj
,1≤ j ≤ l
14
thì điều kiện (A6) nghiệm đúng với γ = 0 và β j =∥∥w j
∥∥Y ∗
j(C j +1),1≤ j ≤ l.
Chứng minh. Như trên ta có
⟨J′(x†),x− x†
⟩X∗,X ≤
l∑j=1
∥∥w j∥∥
Y ∗j.∥∥Fj(x)−Fj(x†)
∥∥+∥∥r j(x,x†)
∥∥
≤l∑j=1
∥∥w j∥∥
Y ∗j
(C j +1
)∥∥Fj(x)−Fj(x†)∥∥
Từ đó suy ra điều phải chứng minh. ⊠
Hệ quả 1.3.3. Giả sử (1.3.3) thỏa mãn với
∥∥∥r j(x,x†)∥∥∥
Yj
≤C j
∥∥∥G j(x− x†)∥∥∥
Yj
,1≤ j ≤ l
với C j < 1 thì điều kiện (A6) nghiệm đúng với γ = 0 và β j =∥∥w j
∥∥Y ∗
j(1−
C j)−1,1≤ j ≤ l.
Chứng minh. Ta có r j(x,x†) := Fj(x)−Fj(x†)−G j(x− x†).
Suy ra∥∥∥G(x− x†)
∥∥∥−∥∥∥r j(x,x
†)∥∥∥≤
∥∥∥Fj(x)−Fj(x†)∥∥∥≤
∥∥∥G(x− x†)∥∥∥+
∥∥∥r j(x,x†)∥∥∥ .
Do đó
(1−C j)∥∥∥G(x− x†)
∥∥∥≤∥∥∥Fj(x)−Fj(x
†)∥∥∥≤ (1+C j)
∥∥∥G(x− x†)∥∥∥ .
Theo cách chứng minh của hệ quả (1.3.1) ta có
⟨J′(x†),x− x†
⟩X∗,X ≤
l∑j=1
∥∥w j∥∥
Y ∗j.∥∥G j(x− x†)
∥∥Yj
≤l∑j=1
‖w j‖Y∗j1−C j
∥∥Fj(x)−Fj(x†)∥∥
Từ đó suy ra điều phải chứng minh.⊠
15
1.4 Hiệu chỉnh đa tham số trong không gian Hilbert
Ta xét bài toán (1.1.3) với X ,Yj là các không gian Hilbert.Giả sử J(x) := ‖P(x)‖2 trong đó P : X → Z là toán tử phi tuyến. Ta sử dụngphương pháp nhân tử Lagrange giải bài toán (1.1.3).Xét hàm Lagrange
L(x,λ ) := J(x)+l
∑j=1
λ j(∥∥∥Fj(x)− yδ
j
∥∥∥2
Yj
−δ 2j ), (1.4.1)
hoặc hàm Tikhonov
Tλ (x) := J(x)+l
∑j=1
λ j
∥∥∥Fj(x)− yδj
∥∥∥2
Yj
. (1.4.2)
Ta có thuật toán tìm nghiệm của bài toán (1.1.3) như sau [16]
Thuật toán 1
1. Cho xδ0 ∈ X ,λ (0) = (λ (0)
1 , ...,λ (0)l )≥ 0;k := 0.
2. Tìm nghiệm xδk+1 của bài toán Tλ (k)(x)→ min.
3. Đặt
λ (k+1)j := λ (k)
j max
∥∥∥Fj(xδk+1)− yδ
j
∥∥∥ν
δ νj
,ε
,( j = 1, ..., l)(0< ε << 1) ,
(1.4.3)với ν > 0 cố định bất kì.
4. Nếu∥∥∥λ (k+1)−λ (k)
∥∥∥< TOL thì dừng thuật toán, ngược lại đặt k := k+1
và quay lại bước 2.
Định lý 1.4.1. Nếu λ (k) → λ và xδk → xδ ∈ D ⊂ X khi k → ∞ thì (xδ ,λ ) ∈
X ×Rl là điểm yên ngựa của hàm Lagrange (1.4.1) và do đó xδ là nghiệm
của (1.1.3).
Trước khi đi vào chứng minh định lý 1.4.1 ta có bổ đề sau
16
Bổ đề 1.4.2. Cặp (xδ ,λ ) ∈ D×Rl+ là điểm yên ngựa của hàm Lagrange
(1.4.1) ứng với bài toán (1.1.3) nếu x = xδ làm cực tiểu phiếm hàm Tikhonov
(1.4.2) ứng với tham số hiệu chỉnh λ = λ và thỏa mãn
λ j(∥∥∥Fj(x
δ )− yδj
∥∥∥2−δ 2
j ) = 0 j = 1, ..., l, (1.4.4)
và thêm điều kiện∥∥∥Fj(x
δ )− yδj
∥∥∥2≤ δ 2
j nếu λ j = 0 j = 1, ..., l. (1.4.5)
Chứng minh. Theo định nghĩa điểm yên ngựa ta có
L(xδ ,λ )≤ L(xδ ,λ )≤ L(x,λ ) ∀x ∈ D, ∀λ ∈ Rl+.
Bất đẳng thức thứ hai tương với
J(
xδ)+
l
∑j=1
λ j
(∥∥∥Fj(xδ )− yδ
j
∥∥∥2−δ
2
j
)≤ J (x)+
l
∑j=1
λ j
(∥∥∥Fj(x)− yδj
∥∥∥2−δ
2
j
),
hay Tλ
(xδ)≤ Tλ (x) ∀x ∈ D . Điều này đúng theo giả thiết xδ làm cực tiểu
phiếm hàm Tikhonov (1.4.2).Bất đẳng thức thứ nhất tương đương với
l
∑j=1
(λ j −λ j
)(∥∥∥Fj(xδ )− yδ
j
∥∥∥2−δ
2
j
)≥ 0 ∀λ ∈ Rl
+.
Do giả thiết (1.4.4) và (1.4.5) nên bất đẳng thức cuối này luôn đúng. Vậy Bổđề 1.4.2 được chứng minh. ⊠
Bây giờ ta đi chứng minh Định lý 1.4.1. Ta kiểm tra các giả thiết của Bổđề 1.4.2.Theo cách xây dựng các dãy λ k và xδ
k thì các giới hạn λ và xδ của phép
lặp (1.4.3) thỏa mãn Tλ
(xδ)≤ Tλ (x) với mọi x ∈ D, tức là xδ làm cực tiểu
phiếm hàm Tikhonov (1.4.2) ứng với λ = λ . Hơn nữa cặp (xδ ,λ ) thỏa mãn
λ j = λ jmax
∥∥∥Fj
(xδ)− yδ
j
∥∥∥ν
δ νj
,ε
,1≤ j ≤ l. (1.4.6)
17
Do 0< ε ≪ 1, nên từ (1.4.6) suy ra hoặc λ j = 0 hoặc∥∥∥Fj
(xδ)− yδ
j
∥∥∥2= δ 2
j .
Điều này suy ra giả thiết (1.4.4) của Bổ đề 1.4.2.Tiếp tục kiểm tra giả thiết (1.4.5). Giả sử có chỉ số j nào đó sao cho
∥∥∥Fj
(xδ)− yδ
j
∥∥∥2> δ 2
j và λ j = 0,
tức là∥∥∥Fj
(xδ)− yδ
j
∥∥∥ν> δ ν
j và λ j = 0. Khi đó tồn tại k0 = k0( j) sao cho∥∥∥Fj
(xδ
k
)− yδ
j
∥∥∥ν> δ ν
j với mọi k ≥ k0 (do Fj liên tục và tính liên tục của
chuẩn). Do đó
max
∥∥∥Fj
(xδ
k
)− yδ
j
∥∥∥ν
δ νj
,ε
> 1.
Theo (1.4.3), suy ra λ k+1j > λ k
j > 0 với mọi k ≥ k0. Cho k → ∞, suy raλ j = lim
k→∞λ k
j > λ k0j > 0. Điều này vô lý vì λ j = 0. Vậy giả thiết (1.4.5) thỏa
mãn. Áp dụng Bổ đề 1.4.2, Định lý 1.4.1 được chứng minh. ⊠
Nhược điểm của thuật toán 1
1. Phải giải bài toán tối ưu phi tuyến trên mỗi bước lặp.
2. Do phép lặp (1.4.3) hội tụ chậm nên cần thực hiện nhiều bước lặp.
Sau đây ta trình bày thuật toán lặp Gauss - Newton để tìm nghiệm xấp xỉcủa bài toán (1.1.3).Xét bài toán
J(x) = ‖P(x)‖2Z → min
x∈D∥∥∥Fj(x)− yδj
∥∥∥≤ δ j, j = 1, ..., l.
Ta dựng hàm Tikhonov
Tλ (x) := J(x)+l
∑j=1
λ j
∥∥∥Fj(x)− yδj
∥∥∥2
Yj
.
Giả thiết Fj(x) và P(x) là các hàm khả vi Fréchet với các đạo hàm F′j(x)
và P′(x). Giả sử đã biết xδ
k , ta đi tìm xδk+1 = xδ
k +∆x bằng cách tuyến tính hóa
18
Fj
(xδ
k +∆x)≈ Fj
(xδ
k
)+F
′j
(xδ
k
)∆x
P(
xδk +∆x
)≈ P
(xδ
k
)+P′
(xδ
k
)∆x.
Ta đưa về bài toán tìm cực tiểu của dạng toàn phương
Tλ (k)(xδk +∆x)≈ Φ(∆x)→ min
∆x
trong đó
Φ(∆x) =∥∥∥P′(xδ
k )∆x+P(xδk )∥∥∥
2
Z+
l∑j=1
λ (k)j
∥∥∥F′j(x
δk )∆x−
(yδ
j −Fj(xδk ))∥∥∥
2
Yj
.
Tìm ∆x là nghiệm của phương trình∂Φ∂∆x
= 0, tức là
∂Φ∂∆x
= 2P′∗(xδ
k )P′(xδ
k )∆x+2P′∗(xδ
k )P(xδk )
+2l
∑j=1
λ (k)j
[F
′∗j (x
δk )F
′j(x
δk )∆x+F
′∗j (x
δk )(
yδj −Fj(x
δk ))]
= 0
điều này tương đương với[
P′∗(xδ
k )P′(xδ
k )+l
∑j=1
λ (k)j F
′∗j (x
δk )F
′j(x
δk )
]∆x
=l
∑j=1
λ (k)j F
′∗j (x
δk )(
yδj −Fj(x
δk ))−P
′∗(xδk )P(x
δk ). (1.4.7)
Khi đó ta có thuật toán 2
1. Cho xδ0 ∈ X ,λ (0) = (λ (0)
1 , ...,λ (0)l )≥ 0;k := 0
2. Giải (1.4.4) tìm ∆x. Đặt xδk+1 = xδ
k +∆x.
3. Tìm λ (k+1) = (λ (k+1)1 , ...,λ (k+1)
l ) theo công thức (1.4.3).
4. Nếu∥∥∥λ (k+1)−λ (k)
∥∥∥ < TOL1 và ‖∆x‖X < TOL2 thì dừng thuật toán,ngược lại, đặt k := k+1 và quay lại bước 2.
19
Sự hội tụ của phương pháp chỉnh lặp Gauss - Newton được nghiên cứu trong[7, 8, 9, 10]. Trong chương 3, sẽ trình bày kĩ hơn về phương pháp chỉnh lặpsong song Gauss - Newton [1].
1.5 Mối liên hệ giữa phương pháp nhân tử La-grange và phương pháp hiệu chỉnh đa thamsố
Ta sẽ chỉ ra rằng Thuật toán 1 liên quan mật thiết với phương pháp nhân tửLagrange cho bài toán tối ưu với ràng buộc bất đẳng thức. Cho X là khônggian Banach, ta xét bài toán
J(x)→ min
g j(x)≤ 0, j = 1, ..., l,(1.5.1)
với hàm mục tiêu J : X → R và các hàm ràng buộc g j : X → R, j = 1, ..., l. Vớimỗi nhân tử Lagrange λ = (λ1, ...,λl)
T ∈ Rl,(λ j ≥ 0) và hằng số c > 0, đặt
M(x,λ ,c) := J(x)+12c
l
∑j=1
(max
0,λ j + cg j(x)
2−λ 2j
). (1.5.2)
Sau đây là phương pháp nhân tử Lagrange. Cho λ k ≥ 0;ck > 0. Ta tìmnghiệm xk của bài toán
M(x,λ k,ck)→ min,x ∈ X . (1.5.3)
Và cập nhật nhân tử Lagrange
λ k+1j := max0;λ (k)
j + ckg j(xk), j = 1, ..., l. (1.5.4)
Với ck được chọn theo một quy tắc nào đó (thông thường ta chọn là dãy tăng:ck+1 ≥ ck).
Ta có một số thay đổi nhỏ so với bài toán trên là thay tham số đơn c ∈ R
bằng véctơ tham số c = (c1, ...,cl)T ∈ Rl với c j > 0 và thay hàm (1.5.2) bởi
M(x,λ ,c) := J(x)+l
∑j=1
12c j
(max
0,λ j + c jg j(x)
2−λ 2j
). (1.5.5)
20
Cho ν > 0, đặt
g j(x) := 2δ νj
(∥∥∥Fj(x)− yδj
∥∥∥ν
Yj
−δ νj
); c j :=
λ j
2δ 2νj
.
Do đó
M(x,λ ,c) := J(x)+l∑
j=1
12c j
max
0,λ j +
λ j
δ νj
(∥∥∥Fj(x)− yδj
∥∥∥ν
Yj
−δ νj
)2
−λ 2j
= J(x)+l∑j=1
δ 2νj
λ j
max
0,λ j +
λ j
δ νj
(∥∥∥Fj(x)− yδj
∥∥∥ν
Yj
−δ νj
)2
−λ 2j
= J(x)+l∑j=1
δ 2νj λ j
max
0,1+
1δ ν
j
(∥∥∥Fj(x)− yδj
∥∥∥ν
Yj
−δ νj
)2
−1
= J(x)+l∑j=1
δ 2νj λ j
max
0,
∥∥∥Fj(x)− yδj
∥∥∥ν
Yj
δ νj
2
−1
= J(x)+l∑j=1
λ j
(∥∥∥Fj(x)− yδj
∥∥∥2ν
Yj
−δ 2νj
)
Kết quả này trùng với hàm Lagrange trong (1.4.1) với ν = 1. Hơn nữa tacập nhật (1.5.4) và đi đến
λ (k+1)j := max
0,λ (k)
j +2c(k)j δ νj
(∥∥∥Fj(x)− yδj
∥∥∥ν
Yj
−δ νj
)
= max
0,λ (k)
j +λ (k)
j
δ νj
(∥∥∥Fj(x)− yδj
∥∥∥ν
Yj
−δ νj
)
= λ (k)j max
0,
∥∥∥Fj(x)− yδj
∥∥∥ν
Yj
δ νj
.
Kết quả này trùng với (1.4.3) khi ε = 0.
21
Chương 2
Phương pháp hiệu chỉnh đatham số Tikhonov
Trong chương này, chúng tôi đề cập tới phương pháp hiệu chỉnh đa thamsố Tikhonov dựa trên việc cực tiểu phiếm hàm làm trơn Tikhonov, trong đóphiếm hàm có chứa tham số α và các tham số - λ j, ( j = 1, ..., l). Phần này tôiphát triển dựa theo cách tiếp cận tổng quát của Torsten [2] để mở rộng các kếtquả đã biết của Nguyễn Bường và Nguyễn Đình Dũng [3], bao gồm các địnhlý: Định lý 2.2.1, Định lý 2.2.2, Định lý 2.2.3, Mệnh đề 2.2.4 về sự tồn tại vàtính ổn định của nghiệm. Cuối chương là hai định lý: Định lý 2.2.5, Định lý2.2.6 về tốc độ hội tụ của nghiệm.
2.1 Nhắc lại bài toán
Cho X ,Yj,( j = 1,2, . . . , l) là các không gian Banach phản xạ, Fj : D(Fj) ⊂
X → Yj là các toán tử (phi tuyến), D :=l⋂
j=1D(Fj) 6=∅. Ta cần giải hệ sau
Fj(x) = y j,x ∈ D,( j = 1,2, . . . , l). (2.1.1)
Trong trường hợp dữ liệu có nhiễu, yδj :∥∥∥yδ
j − y j
∥∥∥≤ δ j,( j = 1,2, . . . , l) ta cóhệ mới
Fj(x) = yδj ,x ∈ D,( j = 1,2, . . . , l). (2.1.2)
22
Phương pháp hiệu chỉnh đa tham số TikhonovXét bài toán cực tiểu hóa phiếm hàm làm trơn Tikhonov
Tα(x) =l
∑j=1
λ j
∥∥∥Fj(x)− yδj
∥∥∥2
Yj
+αJ(x)→ minx∈D
, (2.1.3)
trong đó α > 0;λ = (λ1, ...,λl)T ,λ j > 0,‖λ‖∞ = 1, phiếm hàm ổn định
J : D ⊂ X → R và véctơ hiệu chỉnh α = (α1, ...,αl)T ;α j =
αλ j, j = 1,2, . . . , l.
Định nghĩa. x† được gọi là nghiệm J −min của bài toán (2.1.1) nếu x†
thỏa mãn (2.1.1) và
J(x†) = minJ(x) : x ∈ Strong đó S := x ∈ D : Fj(x) = y j, j = 1,2, . . . , l.
Mục tiêu của chương này là thiết lập tính đặt chỉnh của bài toán (2.1.3)
với các điều kiện (A1)-(A5), tức là chứng minh bài toán (2.1.3) luôn có duynhất nghiệm xδ
α phụ thuộc liên tục vào dữ liệu đã cho. Ngoài ra thêm một vàiđiều kiện bổ sung về hàm Fj(x) và J(x) ta sẽ có đánh giá tốc độ hội tụ củaphương pháp theo khoảng cách Bregman.
2.2 Một số kết quả
Sau đây là một số kết quả chính thu được cho phương pháp hiệu chỉnh Tikhonov.
Định lý 2.2.1. Với các điều kiện (A1)− (A4) thì bài toán (2.1.3) luôn có
ít nhất một nghiệm xδα .
Chứng minh. Đặt d = infx∈D
Tα(x). Khi đó tồn tại dãy cực tiểu xn ⊂ D, sao
cho d = limn→∞
Tα(xn). Nói riêng dãy Tα(xn) là dãy bị chặn, nghĩa là, tồn tại
R > 0 sao cho 0≤ Tα(xn)≤ R ∀n ∈ N. Điều này tương đương với
l
∑j=1
λ j
∥∥∥Fj(xn)− yδj
∥∥∥2+αJ(xn)≤ R ∀n ∈ N.
23
Do đó Fj(xn)n,J(xn)n là bị chặn. Suy ra tồn tại C ≥ 0 sao cho J(xn)+l∑j=1
∥∥Fj(xn)∥∥≤C, ∀n. Mà theo (A4) tập
A(C) =
x : J(x)+
l
∑j=1
∥∥Fj(x)∥∥≤C
là bị chặn.
Từ đó suy ra dãy xn,F1(xn), ...,Fl(xn) là bị chặn trong không gian Ba-nach phản xạ X ×Y1× ...×Yl. Do vậy nó là tập compac tương đối yếu, haytồn tại dãy con xnk ⊂ xn sao cho
xnk x0
Fj(xnk) y j( j = 1,2, . . . , l).
Theo giả thiết (A2) thì x0 ∈ D và Fj(x0) = y j,( j = 1,2, . . . , l). Do tính nửaliên tục dưới yếu của chuẩn và của J(x), ta có
∥∥∥Fj(x0)− yδj
∥∥∥=∥∥∥y j − yδ
j
∥∥∥≤ limk→∞
inf∥∥∥Fj(xnk)− yδ
j
∥∥∥ , j = 1,2, . . . , l
J(x0)≤ limk→∞
inf J(xnk).
Từ đây suy ra
d ≤ Tα(x0)≤ limk→∞
inf Tα(xnk)≤ limk→∞
supTα(xnk) = limk→∞
Tα(xnk) = d,
do đó d = Tα(x0), hay x0 là nghiệm của bài toán (2.1.3).⊠
Định lý 2.2.2. Cho các giả thiết (A1)− (A5), α > 0, và yδnj → yδ
j (n →∞), j = 1,2, . . . , l. Gọi xn là nghiệm của bài toán (2.1.3) ứng với yδ
j thay
bằng yδnj
Khi đó
1. Tồn tại một dãy con hội tụ của dãy xn.
2. Mỗi giới hạn của dãy con là nghiệm của bài toán (2.1.3).
24
Chứng minh. Lập luận tương tự như trong định lý 2.2.1 ta có
xnk x0 ∈ D
Fj(xnk) y j
và Fj(x0) = y j,( j = 1, . . . , l). Vì xnk là nghiệm của (2.1.3) và yδnkj → yδ
j nênta có
Tα(x0)≤ limk
infl
∑j=1
λ j
∥∥∥Fj(xnk)− yδnkj
∥∥∥2+α lim
kinf J(xnk)
≤ limk
sup
l
∑j=1
λ j
∥∥∥Fj(xnk)− yδnkj
∥∥∥2+α supJ(xnk)
≤ limk
l
∑j=1
λ j
∥∥∥Fj(x)− yδnkj
∥∥∥2+αJ(x)
=l
∑j=1
λ j
∥∥∥Fj(x)− yδj
∥∥∥2+αJ(x) = Tα(x) ∀x ∈ D. (2.2.1)
Vậy Tα(x0)≤ Tα(x) ∀x ∈ D từ đây suy ra
x0 ∈ Argminx∈D
Tα(x). (2.2.2)
Bây giờ ta chứng minh xnk → x0. Từ (2.2.1) ta có
limk→∞
l
∑j=1
λ j
∥∥∥Fj(xnk)− yδnkj
∥∥∥2+αJ(xnk)
=
l
∑j=1
λ j
∥∥∥Fj(x0)− yδj
∥∥∥2+αJ(x0)
(2.2.3)Ta kết luận J(xnk) → J(x0). Thật vậy giả sử ngược lại J(xnk) 9 J(x0). VìJ(x0)≤ lim
kinf J(xnk) nên nếu đặt C := lim
ksupJ(xnk) thì C > J(x0).
Ngoài ra, tồn tại dãy con xmm ⊂ xnkk sao cho
limm→∞
J(xm) =C.
Chú ý rằng xm x0,Fj(xm) y j = Fj(x0) nên từ (2.2.3) ta có
limm
l∑j=1
λ j
∥∥∥Fj(xm)− yδmj
∥∥∥2=
l∑j=1
λ j
∥∥∥Fj(x0)− yδj
∥∥∥2+α [J(x0)−C]
25
<l
∑j=1
λ j
∥∥∥Fj(x0)− yδj
∥∥∥2.
Điều này là vô lý vì theo tính nửa liên tục dưới yếu của chuẩn thì∥∥∥Fj(x0)− yδ
j
∥∥∥≤ limm
inf∥∥∥Fj(xm)− yδm
j
∥∥∥ ,( j = 1,2, . . . , l) .
Vậy J(xnk) → J(x0). Kết hợp với xnk x0 và giả thiết (A5) ta có điều phảichứng minh.⊠
Định lý 2.2.3. Cho các giả thiết (A1)− (A5), α(δ ) → 0 và‖δ‖2
α(δ )→ 0
khi δ → 0. Giả sử δ kk mà δ k → 0. Gọi xδkαk là dãy nghiệm của bài toán
(2.1.3) ứng với δ k và αk = α(δ k).
Khi đó
1. xδkαk chứa dãy con hội tụ.
2. Mỗi giới hạn của dãy con là một nghiệm J−min của (2.1.1).
3. Nếu nghiệm J −min x† của (2.1.1) là duy nhất thì
limδ→0
xδα(δ ) = x†.
Chứng minh. 1. Đặt
S :=
x ∈ D : Fj(x) = y j, j = 1, . . . , l
(2.2.4)
Vì S ⊂ D và xδα là nghiệm cực tiểu của (2.1.3) nên với mọi x ∈ S, ta có
l
∑j=1
λ j
∥∥∥Fj(xδα)− yδ
j
∥∥∥2+αJ(xδ
α)≤l
∑j=1
λ j
∥∥∥Fj(x)− yδj
∥∥∥2+αJ(x)
=l
∑j=1
λ j
∥∥∥y j − yδj
∥∥∥2+αJ(x)≤
l
∑j=1
λ jδ 2j +αJ(x)
≤ ‖λ‖∞ ‖δ‖2+αJ(x) = ‖δ‖2+αJ(x). (2.2.5)
26
Từ (2.2.5) ta suy ra
J(xδα)≤
‖δ‖2
α+ J(x), (2.2.6)
λ j
∥∥∥Fj(xδα)− yδ
j
∥∥∥2≤ ‖δ‖2+αJ(x), (2.2.7)
∥∥∥Fj(xδα)∥∥∥ - bị chặn. (2.2.8)
Từ (2.2.6),(2.2.8) và giả thiết (A4) ta có
xδα ,F1(xδ
α), ...,Fl(xδα)
là dãy bịchặn trong không gian Banach phản xạ X ×Y1× ...×Yl.Do đó dãy
xδk
αk,F1(x
δkαk), ...,Fl(x
δkαk)
cũng bị chặn. Vậy nó là tập compắc
tương đối yếu. Suy ra tồn tại dãy con
xδmαm
⊂
xδkαk
hội tụ yếu, tức là
xδmαm
x0,Fj(xδmαm) y0
j . (2.2.9)
Theo giả thiết (A2) suy ra x0 ∈ D và y0j = Fj(x0).
Từ (2.2.7) và chú ý tính nửa liên tục dưới yếu của chuẩn, ta có
∥∥Fj(x0)− y j∥∥≤ lim
minf∥∥∥Fj(x
δmαm)− y j
∥∥∥
≤ limm
inf∥∥∥Fj(x
δmαm)− yδm
j
∥∥∥+∥∥∥yδm
j − y j
∥∥∥
≤ limm
[1√λ j
(‖δ m‖2+αmJ(x)
)1/2+δ j
m
]= 0.
Từ đó suy ra Fj(x0) = y j, ∀ j = 1, ..., l. Chứng tỏ x0 ∈ S.
Mặt khác, theo (2.2.6), giả thiết và tính nửa liên tục dưới yếu của J(x) thìvới mọi x ∈ S, ta có
J(x0)≤ limm
inf J(xδmαm)≤ lim
msupJ(xδm
αm)≤ J(x). (2.2.10)
Đặc biệt cho x = x0 ta suy ra
limm→∞
J(xδmαm) = J(x0). (2.2.11)
Từ (2.2.11), xδmαm
x0 và giả thiết (A5) ta suy ra xδmαm
→ x0.2. Theo (2.2.10) ta có x0 ∈ S , J(x0)≤ J(x), ∀x ∈ S, suy ra x0 là một nghiệm
27
J−min của (2.1.3). Tất nhiên nếu có một giới hạn x′0 của một dãy con thì nó
cũng là nghiệm J−min của bài toán (2.1.1).3. Nếu nghiệm J−min x† của (2.1.1) là duy nhất thì theo phần 1.,2., mọi dãycon đều hội tụ về x†. Do đó
limδ→0
xδα(δ ) = x†.
Định lý được chứng minh. ⊠Trước khi đi vào đánh giá tốc độ hội tụ của nghiệm xδ
α tới nghiệm x† của(2.1.1), ta xét trường hợp giả tối ưu, tức là có xδ ,η
α sao cho
Tα(xδ ,ηα )≤ Tα(x
δα)+η (2.2.12)
với η ≥ 0 cho trước.
Mệnh đề 2.2.4. Giả sử (A1)− (A5) thỏa mãn, và yδj ∈ Yj,(
∥∥∥y j − yδj
∥∥∥ ≤δ j),δ := (δ1, ...,δl)
T ,α := α(δ ,η) thỏa mãn
α(δ ,η)→ 0;‖δ‖2
2
α(δ ,η)→ 0;
ηα(δ ,η)
→ 0
khi δ → 0;η → 0.
Khi đó
1. Mọi dãy
xδk,ηkαk
k
với δ k → 0;ηk → 0,αk =α(δ k,ηk) thỏa mãn (2.2.12)
có một dãy con hội tụ.
2. Mỗi giới hạn x của dãy con là nghiệm J−min của (2.1.1). Hơn nữa nếu
thêm điều kiện nghiệm x† của (2.1.1) là duy nhất thì
limk→∞
xδk,ηkαk = x†.
Chứng minh. Đặt xk = xδk,ηkαk
. Khi đó ta có
28
l∑j=1
λ j
∥∥∥Fj(xk)− yδ j,k
j
∥∥∥2
Yj
+αkJ(xk)≤
≤l∑j=1
λ j
∥∥∥Fj(x†)− yδ j,k
j
∥∥∥2
Yj
+αkJ(x†)+ηk
≤ ‖δ k‖22+αkJ(x†)+ηk.
Cho k → ∞ ta suy ra Fj(xk)→ y j (k → ∞) và
J(xk)≤‖δ k‖2
2
αk+
ηk
αk+ J(x†). (2.2.13)
Do đó theo giả thiết J(xk),F1(xk), ...,Fl(xk) bị chặn, suy ra tồn tại một dãycon hội tụ yếu xki x ∈ D. Ngoài ra x là nghiệm của (2.1.1).Hơn nữa trong (2.2.13) thay x† bằng x ta thu được
J(x)≤ limi→∞
inf J(xki)≤ limi→∞
supJ(xki)≤ limi→∞
‖δ k‖2
2
αk+
ηk
αk+ J(x)
= J(x)
Từ đây suy ra limi→∞
J(xki) = J(x), và do đó xki → x (theo giả thiết A5).
Lại theo (2.2.13) ta có
J(x)≤ limi→∞
supJ(xki)≤ J(x†)≤ J(x).
Suy ra x là nghiệm J −min của (2.1.1). Nếu nghiệm J −min x† là duy nhất,tức là x = x† thì xki → x†. Mệnh đề 2.2.4 được chứng minh. ⊠
Định lý 2.2.5. (Tốc độ hội tụ của xδα(δ ) → x† khi δ → 0)
Cho các giả thiết (A1)− (A5) và các điều kiện sau
1. F1(x),J(x) khả vi Fréchet trong lân cận x†.
2. ∃L > 0 sao cho∥∥r1(x,x†)
∥∥ ≤ L.D(x,x†) với mọi x trong lân cận của x†,
trong đó
r1(x,x†) := F1(x)−F1(x
†)−F′1(x
†)(x− x†).
29
3. ∃w ∈ Y ∗1 : J
′(x†) = F
′1(x
†)∗w.
4. L.‖w‖Y ∗1< 1 .
Khi đó. Nếu chọn α ∼ ‖δ‖p,(0< p < 2) thì
D(xδα(δ ),x
†) = O(‖δ‖µ)
trong đó µ = minp,2− pChứng minh. Quy ước ‖.‖ là chuẩn trong không gian tương ứng.
Từ (2.2.5) cho x = x† ta có
l
∑j=1
λ j
∥∥∥Fj(xδα)− yδ
j
∥∥∥2+αJ(xδ
α)≤ ‖δ‖2+αJ(x†).
Vì D(xδα ,x
†) = J(xδα)− J(x†)−
⟨J′(x†),xδ
α − x†⟩
cùng với các giả thiết 2., 3.nên ta có
l
∑j=1
λ j
∥∥∥Fj(xδα)− yδ
j
∥∥∥2+αD(xδ
α ,x†)≤ ‖δ‖2+α
⟨J′(x†),x†− xδ
α
⟩
= ‖δ‖2+α⟨
w,F′1(x
†)(x†− xδα)⟩= ‖δ‖2+α
⟨w,r1(x
δα ,x
†)+F1(x†)−F1(x
δα)⟩
≤ ‖δ‖2+α ‖w‖[∥∥∥r1(x
δα ,x
†)∥∥∥+
∥∥∥y1− yδ1
∥∥∥+∥∥∥yδ
1 −F1(xδα)∥∥∥]
≤ ‖δ‖2+α ‖w‖LD(xδα ,x
†)+α ‖w‖δ1+α ‖w‖∥∥∥yδ
1 −F1(xδα)∥∥∥ . (2.2.14)
Do đó
l
∑j=1
λ j
∥∥∥Fj(xδα)− yδ
j
∥∥∥2+α(1−L‖w‖)D(xδ
α ,x†)≤ ‖δ‖2+α ‖w‖‖δ‖
+α ‖w‖∥∥∥yδ
1 −F1(xδα)∥∥∥ . (2.2.15)
Từ (2.2.15) suy ra∥∥∥F1(x
δα)− yδ
1
∥∥∥2
︸ ︷︷ ︸a2
≤ 1λ1
(‖δ‖2+α ‖w‖‖δ‖
)
︸ ︷︷ ︸c2
+α ‖w‖
λ1︸ ︷︷ ︸b
∥∥∥yδ1 −F1(x
δα)∥∥∥
︸ ︷︷ ︸a
.
(2.2.16)
30
Chú ý rằng(a,b,c > 0;a2 ≤ c2+ab
)⇒ (a ≤ b+ c), suy ra
∥∥∥F1(xδα)− yδ
1
∥∥∥≤
(‖δ‖2+α ‖w‖‖δ‖
)1/2
√λ1
+α ‖w‖
λ1. (2.2.17)
Từ (2.2.15) suy ra
D(xδα ,x
†)≤‖δ‖2+α ‖w‖‖δ‖+α ‖w‖
∥∥∥yδ1 −F1(xδ
α)∥∥∥
α(1−L‖w‖) . (2.2.18)
Chọn α ∼ ‖δ‖p.
Nếu 0< p < 1 thì từ (2.2.17) ta có∥∥∥F1(x
δα)− yδ
1
∥∥∥= O(‖δ‖p) .
Kết hợp với (2.2.18) ta có
D(xδα ,x
†) = O(‖δ‖p) .
Nếu 1≤ p < 2 thì từ (2.2.17) ta có∥∥∥F1(x
δα)− yδ
1
∥∥∥= O(‖δ‖) .
Kết hợp với (2.2.18) ta có
D(xδα ,x
†) = O(‖δ‖2−p
).
Từ đó nếu đặt µ = minp,2− p thì Định lý 2.2.5 được chứng minh. ⊠
Nhận xét. Khi chọn J(x) = ‖x− x∗‖2, ta có
1. D(x,x) = ‖x− x‖2, do đó theo định lý 2.2.5. ta có∥∥∥xδ
α − x†∥∥∥= O
(‖δ‖
µ2
)(2.2.19)
31
2. Điều kiện 2. trong định lý 2.2.5. là∥∥∥F1(x)−F1(x
†)−F′1(x
†)(x− x†)∥∥∥≤ L
∥∥∥x− x†∥∥∥
2.
Điều này có thể đạt được nếu ta giả thiết tính Lipschitz của F′1, tức là
∥∥∥F′1(x)−F
′1(x
†)∥∥∥≤ 2L
∥∥∥x− x†∥∥∥ , ∀x ∈U(x†).
Thật vậy theo công thức giá trị trung bình
∥∥∥F1(x)−F1(x†)−F′1(x
†)(x− x†)∥∥∥=
=
∥∥∥∥1∫0
(F
′1(x
†+ t(x− x†))−F′1(x
†))(x− x†)dt
∥∥∥∥
≤1∫0
2Lt∥∥x− x†
∥∥2dt = L
∥∥x− x†∥∥2 .
Bây giờ ta tổng quát hóa định lý 2.2.5 bằng cách sử dụng điều kiện A6.
Định lý 2.2.6. (Tốc độ hội tụ của xδα(δ ) → x† khi δ → 0)
Cho các giả thiết (A1)− (A6). Khi đó ta có đánh giá
D(
xδα ,x
†)≤ 1
1− γ
[‖δ‖2
α+∥∥∥β∥∥∥‖δ‖+α
l
∑j=1
β 2j
4λ j
](2.2.20)
Hơn nữa nếu chọn α ∼ ‖δ‖p,(0< p < 2) thì
D(xδα(δ ),x
†) = O(‖δ‖µ) (2.2.21)
trong đó µ = minp,2− pChứng minh.
Ta có Tα(xδα)≤ Tα(x†) và D(xδ
α ,x†) = J(xδ
α)−J(x†)−⟨
J′(x†),xδα − x†
⟩, nên
suy ral∑j=1
λ j
∥∥∥Fj(xδα)− yδ
j
∥∥∥2+αD(xδ
α ,x†)≤
32
≤l∑j=1
λ j
∥∥∥Fj(x†)− yδj
∥∥∥2+α
⟨J′(x†),xδ
α − x†⟩
X∗,X
≤l∑j=1
λ jδ 2j +αγD(xδ
α ,x†)+α
l∑j=1
β j
∥∥∥Fj(xδα)−Fj(x†)
∥∥∥
≤l∑j=1
λ jδ 2j +αγD(xδ
α ,x†)+α
l∑j=1
β j
∥∥∥Fj(xδα)− yδ
j
∥∥∥+∥∥∥yδ
j − y j
∥∥∥
≤l∑j=1
λ jδ 2j +αγD(xδ
α ,x†)+α
l∑j=1
β j
∥∥∥Fj(xδα)− yδ
j
∥∥∥+δ j
≤ αγD(xδα ,x
†)+l∑j=1
λ jδ 2
j +αβ jδ j +α2β 2
j
4λ j+λ j
∥∥∥Fj(xδα)− yδ
j
∥∥∥2
(theo
bất đẳng thức Cauchy).Do đó
D(
xδα ,x
†)≤ 1
1− γ
l∑j=1
λ jδ 2j
α+
l
∑j=1
β jδ j +αl
∑j=1
β 2j
4λ j
. (2.2.22)
Mặt khácl
∑j=1
λ jδ 2j ≤ ‖λ‖∞
l
∑j=1
δ 2j =
l
∑j=1
δ 2j ;
l
∑j=1
β jδ j ≤∥∥∥β∥∥∥
2.‖δ‖2
Kết hợp điều này với bất đẳng thức (2.2.22) ta thu được đánh giá (2.2.20).Nếu chọn α := C‖δ‖p và đặt µ = minp.2− p thì từ (2.2.20) ta thu được(2.2.21).Định lý 2.2.6 được chứng minh. ⊠
Nhận xét. Từ (2.2.22) ta có đánh giá
D(xδα ,x
†)≤ 11− γ
l
∑j=1
(λ jδ 2
j
α+β jδ j +
αβ 2j
4λ j
)
=1
1− γ
l
∑j=1
(√λ jδ j√α
+√
αβ j
2√
λ j
)2
Vế phải của bất đẳng thức trên nhỏ nhất khi hai số bằng nhau, khi đó đặt
α−1j =
λ j
α:=
β j
2δ j,( j = 1, ..., l) ,
33
và bất đẳng thức trên trở thành
D(xδα ,x
†)≤ 21− γ
∥∥∥β∥∥∥
2‖δ‖2.
Đánh giá này trùng với đánh giá trong định lý (1.3.1) của chương 1. Dođó giải (1.1.3) bằng phương pháp Lagrange ta thu được các nhân tử Lagrangeλ1, ...,λl , với sai số tối ưu cho D(xδ
α ,x†) dưới các giả thiết đã cho.
Mặt khác tham số hiệu chỉnh "tối ưu" α j =αλ j
không chỉ phụ thuộc vào
mức độ nhiễu δ j mà còn phụ thuộc vào tỷ lệδ j
β j. Do đó rất khó để tìm λ
tối ưu tiên nghiệm cho (2.1.3) với λ và α cố định. Do vậy mà thuật toán 1(chương 1) được minh họa như phương pháp hiệu chỉnh đa tham số Tikhonovkết hợp với chiến lược chọn tham số tiên nghiệm. Chiến lược chọn tham sốđược nghiên cứu một cách tổng quát bởi Morozov. Trong chương 3, tham sốhiệu chỉnh n = n(δ ) được chọn theo nguyên lý Morozov cải biên.
2.3 Ví dụ minh họa
Giải hệ phương trình
Fi(x1, . . . ,xm) = yi, i = 1,2, . . . ,N. (2.3.1)
với m ẩn số x1, . . . ,xm và N phương trình m >> N. Giả sử các phiếm hàmFi : Rm → R khả vi Fréchet trong lân cận nghiệm x† của hệ (2.3.1). Ta viết lạidưới dạng véctơ
F(x) = y. (2.3.2)
trong đó F : Rm → RN , F = (F1, . . . ,FN), x = (x1, . . . ,xm)T , y = (y1, . . . ,yN)
T .Cụ thể với N = 4 và Fj(x) có dạng
F1(x) = k2x1+ x22+ ...+ x2
m = xT A1x+ k2xT b
F2(x) = x1x2+ x2x3+ ...+ xm−1xm = xT A2x
F3(x) = x1x3+ x2x4+ ...+ xm−2xm = xT A3x
F4(x) = x1x4+ x2x5+ ...+ xm−3xm = xT A4x
34
trong đó k 6= 0 cho trước, b = (1,0,0, ...,0)T và Al = (ali j)m×m, l = 1,2,3,4
với
a1i j =
0 nếu i = j = 1 hoặc i 6= j
1 nếu i = j 6= 1,
và
ali j =
12
nếu |i− j|= l −1
0 nếu |i− j| 6= l−1, l = 2,3,4.
Bây giờ ta đi kiểm tra các giả thiết A1− A5. Rõ ràng các không gianX = Rm,Yj = R, j = 1,2,3,4 là các không gian Hilbert và J(x) = ‖x‖2.A1. Với dữ liệu chính xác y = (k2,0,0,0)T thì hệ có nghiệm chính xác làx† = (1,0, . . . ,0)T .A2. Dễ thấy các hàm Fi(x), j = 1, ...,4 liên tục. Vì trong không gian hữu hạnchiều hội tụ mạnh và hội tụ yếu trùng nhau, nên nếu xn x;Fi(xn) yi thìxn → x;Fi(xn)→ yi, từ tính liên tục của Fi(x) suy ra Fi(x) = yi và x∈D j = Rm.A3. J(x) = ‖x‖2 là hàm không âm và nửa liên tục dưới yếu (do tính nửa liêntục dưới yếu của chuẩn).A4. Hiển nhiên với mọi C ≥ 0 thì tập
A(C) = x ∈ Rm : ‖x‖2+4
∑j=1
∥∥Fj(x)∥∥≤C
là tập bị chặn (do ‖x‖ ≤√
C).A5. Nếu xn x và ‖xn‖→ ‖x‖ thì ‖xn− x‖2 = ‖xn‖2−2< xn,x >+‖x‖2 →‖x‖2−2< x,x >+‖x‖2 = 0. Do đó xn → x.
Để thu được đánh giá tốc độ hội tụ của nghiệm xδα(δ ) về nghiệm x†, ta cần
kiểm tra các giả thiết của định lý 2.2.5. Theo định lý thì chỉ cần kiểm tra giảthiết đó với một hàm, chẳng hạn với F1(x).
1. Dễ thấy F1(x) và J(x) là các hàm đa thức nên chúng đều khả vi Fréchettrong lân cận x†.
2. D(x,x†) =∥∥x− x†
∥∥2 và F′1(x
†) = 2A1x†+ k2b,F ”1 (x) = 2A1.
Do đó∥∥F ”
1 (x)∥∥= ‖2A1‖= 2. Ta có
35
∥∥r1(x,x†)∥∥=
∥∥∥F1(x)−F1(x†)−F′1(x
†)(x− x†)∥∥∥=
=
∥∥∥∥1∫0
(F
′1(x
†+ t(x− x†))−F′1(x
†))(x− x†)dt
∥∥∥∥
≤1∫0
2t∥∥x− x†
∥∥2dt =
∥∥x− x†∥∥2
= D(x,x†).
Vậy giả thiết 2. của định lý 2.2.5 thỏa mãn với L = 1.
3. Ta có F′1(x
†) = 2A1x†+ k2b = k2b và J′(x†) = 2x†. Do vậy chọn w =
2k2,
khi đó w ∈ Y ∗2 và J
′(x†) = F
′1(x†)∗w.
4. Cuối cùng L.‖w‖Y ∗2=
2k2. Để có L.‖w‖Y ∗
2< 1 ta chỉ cần chọn |k|>
√2.
Vậy ta có thể sử dụng phương pháp hiệu chỉnh đa tham số Tikhonov để giảibài toán trên.
36
Chương 3
Phương pháp chỉnh lặp songsong dạng Gauss - Newton
Trong chương này, chúng tôi đề cập tới phương pháp chỉnh lặp song song dạngGauss - Newton giải hệ phương trình toán tử. Nội dung chính của chương nàydựa trên công trình của Phạm Kỳ Anh và Vũ Tiến Dũng [1].
3.1 Giới thiệu
Nhiều bài toán nhận dạng dẫn đến việc giải hệ phương trình toán tử sau
Fi(x) = yi, 1≤ i ≤ N, (3.1.1)
trong đó Fi : X → Yi (toán tử phi tuyến), X ,Yi là các không gian Hilbert.
Trong trường hợp dữ liệu có nhiễu, tức là chỉ biết yδi sao cho
∥∥∥yδi − yi
∥∥∥≤δ , ta có hệ
Fi(x) = yδi 1≤ i ≤ N, (3.1.2)
Viết lại hệ (3.1.1) và (3.1.2) dưới dạng sau
F(x) = y, (3.1.3)
vàF(x) = yδ , (3.1.4)
37
trong đó F : X →Y :=Y1×Y2× ...×YN , F(x) = (F1(x),F2(x), ...,FN(x)),y =
(y1, ...,yN) ∈ Y và yδ = (yδ1 , ...,y
δN) ∈ Y .
Trong Y ta xét tính vô hướng và chuẩn tương ứng như sau: ∀u=(u1, ...,uN)∈Y và v = (v1, ...,vN) ∈ Y
< u,v >Y=N
∑i=1
< ui,vi >Yi,
‖u‖Y = (N
∑i=1
‖ui‖2Yi)1/2.
Một trong những phương pháp hiệu chỉnh hiệu quả cho bài toán đặt khôngchỉnh phi tuyến là phương pháp chỉnh lặp Gauss-Newton IRGNM (Iterativelyregularized Gauss - Newton mehtod), do Bakushinskii đề xuất vào năm 1992[6]. Sự hội tụ của phương pháp IRGNM được nghiên cứu bởi Blaschke [7],Hohage [9], Deuflhard [8], Jin Qin nia [10] và một số tác giả khác [11, 12, 13].
Gần đây phương pháp chỉnh lặp tuần tự Gauss - Newton được Burger vàKaltenbacher đề xuất [5]. Ý tưởng của phương pháp là thực hiện các bước lặpIRGNM xoay vòng cho các phương trình. Tuy nhiên khi số phương trình lớn,phương pháp Kaczmarz trở nên đắt đỏ trên máy tính với một bộ xử lý. Mặtkhác, do các thành tựu đạt được trong lĩnh vực phần cứng máy tính, các nhàkhoa học dễ dàng tiếp cận với máy tính hiệu năng cao, hoặc ít nhất là máytính cá nhân với bộ xử lý đa lõi. Vì vậy việc xây dựng các thuật toán songsong để giải hệ phương trình phi tuyến được quan tâm hơn trong cộng đồngkhoa học và kĩ thuật.
Sau đây ta giới thiệu phương pháp song song giải hệ phương trình toán tửphi tuyến đặt không chỉnh (3.1.1). Giả sử hệ đúng (3.1.1) có một nghiệm x†,không phụ thuộc liên tục vào về phải y, các toán tử Fi khả vi liên tục trongmột tập nào đó chứa x†, và x0 ∈ X là một điểm cố định được chọn thích hợp.Gọi xδ
n là xấp xỉ thứ n của x†. Theo phương pháp IRGNM ta tuyến tính hóahàm Tikhonov tại xδ
n ,
Jδn :=
∥∥∥F(x)− yδ∥∥∥
2
Y+αn
∥∥∥x− x0∥∥∥
2=
N
∑i=1
∥∥∥Fi(x)− yδi
∥∥∥2
Yi
+αn
∥∥∥x− x0∥∥∥
2,
38
và xét bài toán tối ưu không ràng buộc
Φδn (∆x) =
N
∑j=1
∥∥∥F′j(x
δn )∆x−
(yδ
j −Fj(xδn ))∥∥∥
2
Yj
+αn
∥∥∥xδn − x0+∆x
∥∥∥2→ min
∆x∈X.
Đây là một dạng toàn phương, nó đạt cực tiểu tại nghiệm của phương trình∂Φδ
n
∂∆x= 0. Tìm ∆x từ phương trình trên và ta được xấp xỉ tiếp theo xδ
n+1 =
xδn +∆x, nghĩa là
xδn+1 = xδ
n −(
N
∑i=1
F′i (x
δn )
∗F
′i (x
δn )+αnI
)−1
(N
∑i=1
F′i (x
δn )
∗(Fi(x
δn )− yδ
i
)+αn
(xδ
n − x0))
. (3.1.5)
Tuy nhiên thuật toán (3.1.5) là thuật toán tuần tự. Ta sẽ song song hóa phéplặp (3.1.5) như sau (xem trong [15]).
Thuận toán song song (PA).
1. Cho xδ0 và n := 0.
2. Tính toán đồng thời các thành phần thứ i : xδn+1,i,1≤ i ≤ N trên N bộ xử
lý.
xδn+1,i = xδ
n −(
F′i (x
δn )
∗F
′i (x
δn )+βnI
)−1
(F
′i (x
δn )
∗(Fi(x
δn )− yδ
i
)+βn
(xδ
n − x0))
, (3.1.6)
trong đó βn =αn
N.
3. Đặt
xδn+1 =
1N
N
∑i=1
xδn+1,i. (3.1.7)
4. Nếu n > Nδ (xác định như trong 3.2.4 dưới đây) thì dừng thuật toán,ngược lại thì n := n+1 và quay lại bước 2.
39
Nhận xét. Công thức (3.1.6) gồm đúng một bước lặp IRGNM áp dụngcho bài toán nhỏ (3.1.2). Tuy nhiên sự hội tụ của (3.1.5) không chỉ ra sự hộitụ của (3.1.6) và (3.1.7).
3.2 Sự hội tụ
Bổ đề 3.2.1.[7] Cho dãy không âm γnn thỏa mãn γn+1≤ a+bγn+cγ2n ,∀n≥
0 với a,b,c > 0 nào đó.
Đặt M+ := 1−b+√
(1−b)2−4ac2c ,M− := 1−b−
√(1−b)2−4ac2c .
Khi đó, nếu b+2√
ac < 1, γ0 ≤ M+ thì
γn ≤ l := maxγ0,M− .
Chứng minh. Rõ ràng γ0 ≤ l. Giả sử γk ≤ l, khi đó
γk+1− l ≤ a+bγk + cγ2k − l ≤ a+(b−1)l+ cl2 ≤ 0
vì l ∈ [M−,M+]. Do đó γk+1 ≤ l. Theo quy nạp ta có điều phải chứng minh.
Sau đây là cách chọn tham số và một số giả thiết.
Ta chọn tham số αn thỏa mãn
αn > 0,αn → 0 và 1≤ αn
αn+1≤ ρ với ρ > 1 nào đó.
Gọi Br(x0) là hình cầu đóng tâm x0 và bán kính r > 0 trong X . Trước khi vàođịnh lý hội tụ ta còn có một số giả thiết sau:
G1. Hệ (3.1.1) có nghiệm chính xác x† ∈ Br(x0) và Fi,(i = 1, ...,N) là cáchàm khả vi liên tục trong B2r(x0).
G2. Có điều kiện nguồn [5]
x†− x0 = ((F′
i (x†))∗F
′i (x
†))µvi (3.2.1)
Hơn nữa
40
i. Nếu 0< µ ≤ 12
thì Fi,(i = 1, ...,N) thỏa mãn đk sau đây [10, 13]: ∀x,z ∈B2r(x0),∀v ∈ X ,∃hi(x,z,v) ∈ X sao cho
(F′i (x)−F
′i (z))v = F
′i (z)hi(x,z,v)
và‖hi(x,z,v)‖ ≤ K0.‖x− z‖ .‖v‖ (3.2.2)
ii. Nếu12< µ ≤ 1 thì F
′i liên tục Lipschitz, tức là
∥∥∥(F ′i (x)−F
′i (x))
∥∥∥≤ L.‖x− x‖ , i = 1, ...,N,∀x, x ∈ B2r(x0) (3.2.3)
Định lý 3.2.2. Cho các giả thiết G1 và G2 và chỉ số dừng trong thuật
toán PA (3.1.6.) và (3.1.7.) thỏa mãn điều kiện tiên nghiệm
ηαµ+
12
Nδ≤ δN
µ+12 < ηα
µ+12
n , ∀n : 0≤ n < Nδ , (3.2.4)
trong đó η > 0 là tham số cố định.
NếuN∑
i=1‖vi‖ và η đủ nhỏ và xδ
0 đủ gần x† thì phương pháp (thuật toán song
song) PA (3.1.6.), (3.1.7.) hội tụ và ta có đánh giá∥∥∥xδ
n − x†∥∥∥= O(αµ
n ). (3.2.5)
Chứng minh. Giả sử xδn ∈ Br(x†). Đặt [7, 5, 9, 12] Ai := F
′i (x
†); Ain :=
F′i (x
δn ); en := xδ
n − x†; ein+1 := xδ
n+1,i − x†. Từ 3.1.6. ta suy ra
ein+1 = en − (A∗
inAin +βnI)−1(
A∗in(Fi(x
δn )− yδ
i )+βn(xδn − x0)
),
hay là
ein+1 = (A∗
inAin+βnI)−1(βn
(x0− x†
)+A∗
in
(yδ
i − yi
)
−A∗in
(Fi(x
δn )− yi−Ainen
)). (3.2.6)
41
Ta xét hai trường hợp sau:
Trường hợp 1:12< µ ≤ 1. Ta có
(A∗i Ai +βnI)−1− (A∗
inAin+βnI)−1 =
=−(A∗inAin +βnI)−1 [(A∗
i −A∗in)Ai +A∗
in (Ai −Ain)] (A∗i Ai +βnI)−1.
Khi đó
ein+1 =−βn(A
∗i Ai +βnI)−1(A∗
i Ai)µvi−
βn(A∗inAin +βnI)−1 [A∗
in (Ai −Ain)+(A∗i −A∗
in)Ai] (A∗i Ai +βnI)−1(A∗
i Ai)µvi
− (A∗inAin +βnI)−1
[A∗
in
(Fi(x
δn )− yδ
i −Ainen
)]. (3.2.7)
Chú ý, ta có một số đánh giá quen thuộc sau [7, 5, 12]
1. wni(γ) := β 1−γn
∥∥∥(A∗i Ai +βnI)−1(A∗
i Ai)γvi
∥∥∥≤ γγ(1− γ)1−γ ‖vi‖ ≤ ‖vi‖ ,∀γ ∈ (0;1].
2.∥∥∥(A∗
inAin +βnI)−1∥∥∥≤ 1
βn.
3.∥∥∥(A∗
inAin +βnI)−1A∗in
∥∥∥≤ 12β−1
2n .
4.∥∥∥Ai(A∗
i Ai +βnI)−1(A∗i Ai)
1/2∥∥∥≤ 1.
5. ‖A∗in −A∗
i ‖= ‖Ain −Ai‖=∥∥∥F
′i (x
δn )−F
′i (x
†)∥∥∥≤ L‖en‖.
Ta có∥∥∥Fi(x
δn )− yδ
i −Ainen
∥∥∥Yi
=∥∥∥Fi(x
δn )−Fi(x
†)−Fi′(xδ
n )en +Fi(x†)− yδ
i
∥∥∥Yi
≤
∥∥∥∥∥∥
1∫
0
(F
′i (xn
δ − ten)−F′n(x
δn ))
endt
∥∥∥∥∥∥+δ ≤ 1
2L‖en‖2+δ .
Do đó
∥∥∥(A∗inAin +βnI)−1
[A∗
in
(Fi(x
δn )− yδ
i −Ainen
)]∥∥∥≤ 12
βn−1
2
(12
L‖en‖2+δ).
(3.2.8)
42
Hơn nữa, đặt
T1 :=
βn
∥∥∥(A∗inAin+βnI)−1 [A∗
in (Ai −Ain)+(A∗i −A∗
in)Ai] (A∗i Ai +βnI)−1(A∗
i Ai)µvi
∥∥∥
≤ βn
∥∥∥(A∗inAin+βnI)−1A∗
in
∥∥∥ .‖Ai −Ain‖ .∥∥∥(A∗
i Ai +βnI)−1(A∗i Ai)
µvi
∥∥∥+
+βn
∥∥∥(A∗inAin +βnI)−1
∥∥∥ .‖A∗i −A∗
in‖∥∥∥Ai(A
∗i Ai +βnI)−1(A∗
i Ai)1/2∥∥∥
∥∥∥(A∗i Ai)
µ−1/2vi
∥∥∥ .
Do vậy
T1 ≤ L‖en‖(
12
β µ−1/2n wni(µ)+
∥∥∥(A∗i Ai)
µ−1/2vi
∥∥∥), (3.2.9)
và cuối cùng
βn
∥∥∥(A∗i Ai +βnI)−1(A∗
i Ai)µvi
∥∥∥= β µn wni(µ). (3.2.10)
Từ (3.2.6)-(3.2.10) ta có
∥∥ein+1
∥∥≤ β µn wni(µ)+L‖en‖
(12
β µ−1/2n wni(µ)+
∥∥∥(A∗i Ai)
µ−1/2vi
∥∥∥)
+12
βn−1
2
(12
L‖en‖2+δ)
Từ (3.1.7) và đánh giá trên ta có
‖en+1‖=1N
∥∥∥∥∥N
∑i=1
ein+1
∥∥∥∥∥≤
≤ 1N
N
∑i=1
[β µ
n wni(µ)+L‖en‖(
12
β µ−1/2n wni(µ)+
∥∥∥(A∗i Ai)
µ−1/2vi
∥∥∥)]
+12
βn−1
2
(12
L‖en‖2+δ).
Chọn γn := ‖en‖β µ
n, và chú ý điều kiện dừng 3.2.4 ta có δ < ηβ µ+1/2
n , 0≤ n <
43
Nδ . Kết hợp với bất đẳng thức cuối cùng, suy ra
γn+1 ≤1N
N
∑i=1
(βn
βn+1
)µwni(µ)+
L2N
‖en‖β µ
n
(βn
βn+1
)µβ µ−1/2
n
N
∑i=1
wni(µ)+
LN‖en‖β µ
n
(βn
βn+1
)µ N
∑i=1
∥∥∥(A∗i Ai)
µ−1/2vi
∥∥∥+ L4
β µ−1/2n
(‖en‖β µ
n
)2( βn
βn+1
)µ+
+η2
(βn
βn+1
)µ
≤ 1N
ρµN
∑i=1
wni(µ)+Lγn
2Nρµβ µ−1/2
0
N
∑i=1
wni(µ)+Lγn
Nρµ
N
∑i=1
∥∥∥(A∗i Ai)
µ−1/2vi
∥∥∥
+L4
β µ−1/20 ρµγ2
n +η2
ρµ
≤ ρµ
(1N
N
∑i=1
‖vi‖+η2
)
︸ ︷︷ ︸a
+
+Lρµ
(1
2Nβ µ−1/2
0
N
∑i=1
‖vi‖+1N
N
∑i=1
∥∥∥(A∗i Ai)
µ−1/2vi
∥∥∥)
︸ ︷︷ ︸b
γn+L4
β µ−1/20 ρµ
︸ ︷︷ ︸c
γ2n .
Vậyγn+1 ≤ a+bγn+ cγ2
n . (3.2.11)
NếuN∑
i=1‖vi‖ và η đủ nhỏ thì a,b nhỏ, do đó b+2
√ac ≤ 1 và
2aβ µ0 ≤ r
(1−b+
√(1−b)2−4ac
). (3.2.12)
Nếu xδ0 đủ gần x† thì
γ0 =‖e0‖β µ
0
=
∥∥∥xδ0 − x†
∥∥∥β µ
0
≤ M+ =1−b+
√(1−b)2−4ac
2c.
44
Theo Bổ đề 3.2.1 suy ra γn := ‖en‖β µ
n≤ l := maxγ0,M−.
Chú ý rằng M− =1−b−
√(1−b)2−4ac2c = 2a
1−b+√
(1−b)2−4ac.
Đặc biệt∥∥∥xδ
n+1− x†∥∥∥= ‖en+1‖= γn+1β µ
n+1 ≤ lβ µ0 .
Ngoài ra γ0β µ0 =
∥∥∥x0δ − x†
∥∥∥≤ r, và từ (3.2.12) suy ra
M−β µ0 =
2aβ µ0
1−b+√(1−b)2−4ac
≤ r.
Do đó lβ µ0 ≤ r. Vậy xδ
n+1 ∈ Br(x†).
Vậy trong trường hợp12< µ ≤ 1 thì ‖en‖ ≤ lβ µ
n = lαµn
Nµ = O(αµ
n).
Trường hợp 2: 0< µ ≤ 12
. Ta thấy rằng
Fi(xδn )−yi−F
′i (x
δn )(x
δn −x†)=
1∫
0
(F
′i (x
†+ t(xδn − x†))−F
′i (x
δn ))(xδ
n − x†)dt
=
1∫
0
F′i (x
δn )h
itdt = F
′i (x
δn )
1∫
0
hitdt
trong đó hit := hi
(x†+ t(xδ
n − x†),xδn ,x
δn − x†
)và∥∥∥∥
1∫0
hitdt
∥∥∥∥Yi
≤ K02
∥∥∥xδn − x†
∥∥∥2.
Từ (3.2.6), ta có
∥∥ein+1
∥∥≤ βn
∥∥∥(A∗inAin +βnI)−1
(x0− x†
)∥∥∥+∥∥∥(A∗
inAin +βnI)−1A∗in
(yδ
i − yi
)∥∥∥
+∥∥∥(A∗
inAin +βnI)−1A∗inAin
∥∥∥ .K0
2
∥∥∥xδn − x†
∥∥∥2.
Từ đó suy ra
∥∥ein+1
∥∥≤ βn
∥∥∥(A∗inAin+βnI)−1
(x0− x†
)∥∥∥+ δ2
β−1/2n +
K0
2
∥∥∥xδn − x†
∥∥∥2.
Kết hợp bất đẳng thức này với điều kiện nguồn (3.2.1) và đánh giá [10]
βn
∥∥∥(A∗inAin+βnI)−1− (A∗
i Ai +βnI)−1∥∥∥≤ 2K0
∥∥∥xδn − x†
∥∥∥ ,
45
ta suy ra
∥∥ein+1
∥∥≤ βn
∥∥∥(A∗i Ai +βnI)−1(A∗
i Ai)µvi
∥∥∥+2K0
∥∥∥xδn − x†
∥∥∥ .∥∥∥x0− x†
∥∥∥+ δ2
β−1/2n
+K0
2
∥∥∥xδn − x†
∥∥∥2≤ β µ
n wni(µ)+2K0‖en‖ .∥∥(A∗
i Ai)µvi∥∥+ δ
2β−1/2
n +K0
2
∥∥∥xδn − x†
∥∥∥2.
Đặt γn =‖en‖β µ
n, kết hợp với bất đẳng thức cuối cùng, suy ra
γn+1 =‖en+1‖β µ
n+1
≤ 1N
N
∑i=1
∥∥ein+1
∥∥β µ
n+1
≤ 1N
N
∑i=1
(βn
βn+1
)µwni(µ)+
+2K0
N‖en‖β µ
n
(βn
βn+1
)µ N
∑i=1
∥∥(A∗i Ai)
µvi∥∥+ δ
2β−1/2
n .1
β µn+1
+K0
2
(‖en‖β µ
n
)2 β 2µn
β µn+1
.
Kết hợp với điều kiện dừng (3.2.4), ta suy ra
γn+1 ≤1N
ρµN
∑i=1
wni(µ)+2K0
Nρµγn
N
∑i=1
∥∥(A∗i Ai)
µvi∥∥
+η2
β−1/2n β µ+1/2
n1
β µn+1
+K0
2γn
2ρµβ µ0 .
Do đóγn+1 ≤ a+bγn+ cγ2
n ,
trong đó a = ρµ(
1N
N∑
i=1wni(µ)+ η
2
);b = 2K0ρ µ
N
N∑
i=1
∥∥(A∗i Ai)
µvi∥∥;c =
K0ρ µβ µ0
2 .
Tương tự như trong trường hợp 1, nếuN∑
i=1‖vi‖ và η đủ nhỏ và xδ
0 đủ gần
x† thì xδn+1 ∈ Br
(x†)
và∥∥∥xδ
n − x†∥∥∥= O
(αµ
n)
với n ≥ 0.
3.3 Ví dụ minh họa
Giải hệ phương trình
Fi(x1, . . . ,xm) = yi, i = 1,2, . . . ,N. (3.3.1)
46
với m ẩn số x1, . . . ,xm và N phương trình m >> N. Fi : Rm → R khả vi Fréchettrong lân cận nghiệm x† của hệ (3.3.1), và lấy x0 = 0. Ta viết lại dạng véctơ
F(x) = y. (3.3.2)
trong đó F : Rm → RN , F = (F1, . . . ,FN) khả vi Fréchet, x = (x1, . . . ,xm)T ,
y = (y1, . . . ,yN)T .
Giả sử ta có hệ thống máy tính gồm N bộ xử lý. Theo (3.1.6) và (3.1.7), ta sẽtính toán đồng thời
xδn+1,i = xδ
n −F
′i (x
δn )
T(
Fi(xδn )− yδ
i
)+βnxδ
n∥∥F
′i (x
δn )∥∥2
+βn
, i = 1, · · · ,N. (3.3.3)
và đặt
xδn+1 =
1N
N
∑i=1
xδn+1,i. (3.3.4)
Cụ thể, với N = 4 và m = 104 hoặc m = 5.107. Xét các hàm Fi(x) sau
F1(x) = x21+ x2
2+ ...+ x2m = xT A1x
F2(x) = x1x2+ x2x3+ ...+ xm−1xm = xT A2x
F3(x) = x1x3+ x2x4+ ...+ xm−2xm = xT A3x
F4(x) = x1x4+ x2x5+ ...+ xm−3xm = xT A4x
trong đó A1 = I và Al = (ali j)m×m, l = 2,3,4 với
ali j =
12
nếu |i− j|= l −1
0 nếu |i− j| 6= l−1, l = 2,3,4.
Bây giờ ta đi kiểm tra các giả thiết và điều kiện nguồn G1 và G2 trongthuật toán song song PA.
1. Rõ ràng các không gian X = Rm,Yj = R, j = 1,2,3,4 là các không gianHilbert. Trên đó ta xác định chuẩn Euclid.
2. Giả thiết G1. Với dữ liệu chính xác y = (1,0,0,0)T thì hệ có nghiệmchính xác là x† = (1,0, . . . ,0)T , các hàm Fj đều khả vi liên tục trên Rm.
47
3. Giả thiết G2. Trong trường hợp này với µ = 1 và x0 = 0, các hàm F′j
đều liên tục Lipschitz. Thật vậy do các hàm Fj(x),1 ≤ j ≤ 4 là các hàm đathức nên nó khả vi Fréchet đến cấp 2 và ta có
F′j(x) = 2A jx và F ”
j (x) = 2A j,1≤ j ≤ 4. (3.3.5)
và∥∥∥F ”
j (x)∥∥∥=
∥∥2A j∥∥= 2,1≤ j ≤ 4. Do đó theo định lý giá trị trung bình, ta
có∥∥∥F
′j(x)−F
′j(y)∥∥∥≤ sup
t∈[0;1]
∥∥∥F′′j (y+ t(y− x))
∥∥∥ .‖x− y‖= 2‖x− y‖ .
Mặt khác
F′j(x
†)∗F
′j(x
†) = 4∥∥∥A jx
†∥∥∥
2=
4 khi j = 1
1 khi j 6= 1(3.3.6)
Do đó điều kiện nguồn (3.2.1) nghiệm đúng nếu chọn v1 =14
x† và v2 = v3 =
v4 = x†.
Sau đây ta so sánh phương pháp IRGNM và phương pháp song songPIRGNM của nó. Các tính toán được thực hiện trên máy IBM1350 với 8node, mỗi node chứa hai nhân Intel Xeon dual core 3.2 GHz, 2GBRam.
Theo (3.2.5) thì tốc độ hội tụ của thuật toán PIRGNM là O(αn), tốc độhội tụ này tương tự như thuật toán IRGNM. Tuy nhiên trong mỗi bước lặpIRGNM ta phải giải hệ tuyến tính cấp m×m, tính toán này tốn nhiều thờigian khi m lớn. Trong khi đó các thành phần xn+1,i được tính toán song songmột cách dễ dàng theo (3.3.2). Do đó thuật toán (3.3.2), (3.3.3) cho ta kết quảvới thời gian tính toán tiết kiệm hơn.
Sau đây ta tính toán cấp chính xác của thuật toán IRGNM và PIRGNMdùng sai số tương đối (the relative error norm (REN)), nghĩa là
err :=∥∥∥xn− x†
∥∥∥/∥∥∥x†∥∥∥ .
Trong ví dụ này∥∥x†∥∥= 1, do đó err :=
∥∥xn − x†∥∥.
Một số kí hiệu.m : số ẩn của hệ phương trình (3.3.1).
48
Tpi : thời gian tính toán của thuật toán PIRGNM (một phần triệu giây).Ti : thời gian tính toán của thuật toán IRGNM (một phần triệu giây).Tp : thời gian tính toán song song tính theo giây trên hệ thống máy tính có p
bộ vi xử lý.Ts : thời gian tính toán tuần tự tính theo giây.
Sp =Ts
Tp: Sự tăng tốc.
Ep =Sp
p: hiệu năng tính toán song song khi dùng hệ thống máy tính có p bộ
vi xử lý.
Trường hợp 1: m = 104,αn = 0.1∗0.25n.
Bảng 3.1 cho ta sai số tương đối của thuật toán PIRGNM và IRGNM vàthời gian tính toán song song cũng như là tuần tự.
αn = 0.1∗0.25n
m δ∥∥xn− x†
∥∥p
∥∥xn− x†∥∥
s Tpi Ti
0.0026753 0.0033257 17.5 25400.0003565 0.0003905 26.25 5070
0 0.000085 0.000097 45 63400.0000047 0.0000061 57.5 8240
10000 0.00000041 0.00000043 66.2 95.100.00284 0.00316 22.5 26000.00168 0.00172 25 3500
0.001 0.000576 0.000606 31.2 52100.000354 0.000362 37.5 65100.000313 0.000315 43.7 7810
Bảng 3.1: Sai số tương đối của thuật toán PIRGNM và IRGNM.
Hình 3.1 và 3.2 cho ta mối liên hệ giữa sai số tương đối và thời gian tínhtoán của thuật toán IRGNM và PIRGNM khi δ = 0 và δ = 0.001 tương ứng.
Trên hình vẽ ta thấy rằng thực hiện thuật toán PIRGNM tốt hơn nhiềuthuật toán IRGNM kể cả trường hợp có nhiễu cũng như không có nhiễu.
Hình 3.3 cho ta mối liên hệ giữa sai số tương đối và thời gian tính toáncủa thuật toán PIRGNM đối với các mức nhiễu δ khác nhau.
49
0 0.5 1 1.5 2 2.5 3 3.5 4
x 10−3
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
||xn−x+||
Tho
i gia
n (p
han
trie
u gi
ay)
IRGNM
PIRGNM
Hình 3.1: So sánh giữa PIRGNM và IRGNM với δ = 0
Trường hợp 2: m = 5∗ 107,αn = 0.1∗ 0.25n. Bảng 3.2 cho ta tốc độ vàhiệu suất tính toán của thuật toán PIRGNM.
50
0 0.5 1 1.5 2 2.5 3 3.5 4
x 10−3
0
1000
2000
3000
4000
5000
6000
7000
8000
||xn−x+||
Tho
i gia
n (p
han
trie
u gi
ay) IRGNM
PIRGNM
Hình 3.2: So sánh giữa PIRGNM và IRGNM với δ = 0.001
Tốc độ và hiệu suất của thuật toán PIRGNM
m Processors Thời gian Sp Ep
1 17850000000 2 124 1.4 0.7
4 90 2 0.5
Bảng 3.2: Tốc độ và hiệu suất của thuật toán PIRGNM
51
10 20 30 40 50 60 700
0.5
1
1.5
2
2.5
3x 10
−3
Thoi gian (phan trieu giay)
||x n
−x+
||
δ =0 δ =0.001
Hình 3.3: Đồ thị về sai số tương đối REN và thời gian thực hiện của PIRGNM
52
KẾT LUẬN
Luận văn nghiên cứu ba phương pháp hiệu chỉnh giải hệ phương trình toántử, bao gồm:
i. Phương pháp hiệu chỉnh đa tham số do Torsten Hein đề xuất, dựa trênviệc cực tiểu phiếm hàm ổn định J(x) với điều kiện độ lệch của cácphương trình nằm trong giới hạn sai số cho phép.
ii. Phương pháp hiệu chỉnh đa tham số Tikhonov, trong đó phiếm hàm làmtrơn Tikhonov chứa tham số hiệu chỉnh α và các tham số - trọng sốλi, i = 1, ..., l. Trong phần này học viên đã dựa vào hướng tiếp cận tổngquát của Torsten Hein để mở rộng một kết quả đã biết của GS NguyễnBường và NCS Nguyễn Đình Dũng.
iii. Phương pháp chỉnh lặp song song Gauss - Newton do các tác giả PhạmKỳ Anh và Vũ Tiến Dũng đề xuất.
Luận văn có thể phát triển theo các hướng sau:
a. Thiết lập sự hội tụ của một số phương pháp tuần tự và song song giải hệphương trình toán tử dưới các giả thiết tổng quát của Torsten Hein.
b. Tìm các ứng dụng của cách tiếp cận của Torsten Hein cho một số bài toánđặt không chỉnh thường gặp trong thực tế.
53
Tài liệu tham khảo
[1] P. K. Anh, V. T. Dung, A parallel version of the iteratively regularizedGauss - Newton method. Submitted for publication.
[2] T. Hein, Convergence rates for multi - parameter regularization in Ba-nach spaces. Int. J. Pure Appl. Math. 43(4)(2008) 593-614.
[3] N. Buong, N. D. Dung, Regularization for a common solution of a sys-tem of nonlinear ill-posed equations, Int. J. Math. Anal., 34(3)(2009)1693-1699.
[4] D. Duvelmeyer, B. Hofmann, A multi-parameter regularization ap-proach for estimating parameters injump diffusion processes. J. Inverse
ill-posed Probl., 14(9)(2006) 861-880.
[5] M. Burger, B. Kaltenbacher, Regularizing Newton-Kaczmarz methodsfor nonlinear ill-posed problems, SIAM J. Numer. Anal., 44 (2006) 153-182.
[6] A. B. Bakushinskii, The problem of the convergence of the intera-tively regularized Gauss-Newton mehtod, Comput. Math. Math. Phys.,32 (1992) 1353-1359.
[7] B. Blaschke, A. Neubauer and O. Sherzer, On convergence rates for theiteratively regularized Gauss-Newton method, IMA J. Numer. Anal., 17(1997) 421-436.
54
[8] P. Deuflhard, H.W. Engl and O. Scherzer, A convergence analysis ofiterative methods for the solution of nonlinear ill-posed problems underaffinely invariant conditions, Inverse Problems, 14 (1948) 1081-1106.
[9] T. Hohage, Logarithmic convergence rates of the iteratively regularizedGauss-Newton mehtod for an inverse potential and inverse scatteringproblem, Inverse Problems, 13 (1997) 1279-1299.
[10] Q. N. Jin, On the iteratively regularized Gauss-Newton mehtod for solv-ing nonlinear ill-posed problems, Math. Comput., 69(2000) 1603-1623.
[11] H. W. Engl, K. Kunisch and A. Neubauer, Convergence rates forTikhonov regularization of nonlinear ill-posed problems, Inverse Prob-
lems, 5(1989) 523-540.
[12] B. Kaltenbacher, A. Neubauer, and O. Scherzer, Iterative regularization
methods for nonlinear ill-posed problems, Walter de Gruyter, Berlin -New York, 2008.
[13] O. Sherzer, H. W. Engl and K. Kunisch, Optimal a posteriori param-eter choice for Tikhonov regularization for solving nonlinear ill-posedproblems, SIAM J. Numer. Anal., 30 (1993) 1796-1838.
[14] K. Kunisch, W. Ring, Regularization of nonlinear ill-posed problems
with closed operators, Numer. Funct. Anal. Optimization (1993).
[15] T. Lu, P. Neittaanmaki, X. C. Tai, A parallel splitting up method forpartial differential equations and its application to Navier - Stokes equa-tions, RAIRO Math. modell. Numer. Anal., 26(1992) 673-708.
[16] B. Hofmann : Regularization for applied inverse and ill-posed problems.Teubner Verlag Leipzig (1986).
55
