dr Marko Petkovi´c dexterofnis@gmail - Dobrodošlitesla.pmf.ni.ac.rs/people/DeXteR/popular/13PSCSciComp.pdf · Uvod Analiza greˇsaka Nelinearne jednaˇcine Sistemi linearnih jednaˇcina

Uvod Analiza gresaka Nelinearne jednacine Sistemi linearnih jednacina Numericka integracija Diferencijalne jednacine

Numericka matematika

dr Marko [email protected]

Departman za racunarske nauke,Prirodno-Matematicki fakultet u Nisu

SciComp, Petnica, 2013

dr Marko Petkovic ISP



Uvod




Uvod

MAT ∩ RAC ∩ ELE ∩ PHY ∩AST ⊃ Modeliranje

Problem → Konstrukcija modela → Odabir metoda → Resavanje → Zakljucak

U oznacenim fazama na scenu stupa numericka matematika!!

Specijalizovani softver za numericka i simbolicka (naucna) izracunavanja:

1. Mathematica, Matlab, Maple, MuPad, itd.

2. LAPACK, LINPACK, EISPACK, DEPAC, PDEPAC, itd.




Analiza gresaka




Analiza gresaka

V1

V2

P = 101.325 kPa ∆P = 0.1 kPa

V = 0.100 dm3 ∆V = 0.001 dm3

R = 8.314Jmol−1K−1 ∆R = 0.001Jmol−1K−1

n = 0.00420 mol ∆n = 10−6 mol

Da li vazi jednacina idealnog gasa?

T =PV

nR= 290.173 K = 17.02◦C.

∆T =

(∆P

P+

∆V

V+

∆n

n+

∆R

R

)

T

= 3.91 K.

T = 17◦C± 4◦C

Izmerene vrednosti za zapremine gasaV i V /2: T1 = 15◦C i T2 = 19◦C

Zakljucak: Merenja ”upadaju” u opseg,pa ne mozemo zakljuciti da T zavisi odV !!




”Nezgodan” primer

Aritmetika u pokretnom zarezu: A = (−1)z · 1.f · 2e .

Jednostruka prec. (single, float):

◮ 1 bit za z

◮ 8 bita za E = e + 127

◮ 23 bita za f

Dvostruka prec. (double):

◮ 1 bit za z

◮ 11 bita za E = e + 1023

◮ 52 bita za f

Zadatak: Izracunati

f = 333.75y6 + x2(11x2y2 − y6 − 121y4 − 2) + 5.5y8 + x/(2y)

za x = 77617 i y = 33096.

f = 1.172603 . . . jednostruka prec.f = 1.1726039400531 . . . dvostruka prec.

...dok je stvarna vrednost f = −0.8273960599!!!

Resenje: Simbolicko izracunavanje (Mathematica, Maple, itd.)




Nelinearne jednacine




Nelinearne jednacine

Primer: Nelinearno elektricno kolo.

Struja kroz diodu: I = Is(eV/VT − 1).

Jednacina kola: I = Is(e(E−RI )/VT − 1)

Nelinearna jednacina po I koju resavamo nu-mericki.

Opsti oblik:

f(x) = 0

gde je f : [a, b] → R data funkcija.

C[a, b] - skup neprekidnih funkcija na[a, b].

Teorema o meduvrednosti: Ako je f ∈C[a, b] i f (a)f (b) < 0 onda f (x) = 0ima bar jedno resenje x∗ ∈ [a, b].




Metod polovljenja intervala

Pretpostavka: f ∈ C[a, b] i f (a)f (b) <0. Sledi da postoji p ∈ [a, b] za koje jef (p) = 0.

pk =ak + bk

2

[a0, b0] ⊆ [a1, b1] ⊆ · · ·

bk − ak =b0 − a0

2k→ 0, k → +∞

pk → p, k → +∞

1. f (ak )f (pk ) < 0 ⇒ x∗ ∈ [ak , pk ] ⇒ ak+1 = ak , bk+1 = pk

2. f (bk )f (pk ) < 0 ⇒ x∗ ∈ [pk , bk ] ⇒ ak+1 = pk , bk+1 = bk




Algorithm 1 Metod polovljenja intervala

Input: Funkcija f , tacke a0 i b0 takve da jef (a0)f (b0) < 0 i tacnost ǫ.

1: k := 02: while |bk − ak | < ǫ do

3: sk := (ak + bk )/24: if f (sk ) = 0 then

5: return sk6: else if f (sk)f (ak ) < 0 then

7: ak+1 := ak , bk+1 := sk8: else

9: bk+1 := bk , ak+1 := sk10: end if

11: k := k + 112: end while

13: return sk

Primer:

f (x) = cos x − 2x = 0

na segmentu [a, b] = [−0.5, 0.5] za ǫ =10−3

k ak bk pk2 −0.5 0.5 03 0 0.5 0.254 0.25 0.5 0.3755 0.375 0.5 0.43756 0.4375 0.5 0.468757 0.4375 0.46875 0.4531258 0.4375 0.453125 0.4453139 0.445313 0.453125 0.44921910 0.449219 0.453125 0.45117211 0.449219 0.451172 0.450195

Resenje: p = 0.450.




Opsti iterativni metodi

Niz xn koji tezi resenju x∗.

f (x) = 0 ⇔ x = g(x)

Metod proste iteracije: xn+1 = g(xn). Vrednost x0 se zadaje na pocetku.

Teorema. Ako je g : [a, b] → [a, b] i |g(x)− g(y)| ≤ q|x − y | za neko q ∈ [0, 1), ondaxn → x∗.

Posledica. Ako je g : [a, b] → [a, b] i |g ′(x)| ≤ q < 1 za svako x ∈ [a, b] i nekoq ∈ [0, 1), onda xn → x∗.

Neka je en = |xn − x∗|. Akoen+1

ern→ C 6= 0 onda je metod xn ima red konvergencije

jednak r .

Za metod polovljenja intervala je r = 1 i C = 1/2.




Newtonov metod (metod secice)

Jednacina tangente: y − f (x0) ≈ f ′(x0)(x − x0)

Ako je y = 0, onda je x = x0 −f (x0)

f ′(x0). Odavde dobijamo metod:

xn+1 = xn −f (xn)

f ′(xn)dr Marko Petkovic ISP



Konvergencija i ”nezgodni” slucajevi

Teorema. Ako je f ′′ ∈ C(a, b), f (x) = 0 ima jedinstveno resenje na [a, b] i f ′(x) 6= 0za svako x ∈ [a, b], onda postoji ǫ > 0 takvo da xn → x∗ za svako x0 ∈ [x∗ − ǫ, x∗ + ǫ].

Startnu vrednost x0 biramo da bude ”blizu” resenja x∗. Metod je reda r = 2.

Dva ”nezgodna” slucaja:




Primer

Jednacina f (x) = (cos x)/2− x = 0. Metod:

xn+1 = xn −f (xn)

f ′(xn)= xn +

(cos xn)/2− xn

(sin xn)/2 + 1.

Primenom metoda za startnu vrednost x0 = 0.5 dobijamo sledece iteracije:

n xn0 0.5000000000000000000000001 0.5000000000000000000000002 0.4506266930772430465675173 0.4501836475777747425007334 0.4501836112948738164089685 0.450183611294873573036539

Izlazni kriterijumi: |xn+1 − xn| < ǫ ili|xn+1 − xn|

|xn|< ǫ ili |f (xn)| < ǫ.

Zakljucak: Newtonov metod konvergira kada je x0 dovoljno blizu tacnog resenja x∗.




Sistemi jednacina (metod Newton-Kantorovica)

Sistem dve nelinearne jednacine:

f1(x , y) = 0 f2(x , y) = 0

U tacki (x0, y0) je

f1(x , y) ≈ f1(x0, y0) +∂f1

∂x(x − x0) +

∂f1

∂y(y − y0)

f2(x , y) ≈ f2(x0, y0) +∂f2

∂x(x − x0) +

∂f2

∂y(y − y0)

odnosno u vektorskom obliku

[f1(x , y)f2(x , y)

]

≈

[f1(x0, y0)f2(x0, y0)

]

+

∂f1

∂x

∂f1

∂y∂f2

∂x

∂f2

∂y

·

[x − x0y − y0

]

.

Parcijalne izvode racunamo u (x0, y0). Tako dobijamo metod:

[xn+1

yn+1

]

=

[xnyn

]

−

∂f1

∂x(xn, yn)

∂f1

∂y(xn, yn)

∂f2

∂x(xn, yn)

∂f2

∂y(xn, yn)

−1[f1(xn, yn)f2(xn, yn)

]




Opsti slucaj

Sistem n jednacina sa n nepoznatih:

f1(x1, x2, . . . , xn) = 0

f2(x1, x2, . . . , xn) = 0

.

.

.

fn(x1, x2, . . . , xn) = 0

Metod: x(k+1) = x(k) −W (x(k))−1f (x(k)) , W (x) =

[∂fi

∂xj(x)

]

je Jacobijeva mat.

Ekvivalentno:

1. Resiti sistem linearnih jednacina: W (x(k))δ(k) = f (x(k)).2. x(k+1) = x(k) − δ(k).

Red konvergencije je r = 2. Metod konvergira kada je (x0, y0) dovoljno blizu (x∗, y∗).

Izlazni kriterijumi: ‖x(k+1) − x(k)‖ < ǫ ili‖x(k+1) − x(k)‖

‖x(k)‖< ǫ ili ‖f (x(k))‖ < ǫ.

Norma (intenzitet) vektora: ‖x‖ =√

x21 + x22 + . . .+ x2n




Sistemi linearnih jednacina




Sistemi linearnih jednacina

Elektricno kolo:

Kirchhoffovi zakoni:

5i1 + 5i2 = V

i3 − i4 − i5 = 0

2i4 − 3i5 = 0

i1 − i2 − i3 = V

5i2 − 7i3 − 2i4 = 0

Opsti slucaj:

a11x1 + a12x2 + . . .+ a1nxn = b1

a21x1 + a22x2 + . . .+ a2nxn = b2

.

.

.

am1x1 + am2x2 + . . .+ amnxn = bm




Matricni oblik

U matricnom obliku: Ax = b gde je

A =

a11 a12 · · · a1na21 a22 a2n...

. . ....

am1 am2 · · · amn

, b =

b1b2...bm

, x =

x1x2...xn

.

Metodi:

1. Direktni (Gaussov, LU faktorizacija, itd.)

2. Iterativni (Jacobijev, Gauss-Seidelov, itd.)




Gaussov metod

a(1)11 x1 + a

(1)12 x2 + . . .+ a

(1)1n xn = b

(1)1

a(1)21 x1 + a

(1)22 x2 + . . .+ a

(1)2n xn = b

(1)2

.

.

.

a(1)n1 x1 + a

(1)m2x2 + . . .+ a

(1)nn xn = b

(1)n

→

a(1)11 x1 + a

(1)12 x2 + . . .+ a

(1)1n xn = b

(1)1

a(2)22 x2 + . . .+ a

(2)2n xn = b

(2)2

.

.

.

a(2)n2 x2 + . . .+ a

(2)nn xn = b

(2)n

Prvu vrstu mnozimo sa mi1 =a(1)i1

a(1)11

i oduzimamo od i-te.

Pozeljno je zameniti vrste i kolone tako da element a11 bude sto veci po apsolutnojvrednosti!!




Gaussov metod

Na kraju dobijamo trougaoni sistem:

a(1)11 x1 + a

(1)12 x2 + a

(1)13 x3 + . . .+ a

(1)1n xn = b

(1)1

a(2)22 x2 + a

(2)23 x3 + . . .+ a

(2)2n xn = b

(2)2

a(3)33 x3 + . . .+ a

(3)3n xn = b

(3)3

. . ....

a(n)nn xn = b

(n)n

koji se lako resava:

xn =b(n)n

a(n)nn

, xk =1

a(k)kk

b(k)k

−n∑

i=k+1

a(k)ki

xi

, k = n − 1, . . . , 1.




Algorithm 2 Gaussov metod za resavanje sistema linearnih jednacina

Input: Matrica sistema A = [aij ] ∈ Rn×n i vektor desne strane b ∈ R

n.1: var(i) := i , za i = 1, 2, . . . , n.2: for k := 1 to n do

3: (r∗, s∗) := argmaxk≤r,s≤n|ars |4: Zameni k-tu i r∗-tu vrstu matrice A

5: Zameni k-tu i s∗-tu kolonu matrice A

6: Zameni vrednosti var(l) i var(s∗)7: for i := k + 1 to n do

8: bi := bi −aik

akkbk

9: for j := k to n do

10: aij := aij −aik

akkakj

11: end for

12: end for

13: end for

14: for i := n downto 1 do

15: xvar(i) :=

1

aii

bi −n∑

j=i+1

aijxvar(j)

16: end for

17: return x = (x1, x2, . . . , xn)




[Ne]stabilnost resenja

Posmatrajmo sledeci sistem linearnih jednacina:

0.130x + 0.270y = 0.390

0.858x + 1.781y = 2.574

Resenje ovog sistema je x = 3 i y = 0. Ako umesto 2.574 stavimo 2.575, dobijamoresenja x = 5.076923 i y = −1!

Ovakvi sistem su lose uslovljeni (eng. ill-conditioned).

Kondicioni broj: cond(A) = ‖A‖ · ‖A−1‖.




Numericka integracija




Pojam integrala

∫ b

a

f (x)dx = limδτ→0

R(ξ, τ), R(ξ, τ) =

Nτ∑

i=1

f (ξi )∆i .

Veliki broj integrala nije analiticki resiv. Npr:

∫ 1

0e−x2dx .




Trapezna formula

∫ b

a

f (x)dx ≈ h

[1

2f (x0) + f (x1) + . . .+ f (xn−1) +

1

2f (xn)

]

.

Greska: R2(f , h) = (b − a)h2

12maxx∈[a,b] |f

′′(x)|




Simpsonova formula

Vazi za n parno. Provlacimo parabolu kroz tacke (x2i , f (x2i )), (x2i+1, f (x2i+1)) i(x2i+2, f (x2i+2)).

∫ b

a

f (x)dx ≈h

3

[

f (x0) + 4f (x1) + 2f (x2) + 4f (x3) + . . .+ 2f (xn−2) + 4f (xn−1) + f (xn)]

Greska: R3(f , h) = (b − a)h4

180maxx∈[a,b] |f

(4)(x)|.




Poredjenje...

Izracunajmo integral∫ 1

0esin xdx

primenom trapezne i Simpsonove formule sa tacnoscu ǫ = 10−5.

Trapezna formula:

|f ′′(x)| =∣∣∣e

sin x cos2 x − esin x sin x∣∣∣

≤ 2∣∣∣e

sin x∣∣∣ ≤ 2e.

n ≥

⌈√e

6ǫ

⌉

= 213

Rezultat: 1.6318700446821Greska: 4.36 · 10−7

Simpsonova formula:

|f (4)(x)| ≤ 15e.

n ≥

⌈

3

√e

192ǫ

⌉

= 12

Rezultat: 1.6318696084181Greska: 8.8 · 10−9

Rezultat bolji dva reda velicine za 11x manje tacaka!!!




Richardsonova ekstrapolacija

Trapezna formula:

F (h) = h

(1

2f (x0) + f (x1) + . . .+ f (xn−1) +

1

2f (xn)

)

= a0 + a1h2 + a2h

4 + a3h6 + . . .

Zadatak: eliminisati a1h2 pomocu F (h) i F (h/2):

F1(h) = F (h/2) +F (h/2)− F (h)

41 − 1= a0 + a′2h

4 + . . . , a′2 = −3

4a2.

Ovu ideju i dalje primenjujemo i racunamo

F2(h) = F1(h/2) +F1(h/2)− F1(h)

42 − 1= a0 + a′′6 h

6 + . . .




Algorithm 3 Rombergov metod za numericku integraciju

Input: Funkcija f (x), interval integracije [a, b], pocetni broj cvorova n i broj primenaRichardsonove ekstrapolacije N.

1: Izracunati Tm,1 = F (h/2m−1), m = 1, 2, . . . ,N + 1 na osnovu Trapezne formule.2: for m := 2 to N + 1 do

3: for k := 1 to m − 1 do

4: Tm,k+1 := Tm,k +Tm,k − Tm−1,k

4k − 1.

5: end for

6: end for

7: return TN+1,N+1

Tm,1 = F (h/2m−1) =h

2m−1

1

2f (a) +

2m−1n−1∑

i=1

f (a+ ih/2m−1) +1

2f (b)

Rekurentna formula:

Tm+1,1 =1

2

Tm,1 +

2m−1n−1∑

i=0

f (a+ (2i + 1)h/2m)

.




Primer

Izracunajmo vrednost integrala

I =

10∫

0

e−xdx .

primenom Rombergovog metoda.

h Tm,1 Tm,2 Tm,3 Tm,4 Tm,5 Tm,6

10/20 5.0002270

10/21 2.5338032 1.7116620

10/22 1.4734968 1.1200613 1.0806213

10/23 1.1268877 1.0113514 1.0041040 1.0028895

10/24 1.0322952 1.0007644 1.0000586 1.9999944 0.9999830

10/25 1.0080790 1.0000070 0.9999565 0.9999549 0.9999547 0.9999547

Primetimo da je vrednost T6,6 za 5 reda velicine tacnija od T6,1 (bez ekstrapolacije)sa istim skupom podataka.




Diferencijalne jednacine




Primer

Matematicko klatno:

θ′′ = −g

lsin θ, θ′(0) = 0, θ(0) = θ0.

Opsti slucaj:y ′ = f (t, y), t ∈ [a, b], y(a) = α.

Sistemi:

y ′1 = f1(t, y1, y2, . . . , yn)

y ′2 = f2(t, y1, y2, . . . , yn)

..

.

y ′n = fn(t, y1, y2, . . . , yn)

Vecina diferencijalnih jednacina je analiticki neresiva.

Numericko resavanje: dobiti skup vrednosti (ti , yi ), i = 1, 2, . . . ,N koje priblizno lezena grafiku y(t).




Eulerov metod

Zadatak: Na osnovu poznate (aproksimativne) vrednosti za y(t), proceniti y(t + h).

Najjednostavnije:

y(t + h) ≈ y(t) + hy ′(t) = y(t) + hf (t, y(t)).

Neka je ti = a+ ih, gde je h =b − a

Nkorak. Neka je yi = y(ti ):

yi+1 = y(ti + h) ≈ yi + hf (ti , yi ).

Eulerov metod:

w0 = α

wi+1 = wi + hf (ti ,wi )




Greska Eulerovog metoda

Teorema. Ako je |f (t, y1)− f (t, y2)| ≤ L|y1 − y2| i |y′′(t)| ≤ M, onda je

|y(ti )− wi | ≤hM

2L

[

eL(ti−a) − a]

.

Zakljucak: Greska linearno opada sa h, ali eksponencijalno raste po i , tj. po t.

Greska odsecanja τi+1(h) =yi+1−hf (ti ,yi )

h= O(h2).




Metodi viseg reda

Taylorova formula:

y(t + h) = y(t) + hy ′(t) +h2

2!y (2)(t) + . . .+

hn

n!y (n)(t) +

=Rn+1(t)︷︸︸︷

hn+1

(n + 1)!y (n+1)(ξ)

Clan y (k)(t) = f (k−1)(t, y(t)) moze da se izrazi preko t i y(t), jer je y ′(t) = f (t, y(t)).

Taylorov metod:

w0 = α

wi+1 = wi + hf (ti ,wi ) +h2

2!f ′(ti ,wi ) + . . .+

hn

n!f (n−1)(ti ,wi )

Nedostatak: Treba naci komplikovane izraze za f (k)(ti ,wi )!!




Runge-Kutta metod

Taylorov metod drugog reda:

w0 = α

wi+1 = wi + hφ(ti ,wi ), φ(t, y) = f (t, y) +h

2f ′(t, y)

Ideja: Umesto φ(t, y) staviti a1f (t + α1, y + β1).

a1f (t + α1, y + β1) ≈ a1f (t, y) + a1∂f

∂tα1 + a1

∂f

∂yf (t, y)β1

f (t, y) +h

2f ′(t, y) = f (t, y) +

h

2

∂f

∂t+

h

2

∂f

∂yf (t, y)

Izjednacavanjem dobijamo a1 = 1, α1 =h

2, β1 =

h

2f (t, y).

Midpoint metod (Runge-Kutta metod reda 2):

k1 =h

2f (ti ,wi ), k2 = f

(

ti +h

2,wi + k1

)

wi+1 = wi + hk2




Runge-Kutta metod reda 4

Slicna ideja:

w0 = α,

k1 = hf (ti ,wi )

k2 = hf

(

ti +h

2,wi +

1

2k1

)

k3 = hf

(

ti +h

2,wi +

1

2k2

)

k4 = hf (ti+1,wi + k3)

wi+1 = wi +1

6(k1 + 2k2 + 2k3 + k4).

Najcesce koriscen metod!! Greska odsecanja τi+1(h) = O(h4)!




Hvala na paznji!!!



Documents

dr Marko Petkovi´c dexterofnis@gmail - Dobrodošlitesla.pmf.ni.ac.rs/people/DeXteR/popular/13PSCSciComp.pdf · Uvod Analiza greˇsaka Nelinearne jednaˇcine Sistemi linearnih jednaˇcina