Embed Size (px)
Citation preview
Sveuciliste J.J. Strossmayera u Osijeku
Odjel za matematiku
Goran Pavic
Matricne dekompozicije i primjene
Diplomski rad
Osijek, 2012.
Sveuciliste J.J. Strossmayera u Osijeku
Odjel za matematiku
Goran Pavic
Matricne dekompozicije i primjene
Diplomski rad
Mentor: doc. dr. sc. Darija Markovic
Osijek, 2012.
Sadrzaj
Uvod 1
1. Matrice 2
1.1. Podjela i obiljezja matrica . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2. Operacije nad matricama . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.1. Umnozak matrica . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.2. Elementarne operacije nad matricama . . . . . . . . . . . . . . 10
1.3. Matrice i sustavi linearnih jednadzbi . . . . . . . . . . . . . . . . . . . 10
1.3.1. Trokutasti sustavi i supstitucije unaprijed i unazad . . . . . . . 11
2. Gauss - Jordan 13
3. LU dekompozicija 16
3.1. LU dekompozicija s pivotiranjem . . . . . . . . . . . . . . . . . . . . . 23
4. Cholesky dekompozicija 25
5. QR dekompozicija 27
5.1. Householderov reflektor i QR . . . . . . . . . . . . . . . . . . . . . . . 28
5.2. Primjena QR dekompozicije na rjesavanje problema najmanjih kvadrata 30
6. Dekompozicija na singularne vrijednosti 33
Literatura 35
Sazetak 36
Abstract 37
Zivotopis 38
Uvod
Rjesavanje sustava linearnih jednadzbi svrstava se medu najstarije matematicke pro-
bleme te je oduvijek bio jedan od glavnih predmeta zanimanja matematicara. Postoji
mnogo nacina rjesavanja sustava jednadzbi, a s obzirom da se problem pronalazenja
rjesenja sustava moze prikazati pomocu matrica, otuda dolazi dodatna stimulacija za
detaljnijim proucavanjem matrica koju su jedno od podrucja linearne algebre.
Pristup tematici dekompozicija matrica moze biti iz razlicitih perspektiva, a u ovom
radu cemo se bazirati na same nacine tehnika dekompozicija, odnosno faktorizacija ma-
trica iz perspektive linearne algebre. Definirat cemo neke od osnovnih pojmova linearna
algebre koje cemo koristiti u analizi i prikazu rjesavanja sustava jednadzbi preko ma-
trica odnosno matricnih dekompozicija (faktorizacija, rastava).
Mozemo reci da ce nase dekompozicije pretezno biti faktorizacije, te cemo nave-
dene pojmove koristiti kao sinonime. Jedan od osnovni problema linearne algebre je
rjesavanje sustava linearnih jednadzbi Ax = b. Kada je matrica A regularna, postoji
jedinstveno rjesenje x = A−1b, no taj inverz nije uvijek lako izracunati. Stoga, ma-
tricu A cemo transformirati u neki drugi oblik, pretezno trokutasti, koji je lakse rijesiti.
U prvom poglavlju detaljno cemo razmotriti pojam matrice, uvesti osnovne defini-
cije i operacije nad matricama, te prikazati vezu matrica i sustava linearnih jednadzbi.
Nadalje, Gauss-Jordan metoda ce nam dati poticaj razmisljanju o obliku matrica koje
su nam podobnije za daljnji rad. U trecem poglavlju obradit cemo LU dekompoziciju,
kojom prikazujemo rastav odredene matrice na dvije trokutaste matrice. Spomenut
cemo rastav Choleskog specifican za simetricne pozitivno definitne matrice, te QR de-
kompoziciju koja ne zahtjeva poseban oblik matrice. Kratkim predstavljanjem SV D
dekompozicije zavrsavamo proucavanje odabranih dekompozicija.
1
1. Matrice
Matrice su matematicki objekti koje cine elementi, realni ili kompleksni brojevi, smjeste-
ni u retke i stupce. S Rm×n (Cm×n) oznacavamo skup svih realnih (kompleksnih) m×nmatrica, a ponegdje se koristi i oznaka Mmn tj. Mmn(R) ukoliko zelimo naglasiti da se
radi o realnim matricama. S obzirom da je cilj ovog diplomskog rada prouciti nacine
dekomponiranja, bazirat cemo se na matricama s realnim elementima te cemo koristiti
oznaku Rm×n.
Definicija 1.1 Neka su m i n elementi skupa N. Svaku familiju A realnih ili komple-
ksnih brojeva zapisanih u obliku sheme
A =
a11 a12 · · · a1na21 a22 · · · a2n...
.... . .
...am1 am2 · · · amn
zovemo matrica.
Element koji se nalazi u i-tom retku i j-tom stupcu oznacava se s aij odnosno (A)ij.
Za matricu A koja ima m redaka i n stupaca kazemo da je tipa m × n. Matrica A je
realna ako su elementi aij, (∀i, j) realni. Tako je npr.
A =
[2 3 −13 0 2
]realna matrica tipa 2× 3.
1.1. Podjela i obiljezja matrica
Definicija 1.2 Neovisno o tome kojega je tipa, matrica ciji su svi elementi jednaki
nula, tj. matrica za koju vrijedi aij = 0, ∀i, j, naziva se nul-matrica i oznacava s 0.
0 =
0 0 · · · 00 0 · · · 0...
.... . .
...0 0 · · · 0
Definicija 1.3 Za matricu A ∈ Rm×n koja ima jednak broj redaka i stupaca, odnosno
za koju vrijedi m = n, kazemo da je kvadratna matrica n-tog reda.
2
A =
a11 a12 · · · a1na21 a22 · · · a2n...
.... . .
...an1 an2 · · · ann
.
Definicija 1.4 Neka je A ∈ Rn×n, odnosno, neka je A kvadratna matrica n-tog red.
Elementi aij matrice A, za koje vrijedi da je i = j, cine glavnu dijagonalu te matrice,
i njihov se zbroj naziva trag matrice A te se oznacava sa trA. Slijedi
trA = a11 + a22 + ...+ ann.
Definicija 1.5 Rang matrice A ∈ Rm×n, oznaka r(A) ili rang(A), je maksimalan broj
linearno nezavnisnih stupaca, odnosno redaka te matrice.
Definicija 1.6 Kvadratnu matricu n-tog reda, A ∈ Rn×n, za koju vrijedi
aij = 0, ∀i 6= j
nazivamo dijagonalna matrica.
Drugim rijecima, matrica
A =
a11 0 · · · 00 a22 · · · 0...
.... . .
...0 0 · · · ann
je dijagonalna ako su svi nedijagonalni elementi jednaki nuli. Poseban oblik dijagona-
lne matrice je jedinicna matrica kojoj su svi dijagonalni elementi jedinice, dok su svi
ostali elementi nule. Jedinicna matrica najcesce se oznacava slovom I.
I =
1 0 · · · 00 1 · · · 0...
.... . .
...0 0 · · · 1
.Nadalje cemo spomenuti matrice posebnih oblika koje cemo koristiti u daljnjem
proucavanju, a koje imaju trokutast oblik.
3
Definicija 1.7 Matrica je gornje trokutasta ako su joj svi elementi ispod glavne dija-
gonale jednaki nuli, odnosno ako vrijedi
aij = 0, ∀i > j.
Gornje trokutaste matrice su primjerice
[2 −10 2
],
1 2 00 0 −30 0 4
ili
a11 a12 · · · a1n0 a22 · · · a2n...
.... . .
...0 0 · · · ann
.Definicija 1.8 Matrica je donje trokutasta ako su joj svi elementi iznad dijagonale
jednaki nuli, odnosno ako vrijedi
aij = 0, ∀i < j.
Donje trokutaste matrice su primjerice
[2 03 1
],
1 0 00 3 01 2 −2
ili
a11 0 · · · 0a21 a22 · · · 0...
.... . .
...an1 an2 · · · ann
.Definicija 1.9 Za matricu B kazemo da je transponirana matrica matrice A ako vri-
jedi
(B)ij = (A)ji, ∀ i, j,
te za operaciju transponiranja matrice A koristimo oznaku AT .
Transponiranu matricu dobijemo tako da elemente prvog retka matrice A, ne mje-
njajuci njihov poredak, zapisemo na mjesto prvog stupca matrice B itd. Takvo pri-
druzivanje nazivamo transponiranjem. Pri transponiranju dolazi do promjene tipa ma-
trice. Tako matrica A tipa m× n prelazi u matricu AT tipa n×m.
Primjer operacije transponiranja nad matricom tipa 3× 3:1 0 50 3 71 2 −2
7−→1 0 1
0 3 25 7 −2
.
4
Povezivanjem svojstva transponiranja s prethodno spomenutim matricama sa spe-
cificnim svojstvima mozemo izdvojiti slijedeca svojstva.
a) Ako je D dijagonalna matrica, tada je DT = D.
b) Ako je L gornja trokutasta, tada je LT donja trokutasta, i obratno.
c) (AT )T = A, za svaku matricu A.
d) Matrica A je simetricna ako je AT = A.
e) Matrica A je antisimetricna ako je AT = −A.
Definicija 1.10 Ako je matrica A = [a] ∈ R1×1, tada je njena determinanta dana s
det(A) = a. Determinanta kvadratne matrice A ∈ Rn×n je definirana izrazom
det(A) =n∑
j=1
(−1)j+1a1jA1j
koji se naziva Laplaceov razvoj determinante. Pri tome, A1j je determinanta matrice
tipa (n − 1) × (n − 1) koja se dobije iz matrice A izostavljanjem prvog reda i j-tog
stupca.
Determinanta je funkcija A 7→ detA definirana na skupu svih kvadratnih matrica,
prima vrijednosti u skupu realnih brojeva, a oznacavamo ju s
det
a11 a12 · · · a1na21 a22 · · · a2n...
.... . .
...an1 an2 · · · ann
ili
∣∣∣∣∣∣∣∣∣a11 a12 · · · a1na21 a22 · · · a2n...
.... . .
...an1 an2 · · · ann
∣∣∣∣∣∣∣∣∣ .
Vrijedi da je
det(AB) = detA · detB A,B ∈ Rn×n
det(AT ) = det(A) A ∈ Rn×n
det(cA) = cn det(A) c ∈ R, A ∈ Rn×n
det I = 1
5
Funkciju A 7→ detA mozemo definirati induktivno. Za matrice tipa 2× 2, odnosno
3× 3, determinanta se racuna na sljedeci nacin:∣∣∣∣a1 a2b1 b2
∣∣∣∣ = a1b2 − a2b1,∣∣∣∣∣∣a1 a2 a3b1 b2 b3c1 c2 c3
∣∣∣∣∣∣ = a1
∣∣∣∣b2 b3c2 c3
∣∣∣∣− a2 ∣∣∣∣b1 b3c1 c3
∣∣∣∣+ a3
∣∣∣∣b1 b2c1 c2
∣∣∣∣ .
Definicija 1.11 Minor1 Aij kvadratne matrice A ∈ Rn×n je determinanta matrice reda
(n− 1) koja se dobije iz matrice A izostavljanjem i-tog reda i j-tog stupca.
Definicija 1.12 Glavni minor reda k kvadratne matrice A je determinanta matrice
reda k koja se dobije iz matrice A izostavljanjem posljednjih n− k redaka i stupaca.
Definicija 1.13 Kofaktor Cij matrice A dobijemo mnozenjem (−1)i+j s odgovaraju-
cim minorom Aij reda (n− 1) matrice A.
Sada kad smo definirali pojam kvadratne matrice i njene determinante uvest cemo
pojam regularne matrice. Regularna matrica ce nam biti potrebna za provedbu neko-
liko dekompozicija te nam je stoga od vaznosti.
Definicija 1.14 Za kvadratnu matricu A ∈ Rn×n kazemo da je regularna (invertibilna)
ako postoji matrica B ∈ Rn×n takva da je
AB = BA = I (1)
Kazemo da je matrica A singularna ako nije regularna.
Za svaku regularnu matricu A vrijedi da je detA 6= 0. Vazno je takoder spome-
nuti da je matrica B jednoznacno odredena s (1). Navedenu tvrdnju cemo dokazati.
Uzmimo da je
AC = CA = I
za neku drugu matricu C ∈ Rn×n. Tada je
C = C · I = C · (AB) = (CA)B = I ·B = B,
tj. C = B. Buduci da je matrica B jednoznacno odredena uvjetom (1), to cemo
oznaciti s B = A−1 i matricu A−1 zovemo inverzna matrica matrice A, te vrijedi
A · A−1 = A−1 · A = I.1Uz koristenje naziva minor matrice., u literaturi se nalazi i naziv minora matrice
6
1.2. Operacije nad matricama
Skup svih matrica tipa m× n oznacavamo sa Mmn. Na tom su skupu definirane dvije
operacije:
• zbrajanje matrica,
• mnozenje matrice skalarom.
Da bismo zbrojili dvije matrice one moraju biti istoga tipa, pri cemu je i rezultat
zbrajanja opet matrica istog tipa kao matrice koje smo zbrajali. U tom slucaju, zbra-
janje matrica A i B definirano je na slijedeci nacin:
(A)ij + (B)ij := (A+B)ij, tj.
a11 a12 · · · a1na21 a22 · · · a2n...
.... . .
...am1 am2 · · · amn
+
b11 b12 · · · b1nb21 b22 · · · b2n...
.... . .
...bm1 bm2 · · · bmn
=
a11 + b11 a12 + b12 · · · a1n + b1na21 + b21 a22 + b22 · · · a2n + b2n
......
. . ....
am1 + bm1 am2 + bm2 · · · amn + bmn
.Primjer 1.1 [
2 −13 2
]+
[−1 03 2
]=
[2 + (−1) −1 + 0
3 + 3 2 + 2
]=
[1 −16 4
]
Mnozenje matrica skalarom. Neka je λ ∈ R bilo koji skalar, te A ∈Mmn. Umnozak
matrice A skalarom λ je matrica λA definirana izrazom
λ(A)ij := (λA)ij
λ
a11 a12 · · · a1na21 a22 · · · a2n...
.... . .
...am1 am2 · · · amn
=
λa11 λa12 · · · λa1nλa21 λa22 · · · λa2n
......
. . ....
λam1 λam2 · · · λamn
.Dakle zakljucujemo, matrica se mnozi nekim skalarom tako da se svaki njen element
pomnozi tim skalarom.
Primjer 1.2
2
[−1 03 2
]=
[2 · (−1) 2 · 0
2 · 3 2 · 2
]=
[−2 06 4
].
7
Razlika dviju matrica svodi se na vec uvedene operacije zbrajanja matrice i mnozenja
matrice skalarom. Tako je razlika matrica A i B definirana kao zbroj matrice A i ma-
trice B pomnozene skalarom (−1). Vrijedi:
A−B := A+ (−1)B.
Definicija 1.15 Skup Mmn na kojemu su definirane operacije zbrajanja matrica i
mnozenja matrica skalarom je vektorski prostor buduci da te operacije zadovoljavaju
sljedeca svojstva:
1) (∀A,B,C ∈Mmn) A+ (B + C) = (A+B) + C
2) (∃0 ∈Mmn)(∀A ∈Mmn) A+ 0 = 0 + A = A
3) (∀A ∈Mmn)(∃A′ ∈Mmn) A+ A′ = A′ + A = 0
4) (∀A,B ∈Mmn) A+B = B + A
5) (∀α, β ∈ R)(∀A ∈Mmn) α(βA) = (αβ)A
6) (∀α ∈ R)(∀A,B ∈Mmn) α(A+B) = αA+ αB
7) (∀α, β ∈ R)(∀A ∈Mmn) (α + β)A = αA+ βB
8) 1 · A = A.
1.2.1. Umnozak matrica
Mnozenje matrica je slozenija operacija od zbrajanja i od mnozenja matrice skalarom.
Umnozak je definiran tipovima matrica, no ovisi i o njihovom poretku. Umnozak AB,
matrica A i B, definira se samo ako matrica A ima toliko stupaca koliko matrica B
ima redaka. U tom slucaju za matrice A i B kazemo da su ulancane.
Definicija 1.16 Neka je A matrica tipa m × n i B matrica tipa n × p. Umnozak
matrica A i B je matrica C = AB tipa m× p, ciji su elementi dani s
cij =n∑
k=1
aikbkj, i = 1, ...,m; j = 1, ..., p.
Prema tome, na presjeku i -tog retka i j -tog stupca u matrici C stoji element koji
je jednak skalarnom umnosku i -tog retka, [ai1 ai2 . . . ain], matrice A s j -tim stupcem,
[b1j b2j . . . bnj]T , matrice B.
8
Primjetimo, umnozak AB moze biti definiran, dok istovremeno umnozak BA ne
mora biti definiran, tj. mnozenje matrica nije komutativno. Mnozenje matrica ipak
jest asocijativno sto cemo dokazati u sljedecem teoremu.
Teorem 1.1 Mnozenje matrica je asocijativno.
Dokaz: Neka su A,B,C tri matrice redom tipa m×n, n×p, p× q. Tada su definirani
produkti AB, (AB)C,BC,A(BC) te treba dokazati da je
(AB)C = A(BC). (1)
Matrice (AB)C, A(BC) su tipa m× q. Imamo
[(AB)C]ij =
p∑k=1
(AB)ikckj =
p∑k=1
(n∑
r=1
airbrk)ckj
=
p∑k=1
n∑r=1
(airbrk)ckj =
p∑k=1
n∑r=1
air(brkckj)
=n∑
r=1
air(
p∑k=1
brkckj) =n∑
r=1
air(BC)rj
= [A(BC)]ij,
odakle slijedi (2).
2
Teorem 1.2 Mnozenje matrica je distributivno prema zbrajanju slijeva i zdesna.
Preciznije: Neka su A,B,C,D matrice po redu tipa m× n, m× n, p×m, n× q i
neka je a ∈ R, Im jedinicna matrica m-tog reda, In jedinicna matrica n-tog reda. Tada
je
a) C(A+B) = CA+ CB (distributivnost slijeva),
b) (A+B)D = AD +BD (distributivnost zdesna),
c) a(AD) = (aA)D = A(aD),
d) Im · A = A
e) A · In = A
Dokaz se provodi direktnom provjerom, odnosno racunom.
9
1.2.2. Elementarne operacije nad matricama
Pod elementarne operacije nad matricama podrazumijevaju se ove operacije:
• permutacija dvaju stupaca matrice
• permutacija dvaju redaka matrice
• mnozenje jednog stupca matrice skalarom λ 6= 0,
• mnozenje jednog retka matrice skalarom λ 6= 0
• dodavanje jednom stupcu nekog stupca matrice pomnozenog skalarom,
• dodavanje jednom retku nekog retka matrice pomnozenog skalarom.
Navedene operacije nad matricama moguce je dobiti mnozenjem elementarnim ma-
tricama. Svaka od elementarnih matrica dobiva se na jednostavan nacin iz jedinicne
matrice.
1.3. Matrice i sustavi linearnih jednadzbi
Za m linearnih jednadzbi s n nepoznanica,
a11x1 + a12x2 + ...+ a1nxn = b1a21x1 + a22x2 + ...+ a2nxn = b2
...am1x1 + am2x2 + ...+ amnxn = bm,
kazemo da cine sustav linearnih algebarskih jednadzbi. Elemente aij, i = 1, ...,m,
j = 1, ..., n zovemo koeficijentima sustava, x1, x2, ..., xn nepoznanicama, a elemente
b1, b2, ..., bm zovemo desnom stranom ili slobodnim clanovima. Ako je m = n onda
sustav zovemo kvadratni.
U svezi s prethodno prikazanim sustavom mozemo uociti dvije matrice:
A =
a11 a12 · · · a1na21 a22 · · · a2n...
.... . .
...am1 am2 · · · amn
, Ab =
a11 a12 · · · a1n b1a21 a22 · · · a2n b2...
.... . .
......
am1 am2 · · · amn bm
.Matricu A zovemo matricom sustava, a matricu Ab prosirenom matricom sustava.
Rjesenje sustava je uredena n-torka elemenata (c1, c2, ...., cn) koja zadovoljava svaku
od jednadzbi u sustavu. Sustav moze imati jedno rjesenje, beskonacno mnogo rjesenja
ili niti jedno rjesenje.
10
Teorem 1.3 (Kronecker-Capelli) Neka je A ∈ Rm×n i b ∈ Rm. Sustav Ax = b ima
rjesenje ako i samo ako vrijedi r(A) = r(Ab), tj. ako matrica sustava A i prosirena
matrica sustava Ab imaju isti rang.
Dokaz Kronecker-Capelli teorema moze se pronaci u [4].
1.3.1. Trokutasti sustavi i supstitucije unaprijed i unazad
Mnoge dekompozicije koriste prakticnost trokutastih sustava. Kao sto cemo vidjeti u
nastavku rada, s obzirom na svojstva trokutastih sustava, matrice na koje rastavljamo
pocetnu matricu cesto ce imati trokutasti oblik. Takvi sustavi se jednostavno rjesavaju.
Ukoliko imamo sustav Lx = b dimenzije n = 4, gdje je matrica L donje trokutasta,
sustav izgleda ovako: l11 0 0 0l21 l22 0 0l31 l32 l33 0l41 l42 l43 l44
x1x2x3x4
=
b1b2b3b4
.Ukoliko je matrica L regularna tada vrijedi da su elementi lii 6= 0, ∀i, te je ocito
x1 =b1l11
x2 =1
l22(b2 − l21x1)
x3 =1
l33(b3 − l31x1 − l32x2)
x4 =1
l44(b4 − l41x1 − l42x2 − l43x3).
Iz navedenih jednadzbi vidimo da se x1 mozemo odmah izracunati uvrstavanjem
poznatih elemenata iz sustava. Nadalje, izracunatu vrijednost koristimo pri racunanju
nepoznanice x2, te induktivno nastavljamo do posljednje nepoznanice koja je u ovom
slucaju x4. Navedeni postupak moze se generalizirati za bilo koji n ∈ N. Ovakav
postupak zovemo supstitucija unaprijed2.
2eng. forward substitution (FS)
11
Algoritam 1.1 Rjesavanje linearnog sustava jednadzbi Lx = b gdje je L ∈ Rn×n gor-
nje trokutasta matrica.
x1 =b1l11
;
za i = 2, ..., n
xi = (bi −i−1∑j=1
lijxj)/lii.
Gornje trokutasti sustavi rjesavaju se na slican nacin, a pri tome imamo sustav
Ux = b oblika u11 u12 u13 u140 u22 u23 u240 0 u33 u340 0 0 u44
x1x2x3x4
=
b1b2b3b4
,pri cemu vrijedi uii 6= 0 za i = 1, 2, 3, 4 te je ocito
x4 =b4u44
x3 =1
u33(b3 − u34x4)
x2 =1
u22(b2 − u23x3 − u24x4)
x1 =1
u11(b1 − u12x2 − u13x3 − u14x4).
Ovaj postupak zovemo supstitucija unazad3.
Algoritam 1.2 Rjesavanje linearnog sustava jednadzbi Ux = b gdje je U ∈ Rn×n do-
nje trokutasta matrica.
xn =bnunn
;
za i = n− 1, ..., 1
xi = (bi −n∑
j=i+1
uijxj)/uii.
3eng. back supstitution (BS)
12
2. Gauss - Jordan
Gauss-Jordanova metoda je direktna metoda rjesavanja sustava linearnih jednadzbi.
Kao takva, pogodna je za rjesavanje sustava s manjim brojem jednadzbi. Gauss-
Jordanova metoda koristi vec spomenute elementarne transformacije matrice.
Neka je zadan sustav od m linearnih jednadzbi s n nepoznanica. Da bismo sus-
tav rijesili Gaussovom metodom potrebno je prosirenu matricu sustava, Ab, svesti na
njoj ekvivalentnu gornje trokutastu matricu koristeci se elementarnim transformaci-
jama (zamjenom redaka, mnozenjem retka skalarom razlicitim od nule, dodavanjem
nekog retka pomnozenog s brojem razlicitim od nule nekom drugom retku). Prosirenje
Gaussove metode je Gauss-Jordanova metoda gdje se matrica sustava svodi na dija-
gonalnu matricu iz koje izravno iscitamo rjesenja u slucaju kada je matrica sustava
kvadratna, odnosno kad imamo jednak broj jednadzbi i nepoznanica.
Neka je zadana kvadratna regularna matrica A i vektor slobodnih koeficijenata b,
A =
a11 a12 · · · a1na21 a22 · · · a2n...
.... . .
...an1 an2 · · · ann
, b =
b1b2...bn
. (1)
Sustav Ax = b je rjesiv i ima jedinstveno rjesenje.
Pretpostavimo da je tzv. pivot-element a11 6= 0. Koristeci Gaussove eliminacije
matricu A svedemo na oblik
A(1) =
a11 a12 · · · a1n0 a
(1)22 · · · a
(1)2n
......
. . ....
0 a(1)n2 · · · a
(1)nn
, b(1) =
b1b(1)2...
b(1)n
, (2)
gdje je, uz oznaku mi1 = ai1a11
,
a(1)ik = aik −mi1a1k, b
(1)i = bi −mi1b1, (i, k = 2, ..., n).
Uz pretpostavku da je sljedeci pivot-element a(1)22 6= 0, na slican nacin dobivamo
A(2) =
a11 a12 a13 · · · a1n0 a
(1)22 a
(1)23 · · · a
(1)2n
0 0 a(2)33 · · · a
(2)3n
......
.... . .
...
0 0 a(2)n3 · · · a
(2)nn
, b(2) =
b1b(1)2
b(2)3...
b(2)n
, (3)
gdje je, uz oznaku mi2 =a(1)i2
a(1)22
,
13
a(2)ik = a
(1)ik −mi2a
(1)2k , b
(2)i = b
(1)i −mi2b
(1)2 , (i, k = 3, ..., n).
Uz pretpostavku da su svi pivot-elementi bili razliciti od nule, nakon (n−1) ovakvih
koraka matrica A prijeci ce u oblik gornje trokutaste matrice, gdje su svi dijagonalni
elementi razliciti od nule:
A(n−1) =
a11 a12 a13 · · · a1n0 a
(1)22 a
(1)23 · · · a
(1)2n
0 0 a(2)33 · · · a
(2)3n
......
.... . .
...
0 0 0 · · · a(n−1)nn
.Primjedba 2.1 Primjenom Gaussovih eliminacija matricu sustava mogli bismo svesti
i na dijagonalnu matricu. U tom slucaju govorimo o Gauss - Jordanovoj metodi4.
Primjer 2.1 Metodom Gaussovih eliminacija rijesi sustav
x1 −x3 +2x4 = −32x2 +x3 +x4 = 1
x1 +x2 −x3 = −12x1 +x2 +x3 +x4 = 3.
Mnozenjem prve jednadzbe s −1 i dodavanjem trecoj, zatim mnozenjem prve jed-
nadzbe s −2 i dodavanjem cetvrtoj dobivamo:
x1 −x3 +2x4 = −32x2 +x3 +x4 = 1x2 −2x4 = 2x2 +3x3 −3x4 = 9.
Napravimo zamjenu redaka, tj. zamjenimo mjesto druge i trece jedandzbe. Sada,
drugu jednadzbu mnozimo s−2 i dodamo trecoj, i s−1 te dodajemo cetvrtoj jednadzbi.
x1 −x3 +2x4 = −3x2 −2x4 = 2
x3 +5x4 = −33x3 −x4 = 7.
Trecu jednadzbu mnozimo s −3 i dodajemo cetvrtoj
x1 −x3 +2x4 = −3x2 −2x4 = 2
x3 +5x4 = −3−16x4 = 16.
4Gauss - Jordanova metoda igra vaznu ulogu kod simplex-metode za rjesavanje problema linearnogprogramiranja
14
Na ovaj nacin dobili smo gornje trokutastu matricu te rjesavanjem jednadzbi odozdo
prema gore pronalazimo nepoznanice. Iz zadnje jednadzbe slijedi x4 = −1, sto uvr-
stimo u trecu pa slijedi x3 = 2, te u cetvrtu pa dobijemo x2 = 0. Sada nam je jedina
nepoznanica x1, koju dobijemo iz prve jednadzbe uvrstavanjem izracunatih nepozna-
nice te dobijemo x1 = 1.
Navedenu metodu eliminacije mozemo iskoristiti i nakon svodenja na trokutasti
oblik da bismo, uz nule ispod glavne dijagonale, dobili nule i iznad glavne dijagonale.
Na taj nacin dobivamo dijagonalni oblik pri cemu su elementi na dijagonali ujedno i
rjesenja sustava. Takva metoda nazivamo Gauss-Jordanova metoda.
Primjer 2.2 Prethodni primjer rijesit cemo koristeci Gauss-Jordanovu metodu.
Nakon provedenih operacija za dobivanje gornje trokutaste matrice (iz prethodnog
primjera) posljednju jednadzbu dijelimo s −16.
x1 −x3 +2x4 = −3x2 −2x4 = 2
x3 +5x4 = −3x4 = −1.
Radi ponistavanja nepoznanice x4 u drugoj i trecoj jednadzbi, cetvrtu jednadzbu
mnozimo s 2 i dodajemo drugoj, te s -5 i dodajemo trecoj jednadzbi.
x1 −x3 +2x4 = −3x2 = 0
x3 = 2x4 = −1.
Sada, trecu jednadzbu dodajemo prvoj, a cetvrtu mnozimo s -2 i takoder dodajemo
prvoj.
x1 = 1x2 = 0
x3 = 2x4 = −1.
Dobivanjem dijagonalne matrice provedena je Gauss-Jordanova metoda.
15
3. LU dekompozicija
LU5 dekompozicija je kljucan korak u nekoliko fundamentalnih numerickih algoritama u
linearnoj algebri kao sto su rjesavanje sustava linearnih jednadzbi, invertiranje matrice
ili racunanje determinante matrice.
Pretpostavimo da je A ∈ Rn×n regularna kvadratna matrica kojoj su svi glavni
minori razliciti od nule. Tada je na jedinstven nacin moguce naciniti rastav
A = LU,
gdje je L donje trokutasta matrica kojoj su na glavnoj dijagonali jedinice, a U gornje
trokutasta matrica ciji dijagonalni elementi nisu nule;a11 a12 · · · a1na21 a22 · · · a2n...
.... . .
...an1 an2 · · · ann
=
1 0 · · · 0l21 1 · · · 0...
.... . .
...ln1 ln2 · · · 1
·u11 u12 · · · u1n0 u22 · · · u2n...
.... . .
...0 0 · · · unn
.Rjesenje pocetnog problema Ax = b dobiva se rjesavanjem dva sustava s trokutastim
matricama:
Ly = b, Ux = y =⇒ Ax = LUx = Ly = b.
Uz odredene uvjete, Gaussovim eliminacijama matricu mozemo svesti na trokutastu
te dobiti sustav koji se lako rjesava. Pri tome cemo prouciti faktorizaciju matrice A ∈Rn×n na produkt donje i gornje trokutaste matrice. Iako nas navedena dekompozicija
zanima pri proizvoljnoj dimenziji n, zbog jednostavnosti cemo ju prikazati na matrici
dimenzija 5× 5. Neka je
A =
a11 a12 a13 a14 a15a21 a22 a23 a24 a25a31 a32 a33 a34 a35a41 a42 a43 a44 a45a51 a52 a53 a54 a55
.Eliminaciju elemenata prvog stupca matrice A koji se nalaze ispod elementa a11,
napravimo jednim korakom definirajuci matricu
5od eng. lower-upper. Koristen i naziv LR dekompozicija od eng. left-right
16
L(1) =
1 0 0 0 0−a21
a111 0 0 0
−a31a11
0 1 0 0
−a41a11
0 0 1 0
−a51a11
0 0 0 1
.
Tada imamo matricu A(1) kao produkt matrica L(1) i A.
A(1) ≡ L(1)A =
a11 a12 a13 a14 a150 a
(1)22 a
(1)23 a
(1)24 a
(1)25
0 a(1)32 a
(1)33 a
(1)34 a
(1)35
0 a(1)42 a
(1)43 a
(1)44 a
(1)45
0 a(1)52 a
(1)53 a
(1)54 a
(1)55
.
Oznake u zagradi povrh elemenata oznacava za koju matricu, takoder oznacenu
istim indeksom, su svojstveni ti elementi. Tako, prvi redak matrice A(1) odgovara
prvom retku matrice A, elemente prvog stupca matrice A(1), osim elementa a11, cine
nule, dok su ostali elementi, oznaceni gornjim indeksom (1), svojstveni matrici A(1).
Napomenimo da transformaciju A 7→ A(1) mozemo provesti samo ako je
a11 6= 0. (1)
Trivijalno je provjeriti da vrijedi
(L(1))−1 =
1 0 0 0 0a21a11
1 0 0 0a31a11
0 1 0 0a41a11
0 0 1 0a51a11
0 0 0 1
te da iz A = (L(1))−1A(1) slijedi[
a11 a12a21 a22
]=
[1 0a21a11
1
] [a11 a120 a
(1)22
].
Na taj nacin dobili smo faktorizaciju vodece podmatrice matrice A, ciji je uvjet pos-
tojanja dan pod (1).
Ako za α2 definiran na slijedeci nacin
α2 ≡ det
[a11 a12a21 a22
]= a11a
(1)22 ,
vrijedi da je α2 6= 0, onda je i a(1)22 6= 0 pa je dobro definirana matrica
17
L(2) =
1 0 0 0 00 1 0 0 0
0 −a(1)32
a(1)22
1 0 0
0 −a(1)42
a(1)22
0 1 0
0 −a(1)52
a(1)22
0 0 1
i njen inverz (L(2))−1 =
1 0 0 0 00 1 0 0 0
0a(1)32
a(1)22
1 0 0
0a(1)42
a(1)22
0 1 0
0a(1)52
a(1)22
0 0 1
.
Tada vrijedi
A(2) ≡ L(2)A(1) = L(2)L(1)A =
a11 a12 a13 a14 a150 a
(1)22 a
(1)23 a
(1)24 a
(1)25
0 0 a(2)33 a
(2)34 a
(2)35
0 0 a(2)43 a
(2)44 a
(2)45
0 0 a(2)53 a
(2)54 a
(2)55
.
Iz oznaka elemenata uocavamo da je prvi redak matrice A(2) jednak prvom retku
matrice A, a drugi redak jednak drugom retku matrice A(1). Ukoliko u relaciji A =
(L(1))−1(L(2))−1A(2) izracunamo produkt (L(1))−1(L(2))−1 dobijemo
A =
1 0 0 0 0a21a11
1 0 0 0
a31a11
a(1)32
a(1)22
1 0 0
a41a11
a(1)42
a(1)22
0 1 0
a51a11
a(1)52
a(1)22
0 0 1
a11 a12 a13 a14 a150 a
(1)22 a
(1)23 a
(1)24 a
(1)25
0 0 a(2)33 a
(2)34 a
(2)35
0 0 a(2)43 a
(2)44 a
(2)45
0 0 a(2)53 a
(2)54 a
(2)55
,
odakle zakljucujemo da vrijedi
a11 a12 a13a21 a22 a23a31 a32 a33
=
1 0 0a21a11
1 0
a31a11
a(1)32
a(1)22
1
a11 a12 a13
0 a(1)22 a
(1)23
0 0 a(2)33
.Ako je a11 6= 0 i α2 6= 0, tada imamo trokutastu faktorizaciju vodece podmatrice
matrice A, dimenzija 3× 3, te stavimo
α3 ≡ det
a11 a12 a13a21 a22 a23a31 a32 a33
= a11a(1)22 a
(2)33 .
Ako je α3 6= 0 tada je i a(2)33 6= 0 te su dobro definirane matrice
18
L(3) =
1 0 0 0 00 1 0 0 00 0 1 0 0
0 0 −a(2)43
a(2)33
1 0
0 0 −a(2)53
a(2)33
0 1
i njen inverz (L(3))−1 =
1 0 0 0 00 1 0 0 00 0 1 0 0
0 0a(2)43
a(2)33
1 0
0 0a(2)53
a(2)33
0 1
i vrijedi:
A(3) ≡ L(3)A(2) = L(3)L(2)L(1)A =
a11 a12 a13 a14 a150 a
(1)22 a
(1)23 a
(1)24 a
(1)25
0 0 a(2)33 a
(2)34 a
(2)35
0 0 0 a(3)44 a
(3)45
0 0 0 a(3)54 a
(3)55
.Izracunavamo produkt (L(1))−1(L(2))−1(L(3))−1 te vidimo da vrijedi
A =
1 0 0 0 0a21a11
1 0 0 0
a31a11
a(1)32
a(1)22
1 0 0
a41a11
a(1)42
a(1)22
a(2)43
a(2)33
1 0
a51a11
a(1)52
a(1)22
a(2)53
a(2)33
0 1
a11 a12 a13 a14 a150 a
(1)22 a
(1)23 a
(1)24 a
(1)25
0 0 a(2)33 a
(2)34 a
(2)35
0 0 0 a(3)44 a
(3)45
0 0 0 a(3)54 a
(3)55
,
te da je
a11 a12 a13 a14a21 a22 a23 a24a31 a32 a33 a34a41 a42 a43 a44
=
1 0 0 0a21a11
1 0 0
a31a11
a(1)32
a(1)22
1 0
a41a11
a(1)42
a(1)22
a(2)43
a(2)33
1
a11 a12 a13 a140 a
(1)22 a
(1)23 a
(1)24
0 0 a(2)33 a
(2)34
0 0 0 a(3)44
.Induktivno zakljucujemo:
α4 ≡ det
a11 a12 a13 a14a21 a22 a23 a24a31 a32 a33 a34a41 a42 a43 a44
= a11a(1)22 a
(2)33 a
(3)44 .
Kao i u prethodnim slucajevim, ukoliko je α4 6= 0, onda je i a(3)44 6= 0 te su dobro
definirane matrice
19
L(4) =
1 0 0 0 00 1 0 0 00 0 1 0 00 0 0 1 0
0 0 0 −a(3)54
a(3)44
1
i njen inverz (L(4))−1 =
1 0 0 0 00 1 0 0 00 0 1 0 00 0 0 1 0
0 0 0a(3)54
a(3)44
1
Moze se provjeriti da je
A(4) ≡ L(4)A(3) = L(4)L(3)L(2)L(1)A =
a11 a12 a13 a14 a150 a
(1)22 a
(1)23 a
(1)24 a
(1)25
0 0 a(2)33 a
(2)34 a
(2)35
0 0 0 a(3)44 a
(3)45
0 0 0 0 a(4)55
.Nakon racunanja produkta (L(1))−1(L(2))−1(L(3))−1(L(4))−1, imamo da vrijedi
A =
1 0 0 0 0a21a11
1 0 0 0
a31a11
a(1)32
a(1)22
1 0 0
a41a11
a(1)42
a(1)22
a(2)43
a(2)33
1 0
a51a11
a(1)52
a(1)22
a(2)53
a(2)33
a(3)54
a(3)44
1
︸ ︷︷ ︸
L
a11 a12 a13 a14 a150 a
(1)22 a
(1)23 a
(1)24 a
(1)25
0 0 a(2)33 a
(2)34 a
(2)35
0 0 0 a(3)44 a
(3)45
0 0 0 0 a(4)55
︸ ︷︷ ︸
U
.
Na taj nacin smo napravili faktorizaciju matrice A na donje trokutastu matricu L i
gornje trokutastu matricu U , cija je provedba ovisila o pivotnim elementima (pivotima)
a11, a(1)22 , a
(2)33 i a
(3)44 koji su morali biti razliciti od nule tj. moralo je vrijediti:
a11 6= 0, a(1)22 6= 0, a
(2)33 6= 0, a
(3)44 6= 0.
Navedeni uvjeti su osigurani ako su u matrici A glavni minori razlicite od nule, odnosno,
ukoliko je prvih n−1 minora matrice A razlicito od nule, tada su i svi pivotni elementi
razliciti od nule, a provedbom Gaussove elimininacije dobiti cemo LU dekompoziciju
matrice A.
20
Algoritam 3.1 LU faktorizacija matrice A.
L = I;
za k = 1, ..., n− 1
za j = k + 1, ..., n
ljk =a(k−1)jk
a(k−1)kk
;
a(k)jk = 0;
za j = k + 1, ..., n
za i = k + 1, ..., n
a(k)ij = a
(k−1)ij − lika(k−1)kj ;
U = A(n−1) = [a(n−1)ij ].
Prikazat cemo egzistenciju i jedinstvenost LU dekompozicije.
Teorem 3.1 Neka je A ∈ Rn×n i neka su determinante glavnih podmatrica matrice
A(1 : k, 1 : k) razlicite od nule za k = 1, 2, ..., n − 1. Tada postoji donje trokutasta
matrica L s jedinicama na dijagonali i gornje trokutasta matrica U , tako da vrijedi
A = LU . Ako navedena dekompozicija A = LU postoji i ako je matrica A regularna,
tada je dekompozicija na faktore jedinstvena tj. postoji tocno jedna matrica L i tocno
jedna matrica U s navedenim svojstvima. Tada je i
det(A) =n∏
i=1
uii.
Dokaz:
Prvo cemo dokazati jedinstvenost, tj. da ne postoje dvije takve dekompozicije
A = LU = L′U ′.
Ako je A regularna onda su i L,U, L′, U ′, takoder regularne matrice te vrijedi
L−1L′ = U(U ′)−1.
21
U gornjoj relaciji imamo jednakost donje trokutaste i gorenje trokutaste matrice,
cija je jednakost uvjetovana time da su obje dijagonalne. Pri mnozenju dvije donjet
rokutaste matrice, dijagonala rezultantne matrice sastoji se od produkata dijagonalnih
elemenata pocetnih matrica. S obzirom na prepostavku da L i L′ imaju jedinice na
dijagonali i na izrecenu tvrdnju, slijedi da se dijagonala produkta L−1L′ sastoji od
jedinica. Iz toga slijedi, L−1L′ = I, tj. L = L′, te je tada i U = U ′, cime je dokazana
jedinstvenost.
Dalje nam slijedi dokazati egzistenciju LU dekompozicije. U prethodnom primjeru,
na matrici dimenzija 5 × 5, skiciran je induktivni dokaz. Prikazat cemo kako uvjeti
teorema omogucuju korak indukcije tj. prijelaz s A(k) na A(k+1), gdje je
A(k) = L(k) · · ·L(1)A =
a11 a12 a13 · · · a1k a1,k+1 · · · a1n
0 a(1)22 a
(1)23 · · · ... a
(1)2,k+1 · · · a
(1)2n
.... . . a
(2)33
... a(2)3,k+1 · · · a
(2)3n
.... . . . . .
......
...
0 · · · · · · 0 a(k−1)kk a
(k−1)k,k+1 · · · a
(k−1)kn
0 · · · · · · 0 a(k)k+1,k+1 · · · a
(k)k+1,n
......
......
0 · · · · · · 0 a(k)n,k+1 · · · a
(k)nn
.
Buduci da je produkt (L(k) · · ·L(1))−1 donjet rokutasta matrica s jedinicama na
dijagonali, mozemo zakljuciti da je
detA(1 : k + 1, 1 : k + 1) = a11a(1)22 a
(2)33 · · · a
(k−1)kk a
(k)k+1,k+1 6= 0.
Iz navedenog slijedi da je i a(k)k+1,k+1 6= 0 pa mozemo definirati matricu L(k+1) koja bi
ponistila elemente u (k + 1)-om stupcu, a koji se nalaze ispod dijagonale. Tada bismo
dobili A(k+1) = L(k+1)A(k). Nakon konacnog broja koraka dobijemo matricu A(n−1) koja
je gornje trokutasta.�
Primjedba 3.1 U povezanosti s LU dekompozicijom uvodi se slican nacin rastava
matrice A gdje izmedu donje i gornje trokutaste matrice imamo dijagonalnu matricu,
o cemu nam govori sljedeci teorem.
22
Teorem 3.2 Ukoliko su svi glavni minori matrice A ∈ Rn×n razliciti od nule, tada
postoji jedinstvena donje trokutasta matrica L i jedinstvena gornje trokutasta matrica
M , koje imaju jedinice na glavnoj dijagonali, te jedinstvena dijagonalna matrica D =
diag(d1, ..., dn) takve da vrijedi A = LDM .
Matricu U dobivenu LU dekompozicijom rastavimo u oblik L = DM gdje nam je
D dijagonalna matrica, a M je gornje trokutasta matrica s jedinicama na dijagonali.
Tako da nam rastav pocetne matrice izgleda ovako:
A = LU = L(DM) = LDM.
Dokaz navedenog teorema moze se pronaci u [3].
3.1. LU dekompozicija s pivotiranjem
Jedan od navedenih uvjeta postojanja LU dekompozicije je taj da determinante glavnih
podmatrica matrice A(1 : k, 1 : k) moraju biti razlicite od nule za k = 1, 2, ..., n− 1, tj.
sve glavne podmatrice moraju biti regularne. Sustav jednadzbi
0x1 + 1x2 = b11x1 − 1x2 = b2
ima rjesenje x2 = b1, x1 = b1 + b2 te daje matricu
A =
[0 11 −1
]koja nema LU dekompoziciju. Ukoliko sustav napisemo obrnutim redoslijedom, imamo
isti sustav jednadzbi, no sada nam matrica sustava biva
A′ =
[1 −10 1
]=
[1 00 1
] [1 −10 1
]koja ima LU dekompoziciju.
Zamjenu redaka, koja nam je omogucila provedbu LU dekompozicije, cinimo ma-
tricom permutacija P . Za navedeni primjer vrijedi:[1 −10 1
]︸ ︷︷ ︸
A′
=
[0 11 0
]︸ ︷︷ ︸
P
[0 11 −1
]︸ ︷︷ ︸
A
.
Za bilo koju matricu A ∈ Rn×n postoji permutacija P takva da Gaussove eliminacije
daju LU faktorizaciju PA = LU matrice PA, gdje je P permutacijska matrica, L je
donje trokutasta, a U je gornje trokutasta matrica.
23
Dakle, da bismo rjesili sustav Ax = b prvo djelujemo permutacijskom matricom s
obije strane jednadzbe:
PAx = Pb ≡ d.
Produkt PA zamjenjujemo dekompozicijom LU te imamo:
LUx = d,
te rjesavamo
Ly = d i Ux = y.
Vrijedi sljedeci teorem.
Teorem 3.3 Neka je A ∈ Rn×n proizvoljna matrica. Tada postoji permutacija P
takva da Gaussove eliminacije daju LU dekompoziciju PA = LU matrice PA. Matrica
L = [lij] je donje trokutasta s jedinicama na dijagonali, a U je gornje trokutasta. Pri
tome, ako je P produkt od p inverzija, vrijedi da je
detA = (−1)pn∏
i=1
uii.
U tom slucaju faktorizaciju PA = LU zovemo LU faktorizacija s pivotiranjem redaka.
Dokaz navedenog teorema moze se pronaci u [1].
24
4. Cholesky dekompozicija
Za simetricnu matricu A, dimenzija n×n, kazemo da ima svojstvo pozitivne definitnosti
ako za sve x ∈ Rn, x 6= 0, vrijedi
xTAx > 0.
Neka je S proizvoljna regularna matrica i x 6= 0, onda je i y = Sx 6= 0 te vrijedi
xT (STAS)x = (Sx)TA(Sx) = yTAy > 0,
iz cega proizlazi da je i STAS pozitivno definitna matrica, sto osigurava egzistenciju
LU faktorizacije bez pivotiranja. Dakle, ukoliko A particioniramo tako da je
A =
[a11 aT
a A
], A ∈ R(n−1)×(n−1),
onda je i a11 > 0 te prvi korak eliminacija biva[1 0
− a
a11In−1
] [a11 aT
a A
]=
a11 aT
0 A− aaT
a11
.Takoder vrijedi[
1 0
− a
a11In−1
] [a11 aT
a A
]1 − aT
a110 In−1
=
a11 0
0 A− aaT
a11
pri cemu je dobivena matrica takoder pozitivno definitna. Moze se provjeriti da je
prvi element matrice A − aaT
a11strogo veci od nule, iz cega slijedi da je i navedena
matrica pozitivno definitna te se postupak eliminacije moze nastaviti. Time smo po-
kazali egzistenciju dekompozicije A = RTR, u kojoj je R gornje trokutasta matrica,
koju nazivamo dekompozicija (ili faktorizacija) Choleskog ili trokutasta dekompozicija
simetricne pozitivno definitne matrice.
Elemente matrice R mozemo izracunati raspisivanjem relacije
A = RTR =
r11 0 · · · 0 0r12 r22 0 · · · 0...
.... . . . . .
......
.... . . rn−1,n−1 0
r1n r2n · · · rn−1,n rnn
r11 r12 · · · · · · r1n0 r22 · · · · · · r2n... 0
. . ....
...
0...
. . . rn−1,n−1 rn−1,n0 0 · · · 0 rnn
po komponentama, za i ≤ j, dobijemo
25
aij =i∑
k=1
rkirkj.
Algoritam 4.1 Cholesky dekompozicija za simetricne pozitivno definitne matrice A ∈R(n×n).
za i = 1, ..., n
rii =
√√√√aii −i−1∑k=1
r2ki;
- za i = 1, rii =√aii
za j = i+ 1, ..., n
rij = (aij −i−1∑k=1
rkirkj)/rii;
Primjer 4.1 Rastav pozitivno definitne matrice A na umnozak RTR.
4 2 −22 10 2−2 2 5
︸ ︷︷ ︸
A
=
2 0 01 3 0
−1 1√
3
︸ ︷︷ ︸
RT
2 1 −10 3 1
0 0√
3
︸ ︷︷ ︸
R
.
Primjedba 4.1 U poveznici s prethodno iskazanim teoremom 4.2 koji nam govori o
rastavu A = LDM , iskazat cemo i teorem za rastav simetricne matrice.
Teorem 4.1 LDM faktorizacijom regularne simetricne matrice A dobijemo LDM
rastav za koji vrijedi da je M = LT . Stoga, ovakva dekompozicija se naziva LDLT
dekompozicija.
Dokaz navedenog teorema moze se pronaci u [1].
26
5. QR dekompozicija
Matricna dekompozicija koju cemo obraditi u ovom poglavlju naziva se QR dekom-
pozicija. Prikazat cemo osnovna svojstva dekompozicije kao i primjenu na rjesavanje
linearnih sustava. Za razliku od dosad spomenutih dekompozicija kojima je bila po-
trebna kvadratna matrica, QR dekompoziciju mozemo primjeniti na bilo kojoj matrici
ciji je broj redaka veci od broja stupaca. Prvo cemo definirati matrice potrebne za QR
dekompoziciju.
Promotrit cemo matrice koje zadovoljavaju izraz
QTQ = QQT = I, (1)
s obzirom da imaju vazna svojstva te cemo ih definirati.
Definicija 5.1 Kvadratna matrica Q ∈ Rn×n za koju vrijedi QTQ = I naziva se
ortogonalna matrica.
Buduci da jeQ ortogonalna matrica (prema prethodnoj definiciji), tada zakljucujemo
da je r(Q) = n. S obzirom da je Q kvadratna, vrijedi m = n = r(Q), sto povlaci regu-
larnost matrice Q. Takoder vrijedi QT = Q−1.
Ortogonalne matrice imaju vaznu ulogu kod rjesavanja problema najmanjih kva-
drata i svojstvenih vrijednosti, a mi cemo prikazati njihovu upotrebu pri QR dekom-
poziciji.
Teorem 5.1 Za bilo koju matricu A ∈ Rm×n, takvu da je m ≥ n postoje matrice Q
i R takve da A = QR, pri cemu je Q ∈ Rm×m ortogonalna, a R ∈ Rm×n je gornje
trokutasta.
Ako je, na primjer, matrica A tipa 5 × 3, tada rastav matrice A koristeci QR-
faktorizaciju mozemo shematski prikazati na sljedeci nacin:× × ×× × ×× × ×× × ×× × ×
︸ ︷︷ ︸
A∈R5×3
=
× × × × ×× × × × ×× × × × ×× × × × ×× × × × ×
︸ ︷︷ ︸
Q∈R5×5
× × ×0 × ×0 0 ×0 0 00 0 0
︸ ︷︷ ︸
R∈R5×3
.
27
5.1. Householderov reflektor i QR
Rastav neke matrice A na ranije spomenute matrice Q i R moze se napraviti na vise
nacina, primjerice koristeci Householderove reflektore, Gram-Schmidtov postupak or-
togonalizacije ili Givensove rotacije. U ovom radu QR rastav cemo prikazati pomocu
Householderovih reflektora6, a o ostalim se postupcima moze vise saznati u [1].
Prvo cemo spomenuti pojmove koje do sada nismo koristili, a koje cemo trebati pri
analizi QR dekompozicije.
Duljina ili norma vektora x =[x1 x2 · · · xm
]T, x ∈ Rm, je broj
||x|| =√x21 + x22 + · · ·+ x2m =
(m∑i=1
x2i
) 12
.
Koristenje QR rastava temelji se na svojstvu ortogonalne matrice da za svaki vektor
x ∈ Rm×1 vrijedi
||x|| = ||Qx||. (2)
Zaista vrijedi
||Qx||2 = (Qx)TQx = xTQTQx = xTx = ||x||2.
Neka je zadan vektor x ∈ Rm,
x =
x1x2...xm
,te neka je
x = Qr
QR rastav tog vektora. Tada je zbog svojstva (2) ||r|| = ||x|| pa vrijedi
r =
||x||
0...0
ili r =
−||x||
0...0
.S obzirom da se radi o vektoru postupak je relativno jednostavan, no nalazenje
matrice Q je nesto slozenije. U ovom slucaju matrica Q jednaka je Householderovom
reflektoru, koji je definiran s
6Uz naziv Householderov reflektor u literaturi se susrece i na nazive Householderove transformacije
28
H = I − 2
vTvvvT , v =
x1 ± ||x||
x2x3...xm
.Uvrstavanjem mozemo provjeriti da za ovaj izbor matrice H vrijedi
Hx = r =
∓||x||
0...0
.Buduci da je H ortogonalna i simetricna iz toga proizlazi da vrijedi
x = HT (Hx) = HT r = Hr
pa smo dobili QR rastav vektora x.
Na slican nacin, rekurzivnom primjenom QR rastava vektora nalazimo i QR rastav
matrice. Uzmimo primjerice matricu tipa 5 × 3. Neka je a1 prvi stupac matrice A i
neka je
H1a1 =
±||a1||
0000
QR rastav vektora a1. Q1 je simetricna te stavimo Q1 = H1. Tada je
±||a1|| × ×0
A2000
.Neka je a2 drugi stupac matrice A2 koja je tipa 4× 2 i neka je
H2a2 =
±||a2||
000
QR rastav vektora a2. Nadalje, stavimo
29
Q2 =
[1
H2
].
Tada je
Q2Q1A =
±||a1|| × ×
0 ±||a2|| ×0 00 0 A3
0 0
pri cemu je matrica A3 tipa 3× 1. U posljednjem koraku imamo a3 = A3 i neka je
H3a3 =
±||a3||00
QR rastav vektora a3. Stavimo
Q3 =
11
H3
.Slijedi da je
Q3Q2Q1A =
±||a1|| × ×
0 ±||a2|| ×0 0 ±||a3||0 0 00 0 0
= R.
Uz svojstva ortogonalnosti i simetricnosti matrica Q1, Q2 i Q3 za matricu Q =
Q1Q2Q3 vrijedi
Q · / Q3Q2Q1A = R,
A = QR,
te smo tako dobili QR rastav matrice A. Navedeni postupak je proveden na matrici A
tipa 5× 3, no moze se poopciti za bilo koju dimenziju.
5.2. Primjena QR dekompozicije na rjesavanje problema naj-manjih kvadrata
Rjesenje problema najmanjih kvadrata je jedinstveno u slucaju kada matrica sustava
A ima linearno nezavisne stupce, te se moze rijesiti QR dekompozicijom uz svojstvo
30
ortogonalne matrice Q da je ||Qx|| = ||x||. Neka je A matrica tipa m × n, m > n, te
neka je r(A) = n i neka je A = QR rastav matrice A. Tada vrijedi:
||Ax− b||2 = ||QRx−QQT b||2 = ||Q(Rx−QT b)||2 = ||Rx−QT b||2.
Matricu R mozemo zapisati kao
R =
[R0
0
],
gdje je R0 gornje trokutasta kvadratna matrica reda n, a vektor QT b zapisemo kao
QT b =
[cd
],
pri cemu je c tipa n× 1, a d tipa (m− n)× 1. Imamo
||Ax− b||2 = ||Rx−QT b||2 =
∥∥∥∥[R0x− c−d
]∥∥∥∥2 = ||R0x− c||2 + ||d||2.
Sada, trokutasti sustav R0x = c ima jedinstveno rjesenje x za koje je ||R0x−c|| = 0.
Buduci da d ne ovisi o x, vrijednost ||Ax−b|| se ne moze vise smanjiti pa je x jedinstveno
rjesenje problema najmanjih kvadrata.
Primjer 5.1 Rijesi problem najmanjeg kvadrata tj. minimiziraj ||Ax − b||2 ako je
zadano
A =
3 −64 −80 1
, b =
−172
.koristeci QR dekompoziciju.
Prethodno prikazanim postupkom se pronade QR rastav matrice A, te vrijedi:3 −64 −80 1
︸ ︷︷ ︸
A
=
−0.6 0 0.8−0.8 0 −0.6
0 −1 0
︸ ︷︷ ︸
Q
−5 100 −10 0
︸ ︷︷ ︸
R
Iz matrice R dobijemo matricu
R0 =
[−5 100 −1
].
Vektor QT b zapisemo kao
QT b =
[cd
], gdje je c =
[−5−2
], d = [−5].
31
Sada, trokutasti sustav R0x = c ima jedinstveno rjesenje x, te iz
R0x = c⇒[−5 100 −1
] [x1x2
]=
[−5−2
]dobijemo rjesenje x1 = 5, x2 = 2.
32
6. Dekompozicija na singularne vrijednosti
Opisno cemo spomenuti i dekompoziciju na singularne vrijednosti - SVD7. Ortogonal-
nost, kao sto smo vec vidjeli, ima istaknutu ulogu u radu s matricama. SVD je de-
kompozicija realne ili kompleksne matrice koja ima mnoge upotrebe, npr. pri trazenju
pseudoinverza, matricnih aproksimacija, odredivanju ranga matrica i dr.
U prethodnom poglavlju smo definirali ortogonalnu matricu koja se koristi i pri de-
komponiranju na singularne vrijednosti, a jos cemo definirati svojstvene vrijednosti
kvadratne matrice A.
Definicija 6.1 Kazemo da je λ ∈ C svojstvena vrijednost kvadratne matrice A ∈ Rn×n
ako postoji x 6= 0 ∈ Rn tako da vrijedi Ax = λx. Singularne vrijednosti (σ1, . . . , σp)
matrice A su kvadratni korijeni svojstvenih vrijednosti matrice ATA, odnosno matrice
AAT .
Takav vektor x zovemo svojstveni vektor matrice A, a svaka kvadratna matrica
A ∈ Rn×n ima n (ne nuzno razlicitih) svojstvenih vrijednosti.
Teorem 6.1 Neka je A ∈ Rm×n. Tada postoje ortogonalne matrice
U = [u1, . . . , um] ∈ Rm×m i V = [v1, . . . , vn] ∈ Rn×n
takve da vrijedi
UTAV = diag(σ1, . . . , σp) ∈ Rm×n, p = min{m,n} (1)
pri cemu vrijedi σ1 ≥ σ2 ≥ · · · ≥ σp ≥ 0.
Dokaz teorema pogledati u [3] (Tm 2.5.2).
Ako izraz (1) pomnozimo s lijeve strane matricom U i s desne strane matricom V T ,
te ako uvedemo oznaku
S = diag(σ1, . . . , σp), p = min{m,n},
gdje je S ∈ Rm×n dijagonalna matrica, tada dobijemo
A = USV T .
Nenegativne brojeve σ1, . . . , σp zovemo singularne vrijednosti matrice A, a prika-
zanu dekompoziciju zovemo rastav na singularne vrijednosti.
7SVD od eng. singular value decomposition.
33
Sada cemo rijesiti problem najmanjeg kvadrata iz prethodnog poglavlja koristeci
SV D dekompoziciju.
Teorem 6.2 Neka je UTAV = S, tj. A = USV T , dekompozicija na singularne vrijed-
nosti matrice A ∈ Rm×n s r = rang(A). Neka su U = [u1, . . . , um] i V = [v1, . . . , vn]
matrice particionirane na stupce, te neka je b ∈ Rm. Tada
xLS =r∑
i=1
uTi b
σivi (2)
minimizira ‖Ax− b‖2.
Dokaz teorema pogledati u [3] (Tm. 5.5.1).
Primjer 6.1 Rijesi problem najmanjeg kvadrata tj. minimiziraj ||Ax − b||2 ako je
zadano
A =
3 −64 −80 1
, b =
−172
.koristeci SV D dekompoziciju.
Provodenjem SV D dekompozicije na matrici A dobijemo rastav A = USV T , tj.
3 −64 −80 1
=
−0.5980 −0.0479 0.8−0.7974 −0.0639 −0.60.0798 −0.9968 0
11.2161 00 0.44570 0
[−0.4443 −0.89580.8958 −0.4443
].
Uvrstavajuci elemente dobivene dekompozicijom u izraz (2) dobijemo
xLS =r∑
i=1
uTi b
σivi =
[25
]sto je rjesenje.
Dekompozicija na singularne vrijednosti je korisna i kad matrica nije punog ranga,
te ova metoda povecava osjetljivost linearnog sustava na numericku gresku. Koristeci
SV D mozemo rijesiti vecinu linearnih problema najmanjih kvadrata, te rijesiti situacije
kada su matrice singularne. SV D se, takoder, koristi u obradi signala i statistici, te je
nedavno postala korisna u analizi DNA.
34
Literatura
[1] Z. Drmac, V. Hari, M. Marusic, M. Rogina, S. Singer, S. Singer, Numericka analiza,
Sveuciliste u Zagrebu, PMF - Matematicki odjel, Zagreb 2003.
[2] N. Elezovic, Linearna algebra, drugo izadnje, Element, Zagreb, 1999.
[3] G. H. Golub, C.F. Van Loan, Matrix computations, third edition, The Johns Hop-
kins University Press, Baltimore and London, 1996.
[4] V. Hari, Linearna algebra, PMF - Matematicki odjel, Zagreb, 2005.
[5] S. Kurepa, Uvod u linearnu algebru, Skolska knjiga, Zagreb, 1978.
[6] R. Scitovski, Numericka matematika, drugo izdanje, Odjel za matematiku, Osijek,
2004.
[7] N. Truhar, Numericka linearna algebra, Odjel za matematiku, Osijek, 2010.
35
Sazetak
U ovom radu pokusali smo prikazati tehnike provodenja pojedinih dekompozicija.
Obradene dekompozicije implementirane su u razne matematicke programe kao i u
razne operacijske sustave. Svaka zasebno moze se puno detaljnije procavati spominjuci
algoritam, cijenu, uvjetovanost i stabilnost odredene dekompozicije. U ovom radu smo
se bazirali na osnovnim idejama dekomponiranja uz prilagodbu odredenih algoritama.
LU dekompozicija ja zahtjevala kvadratnu matricu te ili glavne minore razlicite od nule
ili pivotiranje. Prikazali smo dekompoziciju Choleskog koja zahtjeva simetricnu pozi-
tivno definitnu matricu. S obzirom da nam matrica nije uvijek kvadratna, naveli smo i
QR dekompoziciju koja ne zahtjeva matricu odredenog tipa vec je dovoljno da je broj
redaka matrice veci od broja stupaca. Takoder smo spomenuli SV D dekompoziciju s
obzirom na njene brojne primjene.
36
Matrix decomposition and applications
Abstract
In this paper we tried to demonstrate different decomposition techniques. Specified
decompositions are implemented into various mathematical softwares and in different
operation systems. Each technique can be additionally researched by discussing algo-
rithms, cost, conditioning and stability of certain decomposition. We focused on basic
ideas of decomposition with addition of adjusting certain algorithms.
LU decomposition required square matrix and either nonzero principal minors or pi-
voting. We demostrated Cholesky decomposition which requires symmetric positive
definite matrix. Because matrix is not always squared, we also provided a QR de-
composition which does not require matrix of defined type, it is only important that
number of rows in matrix is larger than a number of columns. We also mentioned SVD
composition regarding its various applications.
37
Zivotopis
Roden sam 2. svibnja 1985. godine u Dakovu gdje sam od 1992. do 2000. godine
pohadao Osnovnu skolu Vladimira Nazora. Godine 2000. sam upisao Opcu gimnaziju
A.G.Matos u Dakovu. 2004. godine sam uspjesno zavrsio gimnazijsko obrazovanje te
iste godine upisao preddiplomski sveucilisni studij matematike na Odjelu za matema-
tiku u Osijeku. 2007. godine sam zavrsio preddiplomski studij te iste godine upisao
sveucilisni diplomski studij financijske i poslovne matematike na Odjelu za matematiku.
38
