Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
De la photographie numeriquea la photographie computationnelle
Seance 9
Restauration d’images
Frederic Sur
Ecole des Mines de Nancy
Loria
https://members.loria.fr/FSur/enseignement/photo/
1/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Seance 9
1 Quelques exemples
2 Modele lineaire et convolution
3 Algorithmes de deconvolutionDeconvolution directeFiltre de WienerMaximisation d’une vraisemblanceRegularisationDeconvolution aveugle
4 Conclusion
2/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Flou de bouge
Source : Shan, Jia, Agarwala, SIGGRAPH 2008.
http://www.cse.cuhk.edu.hk/leojia/projects/motion_
deblurring/
Voir aussi :
http://www.di.ens.fr/willow/research/saturation/
3/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Defauts des lentilles : vignettage
Probleme inherent a la lentille mince / au stenope.
4/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Defauts des lentilles : distorsions geometriques
En barrillet En coussinet
Corrections : groupement de lentilles
5/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Defauts des lentilles : aberrations chromatiques
Corrections :Utilisation de fluorineDoublet achromatiqueTriplet apochromatique
Cas de la photo IR ou UV.
6/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Defauts des lentilles : et aussi. . .
– Astigmatisme / coma (defauts de non-uniformite)– Courbure de champ– Reflexions parasites diffuses (flare). . .
Finalement :
Focale fixe : 4 a 8 lentilles, eventuellement groupees.Teleobjectif : 2 a 7 groupes (jusque 15-20 lentilles).
7/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Bruit
Source : wikipedia.org8/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Correction des defauts optiques
Dependent de caracteristiques de l’optique utilisee.
Vignettage et aberrations geometriques dependent del’ouverture ;
Aberrations chromatiques dependent aussi de l’endroitde mise au point.
+ influence de la focale pour un objectif zoom.
→ utilisation des “donnees EXIF” dans le fichier RAW ouJPEG, et de modelisations des defauts d’un grand nombred’objectifs.
Exemple : DXO Lien www
Attention : necessite interpolation (si correction possible),eventuellement recadrage, et peut faire � monter � le bruit.→ il reste un interet a avoir des optiques performantes (mais
cheres !).
9/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Restauration / retouche
Restauration Retouche
But : image proche del’image ideale � avantdegradation �
But : image plaisante a l’œil
modele mathematique desdegradations
pas de modele, � a la main �
processus objectif processus subjectif
Exemples : cas precedents Exemples : enlever lesyeux rouges, augmenterle contraste, � gommemagique �. . .
10/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Seance 9
1 Quelques exemples
2 Modele lineaire et convolution
3 Algorithmes de deconvolutionDeconvolution directeFiltre de WienerMaximisation d’une vraisemblanceRegularisationDeconvolution aveugle
4 Conclusion
11/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Modele lineaire de degradation
En tout pixel (x , y) :
I (x , y) =∑
(i ,j)∈V(x,y)
kx ,y (i , j)I0(i , j) + n(x , y)
avec
V(x ,y) un voisinage de (x , y). . .
. . .sur lequel sont definis les poids kx ,y (i , j)
I0 : image ideale non degradee (inconnue).
n : bruit (processus aleatoire, inconnu)
12/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Restauration
I (x , y) =∑
(i ,j)∈V(x,y)
kx ,y (i , j)I0(i , j) + n(x , y)
→ ici, le probleme de restauration consiste a retrouver I0 apartir de l’observation I .
Vocabulaire :– kx ,y (i , j) connu : restauration non-aveugle– kx ,y (i , j) inconnu : restauration aveugle
Remarque : dans les deux cas, probleme inverse mal pose acause du bruit(plus d’inconnues que d’equations)
13/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Cas particulier : la convolution
I (x , y) =∑
(i ,j)∈V(x,y)
kx ,y (i , j)I0(i , j) + n(x , y)
Si k invariant par translation (i.e. kx ,y (i , j) = k(i , j)) :
I (x , y) =∑
(i ,j)∈Vk(i , j)I0(i , j) + n(x , y)
ou :I = k ∗ I0 + n
avec V le support du noyau k
Definition (produit de convolution discret) :
k ∗ I0(x , y) =∑
i ,j
k(i , j)I0(x − i , y − j)
=∑
i ,j
k(x − i , x − j)I0(i , j)
14/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Exemples
Vocabulaire :– k connu : deconvolution non-aveugle→ notre cas d’etude
– k inconnu : deconvolution aveugle (blind deconvolution).
15/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Point spread function (PSF)
Le noyau k est appele fonction d’etalement d’un point.
Pourquoi ?
k ∗ I0(x , y) =∑
i ,j
k(i , j)I0(x − i , y − j)
→ si I0 = 0 partout sauf en (x0, y0) ou I0(x0, y0) = 1,alors k ∗ I0(x , y) = k(x − x0, y − y0)
16/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
PSF : illustration
Source :https://www.flickr.com/photos/deano/34026482/
17/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
PSF d’un systeme optique
La PSF caracterise le systeme optique
Exemples :
hubblesite.org/newscenter/archive/releases/1994/
05/image/c/
www.stsci.edu/hst/wfpc2/analysis/wfpc2_psf_page.
html
www.stsci.edu/hst/HST_overview/documents/
RestorationofHSTImagesandSpectra.pdf
www.stsci.edu/software/tinytim/deconwfpc2.html
18/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Seance 9
1 Quelques exemples
2 Modele lineaire et convolution
3 Algorithmes de deconvolutionDeconvolution directeFiltre de WienerMaximisation d’une vraisemblanceRegularisationDeconvolution aveugle
4 Conclusion
19/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Deconvolution directe
I = k ∗ I0 + n
Rappel : avec la transformee de Fourier
F(I ) = F(k)F(I0) + F(n)
→ sans bruit (& cas non-aveugle), la deconvolution se resoutpar :
I0 = F−1 (F(I )/F(k)) = I ∗ F−1 (1/F(k))
Probleme : avec du bruit,
F−1 (F(I )/F(k)) = I0 + F−1 (F(n)/F(k))
→ amplification du bruit dans les hautes frequences !(cf TP)
20/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Filtre de Wiener
I = k ∗ I0 + n
On cherche un filtre (lineaire) w tel que w ∗ I soit une bonneapproximation de I0
Propriete : le filtre de Wiener donne par :
w(ξ, η) =k∗(ξ, η)
|k(ξ, η)|2 + E(|n(ξ,η)|2)
|I0(ξ,η)|2
minimiseE(||I0 − w ∗ I ||2
)
Preuve : cf poly.
→ a comparer a la deconvolution directe : 1
k(ξ,η)= k∗(ξ,η)
|k(ξ,η)|2
21/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Estimation au maximum de vraisemblance
Definition : vraisemblance de la realisation x d’un vecteuraleatoire X de densite fθ (parametres θ) :
L(x ; θ) = fθ(x)
Methode du maximum de vraisemblance :estimer θ qui maximise L(x ; θ), connaissant x .(idee : plus la vraisemblance est grande, plus il est probable que la
densite fθ pour les (Xt) est la bonne)
Exemple : x1, x2, . . . , xn realisations i.i.d. gaussiennes :
L(x1, x2, . . . , xn;µ, σ) =
1
σn(2π)n/2
n∏
i=1
exp
((xi − µ)2
2σ2
)
−6 −4 −2 0 2 4 6−0.05
0
0.05
0.1
0.15
0.2
x
i
µ=1,σ=2µ=1,σ=4µ=−1,σ=2
22/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Algorithme de Richardson-LucyModele de degradation :I (x , y) est la realisation d’une variable aleatoire de Poissonde parametre λ(x , y) = (k ∗ I0)(x , y)→ realiste en imagerie astronomique.
Remarque : dans le cas du modele lineaire, I (x , y) est la
realisation d’une variable (par ex. gaussienne) de
moyenne µ(x , y) = k ∗ I0(x , y) et de
variance σ2(x , y) = Var(n)(x , y).
→ Vraisemblance de I sous I0 :
L(I ; I0) =∏
x ,y
λ(x , y)I (x ,y)
I (x , y)!e−λ(x ,y)
Propriete : I0 maximisant cette vraisemblance est estimeepar l’algorithme iteratif de Richardson-Lucy (1972-1974).Preuve : cf poly.
23/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Approches par regularisation
I = k ∗ I0 + n
Residu de l’approximation de I0 par une image J :||k ∗ J − I ||2Egalite de Parseval : ||k ∗ J − I ||2 = c ||k J − I ||2
Si on cherche argminJ ||k ∗ J − I ||2 :→ J = I/k donne une solution optimale. . .
Piste : on cherche a regulariser la solution en penalisant lesimages J peu � regulieres � :
argminJ
(||k ∗ J − I ||22 + λΨ(J)
)
avec λ > 0 reglant le compromis attache aux donnees /regularite.
24/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Approches par regularisation
argminJ
(||k ∗ J − I ||22 + λΨ(J)
)
Exemples de fonctionnelles regularisantes :
Ψ(J) = ||A · J||22→ regularisation de Tikhonov (A = Id. . .)
Ψ(J) =∑
x ,y ||∇J(x , y)||1Ψ(J) =
∑x ,y ||∇J(x , y)||2
→ regularisation TV (variation totale)
+ toute la litterature. . .
puis algorithmes dedies. . .
25/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Deconvolution aveugle
Globalement, deux approches :
1 identification de la PSF, puis deconvolution non-aveugle→ possible dans les cas ou on peut caracteriser la PSF(astronomie, microscopie, Hubble Space Telescope. . .)
2 estimation conjointe :
argminJ,k
(||k ∗ J − I ||22 + λΨ(J) + µΦ(k)
)
→ information a priori– sur l’image (ex : proprietes attendues pour une image
� naturelle �)
– et/ou le noyau (type de degradation).
26/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Seance 9
1 Quelques exemples
2 Modele lineaire et convolution
3 Algorithmes de deconvolutionDeconvolution directeFiltre de WienerMaximisation d’une vraisemblanceRegularisationDeconvolution aveugle
4 Conclusion
27/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Conclusion
la deconvolution permet d’aller au dela des limitesoptiques, ou de surmonter le flou de bouge par exemple
deconvolution aveugle / non-aveugle
recherches recentes : algorithmes de restauration parregularisation, identification de la PSF. . .
28/29
De la photographienumerique a laphotographie
computationnelleSeance 9
F. Sur - ENSMN
Quelques exemples
Modele lineaire etconvolution
Algorithmes dedeconvolution
Deconvolution directe
Filtre de Wiener
Maximisation d’unevraisemblance
Regularisation
Deconvolution aveugle
Conclusion
Soutenance des mini-projets
Mardi 23 mai
Presentation de 15 minutes :
Quel est le probleme ? Motivations ? Verrous ?
Solution proposee dans l’article a lire ?
Illustration par experiences numeriques du problemetraite, et des apports et limites des (de la) methode(s)discutee(s).
Eventuellement, contribution personnelle au dela dusujet.
Puis questions.
29/29