Upload
annelien-gersch
View
107
Download
3
Embed Size (px)
Citation preview
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Frames and Frame Multiplier
Peter Balazs
Acoustics Research Institute, Austrian Academy of Science, Vienna- http://www.kfs.oeaw.ac.at- [email protected]
Groupe de Traitement du Signal, LATP, CMI, Marseille - http://www.cmi.univ-mrs.fr/%7Emolla/GTS/index.htm- [email protected]
in cooperation with:
NuHAG, Mathematics Institute, University Vienna - http://www.univie.ac.at/NuHAG/- [email protected]
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
SHORT TIME FOURIER TRANSFORMATION
Short Time Fourier transformation, STFT
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
INTERPRETATION OF THE PHASE VOCODER (STFT)
Fourier-transform
Windowed signal
mathematically equivalent
Filterbank
A channel of the filterbank
Gabor projection
Shifted atoms
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
overlap addoscillator bankprojection on dual atoms
SYNTHESIS
REDUNDANCYSTFT
PERCEPTUAL REDUNDANCY
masking
Basis or frame
SYNTHESIS AND REDUNDANCY
Gabor frame :
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Discrete Representation
Sampling
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Discrete Representation
Modification of Time Frequency or Time Scale Parameters
e.g. Denoising, masking, edge detection ......
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Discrete Representation
Coding /Decoding e.g. in MP3
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Discrete Representation
Coding / Decoding or Encryption / Decryption
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Discrete Representation
Represent a „real world analog thing“ by discrete coefficents
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Orthonormal Bases in Hilbert Spaces
Hilbert space Definition, examples
Bases & ONBsComplete, basis, ONS, ONB
Plancherel:
Properties of an ONB
Examples:
SVD, PCA, ICA
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Problems with bases
Error - robustness
Properties of the elements
Perturbation of basis elements
Flexibility:
Uniqueness <-> redundancy
Gabor: Balian-Low
Wavelet
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Frames
Definition
Properties, frame operator S
Dual frame
Canonical
Tight frame, canonical tight
Finite setting, Algorithms for S-1
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Results for frames
Images of ONBs
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Results for frames
Representation with frames
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Gabor frames
Definition
Existence, Wiener space, Walnut theorem
Duality
Balian Low
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Gabor multiplier
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Masking Filter
Best representation for masking threshold resp. auditory filters?
Gabor Multiplier for irregular grid (bark)
Time Frequency localization operator (continuous)
Wavelet Multiplier
Multiple Gabor Extension Multiplier
(Or something completely different:) Auditory Filter Multiplier ?
Gamma-tone Filter Multiplier?
Spectrum and relevance threshold
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
Frame multiplier
Definition
Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: [email protected]; http://www.kfs.oeaw.ac.at
REFERENCES:
[1] O. Christensen, An Introduction To Frames And Riesz Bases , Birkhäuser Boston (2003)
[2] M. Dörfler, Gabor Analysis for a Class of Signals called Music, PhD thesis Vienna (2002)
[3] H.G. Feichtinger, T. Stromer, Gabor Analysis and Algorithms, Theory and Applications, Birkhäuser Boston (1998)
[4] H. G. Feichtinger, T. Strohmer, Advances in Gabor Analysis , Birkhäuser Bosten (2003)
[5] K. Gröchenig, Foundations of Time-Frequency Analysis, Birkhäuser Boston (2001)