Upload
kais-bahrouni
View
157
Download
0
Embed Size (px)
Citation preview
03/01/13 1
Plan du cours
Introduction
Système de communication
Schéma général de la communication
Sources d’information
Sources d’information discrètes
Canal
Canal discret sans mémoire
Canal continu
03/01/13 2
Théorie de l’information Théorie de l’information: Théorie mathématique qui se préoccupe des systèmes d'information, des systèmes de communication et de leurs efficacités.
• Créée par C. E. Shannon dans les années 40.
•Fournit une mesure quantitative de la notion d'information apportée par un message (ou une observation).
03/01/13 3
Système de communication
Source : voix, musique, image (fixe ou animée), texte, . . .Canal : radio, fil, fibre optique, support magnétique ou optique, . . .Bruit : perturbations électromagnétiques, rayures, . . .
Moyens de transmettre une information depuis la source jusqu’à un utilisateur à travers un canal.
Système de communication
03/01/13 4
Théorie de l'information La transmission peut se faire dans l’espace ou dans le temps.
Codeur: Ensemble des opérations effectuées sur la sortie de la source avant la transmission. Ces opérations peuvent être par exemple:•la modulation, la compression, le brouillage, l’ajout de redondance, la cryptographie
Le décodeur doit être capable, à partir de la sortie du canal, de restituer de façon acceptable l’information fournie par la source.
03/01/13 5
Théorie de l'informationEn Général, Les sciences de l'information essaient de dégager le sens des informations en vue de prendre des décisions depuis des données en s'appuyant sur des questions de:
corrélation, d'entropie d'apprentissage.
Alors que Les technologies de l'information, s'occupent de la façon de:
concevoir, implémenter et déployer des solutions pour répondre à des besoins identifiés.
03/01/13 6
Théorie de l'information On constate donc que dans la chaîne qui mène de la donnée à l'action (prise de décision, déduction,….): (données -> information -> connaissance -> sens -> motivation)
• Seule les deux premières transformations sont prises en compte par la théorie de l'information classique
données -> information
03/01/13 7
03/01/13 8
Schéma général de la communicationX=“HELLO” x=0011010100… y=0011000100… Y=“CELLO”
Source information Transmetteur Canal Récepteur Destination
P(X) X=F(x) yY=G(y)
Bruit
P(y|x)
1er rôle du transmetteur/récepteur : – Traduire la source en un langage admis par le canal
2ème rôle du transmetteur/récepteur : – réduire la redondance de la source
3ème rôle du transmetteur/récepteur :– gérer les erreurs du canal, – les détecter et/ou les corriger
03/01/13 9
Sources d’information
• Définition : Systèmes capables de sélectionner et
d’émettre des séquences de signes (ou messages)
appartenant à un ensemble (ou alphabet) donné• Ex. de signes : lettres, chiffres, échantillons• Ex. de sources : système à 2 niveaux logiques,
texte
03/01/13 10
Modèles de Sources d’information
On peut distinguer, parmi les classes de modèles
de sources:• les sources discrètes sans mémoire, finie ou
infinie. • les sources non discrètes, ou sources continues,
03/01/13 11
Sources d’information discrètesUne source discrète χ est un alphabet fini χ = (a1,…, aK) muni d'une loi de probabilité PX.• Exemples : Sources d’information alphanumériques,
de symboles binaires, d’information numérique (signaux quantifiés en amplitude, en fréquence ou en phase)
2 sortes de sources:• Sources sans mémoire : signes générés indépendamment les
uns des autres => modèle de Bernoulli
• Sources avec mémoire : prise en compte de la dépendance entre un signe émis et les signes précédents=> modèle de Markov: Ex : description statistique des langues écrites usuelles
03/01/13 12
Hypothèse sur la source• On considère le message produit par la source comme un
signal aléatoire dont on peut connaître les probabilités d’occurrence des symboles p(X).
Exemple 1: source binaire équiprobable, “010010111001…”, p(0) = 1-p(1) = 0.5
Exemple 2: source binaire biaisée, “11011110011111…”, p(0) = 1-p(1) = 0.2
Exemple 3: source alphabétique équiprobable, “AGRWTCHG…”,p(A) = p(B) = p(C) = … p(Z) = 1/26.
03/01/13 13
Canal
• Pour modéliser un canal de transmission, il est nécessaire de spécifier l’ensemble des entrées et l’ensemble des sorties possibles.
• Canal discret sans mémoire: L’entrée est une lettre prise dans un alphabet fini A = {a1,...,an} et la sortie est une lettre prise dans un alphabet fini B = {b1,...,bm}
03/01/13 14
Canal discret sans mémoire
• Chaque lettre de la séquence reçue ne dépend statistiquement que de la lettre émise de même position.
• Entièrement décrit par la donnée des probabilités conditionnelles p(b|a) pour toutes les lettres a de l’alphabet d’entrée et toutes les lettres b de l’alphabet de sortie.
03/01/13 15
Canal continu
• Plus proches des canaux physiques. • L’entrée et la sortie sont des fonctions
continues du temps.
03/01/13 16
Canal continu• Le codeur du canal discret, transforme une
séquence binaire en une séquence de lettres d’un alphabet fini A = {a1, . . . , an}.
• La seconde partie du codeur, le modulateur de données digitales, envoie pendant un temps τc sur le canal une des fonctions de temps prédéfinies s1(t), . . . , sn(t).
• La durée τc est l’intervalle de temps séparant l’émission de deux lettres par le codeur de canal discret.
03/01/13 17
Canal continu
• L’ensemble de ces fonctions du temps mises bout à bout est converti à la sortie du canal par le démodulateur de données digitales en une séquence de lettres d’un alphabet de sortie B = {b1, . . . , bm} au rythme, d’une lettre toutes les τc secondes
03/01/13 18
03/01/13 19
Hypothèse sur le canal• On considère le canal de transmission en termes probabilistes
via les probabilités de transition p(y|x) d’obtenir un symbole y en sortie quand le symbole x a été introduit en entrée
Exemple 1: canal binaire sans bruit, p(0|0) = p(1|1) = 1 p(1|0) = p(0|1) = 0
Exemple 2: canal binaire bruité, p(0|0) = p(1|1) = 1- p ,p(1|0) = p(0|1) = p
Exemple 3: machine à écrire bruitée, p(A|A) = p(B|A) = 0.5 ,p(B|B) = p(C|B) = 0.5 ,p(C|C) = p(D|C) = 0.5 , …
03/01/13 20
Exemple d’informationProblème:
Une bibliothèque possède un grand nombre: d'ouvrages, des revues, des livres et des dictionnaires.
Nous cherchons un cours complet sur la théorie de l'information.
03/01/13 21
Exemple d’information• Tout d'abord, il est logique que nous ne trouverons pas ce dossier dans des ouvrages d'arts ou de littérature; nous venons donc d'obtenir une information qui diminuera notre temps de recherche. • Il est précisé que nous voulions aussi un cours complet, nous ne le trouverons donc ni dans une revue, ni dans un dictionnaire. • Nous avons obtenu une information supplémentaire (nous cherchons un livre), qui réduira encore le temps de notre recherche.
03/01/13 22
Notion de la quantité d’information
03/01/13 23
Notion de la quantité d’information
03/01/13 24
Notion de la quantité d’informationProblèmeConsidérons N boîtes numérotées de 1 à N. Un individu A a caché au hasard un objet dans une de ces boîtes. Un individu B doit trouver le numéro de la boîte où est caché l'objet. Pour cela, B a le droit de poser des questions à l'individu A A doit répondre sans mentir par OUI ou NON. Mais chaque question posée représente un coût à payer par l'individu B (par exemple un dinar). Un individu C sait dans quelle boîte est caché l'objet. Il a la possibilité de vendre cette information à l'individu B. B n'acceptera ce marché que si le prix de C est inférieur ou égal au coût moyen que B devrait dépenser pour trouver la boîte en posant des questions à A. L'information détenue par C a donc un certain prix. Ce prix représente la quantité d'information représentée par la connaissance de la bonne boîte : c'est le nombre moyen de questions à poser pour identifier cette boîte. Nous la noterons I.
03/01/13 25
Notion de la quantité d’information
•Si N = 1, I = 0. Il n'y a qu'une seule boîte. Aucune question n'est nécessaire.•Si N = 2, I = 1. On demande si la bonne boîte est la boîte n°1. La réponse OUI ou NON détermine alors sans ambiguïté quelle est la boîte cherchée.•Si N = 4, I = 2. On demande si la boîte porte le n°1 ou 2. La réponse permet alors d'éliminer deux des boîtes et il suffit d'une dernière question pour trouver quelle est la bonne boîte parmi les deux restantes.
03/01/13 26
Notion de la quantité d’information
•Si N = 2k, I = k. On écrit les numéros des boîtes en base 2. Les numéros ont au plus k chiffres binaires, et pour chacun des rangs de ces chiffres, on demande si la boîte cherchée possède le chiffre 0 ou le chiffre 1.• En k questions, on a déterminé tous les chiffres binaires de la bonne boîte. Cela revient également à poser k questions, chaque question ayant pour but de diviser successivement le nombre de boîtes considérées par 2 (méthode de dichotomie).
On est donc amené à poser I = log2(N), mais cette configuration ne se produit que dans le cas de N événements équiprobables.
03/01/13 27
Notion de la quantité d’information
• Supposons maintenant que les boîtes soient colorées, et qu'il y ait n boîtes rouges. • Supposons également que C sache que la boîte où est caché l'objet est rouge. Quel est le prix de cette information? • Sans cette information, le prix à payer est log(N). Muni de cette information, le prix à payer n'est plus que log(n). • Le prix de l'information « la boîte cherchée est rouge » est donc :
log(N) − log(n) = log(N / n).
03/01/13 28
Notion de la quantité d’information
On définit ainsi la quantité d'information comme une fonction croissante de N/n avec :
N : le nombre d'évènements possibles
n : le cardinal du sous-ensemble délimité par l'information
Quantité d'information: I=log2(N/n)
03/01/13 29
03/01/13 30
Information mutuelle
03/01/13 31
03/01/13 32
03/01/13 33
Entropie, formule de Shannon
Supposons maintenant que les boîtes soient de diverses couleurs :
n1 boîtes de couleur C1,
n2 boîtes de couleur C2,
...,
nk boîtes de couleurs Ck,
avec n1 + n2 + ... + nk = N. 03/01/13 34
Entropie, formule de Shannon
La personne C sait de quelle couleur est la boîte recherchée.
Quel est le prix de cette information ?
L'information « la boîte est de couleur C1 » vaut log N/n1, et cette éventualité a une probabilité n1/N.
L'information « la boîte est de couleur C2 » vaut log N/n2, et cette éventualité a une probabilité n2/N...
03/01/13 35
Entropie, formule de Shannon
Le prix moyen de l'information est donc:
n1/N log( N/n1 )+ n2/N log (N/n2 )+ ... + nk/N log (N/nk)
Plus généralement, si on considère k évènements disjoints de probabilités respectives p1, p2, ..., pk avec :
p1 + p2 + ... + pk = 1, alors la quantité d'information correspondant à cette distribution de probabilité est:
p1 log 1/p1 + ... + pk log 1/pk.
Cette quantité s'appelle entropie de la distribution de probabilité
01/03/13 36
Entropie, formule de Shannon
L’entropie permet donc de mesurer la quantité d'information moyenne d'un ensemble d'évènements (en particulier de messages) et de mesurer son incertitude.
On la note H :
avec la probabilité associée à
l'apparition de l'évènement i.
01/03/13 37
Entropie
• Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande, et vice versa.
• Plus le récepteur reçoit d'information sur le message transmis, plus l'entropie (incertitude) vis-à-vis de ce message décroît.
01/03/13 38
Entropie
• La définition de l'entropie d'une source selon Shannon est telle que plus la source est redondante, moins elle contient d'information.
• En l'absence de contraintes particulières, l'entropie est maximale pour une source dont tous les symboles sont équiprobables.
01/03/13 39
Entropie
• Dans le cas particulier d'un système de télécommunication, l'entropie de la source d'information (le transmetteur) indique l'incertitude du récepteur par rapport à ce que la source va transmettre
01/03/13 40
Entropie• Une source réputée envoyer toujours le
même symbole, disons la lettre 'a', a une entropie nulle, c'est-à-dire minimale.
• En effet, un récepteur qui connait seulement les statistiques de transmission de la source est assuré que le prochain symbole sera un 'a', sans jamais se tromper.
• Le récepteur n'a pas besoin de recevoir de signal pour lever l'incertitude sur ce qui a été transmis par la source car celle-ci n'engendre pas d'aléa
01/03/13 41
Entropie
• Par contre, si la source est réputée envoyer un 'a' la moitié du temps et un 'b' l'autre moitié, le récepteur est incertain de la prochaine lettre à recevoir. L'entropie de la source dans ce cas est donc non nulle (positive) et représente quantitativement l'incertitude qui règne sur l'information émanant de la source.
01/03/13 42
Entropie
• Du point de vue du récepteur, l'entropie indique la quantité d'information qu'il lui faut obtenir pour lever complètement l'incertitude (ou le doute) sur ce que la source a transmis
01/03/13 43
• Si une source émet n lettres équiprobables (ou encore avec une loi de probabilité uniforme), son entropie est donc log2 n.
• Si n = 2r, son entropie est alors r.Or pour représenter 2r lettres distinctes en binaires, r cases sont nécessaires. L’entropie d’une source est quelquefois donnée en bits/seconde
Entropie
01/03/13 44
01/03/13 45
01/03/13 46
01/03/13 47
Entropie d’une source discrète• Exemple 2: 26 lettres de l’alphabet
• Exemple 3: code ASCII 7 bits - 128 symboles
• Exemple 4: X dans {a,b,c,d}, p(a) = ½ , p(b) = ¼ , p(c) = p(d) = ?
lettrebitsXHk
/7.426
1log
26
1)(
26
1
=
−= ∑
=
lettresbitsXHk
/7128
1log
128
1)(
128
1
=
−= ∑
=
symbolebitsXH /4
7
8
1log8
1
8
1log8
1
4
1log4
1
2
1log2
1)( =−−−−=
01/03/13 48
Entropie d’une source discrète
01/03/13 49
Entropie d’une source discrète
01/03/13 50
Entropie d’une source discrète
5101/03/13
01/03/13 52
01/03/13 53
01/03/13 54
01/03/13 55