Upload
others
View
11
Download
0
Embed Size (px)
Citation preview
Des données, à l’informa2on, aux connaissances : Le Web de demain
Serge Abiteboul INRIA & ENS Cachan
Conseil na8onal du numérique & Académie des sciences
Abiteboul -‐ PFIA, 7/2013 1
Introduc2on "
Deux grands succès du 20e siècle Les systèmes rela8onnels Les moteurs de recherche de la Toile
Deux défis du 21e siècle Réseaux et connaissances collec8ves La Toile des connaissances
Conclusion
Abiteboul -‐ PFIA, 7/2013 2
Je ne connais pas d’être vivant, de cellule, 4ssu, organe, individu et peut-‐être même espèce, dont on ne puisse pas dire qu’il stocke de l’informa4on, qu’il traite de l’informa4on, qu’il émet et qu’il reçoit de l’informa4on.
Michel Serres
Ges8on de données/informa8on
Les systèmes informa8ques servent à calculer – Simula8on de la météo – Cryptographie – Etc.
Ils servent beaucoup à stocker/gérer des données – Comptabilité – Catalogue de produits – Inventaire – Agenda – Contacts – Bibliothèque – Médiathèque, etc.
Abiteboul -‐ PFIA, 7/2013 3
Média8on
Les systèmes informa8ques jouent le rôle de médiateurs entre des u8lisateurs intelligents et des objets qui stockent l’informa8on
Abiteboul -‐ PFIA, 7/2013 4
∃ t,d ( Film(t, d, « Bogart ») ∧ Séance(t, s, h) )
Où et à quelle heure puis-je voir un film avec Bogart?
intget(intkey){ inthash=(key%TS);while(table[hash]=NULL&&table[hash]-‐>getKey()=key) hash=(hash…
La Toile
Aujourd’hui, on trouve l’informa8on sur la Toile
• « World Wide Web », likéralement la « toile d’araignée mondiale »
La Toile est un système hypertexte (*) public fonc8onnant sur Internet (**) qui permet de consulter, avec un navigateur, des pages accessibles notamment via des moteurs de recherche
(*) Hypertext (**) Internet
Un réseau qui permet de transférer des flux d’informa8on entre des machines connectées au réseau (TCP)
Abiteboul -‐ PFIA, 7/2013 5
Success stories sur la Toile
Google : ges8on des pages du Web Facebook : informa8ons personnelles et communautés Wikipedia : encyclopédie Amazon, eBay : catalogues de vente sur le Web YouTube, Dailymo8on : vidéos Twiker : communica8on, news Flickr, Picasa : photos iTunes, Kazaa, Emule, Batanga, BearShare : musique en ligne Myspace : pages personnelles Mee8c : fiches individuelles Wikileaks : secrets d’Etats Abiteboul -‐ PFIA, 7/2013 6
Quel est leur
point commun ?
C’est de la ge
s4on de don
nées/d’info
rma4on/de
connaissanc
es
Le quan8ta8f : le monde numérique
Des milliards d’objets communicants Des centaines de millions de sites de la Toile 1000 milliards de pages (Septembre 2008) Plus de 10 milliards de recherches sur le Web/mois (Avril 2008)
Abiteboul -‐ PFIA, 7/2013 7
Nous baign
ons dans un
monde numérique
véritablement gi
gantesque
Le quan8ta8f : le volume de données
8 bits = 1 octet 1 téraoctet = 1012 octets
– 200 téraoctets = tous les livres écrits à ce jour
1 pétaoctet = 1015 octets – 100 pétaoctet = la quan8té de données produites par le collisionneur de
par8cules du CERN en une minute
1 exaoctet = 1018 octets – 5 exaoctets = le volume des mots prononcés depuis que l’homme parle
1 zekaoctet = 1021 octets – ½ zeMa = le trafic Internet en 2012 – 0.5.1021 – 66 zeka : l'informa8on visuelle envoyée au cerveau en une année
Source : Cisco Visual Networking Index – Forecast, 2007-‐201 -‐ Via Michael Brodie Abiteboul -‐ PFIA, 7/2013 8
Le monde numérique double tous les 18 mois
Données Descrip8on élémentaire d’une réalité
Mesures de températures dans une sta4on météo
Informa8ons Données avec un sens (pour construire une représenta8on de la réalité)
Une courbe donnant l’évolu4on des minimas & maximas moyens en un lieu suivant le mois de l’année
Connaissances Informa8ons avec une vérité, plus généralement une loi qui est considérée comme vraie
Le fait que la température sur terre augmente du fait de l’ac4vité humaine
Le qualita8f : données, informa8ons et connaissances
Abiteboul -‐ PFIA, 7/2013 9
Introduc8on "Deux grands succès du 20e siècle
Les systèmes rela2onnels Les moteurs de recherche de la Toile
Deux défis du 21e siècle Réseaux et connaissances collec8ves La Toile des connaissances
Conclusion
Abiteboul -‐ PFIA, 7/2013 10
La ges8on de données « classique »
Un grand succès de l’informa8que du 20e siècle – Recherche industrielle et académique – Fondements théoriques – Systèmes commerciaux comme Oracle, DB2, SQL Server – Logiciels libres comme mySQL
Modèle rela8onnel, Tedd Codd-‐1970 Fortement inspiré par la Logique du premier ordre
– Développée à la fin du 19e par des mathéma8ciens – Pour formaliser le langage des mathéma8ques
Abiteboul -‐ PFIA, 7/2013 11
Logic is the beginning of wisdom, not the end. Mr. Spock, Star Trek
Abiteboul -‐ PFIA, 7/2013 12
Playboy : Is your company moOo really "Don't be evil"? Brin : Yes, it's real. Playboy : Is it a wriOen code? Brin : Yes. We have other rules, too. Page : We allow dogs, for example. Sergey Brin et Larry Page,
fondateurs de Google. Interview dans le magasine Playboy, 2004
Introduc8on "Deux grands succès du 20e siècle
Les systèmes rela8onnels Les moteurs de recherche de la Toile
Deux défis du 21e siècle Réseaux et connaissances collec8ves La Toile des connaissances
Conclusion
Ce qui a changé avec la Toile
L’informa8on résidait sur des iles avec des formats, des langages de programma8on, des applica8ons, des systèmes d’exploita8ons différents
Grâce à des standards universels pour échanger de l’informa8on, nous avons maintenant :
1. Un accès uniforme et universel à l’informa8on
2. L’accès à des volumes gigantesques d’informa8on
Comment trouver de l’informa2on ?
Abiteboul -‐ PFIA, 7/2013 13
Moteur de recherche de la Toile
L’index donne, pour chaque mot, la liste des pages qui con8ennent ce mot
Abiteboul -‐ PFIA, 7/2013 14
Mot Numéro de page
…
collège 34,56,223,9900,111111…
…
france 56,778,6560,9900,9999…
…
informa8que 9890,11122290…
…
num url
1 www.inria.fr
2 www.bnf.com
3 www.inria.fr/~bhe
4 www.inria.fr/a/b
…
Moteur de recherche du Web
Problème de passage à l’échelle Plus le moteur indexe de pages, plus l’index grandit
– Des milliards de pages – L’index est du même ordre de grandeur que les pages indexées – Chaque requête devient de plus en plus coûteuse à évaluer
Plus le moteur a d’u8lisateurs, plus il reçoit de requêtes – Des dizaines de milliards de requêtes de recherche par mois
Solu8on : le parallélisme
Abiteboul -‐ PFIA, 7/2013 15
Digression: Le parallélisme Essen8el pour gérer de gros volumes de données
– Meilleure disponibilité, performance, etc.
Quel parallélisme? – Les machines sont de plus en
plus mul8 processeurs – Collabora8on entre les
serveurs des différents sites d’une entreprise
– Centaines voire milliers de serveurs d’une « grappe »
– Millions de serveurs de la Toile
Illustra8on : deux types d’organisa8ons sont possibles pour la diffusion de films
– Chaque film sur un serveur unique vite saturé
– Architecture pair-‐à-‐pair, chaque machine est à la fois serveur et client
Abiteboul -‐ PFIA, 7/2013 16
Calcul massivement parallèle : Map/reduce & Hadoop
Prouesse et magie
On vous a dit – Les moteurs de recherche de la toile sont extraordinaires par la quan8té
d’informa8ons qu’ils indexent – des milliards de pages Non
– Ils sont merveilleux parce qu’ils savent comment choisir dans le résultat de l’index qui peut faire des centaines de millions de pages
La prouesse : indexer des milliards de pages
– En u8lisant des techniques comme le hachage La magie : trouver ce que vous voulez (en général)
– En u8lisant des « mesures » pour classer les pages comme PageRank et TFIDF
Abiteboul -‐ PFIA, 7/2013 17
La magie : les classer avec PageRank
Surfeur aléatoire de la Toile – Popularité = probabilité de se trouver sur la page – Probabilité est plus forte pour lemonde.fr que pour la page
personnelle de Monsieur Michu Mise en équa8on : pop = Θ × pop Et comment on calcule cela ?
– pop0 défini par pop0[i] = 1/N • toutes les pages sont supposées aussi populaires
– pop1 = Θ× pop0 – pop2 = Θ × pop1 – pop3 = Θ × pop2 …
Le point fixe donne la popularité
Abiteboul -‐ PFIA, 7/2013 18
Des problèmes ouverts
Simplisme des requêtes actuelles – Langue primi8ve quasiment sans grammaire : Liste de mots-‐clés – Résultat imprécis : liste de pages – Il est possible de faire mieux
Simplisme de PageRank – Privilégie la popularité – Encourage l’uniformité – Opinions néga8ves
Et pourquoi le secret sur les critères de classement des pages ?
Abiteboul -‐ PFIA, 7/2013 19
La recherche « neutre » : 13% et moins
Abiteboul -‐ PFIA, 7/2013 20
Digression : neutralité La neutralité du réseau garan8t l'égalité de traitement
de tous les flux de données sur Internet. Ce principe exclut ainsi toute discrimina8on à l'égard de la source, de la des8na8on ou du contenu de l'informa8on transmise sur le réseau – Si un opérateur d’internet sur mobile bloque les services de Skype – c’est pas neutre
– Si un opérateur de télécom et télévision bloque Youtube – c’est pas neutre
– Si un moteur de recherche déclasse un site pour plaire à un de ses clients – c’est pas neutre
• La perte de neutralité nuit à notre liberté d’accès à l’informa8on et à notre liberté d’expression
Abiteboul -‐ PFIA, 7/2013 21
Les systèmes rela2onnels comment on en est arrivé là
Abiteboul -‐ PFIA, 7/2013 22
L’améliora8on d’une fonc8on existante ou une nouvelle fonc8onnalité
Notamment, des modèle plus abstraits pour gérer des données
Des ou8ls mathéma8ques Notamment, la logique et l’algèbre rela8onnelles
Des algorithmes intelligents Notamment, pour l’op8misa8on de requête
Un engineering solide Notamment la reprise sur pannes et la ges8on de la concurrence
Et tout cela en tenant compte des progrès sur les machines
Améliora8on de la capacité des disques
Informa8que
Engineering
Progrès sur les matériels
Maths
Moteurs de recherche de la Toile comment on en est arrivé là
Abiteboul -‐ PFIA, 7/2013 23
L’améliora8on d’une fonc8on existante ou une nouvelle fonc8onnalité
Meilleur classement des pages
Des ou8ls mathéma8ques Notamment, les techniques de point fixe
Des algorithmes intelligents Notamment, l’u8lisa8on du parallélisme massif
Un engineering solide Notamment, faire fonc8onner des fermes de machines
Et tout cela en tenant compte des progrès sur les machines Baisse du prix des mémoires
Maths
Informa8que
Engineering
Progrès sur les matériels
21e siècle • Masses de données disponibles • Masses d’informa8on disponible
• Construire des bases de connaissances collec8ves
Abiteboul -‐ PFIA, 7/2013 24
Abiteboul -‐ PFIA, 7/2013 25
Avoir ou ne pas avoir de réseau : that’s the ques4on. Bruno Latour
Introduc8on "Deux grands succès du 20e siècle
Les systèmes rela8onnels Les moteurs de recherche de la Toile
Deux défis du 21e siècle Réseaux et connaissances collec2ves La Toile des connaissances
Conclusion
Après les réseaux de machines, puis de contenus, les réseaux d’u2lisateurs
La Toile n’est pas juste faite pour obtenir des données Tout le monde peut par8ciper : tweets, Wikipédia, mashups Mots-‐clés : interac8on, communauté, communica8on, réseaux
Abiteboul -‐ PFIA, 7/2013 26
Comment découvrir collec8vement des connaissances
• La nota8on par l’internaute – PageRank – eBay
• L’évalua8on de l’exper8se des internautes • La recommanda8on pour l’internaute • La collabora8on des internautes • Le crowdsourcing des internautes • L’analyse de données et les big data
Abiteboul -‐ PFIA, 7/2013 27
La nota8on
Connaître l’avis de l’internaute – quan8ta8f (notes) – qualita8f (restaurant d’ambiance)
eBay : les clients notent les vendeurs De plus en plus répandu
– Cinéma comme Allociné – Restaurant comme ViaMichelin – Pages de la Toile : annota8ons dans Delicious
Abiteboul -‐ PFIA, 7/2013 28
L’évalua8on de l’exper8se
Evaluer la qualité de l’informa8on la qualité des sources d’informa8on
Illustra2on : travail récent sur la corrobora2on Comment se construit l’exper8se sur la Toile ?
– Des blogs, comme celui de Maitre Eolas pour les affaires juridiques – Blogs de simples citoyens en Tunisie ou en Syrie
Elle sera un jour déterminée par des programmes ?
Abiteboul -‐ PFIA, 7/2013 29
La recommanda8on
U8liser les données du Web pour « recommander » – Mee8c organise des rencontres – Ne�lix suggère des films – Amazon des livres
Analyses sta8s8ques pour mekre en évidence des « proximités »
– Entre clients dans Mee8c – Entre clients et produits dans Ne�lix et Amazon
Abiteboul -‐ PFIA, 7/2013 30
La collabora8on
Des internautes réalisent collec8vement une tâche qui les dépasse individuellement
Wikipédia : encyclopédie – 281 édi8ons ; 3 millions d’ar8cles pour la version anglaise – Place considérable dans la diffusion des connaissances – Couverture bien plus large qu’une encyclopédie tradi8onnelle – Qualité très controversée
Linux : opera8ng system en logiciel libre Web des données (linked data) : corpus de données ouvertes
Abiteboul -‐ PFIA, 7/2013 31
Le crowdsourcing
Publica8on de ques8ons ☛ réponses des internautes Mechanical Turk d’Amazon
– Référence au Turc mécanique, un automate joueur d'échecs de la fin du 18e siècle
Foldit : décodage de la structure d’une enzyme proche de celle du virus du sida – Comprendre comment ceke enzyme se replie dans un espace en trois dimensions pour construire sa structure
– Jeu
Abiteboul -‐ PFIA, 7/2013 32
L’analyse de données et les big data
• Croiser – Des données structurées/propres d’une entreprise – Avec des informa8ons moins structurées/plus sales
• Des données personnelles (comme des emails) • Des données de réseaux sociaux • Et des flux de données (générées par ex. par des senseurs)…
• Valoriser ces données • Découvrir de nouvelles connaissances • Offrir de nouveaux services
33 Abiteboul -‐ PFIA, 7/2013
Problèmes
Difficulté de l’analyse sta8s8que sur de gros volumes de données & de gros volumes d’u8lisateurs – Vérifier l’informa8on, évaluer la qualité, résoudre contradic8ons
Abiteboul -‐ PFIA, 7/2013 34
Manque d’explica8on
Manque de sérendipité
Manque de « privacy »
Abiteboul -‐ PFIA, 7/2013 35
Mais de l'arbre de la connaissance du bien et du mal, tu n'en mangeras pas; car, au jour que tu en mangeras, tu mourras certainement.
Genèse 2:17
Introduc8on "Deux grands succès du 20e siècle
Les systèmes rela8onnels Les moteurs de recherche de la Toile
Deux défis du 21e siècle Réseaux et connaissances collec8ves La Toile des connaissances
Conclusion
Du texte aux connaissances
La Toile des documents est basée sur le fait que les gens aiment écrire, lire, dire, écouter du texte
Les machines comprennent mieux des connaissances plus formatées
Abiteboul -‐ PFIA, 7/2013 36
Texte Connaissance Je suis presque certain que Bob est amoureux d’Alice
Aime(Bob, Alice, 95%)
Le Web séman8que
Ajouter des indica8ons séman8ques pour expliquer le sens des documents de la Toile Sur ceke présenta8on
auteur = Serge Abiteboul ; 8tre = Des données, à l’informa8on… nature = Conf invitée à PFIQ ; type = Powerpoint ; date = Juillet 2013 ; lieu = Lille ; langue = français
A l’intérieur d’un document Woody Allen <dbpedia:Woody_Allen> était à Cannes <geo:ville_France> pour la première de …
Les bases de connaissances comme dbpedia sont appelées des ontologies
Abiteboul -‐ PFIA, 7/2013 37
Ontologies
Des phrases logiques comme : – classes sa:Personne, sa:Réalisateur, sa:Cinéaste – sa:Réalisateur sous classe de sa:Personne – sa:Réalisateur synonyme de sa:Cinéaste – sa:Woody_Allen est un sa:Réalisateur – rela4on sa:a_réalisé – sa:Woody-‐_Allen sa:a_réalisé sa:movie_ManhaOan
A quoi ça sert ? – Répondre plus finement aux requêtes – Permekre d’ « intégrer » plusieurs sources d’informa8on et, à terme,
intégrer toutes les connaissances de la Toile
Abiteboul -‐ PFIA, 7/2013 38
Problème : l’acquisi8on de connaissances
Les internautes – aiment publier sur la Toile dans leur langue naturelle – n’apprécient pas les contraintes d’un éditeur de connaissances – veulent garder leur visibilité
Les connaissances vont être générées automa8quement Par les systèmes qui nous entourent
– Senseurs, téléphones, appareils photo, e-‐commerce, réseaux sociaux…
Par extrac8on de connaissances du texte (web, emails…) – Recherche de formes syntaxiques comme <personne> est mort à <lieu> – Compréhension de la langue – La Toile fourmille d’imprécisions, d’erreurs, de faits controversés
Abiteboul -‐ PFIA, 7/2013 39
Napoléon Sainte-‐Hélène
Problème : le raisonnement distribué
En u8lisant des faits comme Psychose est un film d’Hitchcock et Alice ne l’a pas vu
Et des règles comme SouhaiteVoir( Alice, t ) ← Film( t, Hitchcock, a ), not Vu( Alice, t )
On peut déduire des faits « inten8onnels » comme Alice souhaiterait voir le film Psychose
Répondre à une requête est devenu plus compliqué – Inférence de nouveaux faits en évitant de les inférer tous – Collabora8on entre des systèmes qui ont et infèrent des faits
Changement de contexte – Immersion dans un monde de systèmes qui ont/échangent/ infèrent
des connaissances – Modifica8on de notre manière de savoir et de penser
Abiteboul -‐ PFIA, 7/2013 40
Illustra8on : Webdamlog
• Echange de connaissances en pair à pair • Chaque pair Webdamlog
– A sa propre base de données – A son propre moteur d’inférence (datalog) – Echange des données et des règles avec les autres – Déléga8on : mécanisme pour installer des règles chez un autre pair
• Raisonnement distribué
Abiteboul -‐ PFIA, 7/2013 41
Webdamlog -‐ exemple Alice : je veux des photos où je suis avec Bob disponibles dans les téléphones de mes amis result@alice($X, $U, $Meta) :-‐
friends@facebook(alice,$X), smartphone@SNdirectory($X,$P), photos@$P($U,$Meta), contains@$P($Meta, “Alice”) , contains@$P($Meta, “Bob”)
Abiteboul -‐ PFIA, 7/2013 42
Plusieurs sortes de règles • Local : tous les prédicats du corps sont locaux • Extensionnel (stocké) vs. Intensionnel (dérivé) Règles locales avec tête extensionnelle
ext-‐s@loc(x,y) :-‐ r@loc(x,y) % inser2on dans une BD locale ext-‐rn-‐loc(4,4) :-‐ r@loc(3,3) % envoie de message à un autre pair
Règles locales avec tête locale et inten8onnelle int-‐t@loc(x,y) :-‐ r@loc(x,y) % déduc2on locale à la datalog
Règles locales avec tête non-‐local et inten8onnelle int-‐t@n-‐loc(x,y) :-‐ r@loc(x,y) % déléga2on de vue
Règles non-‐locales int-‐t@n-‐loc2(x,y) :-‐ r@n-‐loc1(x,y) % déléga2on générale
Abiteboul -‐ PFIA, 7/2013 43
Abiteboul -‐ PFIA, 7/2013 44
Where is the wisdom we have lost in knowledge ? Where is the knowledge we have lost in informa4on ? T.S. Eliot
Introduc8on "Deux grands succès du 20e siècle
Les systèmes rela8onnels Les moteurs de recherche de la Toile
Deux défis du 21e siècle Réseaux et connaissances collec8ves La Toile des connaissances
Conclusion
La Toile est mul8forme
1. Hypertexte 2. Bibliothèque universelle de documents 3. Les réseaux sociaux 4. Toile des connaissances 5. Téléphones « intelligents » 6. Objets communicants et intelligence ambiante 7. Mondes virtuels (jeux 3D) 8. Télé en OTT 9. …
Abiteboul -‐ PFIA, 7/2013 45
La Toile est mul8forme
Industrie, santé, culture, gouvernement, sciences, écologie… Incontournable
– Trouver du travail, travailler, se loger, gérer ses comptes bancaires, faire par8e d’une associa8on…
L’hébergeur de toutes les connaissances de l’humanité ? – Des plus horribles fantasmes, de toutes les violences – De toutes les imprécisions, les erreurs – Un fantas8que gisement de connaissances
Abiteboul -‐ PFIA, 7/2013 46
Les merveilles de la Toile
• Accès à toutes les connaissances du monde • Accès à toute les cultures du monde • Travail collabora8f – Vie et réseaux sociaux • Suivi médical...
Abiteboul -‐ PFIA, 7/2013 47
Les écueils de la Toile
Eviter la noyade dans un océan de données Fracture numérique
– Fracture sociale – Nord/Sud – Rôle de l’enseignement
Démocra8e ou pas ? Et la vie privée ? Pour des individus meilleurs ou pires ?
Abiteboul -‐ PFIA, 7/2013 48
Abiteboul -‐ PFIA, 7/2013 49
L’enseignement de l’informa8que
Il est urgent de ne plus akendre Extrait : La décision essen8elle à prendre est de mekre en place un enseignement de science informa8que depuis le primaire jusqu’au lycée, orienté vers la compréhension et la maîtrise de l’informa8que, et dépassant donc largement les seuls usages des matériels et logiciels. Ceke mise en place ne doit plus être différée.
Abiteboul -‐ PFIA, 7/2013 50
Les soins personnalisés • Toutes les données
médicales de la personne – Son génome
• Toutes ses données sociales • Soins personnalisés • Mesures prédic8ves
Les polices personnalisées • Plus chères pour les
personnes à risque • Personnes « trop » à risque
non assurées • Mutualisa8on des risques
de plus en plus limitée
C’est la même science qui rend ça possible Quel monde souhaitons-‐nous?
Le numérique Illustra8on:
Big data & La santé
Et demain…
Des données, à l’informa8on, aux connaissances…
Abiteboul -‐ PFIA, 7/2013 52
Et demain…
Nous vivrons dans un monde numérique entourés de systèmes qui traiteront l’informa8on pour nous :
– Analysant ceke informa8on; extrayant des connaissances; échangeant des connaissances; inférant collec8vement des connaissances
Nous passerons d’un monde fermé et précis… à un monde ouvert et imprécis, parfois incohérent Abiteboul -‐ PFIA, 7/2013 53
Predic4on is very difficult, especially about the future. Niels Bohr
Et quelques thèmes de recherche…
• Comment extraire des connaissances de toutes les informa8ons disponibles
• Comment décider ce qui est vrai/faux ? • Comment décider ce qui est intéressant ? • Comment gérer des flux massifs de données spa8o-‐
temporelles • Comment garder le contrôle sur nos propres données &
protéger notre vie privé • Comment faire collaborer des milliards de systèmes de
connaissances
Abiteboul -‐ PFIA, 7/2013 54
Abiteboul -‐ PFIA, 7/2013 55 7/9/13 55
Merci !
7/9/13 55
Pour en savoir plus
• ERC Webdam sur « Web data management » – Distributed reasoning, collabora8ve workflows, probabilis8c data…
– Corrobora8on : [wsdm10] – Webdamlog : [pods12/sigmod13]
• Cours au Collège de France • Rapport sur l’enseignement de l’informa8que [Académie des sciences]
• Avis sur la neutralité du net [Conseil na8onal du numérique]
Abiteboul -‐ PFIA, 7/2013 56