View
2.506
Download
2
Category
Preview:
Citation preview
Dr. Harald Sack
Hasso-Plattner-Institut für Softwaresystemtechnik
Universität Potsdam
23. April 2009
Explorative Suche vs. Schlüsselwort-basierte Sucheam Beispiel audiovisueller Daten
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
2
Explorative vs. Schlüsselwort-basierte Suche
1. Kurzvorstellung HPI
2. Schlüsselwort-basierte Suche
3. Suche in Audiovisuellen Daten
3.1 automatisierte Videoanalyse und Metadatengewinnung
3.2 yovisto.com - Akademische Videosuche
4. Semantisch unterstützte Suche
5. Explorative Suche
Dienstag, 28. April 2009
cinearchiv digital, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam 23. Mai 2009
1. Kurzvorstellung Hasso Plattner Institut für IT Systems EngineeringUniversität Potsdam
• im Oktober 1998 im Rahmen einer Public Private Partnership gegründet
• An-Institut der Universität Potsdam
• zwei universitäre Informatik-Studiengänge IT Systems Engineering mitAbschlüssen
• Bachelor of Science (6 Semester) und
• Master of Science (4 Semester)
• 10 Professuren und 438 Studenten
• 284 Bachelor Studenten
• 154 Master Studenten
• 81 Doktoranden
3
Dienstag, 28. April 2009
cinearchiv digital, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam 23. Mai 2009
1. Kurzvorstellung Hasso Plattner Institut für IT Systems EngineeringUniversität Potsdam
• Studiengang IT Systems Engineering4
So
ftware
-Arch
itectu
ren
Info
rmatio
n S
yste
ms
Inte
rnet T
ech
no
log
ies
an
d S
yste
ms
Op
era
tion
Syste
ms
an
d M
idd
lew
are
Bu
siness P
roce
ss Tech
no
log
y a
nd
Wo
rkflo
w
Gra
ph
ics an
d
Virtu
al re
ality
/V
isualiza
tion
Co
mm
un
icatio
n a
nd
Netw
ork
s
HC
I -Hu
man
Co
mp
ute
r In
tera
ction
Desig
n
IT Systems Engineering
Research School „Service-Oriented Systems Engineering“
Dienstag, 28. April 2009
cinearchiv digital, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam 23. Mai 2009
1. Kurzvorstellung Hasso Plattner Institut für IT Systems Engineering
• HPI School of Design Thinking
• Started in October 2007 HPI offersEurope‘s first „Design Thinking“ program
• Program is inspired and performed in close cooperation with thed-School (Hasso Plattner Institute of Design) at the StanfordU, USA
• Interdisciplinary teacher teams teach interdisciplinary student teams how to create new (IT-) products & services in a more creative and user friendly way
5
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Dr. Harald Sack■ Promotion Uni Trier, 2002: formale Verifikation
■ 2002-2008: PostDoc FSU Jena
■ 2007-2009: Gastwissenschaftler am HPI
■ seit 1.1.2009: Senior Researcher am HPI
■ Forschungsschwerpunkte:
□ Semantic Web Technologien
□ Multimedia Retrieval
■ Videosuchmaschine yovisto.com
6
1. Kurzvorstellung Hasso Plattner Institut für IT Systems EngineeringUniversität Potsdam
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
7
1. Kurzvorstellung Hasso Plattner Institut für IT Systems EngineeringUniversität Potsdam
Dienstag, 28. April 2009
yovisto.com• Videosuchmaschine mit dem Schwerpunkt
akademischer Lehrveranstaltungen
• aktuell mehr als 6.000 Vorlesungen undwissenschaftliche Vorträge aus der ganzen Welt
• automatische Segmentierung und Videoanalyse
• benutzergenerierte Co-Annotation
• Social Tagging
• Diskussionen
• Rezensionen
• Wikis
• Lernmaterialien
• Zielgenauer Zugriff auf gesuchte Videoinhalte
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
8
1. Kurzvorstellung Hasso Plattner Institut für IT Systems EngineeringUniversität Potsdam
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
9 yovisto.com - Arbeitsweise
WWWWWW
upload your ownacademic videorecording
analyze and link toany available academic video recording in the WWW
video analysis andsearch index creation
search forvideo content
browse, play, and annotate video results
search engine frontend
1. Kurzvorstellung Hasso Plattner Institut für IT Systems EngineeringUniversität Potsdam
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
10
Explorative vs. Schlüsselwort-basierte Suche
1. Kurzvorstellung HPI
2. Schlüsselwort-basierte Suche
3. Suche in Audiovisuellen Daten
3.1 automatisierte Videoanalyse und Metadatengewinnung
3.2 yovisto.com - Akademische Videosuche
4. Semantisch unterstützte Suche
5. Explorative Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Das ,Google Paradigma‘11
2. Schlüsselwort-basiertesInformation Retrieval im WWW
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Das ,Google Paradigma‘12
2. Schlüsselwort-basiertesInformation Retrieval im WWW
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Das ,Google Paradigma‘13
2. Schlüsselwort-basiertesInformation Retrieval im WWW
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Das ,Google Paradigma‘•Eingabe einer Suchphrase
•Boolesche Verknüpfung einzelner Suchbegriffe
•Volltextsuche
•Normalisierung ...
•Erzeugung einer linearen (nach Relevanz gewichteten) Ergebnisliste
•TF/IDF ...
•PageRank
•Personalisierung (Logdatenanalyse, etc.)
14
2. Schlüsselwort-basiertesInformation Retrieval im WWW
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Probleme•Es werden viele nicht-relevante Ergebnisse gefunden
•Homonyme
•Kontext / Weltwissen
•Pragmatik
•Es werden nicht alle relevanten Ergebnisse gefunden
•Synonyme
•Metaphern und Umschreibungen
•Kontext / Weltwissen
15
2. Schlüsselwort-basiertesInformation Retrieval im WWW
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Das WWW ist ,ziemlich groß`•ca. 25 x 109 in Suchmaschinenindizierte Dokumente (TNL Blog: Google has 24 billion items index, considers MSN search nearest competitor, September 2005)
•Web Crawler: > 1012 Dokumente(The Official Google Blog: We knew the Web was Big....., Juli 25, 2008)
•DeepWeb (Darkweb) schätzungsweise bis zu 550 mal größer als das Surface Web (Bergman, 2001)
16
2. Schlüsselwort-basiertesInformation Retrieval im WWW
Probleme:• Aktualität des Suchmaschinenindex• syntaktische / semantische Inkonsistenzen im Suchmaschinenindex• Skalierbarkeit der Suchmaschinenanwendung• ...
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Noch mehr Probleme...•Informationskonsument
•Wie finde ich die richtigen Informationen?
•Was ist wichtig, was nicht?
•Ist die Information vollständig?
•Informationsproduzent
•Wie sorge ich dafür, dass jemand die von mir angebotenen Informationen tatsächlich findet?
•Kann die Informationssuche (zuverlässig) automatisiert werden?
•Kann ich der angebotenen Information auch tatsächlich vertrauen?
17
2. Schlüsselwort-basiertesInformation Retrieval im WWW
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
18
Explorative vs. Schlüsselwort-basierte Suche
1. Kurzvorstellung HPI
2. Schlüsselwort-basierte Suche
3. Suche in Audiovisuellen Daten
3.1 automatisierte Videoanalyse und Metadatengewinnung
3.2 yovisto.com - Akademische Videosuche
4. Semantisch unterstützte Suche
5. Explorative Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
19
3. Suche in Audiovisuellen Daten3.1 Automatisierte Analyse und Metadatengewinnung
http://labs.google.com/gaudi
http://www.yovisto.com
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Wie findet man etwas in einem audiovisuellen Archiv?
• Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen.
20
3. Suche in Audiovisuellen Daten3.1 Automatisierte Analyse und Metadatengewinnung
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Wie findet man etwas in einem audiovisuellen Archiv?
•
21
automatische inhaltliche Analyse ist • schwierig und• berechnungs-/speicheraufwändig
Marlene Dietrich ????????
„...ich bin von Kopf bis Fuß...“
{
3. Suche in Audiovisuellen Daten3.1 Automatisierte Analyse und Metadatengewinnung
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
22 Wie findet man etwas in einem audiovisuellen Archiv? • Suche in traditionellen
(textbasierten) Medien
• Digitalisierung, Texterfassung, Texterkennung und Suche ist bereits auf hohem Niveau möglich und skalierbar
• Suche in audiovisuellen Medien
• Digitalisierung
• Erschließung
• manuell
• automatisiert
• zusätzliche Dimension (Zeit)
3. Suche in Audiovisuellen Daten3.1 Automatisierte Analyse und Metadatengewinnung
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
23 Wie findet man etwas in einem audiovisuellen Archiv?
• Fazit: Wir benötigen textuelle Beschreibungen
• des Inhalts
• des Produktionsprozesses
• der technischen Parameter
• etc....
Metadaten
AV-Analysemanuell
automatisch
3. Suche in Audiovisuellen Daten3.1 Automatisierte Analyse und Metadatengewinnung
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
24 Automatische Metadatengewinnung in AV-Daten
•Typische Aufgaben:
•Segmentierung (Shot-, Szenen-, Kapiteldetektion)
•Videoanalyse
•kombinierte Audio-/Videoanalyse...
•Intelligent Character Recognition (ICR)
•Objekterkennung / Objektverfolgung
•Gesichtserkennung / Identifikation ...
•Kontextdetektion
•in-/outdoor, Landschaft, Gebäude,...
•Genreerkennung
•Nachrichten, Sport, Werbung,...
•Eventanalyse
•Tennis, Fußball etc. ...
3. Suche in Audiovisuellen Daten3.1 Automatisierte Analyse und Metadatengewinnung
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
25 Videosuchmaschine - prinzipielle Architektur
VideoDatabase
MetadataServer
MPEG-Dekoder
temporaleVideo-
segmentierung
Extraktion vonMPEG-7
Deskriptoren
Inde
xier
ung
Retrieval
User-interfaceQuery input, Player, Timeline, Summary,...
Metadatengenerierung
3. Suche in Audiovisuellen Daten3.1 Automatisierte Analyse und Metadatengewinnung
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
26 Videosegmentierung
sub-shot 1 sub-shot 2 sub-shot 3 sub-shot 4 sub-shot 5
scene 1 scene 2 scene 3 scene 4 scene 5
shot 1 shot 2 shot 3
frames
scenelevel
shotlevel
framelevel
sub-shotlevel
news feature film commercials feature filmprogram/clip level
frames
3. Suche in Audiovisuellen Daten3.1 Automatisierte Analyse und Metadatengewinnung
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
27 Szenenerkennung
•Eine Szene ist ein zeitliches Videosegment mit 3 konsistenten Eigenschaften:
•Ereignis
•Kameraeinstellung
•Zeitraum
3. Suche in Audiovisuellen Daten3.1 Automatisierte Analyse und Metadatengewinnung
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
28 Keyframe Extraktion
Shot-/Subshotdetection
Color:DominantColor,ScalableColor,ColorLayout,ColorStructureTexture:EdgeHistogram,HomogeneousTexture,TextureBrowsingShape:Contour-basedShape,Region-basedShape
Motion:GoF/GoP,MotionActivity,CameraMotion,MotionTrajectory,ParametricMotion
shot01 shot02
3. Suche in Audiovisuellen Daten3.1 Automatisierte Analyse und Metadatengewinnung
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
29
Explorative vs. Schlüsselwort-basierte Suche
1. Kurzvorstellung HPI
2. Schlüsselwort-basierte Suche
3. Suche in Audiovisuellen Daten
3.1 automatisierte Videoanalyse und Metadatengewinnung
3.2 yovisto.com - Akademische Videosuche
4. Semantisch unterstützte Suche
5. Explorative Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Strukturelle (temporäre) Segmentierung■ Grobsegmentierung (rein strukturell)
□ --> Zerlegung Einzelbilder/Blöcke, Histogrammvergleich
■ Feinsegmentierung (inhaltsbasiert)
□ --> Objekterkennung/-verfolgung
□ --> OCR/ICR
□ --> Korrelation Audio/Video (NLP)
30
Zeit
ZeitZusammenfassen Verfeinern Zusammenfassen
3. Suche in Audiovisuellen Daten3.2 yovisto.com - Akademische Videosuchmaschine
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Inhaltsbezogene Videoanalyse■ Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen
Metadaten
■ Metadaten setzen sich zusammen aus kombinierten Low Level/ High Level Deskriptoren
■ Metadaten als Basis für traditionelles Information Retrieval
31
ZeitMetadaten
Metadaten
Metadaten
Metadaten Metadaten
Metadaten
3. Suche in Audiovisuellen Daten3.2 yovisto.com - Akademische Videosuchmaschine
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
32
ICR / OCR
ASR
Dic
tiona
ry
Keyterm Spotting
Metadatengewinnung
3. Suche in Audiovisuellen Daten3.2 yovisto.com - Akademische Videosuchmaschine
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
33 Benutzergenerierte Metadaten□ automatische Analyse nur begrenzt leistungsfähig
□mangelnde Genauigkeit / Vollständigkeit
□ Benutzergenerierte Metadaten können qualitativ zuverlässiger sein
□ autoritative Metadaten
□ strukturierte Daten
□ unstrukturierte (textuelle) Daten
□ nicht-autoritative Metadaten
□ Tags
□ Kommentare
□ Diskussionen
□ Rezensionen
□ Feedback
□ etc...
3. Suche in Audiovisuellen Daten3.2 yovisto.com - Akademische Videosuchmaschine
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Kollaborative Annotation34
AutorRessourceBenutzer
autoritativeMetadaten
Apfel
Frucht
nicht-autoritativeMetadaten
Apfel
apple
Obst
Frühstück
kaufen
3. Suche in Audiovisuellen Daten3.2 yovisto.com - Akademische Videosuchmaschine
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
35 Kollaborative Annotation -- Social Tagging
•Visualisierung der Benutzerannotation als Tag-Cloud
3. Suche in Audiovisuellen Daten3.2 yovisto.com - Akademische Videosuchmaschine
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Temporale Annotation der Videodaten36
• Nutzer1: Informatik • Nutzer4: Vorlesung• Nutzer3: Dr. Sack…
• Nutzer1: Sprache • Nutzer2: Kehlkopf, Sprache• Nutzer3: Spracherzeugung• Nutzer4: Klausur• ...
• Nutzer2: Phonogramm• Nutzer3: Piktogramm, Ideogramm• Nutzer4: Klausur, Schriftzeichen, Logogramme• ...
0:00:00 0:02:34 0:13:57
3. Suche in Audiovisuellen Daten3.2 yovisto.com - Akademische Videosuchmaschine
Key Frame 01 Key Frame 02 Key Frame 03
Zeit
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Spatiale Annotation37
(xmin, ymin, xmax, ymax)Hieroglyphen mitKönigskartusche,Haute-Relief
(xmin, ymin, xmax, ymax)Harald Sack
3. Suche in Audiovisuellen Daten3.2 yovisto.com - Akademische Videosuchmaschine
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Metadaten für Audiovisuelle Medien■ Dublin Core
■ LOM / SCORM
■ Metadaten beziehen sich auf Zeitpunkt / Ort in den AV-Daten(spatio-temporale Annotation)
■ Metadaten sind benutzerbezogen (Social Tagging)
38
ZeitMetadaten
Metadaten
Metadaten
Metadaten Metadaten
Metadaten
3. Suche in Audiovisuellen Daten3.2 yovisto.com - Akademische Videosuchmaschine
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
MPEG-7 Metadata Description Framework■ umfassender XML-basierter Standard zur strukturellen und inhaltlichen
Beschreibung von multimedialen Daten
39
<!xml version=“1.0“ encoding=“iso-8859-1“><Mpeg7 xmlns=urn:mpeg:mpeg7:schema:2001 …>…<AudioVisualSegment> <TextAnnotation type=“heading“ xml:lang=“de“> <FreeTextAnnotation> Der Computer als universales Kommunikationsmedium </FreeTextAnnotation> </TextAnnotation> ….. <MediaTime> <MediaTimePoint> T00:03:42.2 </MediaTimePoint> <MediaDuration> PT1M28.6S </MediaDuration> </MediaTime> ….
3. Suche in Audiovisuellen Daten3.2 yovisto.com - Akademische Videosuchmaschine
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
MPEG-7 Metadata Description Framework■ Nutzung von MPEG-7 Datenstrukturen für die benutzergenerierte
Annotation
40
<CreationInformation> <Classification> <MediaReview> <Rating> <RatingValue>9.1</RatingValue> <RatingScheme style="higherBetter"/> </Rating> <FreeTextReview> tag1, tag2, tag3 </FreeTextReview> <ReviewReference> <CreationInformation> <Date>...</Date> </CreationInformation> </ReviewReference> <Reviewer xsi:type="PersonType" > <Name>Harald Sack</Name> </Reviewer> </MediaReview> <MediaReview>...</MediaReview> </Classification></CreationInformation>
encode tagging information as( {tag set}, user, date, [rating] )
3. Suche in Audiovisuellen Daten3.2 yovisto.com - Akademische Videosuchmaschine
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
41
Explorative vs. Schlüsselwort-basierte Suche
1. Kurzvorstellung HPI
2. Schlüsselwort-basierte Suche
3. Suche in Audiovisuellen Daten
3.1 automatisierte Videoanalyse und Metadatengewinnung
3.2 yovisto.com - Akademische Videosuche
4. Semantisch unterstützte Suche
5. Explorative Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Dokumentenzentrierte Verarbeitung im WWW•Das WWW ist für die Nutzung durch den Menschen bestimmt
•Das Problem mit der Vielfalt:
•Informationen sind verstreut, liegen in unterschiedlichen Formaten vor und müssen vom Menschen verstanden und zusammengeführt werden
• Ein Beispiel: Reiseplanung
42
4. Semantisch unterstützte Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Das Semantic Web - Datenzentrierte Verarbeitung •Die Bedeutung der Informationen (Semantik) wird durch standardisierte Wissensrepräsentationen (Ontologien) explizit formalisiert (strukturiert)
• Damit wird es möglich,
•die Bedeutung der Informationen maschinell zu verarbeiten
•unterschiedliche (heterogene) Daten miteinander in Beziehung zu setzen
•implizite (nicht offensichtliche) Information aus der vorhandenen (offensichtlichen) Information automatisch zu folgern
43
4. Semantisch unterstützte Suche
Das Semantic Web ist eine Art globaler Datenbank, dieein universales Netz semantischer Aussagen bereit hält
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Das Semantic Web - Datenzentrierte Verarbeitung •Architektur und Standardisierung
44
4. Semantisch unterstützte Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Das Semantic Web - Datenzentrierte Verarbeitung •Ziel des Semantic Web: ...to create a ,Web of Data‘
45
4. Semantisch unterstützte Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Semantische Videoanalyse■ Ursprüngliche Metadaten enthalten
□ OCR/ICR - Textdaten
□ Textdaten aus Audio-Transkribierung
□ Low Level Deskriptoren
■ Identifiziere relevante Schlüsselwörter
□ traditionell TF/IDF, OKAPI, TF-ICF, KLD, etc.
■ Mapping der relevanten Schlüsselwörter auf Domain-Ontologie
□ Statistische Auswahl der relevanten Domain-Ontologie (Kategorisierung)
□ Manuelle Auswahl durch Autor/Ersteller
■ Instanz-Erkennung / Konzept-Erkennung
□ Disambiguierung durch Koreferenz-/Kontextanalyse, Clustering, Machine Learning, etc.
46
4. Semantisch unterstützte Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Semantische Videoanalyse■ Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen
semantischen Metadaten (Instanzen, Konzepte)
47
ZeitMetadaten
Metadaten
Metadaten
Metadaten Metadaten
Metadaten
semantische Metadaten(z.B. als DC-RDF / MPEG7-COMM u.a.)
4. Semantisch unterstützte Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
48
ZeitMetadaten
Metadaten
Metadaten
Metadaten Metadaten
Metadaten
z.B. bibliografische Daten, geografische Daten, enzyklopädische Daten, ....
4. Semantisch unterstützte Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
49
Explorative vs. Schlüsselwort-basierte Suche
1. Kurzvorstellung HPI
2. Schlüsselwort-basierte Suche
3. Suche in Audiovisuellen Daten
3.1 automatisierte Videoanalyse und Metadatengewinnung
3.2 yovisto.com - Akademische Videosuche
4. Semantisch unterstützte Suche
5. Explorative Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Mehr Licht.....• Benutzer sieht die Welt durch das Fenster der Suchmaschine
• Der Überblick über den Suchraum bleibt dem Benutzer (üblicherweise) verschlossen
• Semantische Annotationen ermöglichen eine Verbesserung der traditionellen Schlüsselwort-basierten Suche durch
• Erweiterung / Präzisierung der Suchergebnisse
• Herleitung von impliziten Informationen
• Herstellung von Querverweisen
• Nutzung von semantischen Beziehungen zur Visualisierung und Navigation durch den Suchraum
50
5. Explorative Suche
Explorative Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Semantische Annotation • Entitätenerkennung in den textuellen Metadaten des
Grunddatenbestand
51
5. Explorative Suche
ZeitMetadaten
Metadaten
Metadaten
Metadaten Metadaten
Metadaten
Person xyOrt yz
Person xyPerson yzOrt xyzEreignis abc
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Semantische Annotationen• Entitätenerkennung in den textuellen Metadaten des
Grunddatenbestand
• Mapping der erkannten Entitäten gegen vorhandene Ontologien
52
5. Explorative Suche
Person xyOrt yz
Person xyPerson yzOrt xyzEreignis abc
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Semantische Annotationen• Entitätenerkennung in den textuellen Metadaten des
Grunddatenbestand
• Mapping der erkannten Entitäten gegen vorhandene Ontologien (Linked Open Data)
• Nutzung von Objektbeziehungen (object properties) innerhalb der Ontologien zur Herstellung von Querbezügen zwischen den vorhandenen textuellen Metadaten
53
5. Explorative Suche
Klasse A Klasse BstehtInBeziehungMit
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Semantische Annotationen• Entitätenerkennung in den textuellen Metadaten des
Grunddatenbestand
• Mapping der erkannten Entitäten gegen vorhandene Ontologien (Linked Open Data)
• Nutzung von Objektbeziehungen (object properties) innerhalb der Ontologien zur Herstellung von Querbezügen zwischen den vorhandenen textuellen Metadaten
• Nutzung der Querbezüge zur Navigation (Visualisierung) der ursprünglichen Grunddaten
54
5. Explorative Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Explorative Suche - ein einfaches Beispiel• Suche im Grunddatenbestand nach ,Ernest Hemingway‘
• Identifikation einer Entität dbpedia:Ernest_Hemingway
• Bestimmung eines geeigneten ,Properties‘
55
5. Explorative Suche
dbpedia:Ernest_Hemingway foaf:name “Ernest Hemingway“ .dbpedia:Ernest_Hemingway rdfs:type dbpedia:class/yago/AmericanNovelist ....dbpedia:Ernest_Hemingway dbpedia:ontology/influences dbpedia:Ezra_Pound .dbpedia:Ezra_Pound rdfs:type dbpedia:class/yago/AmericanNovelist ....dbpedia:J._D._Salinger dbpedia:ontology/influences dbpedia:Ernest_Hemingway .dbpedia:J._D._Salinger rdfs:type dbpedia:class/yago/AmericanNovelist .
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Explorative Suche - ein einfaches Beispiel• Suche im Grunddatenbestand nach ,Ernest Hemingway‘
• Identifikation einer Entität dbpedia:Ernest_Hemingway
• Bestimmung eines geeigneten „Properties“
• Nutzung des Properties zur Navigation/Visualisierung
• Erweitere Suche mit asoziierten Entitäten
56
5. Explorative Suche
dbpedia:ontology/influences dbpedia:ontology/influences
Ezra Pound Ernest Hemingway J.D. Salinger
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
57
5. Explorative Suche
Waitelonis, Sack: Augmenting Video Search with Linked Open Data, 2009
Explore Window
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Implementierung einer explorativen Suche• NPBibSearch
• bibliografische Suche auf ECCC(Electronic Colloquium of Computational Complexity)
58
5. Explorative Suche
(NP-Ontologie, Sack, Niedermeier, Vogel )
decision problem complexity classis a member ofhas member
can be reduced to
is weaker / stronger
is special/general variant
SAT 3-SATColorability
is a is a
NP P
NP-complete
is a is a
graph problem logic problem set problem… problem
is a is a
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Implementierung einer explorativen Suche• NPBibSearch
• bibliografische Suche auf ECCC(Electronic Colloquium of Computational Complexity)
59
5. Explorative Suche
reducible to
reducible to
SAT
3-SAT
Colorability
CNF-SAT
2-SAT
SATSAT
Knapsack
Vertex Cover
generalization
weakerversion
Sack: NPBibSearch - an Ontology Augmented Bibliographic Search, SWAP 2005Sack, Krüger, Dom: A Knowledge Base on NP-complete Decision Problems and its Application in Bibliographic Search, XML-Tage Berlin, 2006
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
60
5. Explorative Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
Explorative Suche• liefert dem Benutzer Vorschläge zur Fortsetzung seiner Suche
• orientiert sich am aktuellen Kontext
• ermöglicht eine schrittweise Erkundung des Suchraums
• ToDo:
• Verallgemeinerung und Ausweitung des Konzepts der explorativen Suche zur (sinnvollen) Anwendung in beliebigen Retrieval Operationen
• Skalierbarkeit der Suchmaschine setzt offline Indexierung der möglichen Querverknüpfungen voraus
61
5. Explorative Suche
Dienstag, 28. April 2009
Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam
62
Explorative vs. Schlüsselwort-basierte Suche
1. Kurzvorstellung HPI
2. Schlüsselwort-basierte Suche
3. Suche in Audiovisuellen Daten
3.1 automatisierte Videoanalyse und Metadatengewinnung
3.2 yovisto.com - Akademische Videosuche
4. Semantisch unterstützte Suche
5. Explorative Suche
Vielen Dank für Ihre Aufmerksamkeit !Fragen....?
Links:• Yovisto: www.yovisto.com• Blogs: http://moresemantic.blogspot.com/ http://yovisto.blogspot.com/
Dienstag, 28. April 2009
Recommended