Innovative Bildverwaltung mit ImageNotion

Andreas Walter . Dr.-Ing. Gabor Nagypal .ImageNotion UG (haftungsbeschränkt), Erbprinzenstrasse 4-12, 76133 Karlsruhe, Germany

www.imagenotion.com

The new way to explore professional image archives

Über ImageNotion

Überblick und Alleinstellungsmerkmale

2www.imagenotion.com

ImageNotion: Team

Andreas Walter• Aktuell wissenschaftlicher Angestellter am FZI• Mehr als 10 Jahre Erfahrung im Bereich Bildsuchmaschinen

(u.a. Konzeption und technische Leitung fotomarktplatz.de)• Anteil an ImageNotion UG: 40%

Dr.-Ing. Gabor Nagypal• Promotion am FZI 2007

- Forschungsthema: Information Retrieval und semantische Technologien• Technischer und wissenschaftlicher Leiter von IMAGINATION• Aktuell Projektleitung disy / Cadenza Web• Anteil an ImageNotion UG: 40 %

Firma disy• Support bei Marketing / Vertrieb• Anteil an ImageNotion UG: 20 %


Inhalt

Einführung• Arten von Bildbeständen• Professionelle Bildverwaltung und Anforderungen• State of the Art für prof. Bildverwaltungssysteme

ImageNotion• Überblick• Alleinstellungsmerkmale• Marktpotential• Produktvarianten• Weitere Einsatzfelder für ImageNotion


Einführung: Arten von Bildbeständen

Gecrawlte Bilder • Durch Suchmaschinen, z.B.Yahoo! Images und Google Images• Crawler suchen URLs zu Bildern, lesen Texte um Bilder aus• Anreicherung der Informationen durch

- Spiele (finden gleicher Tags durch zwei Spieler)- Ähnlichkeitssuche als Input für Indexgenerierung

Verwaltete Bildbestände• Bildverwaltungssysteme für prof. Bildagenturen und Fotografen• Bildverwaltungssysteme für Privatleute (u.a. Picasa, Flickr)• im Folgenden Focus auf verwaltete Bildbestände


Einführung: Professionelle Bildverwaltung und Anforderungen

Motivation• Bildanbieter (Agenturen, Fotografen, Portale im Internet) möchten Bilder

verkaufen (Lizenzierung)• Bildkäufer möchten geeignete Bilder zur Illustrierung von Büchern, Magazinen,

Webseiten etc oder Werbekampagnen finden

Plattform: Bildsuchmaschinen• Heutzutage meist über Internet (alternativ über Satellit, z.B. Mecom) • Matching von Suchanfrage auf Bildbestand

Anforderung• Bildanbieter müssen Bilder so beschreiben, dass diese die Suchanfrage der

Bildkäufer enthält: sehr zeitaufwendig• Bildanbieter müssen geeignete Suchtechniken zur Verfeinerung von

Suchanfragen anbieten: technische Herausforderung• Bildsucher möchten so schnell wie möglich geeignete Bilder finden:

Zeit und Kostendruck


Einführung: State of the Art für professionelle Bildverwaltungssysteme

Automatische Prozesse• Gesichtsdetektion (google Picasa 3.0) und einfache Gesichtserkenner

(Apple iLive) • Ähnlichkeitssuche, z.B. in gettyimages:• Die Nutzung von einem Algorithmus alleine führt nicht zu qualitativ hochwertigen

automatisch generierten Bildbeschreibungen (was Anbieter aber klar fordern)

Textbasierte Bildbeschreibung einfach, aber mit vielen Problemen • Mehrsprachigkeit• Homonyme (Kohl: Helmut Kohl vs. Grünkohl) • Zeitaufwendig (Bildeditoren erstellen oft sehr umfangreiche Bildbeschreibungen,

um Matching von Suchanfragen der Bildsucher zu gewährleisten)• Index über Text liefert zwar sehr schnelle Suchergebnisse, aber das System

versteht Inhalt der Bilder nicht (keine semantische Verfeinerung von Suchanfragen möglich)

• Basierend auf textuellen Beschreibungen lassen sich automatische Prozesse nicht kombinieren (System weiß nicht, dass „Andreas Walter“ eine Person ist)


ImageNotion: Überblick

ImageNotion ist ein Bildverwaltungssystem, dass

Eine Vielzahl an automatische Prozesse verwendet, um so viel wie möglich an Inhalten auf Bildern zu erkennen

Auf semantischen Technologien basiert und somit deutlich präzisere Suchergebnisse ermöglichen kann

Ergebnisse der automatischen Prozesse kombiniertBasierend auf den semantischen Annotationen kombiniert, um eine hohe Qualität des Gesamtergebnisses zu ermöglichen

Eine Vielzahl an neuen Suchtechniken anbieten kannBasierend auf den semantischen Annotationen sowie auf den annotierten Bildteilen


ImageNotion: Kundennutzen

ImageNotion beschleunigt Workflows zur Bildbeschreibung• Spart somit Zeit und dadurch Geld

- Semantische Technologien unterstützen Mehrsprachigkeit:nicht jedes Bild muss in neue Sprachen übersetzt werden, lediglich die semantischen Elemente

- Kombination von automatischen Prozessen reduziert Fehlerquote und gleichzeitig deutlich die Menge an erkannten, relevanten Dingen auf Bildern:Gesichter, Personen, Objekte

ImageNotion liefert präzise Suchergebnisse• Spart somit Suchzeit für Bildsucher

- Semantik erlaubt, Suche gezielt von abstrakten zu konkreten Suchen zu ermöglichen (was Bildsucher gerne machen)

- Semantik erlaubt, verwandte Suchbegriffe einem semantischen Element zuzuordnen (unterschiedliche Schreibweisen, Synonyme, etc)

ImageNotion bietet neue Suchtechniken• Spart somit Suchzeit für Bildsucher

- Bildsucher können durch Bildteile navigieren und so gewünschte Bilder finden


ImageNotion: Alleinstellungsmerkmale (1)

- Praktisch nutzbarer Einsatz von semantischen Technologien- Ein arbeitsintegrierter Workflow für Erstellung von semantischen Elementen und

Bildannotationen (Erhöht Akzeptanz und Effizienz)- Fokussierte und iterative Ontologierstellung (Spart Kosten)- Kollaborative Erstellung von Ontologien möglich

- Verständlicher Einsatz von semantischen Technologien- Visuelle Repräsentation von semantischen Elementen, somit ist Bedeutung für

alle leicht nachvollziehbar

- Flexible und erweiterbare Plattform, um automatische Prozesse zu integrieren- Aktuell

- Gesichtsdetektion, Emotionserkenner, Geschlechtserkenner, Gesichtserkenner (dynamisch trainierbar und leicht filterbar, im Vergleich zu state of the art basierend auf Semantik)

- Personenerkennung- Objekterkennung: Autos und Flugzeuge- Texterkenner: findet wichtige sem. Elemente wie Personen, Städte, etc.- Ähnlichkeitssuche für Gesichter und Objekte


ImageNotion: Alleinstellungsmerkmale (2)

Kombination von automatischen Prozessen möglich basierend auf Nutzung von semantischen Technologien• Erhöhte Qualität der Bildannotationen durch die Prozesse

- Z.B. wenn Personenerkenner Person findet und in der Nähe Gesicht gefunden wird: Kombination ist Score von Gesicht erhöhen (Semantik: Gesicht ist Teil von Person => kombinierbar)

• Ermöglicht Auswahl des richtigen Algorithmus- Falls kein Gesicht auf einem Bild abgebildet ist, verwende Algorithmus zur

Ähnlichkeitssuche von Objekten• Ermöglicht Filterung auf bestimmte Menge an Kandidaten

- Z.B. wenn Texterkenner in Text vier Personen findet, so muss Gesichtsdetektion nur diese vier Kandidaten prüfen

• Automatisches Training- Z.B. für Auswahl der Trainingsbilder für Ähnlichkeitssuche anhand der Erkennung

neuer Objekte- Z.B. für Gesichtserkenner, wenn Texterkenner in einem Portraitbild den Namen der

Person in der textuellen Bildbeschreibung findet (automatisches Mapping)• Automatische Generierung von Relationen für semantische Elemente


Beispiele

Automatische Generierung von Relationen für semantische Elemente

Automatisches Training von Gesichserkenner durch Kombination von Texterkenner und Gesichtserkenner

Kombination von Gesichtsdetektion,Personenerkenner und Texterkenner


ImageNotion: Marktpotential

Focus für erste Produkte (im 1. Jahr)• Professionelle Bildagenturen und Fotografen • Bibliotheken, Museen

Ausschnitt aus Marktpotential (ermittelt über Verbände der Branche)• Bildagenturen: in Deutschland: PIAG (ca. 50 Mitglieder), BVPA: ca.

100 Mitglieder; Schweiz: SAB Schweizerische Arbeitsgemeinschaft der Bild-Agenturen und –Archive, ca. 30 Mitglieder; UK: BAPLA - British Association of Picture Libraries and Agencies, ca. 400 Mitglieder

• Professionelle Fotografen: F.N.A.P.P.I. - Fédération Nationale des Agences de Presse Photo et Information: vertritt 15.000 Fotografen in 60 Ländern, Freelense Deutschland: 1580 Fotografen.


ImageNotion: Produktvarianten

Standalone• Komplette Software zur Bildverwaltung für Intranet und Internet

Workflow-Integration• Integration von ImageNotion in bestehendes Bildverwaltungssystem

Browserbasierte Anwendug zur Korrektur von Annotationen, Training etc

Software as a service• Integration von ImageNotion in Portale• Bereitstellung der ImageNotion Technologie als Dienst für Fotografen, Hosting

der Technologie auf ImageNotion Server

Suchportal• Mit allen Varianten kombinierbar• Webfrontend für Bildsucher, um Navigationstechniken durch Bildarchiv zu

verwenden


ImageNotion: Produktvarianten

Personalisiertes Suchportal für Referenzkunde Bildagentur photo12, Paris, France


ImageNotion: Mögliche Einnahmequellen

Lizenzierung von ImageNotion• Monatliche Einnahmen für Software as a Service• Jahresgebühren für Standalone / Workflowintegration• Anmerkungen: integrierte autom. Prozesse, z.B. Gesichtserkenner

müssen ebenfalls lizenziert werden bei Hersteller (vgl. Lizenzen für Datenbanken, Betriebssysteme etc.)

Beratungsdienstleistungen• Beratung bei Einsatz automatisierter Techniken• Beratung bei Optimierung von Bildarchiven• Konzeption von Speziallösungen

Support• Installation / Wartung ImageNotion Produkte


Weitere Einsatzfelder für ImageNotion

Häufig angefragt auf Photokina• BKA, LKA, …: Sicherheitssysteme, z.B. Tracking von Verdächtigen durch

Kombination mit GIS Software• Für Touristenfotografen: erstellen von automatisierten Auswahlportfolios

für Touristen in Großstädten (ca. 5000 Bilder pro Tag)• Für Sportfotografen: automatische Zuordnung von Startnummer und

Gesicht zur automatischen Annotation, z.B. in Fußball, Marathonläufen..

Semantic Flickr• Erstellung von einem Mashup über Facebook, Flickr etc, um für

Privatpersonen automatische Annotationen zu generieren


ImageNotion: Partner

FZI Forschungszentrum InformatikUnterstützung bei Spin Off Phase, langfristige Zusammenarbeit für Forschungsprojekte

disy Informationssysteme GmbH20 Prozent beteiligt an ImageNotion, Lieferant für GIS Lösungen, Support für Vertrieb

Fraunhofer IISLieferant für Gesichtserkenner und Gesichtsdetektor

NTUA GriechenlandLieferant für Personenerkennung und Objekterkennung


ImageNotion: Kontakt

Leitung Vertrieb: Andreas Walter• Tel: 0721 / 9654 724• Fax: 0721 / 9654 725• Mobile: 0172 / 735 08 28• E-Mail: [email protected]

Leitung Technik: Dr.-Ing. Gabor Nagypal• Tel: 0721 / 16006-226• Fax: 0721 / 16006-05• Mobile: 0177 / 84 89 794• E-Mail: [email protected]

Webseite: www.imagenotion.com


ImageNotion: Diskussion

Fragen ?

ImageNotion braucht• Professionelle Unterstützung bei Erstellung von Businessplan

- Detaillierte Formung von Produkten aus den innovativen Ideen• Finanzierung der Startphase

Technology

Innovative Bildverwaltung mit ImageNotion