Bessere Suchergebnisse durch

Named Entity Recognition

Historische Zeitungen im digitalen Zeitalter /I giornali storici nell’era digitale

27.10.2014 EURAC Bozen / Bolzano

Clemens Neudecker, State Library Berlin

@cneudecker

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 2

Was ist eigentlich „Named Entity Recognition“?

• Named Entity Recognition (NER) ist ein Untergebiet der Informationsextraktion (Information Extraction) und wird allgemein als Aufgabe der Computerlinguistik verstanden.

• Es geht dabei um die automatische Extraktion von Wissen bzw. die Klassifikation von Information aus semantisch unstrukturierten Inhalten.

• Bei der NER handelt es sich durchaus noch um ein akademisches Forschungsfeld (vgl. Google/MSR Competition) – praktische Anwendungsbeispiele aus dem Kultur- sowie Digitalisierungsumfeld sind bisher noch die Ausnahme.

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

Oder: Was ist eigentlich ein „Named Entity“?

• PERSON: • Personennamen, Familiennamen, aber auch Namen von fiktiven

Personen („Albert Einstein“, „Präsident der USA“, „Micky Maus“)

• ORGANISATION: • Bezeichnungen von Firmen, Regierungs- oder Nicht-

Regierungsorganisationen („IBM“, „The Beatles“, „Labour Party“)

• ORT: • Städte, Provinzen, Länder, Gebiete, usw.

(„Paris“, „Südtirol“, „Alpen“)

3

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

NER (I)

4

1. Erkennen von Personennamen, Ortsbezeichnungen, Organisationen im Volltext

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

NER (II)

5

2. Disambiguieren von Begriffen (Beispiel “Jordan”) durch Kontextinformationen

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

NER (III)

6

3. Verlinkung mit Normdaten und Online Datenquellen (Linked Data)

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

Sprachunterstützung

3 Sprachen:

• Deutsch

• Niederländisch

• Französisch

7

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

Ansatz

• Machine learning vs. Regelbasierter (rule-based) Ansatz

• Vorteile Machine-learning: • Keine (quasi) linguistische Expertise notwendig• Verarbeitung von großen Mengen möglich

• Vorteile Regelbasiert:• Sehr hohe Genauigkeiten möglich• Berücksichtigung spezieller Grammatiken

8

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

Software

• Open Source ML Software entwickelt durch die Stanford Universität, für das Europeana Newspapers Projekt erweitert durch die KBNL

• Software steht auf Github zum Herunterladen und Ausprobieren bereit: https://github.com/KBNLresearch/europeananp-ner

9

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

Training

• Trainieren des NER Systems mit Hilfe von manuell annotierten Korpora

• Veröffentlichung des annotierten Korpus als Open Data

10

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

Probleme und Herausforderungen

• OCR Fehler reduzieren die Genauigkeit der Erkennung und verlangsamen die Verarbeitung

• Historische Schreibvarianten für Orts- und Personennamen

• In vielen Fällen sind die historischen Bezeichnungen oder Schreibvarianten nicht in entsprechenden Normdatenbanken nachgewiesen

Anpassungen der Software für OCR Problematik

11

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

Erste Resultate: Niederländisch

12

Personen Orte Organisationen

Precision 0.940 0.950 0.942

Recall 0.588 0.760 0.559

F-measure 0.689 0.838 0.671

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

Warum überhaupt Named Entity Recognition?

• Beispiel Analyse von Logfiles der National Library of Wales: 9 von 10 Suchanfragen entfallen auf Personen oder Orte

(Quelle: Paul Gooding, Exploring Usage of Digital Newspaper Archives through Web Log Analysis: A Case Study of Welsh Newspapers Online, presented at DH2014, Lausanne)

13

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

Beispiel für die Präsentation aus Nutzersicht: Digi20

• Digi20 Projekt der BSB

14

http://digi20.digitale-sammlungen.de/

Danke für Ihre Aufmerksamkeit!Grazie per la vostra attenzione!@eurnews

http://www.europeana-newspapers.eu

http://www.theeuropeanlibrary.org/tel4/newspapers

http://www.europeana.eu/