Upload
lidia-pivovarova
View
1.025
Download
0
Embed Size (px)
Citation preview
Вопросно‐ответный поискВопросно‐ответный поиск в интернетер
Павел БраславскийбNLP seminar, СПб
18.12.2010
Использованы слайды: Chris Manning, Eugene Agichtein
ПланПлан
• Почему «ответы на вопросы»?
• «Традиционный» вопросно‐ответный поиск«Традиционный» вопросно ответный поиск
• Ответы на вопросы в Вебе
• Социальный вопросно‐ответный поиск
• ЗаключениеЗаключение
218.12.2010 Павел Браславский
ИдеяИдея
ВопросИсчерпывающая и естественная формулировка р щ ф р у ринформационной потребности
ОтветОтветТочный ответ или фрагмент документа, содержащий ответ
ДанныеТекстовая коллекция
318.12.2010 Павел Браславский
Запросы вопросы: 2 3%Запросы – вопросы: 2‐3%
http://company.yandex.ru/facts/researches/ya_search_2009.xml
Павел Браславский ‐ Анализ запросов 4
Близкие областиБлизкие области
• ЕЯ‐интерфейс к БД
• Диалоговые системыДиалоговые системы
518.12.2010 Павел Браславский
Примеры вопросов TRECПримеры вопросов TREC
1 Wh i th th f th b k "Th I L d A Bi h f1. Who is the author of the book, "The Iron Lady: A Biography of Margaret Thatcher"?
2. What was the monetary value of the Nobel Peace Prize in 1989?3. What does the Peugeot company manufacture?4. How much did Mercury spend on advertising in 1993?5. What is the name of the managing director of Apricot Computer?5. What is the name of the managing director of Apricot Computer?6. Why did David Koresh ask the FBI for a word processor?7. What debts did Qintex group leave?8 Wh i h f h l i l di i h8. What is the name of the rare neurological disease with symptoms
such as: involuntary movements (tics), swearing, and incoherent vocalizations (grunts, shouts, etc.)?
618.12.2010 Павел Браславский
[Manning]718.12.2010 Павел Браславский
18.12.2010 Павел Браславский 8[Manning]
18.12.2010 Павел Браславский 9[Manning]
Ключевые компонентыКлючевые компоненты
• ИПС (индексирование документов, извлечение и ранжирование фрагментов)р р фр )
• NER
ф (• Классификатор вопросов ( гипотезы ответа)
• Синтаксический и семантический анализ
М• Машина вывода
textual inference/entailment/reasoningg
18.12.2010 Павел Браславский 10
ПримерПример
• Сегодня в возрасте восьмидесяти лет в Переделкино умер глава русской р д у р руправославной церкви Алексий Второй.
• Патриарх Алексий II скончался 5 декабря• Патриарх Алексий II скончался 5 декабря 2008 года.
1118.12.2010 Павел Браславский
CLEF 2009CLEF 2009
bliQ 00 l l i• ResPubliQA: 500 natural language questions, systems must return the passage, multilingual ll ti f l i l ti d tcollection of legislation documents.
• QAST: written and oral questions (factual and definitional) in different languages are formulated against a set of audio recordings.
• GikiCLEF: open list questions over Wikipedia that require geographic reasoning, complex information extraction, and cross‐lingual processing.
18.12.2010 Павел Браславский 12
GikiCLEFGikiCLEF• EX01 Name Portuguese speaking Nobel prize winners• EX01: Name Portuguese‐speaking Nobel prize winners• EX02: List Portuguese Pop/Rock groups created in the 90s. • EX03: Which Brazilian football players play in clubs in the Iberian
Pensinsula?Pensinsula? • EX04: What capitals of Dutch provinces received their town privileges
during the sixteenth century? • EX05: In which places did Italo Calvino live during adulthood?• EX05: In which places did Italo Calvino live during adulthood? • EX06: Name Mexican poets who published volumes with ballads until
1930. • EX07: Name authors born in Alaska and who wrote fiction about it• EX07: Name authors born in Alaska and who wrote fiction about it. • EX08: What Belgians won the Tour de France exactly twice? • EX09: Find Amazon tribes which have no written language
EX10 Fi d N h E i hi h d l i• EX10: Find Northern Europe companies which produce nano‐electroniccomponents for planes.
Павел Браславский 13
РОМИПРОМИП
К BYWEB• Коллекция BY.WEB• 10K запросов‐вопросов из лога поисковой машины
– gta san andreas как сделать машину призрак?g д у р р– монгольские полевки как ухаживать?– берут ли с экземой в армию?– перелёт до екатеринбурга от москвы сколько по времени?– черезсколько дней появляются корни у отростка традесканции?– всем ли девушкам важны деньги?– как заполучить парня своей мечты?
где пройдет финал кубка уефа 2009?– где пройдет финал кубка уефа 2009?
• До 5 ответов системы: docID, краткий ответ, фрагмент (до 300 символов)
http://romip.ru/ru/2010/tracks/qa.html
18.12.2010 Павел Браславский 14
AskMSRAskMSRКлассификация вопроса (7 категорий)
взвешивание
Регулярные выражения
1518.12.2010 Павел Браславский
18.12.2010 Павел Браславский 16[Manning]
AnswerBusAnswerBus
1718.12.2010 Павел Браславский
Примеры системПримеры систем
• AnswerBus, PowerSet иLLC (http://www.languagecomputer.com/) ( p g g p )не работают
• EasyAsk AnswerLogic AnswerFriend Start• EasyAsk, AnswerLogic, AnswerFriend, Start, Quasm, Mulder, Webclopedia, ISI TextMap,
[ ]etc. [Manning]
1818.12.2010 Павел Браславский
Wolfram AlphaWolfram Alpha
18.12.2010 Павел Браславский 19
18.12.2010 Павел Браславский 20
Ask.com
18.12.2010 Павел Браславский 21
Разные данные/подходыРазные данные/подходы
• Поиск ответа по коллекции текстов
• Поиск ответа в структурированных данныхПоиск ответа в структурированных данных
• Поиск ответа в коллекции вопросов и ответов– FAQ
– Онлайн консультации
– Форумы сообщества– Форумы, сообщества
– Специализированные социальные сервисы
18.12.2010 Павел Браславский 22
Социальный поискСоциальный поиск
1. Поиск с помощью сообщества
2. Поиск с учетом социальных2. Поиск с учетом социальных взаимодействий пользователей
3 П й3. Поиск по контенту, который является результатом социальных взаимодействий
2318.12.2010 Павел Браславский
2418.12.2010 Павел Браславский
otvety.mail.ru
18.12.2010 Павел Браславский 25
quora.com
18.12.2010 Павел Браславский 26
Проблемы/задачиПроблемы/задачи
• Качество контента– Информация/общениеф р ц / щ
• Устранение избыточности (смысловые дубликаты)дубликаты)
• Релевантность/ранжирование
• Классификация запросов
З В• Запрос Вопрос
2718.12.2010 Павел Браславский
Finding High Quality Content in SMFinding High Quality Content in SM
E A i h i C C ill D D A Gi i d GE. Agichtein, C. Castillo, D. Donato, A. Gionis, and G. Mishne, Finding High Quality Content in Social Media inWSDM 2008
• Well‐written
Media, in WSDM 2008
• Interesting• Relevant (answer)
As judged by professional editorse e a (a s e )
• Factually correct• Popular?
professional editors
Popular?• Provocative?• Useful?
18.12.2010 Павел Браславский 28
• Useful?
[Agichtein]
292929
How do Question and Answer Quality relate?
30[Agichtein]
313131
323232
333333
343434
CommunityCommunityCommunityCommunity
3535[Agichtein]
Link Analysis for Authority EstimationLink Analysis for Authority Estimation
Q ti 1Answer 1 User 3 User 3
Question 1
Answer 2
User 1User 4
User 1User 4
Question 2
Answer 4
Answer 3
User 2User 6
User 5
User 2 User 6
User 5
Answer 5
Answer 4 User 6
Question 3
Answer 6∑=
=Mi
iHjA0
)()(
∑=
=Kj
jAiH0
)()(= Mi ..0
H b ( k ) A th it ( )
36
= Kj ..0 Hub (asker) Authority (answerer)
[Agichtein]
Random forest classifier
373737
Result 1: Identifying High Quality Questions
38[Agichtein]
Top Features for Question ClassificationTop Features for Question Classification
A k l it (“ t ”)• Asker popularity (“stars”)
• Punctuation density
• Topical category
• Page views
• KL Divergence from reference corpus LM
39[Agichtein]
Identifying High Quality AnswersIdentifying High Quality Answers
40[Agichtein]
Top Features for Answer ClassificationTop Features for Answer Classification
A l th• Answer length
• Community ratings
Answerer reputation
• Word overlap
• Kincaid readability score
41[Agichtein]
Dimensions of “Quality”Dimensions of Quality
ll i• Well‐written• Interestingg• Relevant (answer)• Factually correct• Factually correct• Popular?• Timely?• Provocative?
As judged by the asker (or community)Provocative?
• Useful?
42[Agichtein]
Yahoo! Answers: The Good NewsYahoo! Answers: The Good News
• Active community of millions of users in many countries and languagesg g
Eff i f bj i i f i d• Effective for subjective information needs– Great forum for socialization/chat
C b i l bl f h d t fi d i f ti• Can be invaluable for hard‐to‐find information not available on the web
4343[Agichtein]
4444[Agichtein]
Yahoo! Answers: The Bad NewsMay have to wait a long time to get a satisfactory answer
Yahoo! Answers: The Bad News
1 FIFA World Cup
30
35
40 1. FIFA World Cup2. Optical3. Poetry
20
25
30 3. Poetry4. Football (American)5. Soccer
10
15 6. Medicine7. Winter Sports8 Special Education
0
5
1 2 3 4 5 6 7 8 9 10
8. Special Education9. General Health Care10. Outdoor Recreation
May never obtain a satisfying answer
10. Outdoor RecreationTime to close a question (hours)
May never obtain a satisfying answer4545
[Agichtein]
Y Liu J Bian and E Agichtein in SIGIR 2008
Predicting Asker SatisfactionY. Liu, J. Bian, and E. Agichtein, in SIGIR 2008
Given a question submitted by an asker in CQA, predict whether the user will be satisfied with thepredict whether the user will be satisfied with the answers contributed by the community.
– “Satisfied” :• The asker has closed the question AND• The asker has closed the question AND• Selected the best answer AND• Rated best answer >= 3 “stars” (# not important)• Rated best answer >= 3 stars (# not important)
– Else, “Unsatisfied
46[Agichtein]
ASP: Asker Satisfaction PredictionASP: Asker Satisfaction Prediction
Answerer History
TextCategory
Answerer History
Asker History
Answer
Question
Wikipedia
NewsClassifier
asker is asker is not
News
asker is satisfied
asker is not satisfied
47[Agichtein]
Experimental Setup: DataExperimental Setup: DataCrawled from Yahoo! Answers in early 2008
Questions Answers Askers Categories % Satisfied216,170 1,963,615 158,515 100 50.7%
“Anonymized” dataset available at: http://irmathcs emory edu/shared/http://ir.mathcs.emory.edu/shared/
/ h ! b “ h ”1/2009: Yahoo! Webscope : “Comprehensive” Answers dataset: ~5M questions & answers.
48[Agichtein]
Satisfaction by TopicSatisfaction by TopicTopic Questions Answers A per Q Satisfied Asker Time to close
b krating by asker2006 FIFA W ld C
1194 35,659 329.86 55.4% 2.63 47 iWorld Cup minutes
Mental H lth
151 1159 7.68 70.9% 4.30 1.5 daysHealth
Mathematics 651 2329 3.58 44.5% 4.48 33 minutesminutes
Diet & Fitness
450 2436 5.41 68.4% 4.30 1.5 daysFitness
49[Agichtein]
Satisfaction Prediction: Human JudgesSatisfaction Prediction: Human Judges
T th k ’ ti• Truth: asker’s rating• A random sample of 130 questions• Researchers
– Agreement: 0.82 F1: 0.45 2P*R/(P+R)
• Amazon Mechanical TurkAmazon Mechanical Turk– Five workers per question. – Agreement: 0.9 F1: 0.61Agreement: 0.9 F1: 0.61 – Best when at least 4 out of 5 raters agree
50[Agichtein]
Performance: ASP vs Humans (F1 Satisfied)Performance: ASP vs. Humans (F1, Satisfied)Classifier With Text Without Text Selected Features
ASP_SVM 0.69 0.72 0.62
ASP_C4.5 0.75 0.76 0.77ASP_RandomForest 0.70 0.74 0.68
ASP_Boosting 0.67 0.67 0.67
ASP_NB 0.61 0.65 0.58
Best Human Perf 0.61Baseline (random) 0.66
Human F1 is lower than the random baseline!
ASP is significantly more effective than humans
Human F1 is lower than the random baseline!
51
g y
Top Features by Information GainTop Features by Information Gain
0 14 Q A k ’ i ti• 0.14 Q: Askers’ previous rating• 0.14 Q: Average past rating by asker• 0.10 UH: Member since (interval)• 0.05 UH: Average # answers for by past Qg y p Q• 0.05 UH: Previous Q resolved for the asker• 0 04 CA: Average asker rating for category0.04 CA: Average asker rating for category• 0.04 UH: Total number of answers receivedreceived
…
52[Agichtein]
СсылкиСсылки
• В + М QA ( NLP• Видео + транскрипт лекции Маннига про QA (курс NLP, лекция 18) http://see.stanford.edu/see/courses.aspx
• Слайды лекции Маннига про QA htt // t f d d / l / 224 / ll b ht l#l 18http://www.stanford.edu/class/cs224n/syllabus.html#lec18
• РОМИП QA http://romip.ru/ru/2010/tracks/qa.html• QA @ TREC http://trec.nist.gov/data/qamain.htmlp g q• CLEF http://www.clef‐campaign.org/• AnswerBus http://answerbus.coli.uni‐sb.de/• Ответы@mail ru http://otvety mail ru/• Ответы@mail.ru http://otvety.mail.ru/• Yahoo! Answers http://answers.yahoo.com/• Quora http://www.quora.com/• Aardvark http://vark.com/• WolframAlpha http://www.wolframalpha.com/
5318.12.2010 Павел Браславский
СтатьиСтатьи• Dmitri Roussinov Weiguo Fan and Jose Robles Flores 2008 Beyond• Dmitri Roussinov, Weiguo Fan, and Jose Robles‐Flores. 2008. Beyond
keywords: Automated question answering on the web. Commun. ACM 51, 9.
• Kwok C Etzioni O and Weld D S Scaling Question Answering to the WebKwok C., Etzioni O. and Weld D.S. Scaling Question Answering to the Web. ACM TOIS, Vol. 19, No. 3, July 2001.
• Banko M. et al. AskMSR: Question Answering Using the Worldwide Web. In Proc. of 2002 AAAI Spring Symposium on Mining Answers from Texts p g y p gand Knowledge Bases.
• Zhiping Zheng. 2003. Question answering using web news as knowledge base. In Proceedings of the tenth conference on European chapter of the
i i f i l i i i l ( ' ) lAssociation for Computational Linguistics ‐ Volume 2 (EACL '03), Vol. 2. Association for Computational Linguistics, Morristown, NJ, USA, 251‐254.
• E. Agichtein, C. Castillo, D. Donato, A. Gionis, and G. Mishne, Finding High Quality Content in Social Media inWSDM 2008Quality Content in Social Media, in WSDM 2008
• Y. Liu, J. Bian, and E. Agichtein, Predicting Asker Satisfaction, SIGIR 2008
18.12.2010 Павел Браславский 54
Спасибо за внимание!
Павел БраславскийПавел Браславский
pb@yandex‐team.ru
18.12.2010 Павел Браславский 55