Embed Size (px)
Citation preview
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ßðîñëàâ Ëåîíîâ
ëåòî 2013
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 1 / 17
Ïðåäñòàâëåíèå äëÿ ïîëüçîâàòåëÿ
The In te rne t
Search Engine
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 2 / 17
Êîíâååð ïîèñêà
Search Engine
The In te rne t
Spider
Sea rch
Robot
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 3 / 17
Ïàóê
Ïàóê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 4 / 17
Ñòðóêòóðà ïàóêà
Spider
The In te rne t
Downloader
Cache
Zora
robot
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 5 / 17
Ïàóê â ÷èñëàõ
Ðóíåò:
Ñåðâåðà: 300
Íàãðóçêà: 20 òûñÿ÷ äîêóìåíòîâ â ñåêóíäó
Òðàôèê: 400 MByte/s (3200 Mbit/s)
Âñ¼ âìåñòå:
Ñåðâåðà: 700
Íàãðóçêà: 35 òûñÿ÷ äîêóìåíòîâ â ñåêóíäó
Òðàôèê: 700 MByte/s (5600 Bbit/s)
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 6 / 17
Ðîáîò
Ðîáîò
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 7 / 17
Ñòðóêòóðà Ðîáîòà
Robot
Spider
robot
mapreduce
archive
sea rch
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 8 / 17
Ðîáîò â ÷èñëàõÑåðâåðà
Ðîññèéñêàÿ áàçà:
walrus: 650
primus: 169
dech: 878
htarc: 172
Ìèðîâàÿ áàçà:
walrus: 301
primus: 120
dech: ???
htarc: 60
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 9 / 17
Ðîáîò â ÷èñëàõÎáú¼ìû äàííûõ
Äîêóìåíòû: ≈ 25ìëðä.
Ïåðèîäè÷íîñòü: 1-2 ðàçà â íåäåëþ
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 10 / 17
Ðîáîò â ÷èñëàõÏîèñêîâàÿ áàçà
Ðàçìåð: ≈ 214ÒÁ
Òèðû: áîëåå 10
Øàðäû: 6700øò.× 32 ÃÁ
Âûêëàäêà äåëüòà-áàçû: 2 äíÿ
Âûêëàäêà ïîëíîé áàçû: 3-4 äíÿ
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 11 / 17
Ïîèñê
Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 12 / 17
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
ÏîèñêÌàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ � äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 13 / 17
ÏîèñêÑêîëüêî ïîèñêîâ â ßíäåêñå?
Balance
Web front
Meta search
Core search
The In te rne t
L3 balancer
h t tp ba lancer
wiza rd misspeller sfrontant i robot
resinfod m m e t a
x 4
other_sea rches
x 1 0 0
in t
x 1 8 6
Side searches
x 7
Base search
x 3 6
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 14 / 17
ÏîèñêÑêîëüêî ïîèñêîâ â ßíäåêñå?
Ïðîêåòû: 50 - 100
Êîíôèãóðàöèè ïðîãðàìì: ≈ 200
Àêòèâíûõ ïðîãðàìì: > 400000
Êîíôèãóðàöèîííûõ ôàéëîâ: ≈ 25000
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 15 / 17
ÏîèñêÑèëà âîîáðàæåíèÿ
Ãåíåðàöèÿ òîïîëîãèè êëàñòåðà
Êîìïèëÿöèÿ òîïîëîãèè êëàñòåðà â êîíôèãóðàöèþ
3-4 êîíôèãóðàöèè êëàñòåðà äëÿ îòêàòà
compile configuration CMS
cluster
topology
resources
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 16 / 17
Ñïèñîê ëèòåðàòóðû
WIKI, http://wiki.yandex-team.ru.
Ïîèñêîâûé èíäåêñ,http://ru.wikipedia.org/wiki/Ïîèñêîâûé_èíäåêñ.
ßðîñëàâ Ëåîíîâ Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà ëåòî 2013 17 / 17
