Google algoritmi za rangiranje stranica

Google algoritmi za rangiranje stranica

Diplomski rad

Student: Mentor:Branko Golubović prof. Veljko Milutinović

Elektrotehnički fakultet Univerziteta u Beogradu

Google algoritmi za rangiranje stranica 2/45

Pregled

• Uvod

• Google pretraživač• Kako radi Google• Skor sadržaja• Skor popularnosti• Osobine i implementacija PageRank algoritma

• Budućnost pretraživača

Uvod


Pretraživanje kroz istoriju

• Papirus

• Pergament

• Papir

• Štamparska mašina

• WWW


Mreža je:

• ogromna (oko 30 milijardi stranica)

• dinamična (23% stranica se menja svakog dana)

• samo-organizovana

• povezana (hiperlinkovi)


Pretraživači

• Ocenjivanje performansi pretraživača:• preciznost• odziv• brzina• zahtevnost

Google pretraživač


Google od nastanka do danas

• 1996. – istraživački projekat na Stenfordu Larija Pejdža i Sergeja Brina

• 1997. – zakupljen domen google.com• 1998. – osnovana kompanija Google;

indeksirano 60 miliona stranica• 2001. – patentiran PageRank algoritam• 2004. – indeksirano 8.1 milijardi stranica• 2008. – indeksirano preko 25 milijardi stranica;

250 miliona upita dnevno; odziv ispod 0.5s


Google pretraživanje

• Pored pretraživanja stranica na MrežiGoogle nudi pretragu:• slika• vesti• proizvoda• mapa• e-mail-a• video zapisa• open source code• patenata• itd.

I will use Google before asking dumb questions


Kako radi Google


Modul za obilaženje

Mreže

Modul za skladištenje

stranica

Modul za indeksiranje

Modul za obradu upita

Modul za rangiranje

Specijalni Struktura

Indeksi

WWW

Sadržaj

Upit Rezultat

Korisnik

Elementi pretraživača

Pretraživač



• Filteri:• Izostavljanje termina• Jezik• Tip dokumenta• Pretraga u baznog URL-a• Datum• Pozicija termina na stranici• Region• Brojevni opseg• SafeSearch• Prava korišćenja



• Ekspanzija upita:• Balansiranje stabla (term reordering)

• Odbacivanje uobičajenih reči (stop words)

• Koren reči (stemming)

• Provera pravopisa

• Sinonimi

• Asocijacija reči


Modul za rangiranje

• Verovatno najvažniji deo pretraživača

• Ukupan skor se dobija sabiranjem:

• skora sadržaja (content score) i

• skora popularnosti (popularity score)


Skor sadržaja(content score)


Content score

• Sadržaj stranice• META tag

• page title• description• keywords

• Heading• Alt atribut• Tekst hiperlinkova (anchor text)


Content score

• Content score se izračunava u realnom vremenu

• Ubrzavanje upita – smanjivanje izračunavanjau realnom vremenu

• Proširivanje indeksa deskriptorima:

termin n (avion) – 7, 152 [1, 0, 1, 8], 7342


Skor popularnosti(popularity score)


Popularity score

• Do 1998. webgraph je bio neiskorišćenkao izvor informacija za rangiranje

• Link sa stranice A ka stranici B se tumači kao preporuka

• Ovaj link je:• izlazni link stranice A• ulazni link stranice B


Originalna formula PageRank-a

• Ako je rang strane Pi označen kao r(Pi), tada se on može izračunati kao suma rangova svih strana koje pokazuju na Pi:

• Iterativna formula:

• Proces je iniciran početnim vrednostima r0(Pi)=1/n

iPj BP j

ji P

PrPr

)()(

iPj BP j

jkik P

PrPr

)()(1


Originalna formula PageRank-a

• Graf:

• Matrica prelaza:

2

1

3

5

6

4

0010002/102/10002/12/1000003/1003/13/10000000002/12/10

H


PageRank

• Ako je (k)T PageRank vektor u k-toj iteraciji,tada je:

T=TH

iterativna formula za dobijanje PageRank-au matričnom obliku


Matrica prelaza H

• Osobine matrica prelaza H:

• svaka iteracija sadrži množenje vektora i matrice - O(n2)

• H je retka matrica – stepen složenosti se smanjuje O(n)

• iterativni proces primenjen u formuli se nazivastepeni metod (eng. Power method) primenjen na H

• H je substohastička, jer viseće stranice proizvode 0 redove


Konvergiranje procesa

• Važna pitanja:

• Da li će i pod kakvim uslovima proces konvergirati?

• Da li će konvergirati ka jedinstvenom rešenju?

• Da li konvergencija zavisi od početnog vektora (0)T?

• Koja je brzina konvergiranja?

• Da li će rešenje ka kome sistem konvergira biti od koristi za rangiranje stranica?


Problemi sa matricom H

• Inicijalni vektor je T=1/neT, gde je eT vektor jedinica dimenzije n

• Problemi sa takvim sistemom:• rank sink• ciklusi

• H podseća na stohastičku matricu verovatnoće prelaza Markovljevih lanaca


• Za bilo koji inicijalni vektor, matrica P u Markovljevom lancu konvergira ka jedinstvenom pozitivnom vektoru (stacionarni vektor), ako je P:

• stohastička

• nesvodljivaprimitivna

• aperiodična

Markovljevi lanci


Prilagođavanje matrice H

• Model slučajnog surfera (eng. random surfer)• Stohastička matrica S (stohastička modifikacija):

S = H + a(1/n eT), gde je a dangling node vector

0010002/102/10002/12/1000003/1003/13/16/16/16/16/16/16/10002/12/10

S


Prilagođavanje matrice H

• Google matrica G (modifikacija primitivnosti):

G = S + (1 - )1/n eeT,

gde je:• 1 - verovatnoća teleportacije (verovatnoća da surfer

skoči na proizvoljnu stranu)• 0 < < 1• 1/n eeT = E matrica teleportacije (uniformna)


Posledice modifikacije

• Matrica G je:• stohastička

• nesvodljiva (sve strane su međusobno povezane)

• aperiodična (linkovi Gii)

• u potpunosti gusta, ali:G = S + (1 - )1/n eeT =

= (H + 1/n aeT) + (1 - )1/n eeT == H + (a + (1 - )e)1/n eT

• veštačka, u smislu da je nastala modifikacijom H


Izračunavanje PageRank vektora

• Power method – pronalazi dominantne sopstvene vrednosti i sopstvene vektore matrice• jednostavan:

T=TG == T S + (1 - )/n T eeT == T H + (T a + 1 - )eT/n,

gde je Te = 1.• matrix-free• storage friendly• zahteva svega 50-100 iteracija


Parametri u PageRank modelu

• faktor (PageRank – = 0.85):G = S + (1 - )E

• hiperlink matrica H:

• matrica teleportacije E:E = 1/n evT

gde je vT vektor teleportacije (personalizacije)

0010002/102/10002/12/1000003/1003/13/10000000002/12/10

H

0010002/102/10002/12/1000003/1003/13/10000000003/13/20

H


Osobine i implementacija PageRank algoritma


Ubrzavanje izračunavanja PageRank-a

• adaptivni Power metod – smanjuje izračunavanje:• prednosti: ubrzanje od 17%• mane: nepreciznost (lokalni minimumi), teškoće kod

implementacije na velike sisteme

• ekstrapolacija – smanjuje broj iteracija:• asimptotska brzina konvergencije Power metoda

je brzina kojom |2/1|k teži nuli• G je stohastička: 1 = 1• G je primitivna: |2| < 1• ekstrapolacija – eliminisanje uticaja 2

• mane: zahtevnost (svaka deseta iteracija)



• quadratic ekstrapolacija – smanjuje broj iteracija:• eliminisanje uticaja 2 i 3

• prednosti: 50-300% bolji rezultati od originalnog PR• mane: zahtevno izračunavanje (svaka 20-ta iteracija)

PageRankPageRank sa quadratic ekstrapolacijom



• agregacija – BlockRank:• kompresovanje grafa Mreže po host-ovima• PageRank se primenjuje na hostgraph – HostRank• PageRank se primenjuje na same host-ove• konačan rang stranice se dobija množenjem

HostRank-a host-a i ranga stranice unutar host-a

• mane: dobijaju se aproksimacije• prednosti: aproksimacije su zadovoljavajuće, brzina je

veća nego originalni PageRank


Osvežavanje PageRank vektora

• Jednom mesečno – Google Dance

• PageRank se izračunava od nule

• Promene na WWW:

• promene u strukturi linkova

• promene u strukturi grafa



• Aproksimativna agregacija:

• S – skup stanja osveženog Markovljevog lanca

• L – sadrži stanja na koje je uticala promena

• Egzaktna agregacija

LLS LLS

LLS

LLS



• Iterativna agregacija:• što je |L| = l veće, brža konvergencija i više

izračunavanja• dobro formiranje skupa L:

• stavljanje svih novih i promenjenih stanja u L • dodavanje stanja sa visokim PR u prethodnom izračunavanju

• osobine:• poboljšanje performansi (1/7 vremena potrebnog PR)• što je više podataka, poboljšanja izraženija• mesta za dodatna poboljšanja (npr. ekstrapolacija)• promene broja stranica ne utiču na algoritam

Budućnost pretraživača


SPAM i ostale zloupotrebe

• Algoritmi za detektovanje Link farmi

• BadRank• Sponzorisani linkovi


Specijalizovani pretraživači

• Neki specijalizovani pretraživači:• Najdi.si (geografski lokalizovani pretraživač),• Business.com (poslovni pretraživač),• Hotjobs.com (pretraživač berze rada),• InfoSpace (pretraživač osoba),• Home.co.uk (pretraživač nekretnina), itd.

• Google-ovi specijalizovani pretraživači:• Google Book Search (knjige),• Google Code Search (programski kod),• Google Scholar (obrazovanje),• Google News (vesti), itd.


Personalizovane pretrage

• Google Personalized Search – Web History

• A9.com

• Mnogi sajtovi imaju internu personalizovanu pretragu – npr. Amazon.com

• Problemi sa privatnošću


Klasifikacija i klasterovanje

• Stumble!

• Vivisimo – Clusty

• Upit “cell” je vraćao klase:• cell phones• biology• stem cell• manufacturer/battery • itd.


Fuzija podataka

• Map.Search - www.map.search.ch


Google algoritmi za rangiranje stranica

Reference:[1] Amy N. Langvile, Carl D. Meyer. Google’s PageRank and Beyond: The Science of

Search Engine Rankings. Princeton, 2006. Princeton University Press.[2] Junghoo Cho and Hector Garcia-Molina. The evolution of the Web and

implications for an incremental crawler, In Proceedings of the Twenty-sixt International Conference on Very Large Databases. New York, 2000. ACM Press.

[3] Anti Spam - SpamUnithttp://www.spamunit.com/spam-statistics/

[4] Technoratihttp://technorati.com/about/

[5] Wikipedia http://en.wikipedia.org/

[6] Pandia Search Engine News www.pandia.com

[7] Kališen Tara, Dornfest Rel. Google trikovi. Čačak, 2006. Kompjuter biblioteka

Prof. Veljko Milutinović [email protected] Golubović [email protected]

Documents

Google algoritmi za rangiranje stranica