Las Mat de PageRank Slides

7/25/2019 Las Mat de PageRank Slides

1/64

Las Matematicas de PageRank

y otros metodos de busqueda web

Eustasio del Barrio

Universidad de Valladolid. IMUVA.

Marzo, 2013

Eustasio del Barrio Las Matematicas de PageRank 1 / 31
http://find/


2/64

Plan

Plan

1 Busqueda de informacion

http://goforward/http://find/http://goback/


3/64

Plan

Plan


2 Motores de busqueda

http://find/http://goback/


4/64

Plan

Plan



3 Analisis de enlaces


Pl
http://find/


5/64

Plan

Plan




4 Conclusiones


Pl
http://find/


6/64

Plan

Plan




4 Conclusiones

5 Referencias


Busqueda de informacion
http://find/


7/64

Busqueda de informacion

Busqueda de informacion: (pre)historia

Busqueda de informacion (IR) = busqueda en coleccion de documentos

de informacion particular (consulta)

A.C.: colecciones pequenas; etiquetas en rollos de papiro

A.C.: papiro pergamino; formato libro

Siglo XII: invencion del papel; colecciones en monasterios;organizacion por secciones; listas de documentos

1450: Gutemberg, imprenta

Siglo XVIII: primeras bibliotecas publicas; busqueda orientada

1872: clasificacion decimal (Dewey)

1900: Catalogo de tarjetas (por autor, ttulo)

1940-1950: Ordenador

1989: nacimiento del www (Berner-Lee)


Motores de busqueda


8/64

Motores de busqueda

El metodo SMART

1960s; implementado en IBM 7094 & IBM 360

Basado en metodos matriciales (matrices termino-documento)

Comienza con diccionario de terminos (palabras o expresiones)

Se indexa cada documento

frecuencia fi,j = #veces termino i aparece en documento j

Matriz termino-documento


Motores de busqueda


9/64

Motores de busqueda

Vector de consulta:

qT = [q1, . . . , q m] qi =

1 si termino i presente en consulta0 si no

Es el documento i una buena respuesta a la consulta?

Esta el vector qcerca de la columna Ai?

Se usa i = cos i = qTAiqAi

Se ordenan documentos por i crecienteSe sugiere documento i a usuario si i tol

Mejoras posibles comprimiendo matriz A(Dumais, 1989,1994; Bel Labs)


Motores de busqueda
http://find/


10/64

Motores de busqueda

Busqueda de informacion: metodos antiguos

Ventajas

Encuentran conexiones ocultas

Pueden usarse para identificar clusters de documentos (textmining)

Funcionan bien en coleccionespequenas + homogeneas +

estaticas

Inconvenientes

Ranking dependiente de consulta (recalculado para cada consulta)

Solo usa contenido semantico (vctima facil de spam, estructurade enlaces ignorada)

Dficil anadir/borrar documentos

Compresion optima no sencilla


Motores de busqueda
http://find/


11/64

q

Busqueda indexada en web


Motores de busqueda
http://find/


12/64

q

Busqueda indexada en web (pre 1998)

patrulla fronteriza: 4; 567; 809; 1103; . . . (8,700,000 en total)

Hezbollah: 9; 12; 339; 942; 15158; . . . (15,100,000 en total)

calentamiento global: 178; 12980; 445532; . . . (33,200,000 en total)

demasiados enlaces por busqueda

facil spam

Yahoo:jerarquas de sitios web, organizacion humana


Motores de busqueda
http://find/


13/64

Cuando se proclamo que la Biblioteca abarcaba todos los

libros, la primera impresion fue de extravagante felicidad.

Todos los hombres se sintieron senores de un tesoro intacto y

secreto. No haba problema personal o mundial cuya

elocuente solucion no existiera: en algun hexagono.

. . . A la desaforada esperanza, sucedio, como es natural, unadepresion excesiva. La certidumbre de que algun anaquel en

algun hexagono encerraba libros preciosos y de que esos libros

preciosos eran inaccesibles, parecio casi intolerable. Una secta

blasfema sugirio que cesaran las buscas. . .


Analisis de enlaces
http://find/


14/64

1998: hiperenlaces en accion

Nuevos metodos combinan ranking IR con nuevo ranking depopularidad

La web es diferente de otras colecciones de documentos

es enorme

es dinamica

carece de organizacion centralizada

tiene hiperenlaces


Analisis de enlaces
http://find/


15/64

Elementos de un motor de busqueda web


Analisis de enlaces


16/64

Modulo de ranking:genera ranking de popularidad

mide importancia de cada pagina

medida independiente de consulta, basada en estructura de enlaces

calculado offline, antes de atender consultas de usuarios

algoritmo PageRank de Google se impuso a competidores

Google PageRank = Google $$$


Analisis de enlaces


17/64


Analisis de enlaces
http://find/


18/64

Google PageRank: Lawrence Page & Sergey Brin, 1998

Idea

Crear ranking r(P) independiente de consultaCalculos off-line; ahorro computacion en consultas

La web vota con in-links; in-links de sitios importantes pesan mas

in-links de sitio con muchos out-links pesan menos


Analisis de enlaces
http://find/


19/64

El algoritmo PageRank

r(P) =QBP

r(Q)

|Q|

BP paginas con enlaces a P; |Q| numero de paginas enlazadas desde Q


Analisis de enlaces
http://find/


20/64

El algoritmo PageRank

r(P) =QBP

r(Q)

|Q|

BP paginas con enlaces a P; |Q| numero de paginas enlazadas desde Q

Metodo iterativo: inicialmente r0(P) = 1n

para todas paginas

P1, . . . , P n

r1(P) =QBP

r0(Q)

|Q|

r2(P) =QBP

r1(Q)

|Q|

...


Analisis de enlaces

T
http://find/


21/64

Tras iteracionk, Tk = [rk(P1), . . . , rk(Pn)],

Tk+1=TkH, hi,j =

1/|Pi| si i j

0 si no

Vector PageRank T = lmk Tk =TH (autovector de H)

si el lmite existe


Analisis de enlaces

T
http://find/


22/64


Tk+1=TkH, hi,j =

1/|Pi| si i j

0 si no


si el lmite existese estabilizan los iterantes?


Analisis de enlaces

T [ ( ) ( )]
http://find/


23/64


Tk+1=TkH, hi,j =

1/|Pi| si i j

0 si no



mide realmente la importancia de las paginas?


Analisis de enlaces

T i i k T [ (P ) (P )]
http://find/


24/64


Tk+1=TkH, hi,j =

1/|Pi| si i j

0 si no



mide realmente la importancia de las paginas?


Analisis de enlaces
http://find/


25/64

El modelo del internauta aleatorio

Internauta parte de pagina web. Aleatoriamente elige enlace a otrapagina

Xn = pagina visitada en instante n


Analisis de enlaces
http://find/


26/64





Analisis de enlaces
http://find/


27/64





Analisis de enlaces


28/64





Analisis de enlaces
http://find/


29/64





Analisis de enlaces


30/64

Xn es unacadena de Markov

P2 es un estado absorbente (dangling node; pagina sin enlaces)

T = [0, 1, 0, 0, 0, 0]; P2 es un sumidero de ranking

Ranking no resulta interesante

Dangling nodes no cortan navegacion de internautas reales;

permitimos salto al azar

Cambiamos filas de ceros por eT

n = [ 1

n, . . . , 1

n]


Analisis de enlaces
http://find/


31/64

Ses una matriz estocastica, m. de transicion de una cadena de Markov

T =TS Tdistribucion estacionaria

La web no es fuertemente conexa; Sno es irreducible (hay i j)

Puede haber ciclos: i j i

Teorema

SiS irreducible y aperiodica existe una unica distribucion estacionaria,T. Ademas

Tk independientemente deT0


Analisis de enlaces

L i G l
http://find/


32/64

La matriz Google

Solucion a problemas: permitir salto aleatorio desde cualquier pagina

G= S+ (1 )ee

T

n

G es irreducible y aperiodica tiene distribucion estacionaria unica

j = proporcion de tiempo que el internauta aleatorio pasa en pagina j


Analisis de enlaces
http://find/


33/64

Algunos aspectos importantes

En la Web real n 1012

La matriz de hiperenlaces es dispersa (menos de 10 out-links en media)

Aun as almacenamiento de G costoso y calculo de Tk+1 tambien

Cada iteracion requiere 1024 operaciones


Analisis de enlaces


34/64

Algunos aspectos importantes

En la Web real n 1012

La matriz de hiperenlaces es dispersa (menos de 10 out-links en media)

Aun as almacenamiento de G costoso y calculo de Tk+1 tambien

Cada iteracion requiere 1024 operaciones

Pero hay buenas noticias

Teorema j

|(k)j j | 2

k

Si = 0.85, 50-100 iteraciones garantizan buena aproximacion(103 107)independiente de dimension!!

El resto de la historia es conocido


Analisis de enlaces
http://find/


35/64


Analisis de enlaces


36/64

HITS(Hypertext Induced Topic Selection, Jon Kleinberg, 1997)

Distincion entre autoridades y distribuidores (hubs)


Analisis de enlaces
http://find/


37/64



Buenas autoridades enlazadas desde buenos hubs


Analisis de enlaces
http://find/


38/64




Buenos hubs enlazan a buenas autoridades


Analisis de enlaces
http://find/


39/64




Buenos hubs enlazan a buenas autoridades


Analisis de enlaces
http://find/


40/64

HITS

ai = puntuacion como autoridad para pagina Pi

hi = puntuacion como hub para pagina Pi


Analisis de enlaces
http://find/


41/64

HITS



Inicialmente hi = 1; h0=

1...

1


Analisis de enlaces


42/64

HITS




1...

1

Puntuacion inicial de autoridad ai =

j:PjPihi; a1=

a1...

an

=LTh0


Analisis de enlaces


43/64

HITS




1...

1

Puntuacion inicial de autoridad ai =

j:PjPihi; a1=

a1...

an

=LTh0

Li,j =

1, Pi Pj0, Pi Pj


Analisis de enlaces
http://find/


44/64

HITS

Se refina puntuacion hub: hi =

j:PiPjaj ; h1=La1


Analisis de enlaces
http://find/


45/64

HITS


j:PiPjaj ; h1=La1

En pasos sucesivos a2=LTh1, h2=La2, . . .


Analisis de enlaces
http://find/


46/64

HITS


j:PiPjaj ; h1=La1


A= L

T

L matriz de autoridades a

k+1=Aak

H=LLT matriz de hubs hk+1=Hhk


Analisis de enlaces
http://find/


47/64

HITS


j:PiPjaj ; h1=La1


A= LTL matriz de autoridades ak+1

=Aak


ak a; hk h; autovectores


Analisis de enlaces
http://find/


48/64

HITS


j:PiPjaj ; h1=La1


A= LTL matriz de autoridades ak+1

=Aak


ak a; hk h; autovectores

a,h no bien definidos si A, H reducibles


Analisis de enlaces

Problema reducido si se calculan a,h sobre grafo asociado a
http://find/


49/64

query+vecinos


Analisis de enlaces

http://find/


50/64

query+vecinos

HITS da dos rankings interesantes


Analisis de enlaces

http://find/


51/64

query+vecinos


ranking es query-dependent; demasiada computacion por consulta


Analisis de enlaces

Problema reducido si se calculan a,h sobre grafo asociado ai
http://find/


52/64

query+vecinos



A, Hno estocasticas; modificaciones posibles


Analisis de enlaces

Problema reducido si se calculan a,h sobre grafo asociado a+ i
http://find/


53/64

query+vecinos



A, Hno estocasticas; modificaciones posibles

SALSA (Stochastic Approach for Link-Structure Analysis, Lempel& Moran)


Analisis de enlaces

Enganando a PageRank
http://find/


54/64

PageRank asume buena fe en enlaces y paginas (dont be evil)


Analisis de enlaces

Enganando a PageRank
http://find/


55/64

PageRank asume buena fe en enlaces y paginas (dont be evil)

Manipular PageRank puede producir beneficios (rendimientopublicitario, divertirse un poco,. . . )


Analisis de enlaces
http://find/


56/64


Analisis de enlaces
http://find/


57/64


Analisis de enlaces
http://find/


58/64

Paginas accedidas desde paginas relacionadas con consultaconsideradas relevantes tambien


Analisis de enlaces
http://find/


59/64


Bomba desactivada; otras debilidades descubiertas


Analisis de enlaces
http://find/


60/64



El vector PageRank es estable; el ranking, no


Analisis de enlaces
http://find/


61/64




SEOs, link farms


Analisis de enlaces
http://find/


62/64




SEOs, link farms

Efecto de link farms controlable (?) analizando grafo


Conclusiones
http://find/


63/64

Matematicas resuelven problemas; soluciones utiles en problemasconcretos

Historia no terminada: link farms, SEO, Google Panda, GooglePenguin,. . .

Machine learning, BigData, Social Netwokrs, . . . areas activas deinvestigacion matematica/estadstica/informatica teorica yaplicada

Tambien una gran fuente de empleo


Referencias

Libros:
http://find/


64/64

Langville, A. N. y Meyer, C. D. (2006). Googles PageRank and

Beyond: The Science of Search Engine Rankings. Princeton Univ. Press.Manning, C.D., Raghavan, P. y Schutze, H. (2008). Introduction toInformation Retrieval, Cambridge University Press.

Bonato, A. (2008). A Course on the Web Graph. A.M.S. - Graduate

Studies in Mathematics.

Algorithms and Models for the Web-Graph. Lecture Notes in Computer

Science. Springer. (9o workshop en 2012)

Artculo:

Langville, A. N. y Meyer, C. D. (2003). Deeper inside pagerank.Internet Mathematics, 1, 335380.

http://find/

Documents

Las Mat de PageRank Slides