Embed Size (px)
Citation preview
Matrix factorization
Nicolas Torres
IIC 3633 - Sistemas RecomendadoresPontificia Universidad Catolica de Chile
24 de septiembre de 2015
Nicolas Torres Matrix factorization 24 de septiembre de 2015 1 / 27
Bibliografıa
Esta presentacion se basa en las siguientes publicaciones
Xia Ning and George Karypis.Sparse linear methods with side information for top-nrecommendations.In Proceedings of the Sixth ACM Conference on RecommenderSystems, RecSys ’12, pages 155–162. ACM, 2012.
S. Zhang, W. Wang, J. Ford, and F. Makedon.Learning from incomplete ratings using non-negative matrixfactorization.In Proceedings of the 6TH SIAM Conference on Data Mining, pages549–553, 2006.
Nicolas Torres Matrix factorization 24 de septiembre de 2015 2 / 27
Tabla de Contenidos
1 NMFModeloRatings IncompletosExperimentosEjemplo
2 SLIMModeloExperimentos
Nicolas Torres Matrix factorization 24 de septiembre de 2015 3 / 27
NMF
La matriz de ratings V : m× n, se descompone en dos matrices de menorrango, no negativas de la forma
V ≈WH, (1)
donde W : n× k y H : k ×m. En la practica, el rango de factorizacion esescogido, tal que, k � mın(m,n).
Nicolas Torres Matrix factorization 24 de septiembre de 2015 4 / 27
NMF
La matriz V se obtiene encontrando las matrices no-negativas W (n× k) yH(k ×m) que optimizan
mın ||A−WH||2F (2)
∼ max logPr(A|V ) (3)
Este problema puede ser resuelto utilizando el metodo de losmultiplicadores de Lagrange.
Nicolas Torres Matrix factorization 24 de septiembre de 2015 5 / 27
Learning From Incomplete Ratings
Cuando la matriz de ratings esta incompleta se debe optimizar el problema
max logPr(A◦|V ), (4)
donde A◦ son los datos observados.Se proponen dos algoritmos para maximizar esta funcion objetivo
EM procedureWeighted NMF
Nicolas Torres Matrix factorization 24 de septiembre de 2015 6 / 27
Expectation-Maximization (EM)
El algoritmo EM se usa para encontrar estimadores de maximaverosimilitud de parametros en modelos donde los datos estanincompletos.
ExpectationMaximization
Nicolas Torres Matrix factorization 24 de septiembre de 2015 7 / 27
Expectation
Calcula la expresion esperada para la maxima verosimilitud de V conrespecto a datos desconocidos (Au) dado un conjunto de datos observados(A◦) y un parametro estimado V (t−1), esto es
Q(V, V (t−1)) = E[logPr(A◦, Au|V )|A◦, V (t−1)] (5)
Nicolas Torres Matrix factorization 24 de septiembre de 2015 8 / 27
Maximization
Encuentra el parametro V (t) que maximiza la esperanza calculadaanteriormente Q(V, V (t−1)), esto es
V (t) = argv maxQ(V, V (t−1)) (6)
Nicolas Torres Matrix factorization 24 de septiembre de 2015 9 / 27
WNMF
Es una variacion del anterior
mın∑ij
Pij(Aij − (WH)ij)2, (7)
donde Pij es igual a 1 si Aij es un dato observado y 0 en otro caso.
Nicolas Torres Matrix factorization 24 de septiembre de 2015 10 / 27
EM procedure vs. WNMF
EM procedure converge bien empiricamente y es menos susceptible alas condiciones iniciales.WNMF es mucho mas eficiente computacionalmente.Hybrid NMF puede ser mas efectivo.
a EM b WNMF
Figura 1: NMAE of the EM and WNMF approaches on MovieLens.
Nicolas Torres Matrix factorization 24 de septiembre de 2015 11 / 27
Experimentos
La Tabla 1 muestra los resultados de los algoritmos basados en NMF sobreel data set de MovieLens.
Pearson SVD EM NMF EM Hybrid NMFNMAE 0.1707 0.1629 0.1623 0.1634ROC-4 0.7471 0.7682 0.7723 0.7691
Tabla 1: Desempeno de los algoritmos en MovieLens
Nicolas Torres Matrix factorization 24 de septiembre de 2015 12 / 27
Experimentos
La Tabla 2 muestra los resultados de los algoritmos basados en NMF sobreel data set de Jester.
Pearson SVD EM NMF EM Hybrid NMFNMAE 0.1634 0.1605 0.1599 0.1599ROC-4 0.7539 0.7588 0.7612 0.7608
Tabla 2: Desempeno de los algoritmos en Jester
Nicolas Torres Matrix factorization 24 de septiembre de 2015 13 / 27
Ejemplo
Demostracion de la factorizacion NMF en R.
install.packages("NMF")library(NMF)data(MovieLense)NMF <- nmf(MovieLense, 10)W <- basis(NMF)H <- coef(NMF)basismap(NMF)coefmap(NMF)
Nicolas Torres Matrix factorization 24 de septiembre de 2015 14 / 27
Ejemplo
La Figura 2 exhibe las matrices W y H originadas de la descomposicionNMF de rango 10, sobre el data set de MovieLens 100k.
8 1 6 7 9 10 5 2 3 4
0
0.2
0.4
0.6
0.8
1
a Matriz W
4
3
2
9
5
8
10
7
1
6
0
0.2
0.4
0.6
0.8
1
b Matriz H
Figura 2: Matrices W y H de la descomposicion NMF (rango 10)
Nicolas Torres Matrix factorization 24 de septiembre de 2015 15 / 27
Ejemplo
Interview w
ith the Vam
pire (1994)
Nightm
are on Elm
Street, A
(1984)
Carrie (1976)
Shining, T
he (1980)
Psycho (1960)
True Lies (1994)
Die H
ard 2 (1990)
Under S
iege (1992)
Die H
ard: With a V
engeance (1995)
Fantasia (1940)
Pinocchio (1940)
Cinderella (1950)
Beauty and the B
east (1991)
Aladdin (1992)
5
7
1
9
3
4
2
10
8
6
0
0.2
0.4
0.6
0.8
Figura 3: Items mas representativos de las comunidades 1, 5 y 7
Nicolas Torres Matrix factorization 24 de septiembre de 2015 16 / 27
SLIM
Sparse LInear Method (SLIM) [Ning and Karypis(2012)].SLIM se centra en recomendacion top N.Capaz de realizar recomendaciones de alta calidad y con gran rapidez.
Nicolas Torres Matrix factorization 24 de septiembre de 2015 17 / 27
SLIM
El modelo utilizado por SLIM puede ser presentado como
A = AW, (8)
donde A : m× n es la matriz de ratings y W : n× n es una matriz sparsede coeficientes.
Nicolas Torres Matrix factorization 24 de septiembre de 2015 18 / 27
SLIM
La matriz W se obtiene minimizando el siguiente problema deoptimizacion regularizado:
mınW
12 ||A−AW ||
2F + β
2 ||W ||2F + λ||W ||1 (9)
sujeto a W ≥ 0, diag(W ) = 0.
Nicolas Torres Matrix factorization 24 de septiembre de 2015 19 / 27
Computing W
Como las columnas de W son independientes, el problema de optimizacionse puede descomponer en el conjunto
mınwj
12 ||aj −Awj ||22 + β
2 ||wj ||22 + λ||wj ||1 (10)
sujeto a wj ≥ 0, wj,j = 0.
Nicolas Torres Matrix factorization 24 de septiembre de 2015 20 / 27
SLIM with Feature Selection
fsSLIM Antes de calcular wj se pueden usar metodos de seleccion decaracterısticas para reducir el numero de variables independientes. Estodisminuye sustancialmente el tiempo de construccion del modelo.
Nicolas Torres Matrix factorization 24 de septiembre de 2015 21 / 27
EXPERIMENTOS
Figura 4: The Datasets Used in Evaluation.
Nicolas Torres Matrix factorization 24 de septiembre de 2015 22 / 27
Metodologıa de Evaluacion y Metricas
Hit Rate (HR) y Average Reciprocal Hit-Rank (ARHR)
HR = #hits#users
(11)
ARHR = 1#users
#hits∑i=1
1pi
(12)
donde #hits: TP
Nicolas Torres Matrix factorization 24 de septiembre de 2015 23 / 27
Top-N Recommendation Performance
Figura 5: Comparison of Top-N Recommendation Algorithms.
Nicolas Torres Matrix factorization 24 de septiembre de 2015 24 / 27
Top-N Recommendation Performance
Figura 6: Comparison of Top-N Recommendation Algorithms.
Nicolas Torres Matrix factorization 24 de septiembre de 2015 25 / 27
SLIM for the Long-Tail Distribution
Figura 7: Performance on the Long Tail of ML10M. 1 % most popular items areeliminated from ML10M. Params have same meanings as those in Figura 6.
Nicolas Torres Matrix factorization 24 de septiembre de 2015 26 / 27
Recommendation for Different Top-N
Figura 8: Performance Difference on Top-N Recommendations. Columnscorresponding to N shows the performance (in terms of HR) difference betweenSLIM and the best of the rest methods on corresponding top-N recommendatons.
Nicolas Torres Matrix factorization 24 de septiembre de 2015 27 / 27
