SDEC2011 Implementing me2day friend suggestion

1

Implementing

me2day Friend Suggestion

NHN

미투데이인프라개발팀

강호성

2

Implementing

me2day Friend Suggestion

NHN

미투데이인프라개발팀

강호성

3

Contents

• SNS에서의 친구추천

• 친구추천 알고리즘

• 친구추천 시스템의 구현

• 결롞 및 향후 작업

4

5

6

가입했는데친구 없어서 심심해..나도 미친 좀 사귀어보자!

불쌍하다고 4명 싞청해주고..그마저도 홍보미투ㅠㅠ

허이고.. 불쌍하다 불쌍해! 옛다!미투 한 개 찍어줌.

7

SNS에서의친구추천

• 사용자에게 새로운 친구를 사귈 수 있도록 도와주는 장치

• 친구수가 적은 유저에게 유용함

SNS = 블로그?친구추천이 뜨네친구싞청 해볼까?

이제야 SNS의 묘미를알겠다~

8

me2day에서의친구추천

9

me2day에서의친구추천

추천하는 사람들

공통된 친구들

10

Next Contents


•친구추천 알고리즘

• Friend of a Friend 추천

• Close Friend of a Close Friend 추천



11

Friend of a Friend (FOAF) 추천

• F(A, B) = A, B가 친구관계이면 True

• M.F.C(A, C) = A, C의 공통친구의 수 (Mutual Friend Count)

• A의 추천친구 집합 = F(A, B) 이고 F(B, C)인 C들의 집합

• 각각의 C마다 M.F.C(A, C)가 높은 순으로 정렬함

First

※ Jilin Chen, (2009), “Recommending People on Social Networking Sites”.

아이유

직장동료

팀장님

친구2

친구1

친구3

갈길이멀다

12






Second


아이유

직장동료

팀장님

친구2

친구1

친구3

갈길이멀다

13






Third


아이유

직장동료

팀장님

친구2

친구1

친구3

갈길이멀다

14

Close Friend of a Close Friend (CFOACF) 추천

• FOAF 추천 알고리즘에 친밀도를 추가한 알고리즘


• I(A, B) = A B의 친밀도 (A에서 B로의 소통량을 수치로 표시)

9

Score of C = I(A, Bi) * I(Bi, C)

1

2

5

2

1

155

아이유

직장동료

팀장님

친구2

친구1

친구3

갈길이멀다

15





16


2

5

2

5

3

2

5

아이유

직장동료

팀장님

친구2

친구1

친구3

갈길이멀다

16





20


5 455

아이유

직장동료

팀장님

친구2

친구1

친구3

갈길이멀다

17


• 친밀도 값의 산정 프로세스

Feedback !!

관심친구, 댓글,미투, 친구 맺은 기간

18

Next Contents



•친구추천 시스템의구현

• Social Network에적합한데이터모델링

• Graph Product의고려

•친구수가많은사용자로인한성능저하극복

•친구추천시스템의확장성문제


19

Social Network에적합한데이터모델링

• Social Network 모델링 기법 비교

User Nodes

1

2

3

5

6

8

9

List of

Friend

user_no friend_no

1 5

1 9

1 8

2 3

2 8

3 5

3 8

3 9

3 2

. .

. .

. .

9 6

8

5

1

3

2

9 6

<Social Network>

<Graph Model>

<Relational Model>

5 - 9 - 8

3 - 8

5 - 8 - 9 - 2

8 - 1 - 3

9 - 8

1 - 5 - 3 - 2 - 6

1 - 3 - 6

20

• Relational Model의 쿼리 방법

Joinor재쿼리

<User, Friend>


21

• Graph Model의 쿼리 방법

Just Tracking Reference Pointer !


22

• 실험: 25만 명의 친구를 가진 사용자의 “친구의 친구” 구하기

• Result (Count : 9,060,712)

Relational Model Graph Model

ResponseTime

5.9 sec 0.15 sec


40X

23

Graph Product의고려

• Graph Products Features

Comparisons Graph Framework Graph Database

Data Durability Medium-Low Medium-High

Cache hit-ratio 100 % Depend on Workload

Suitable Workload Batch Job Real-time Job

Products

TinkerPop’s TinkerGraph

Google’s Pregel

MS’s Trinity

Neo Tech’s Neo4j

Twitter’s FlockDB

Orient Tech’s OrientDB

※ Google, Inc, (2010), “Pregel : A System for Large-Scale Graph Processing”“http://www.tinkerpop.com/”, “http://www.graph-database.org/”

http://www.tinkerpop.com/

http://www.graph-database.org/



24

• Graph Products Evaluation

HighLow

Low

High

Performance

AvailabilityTinkerGraph

Neo4j

OrientDB

FlockDB Pregel


※ “http://markorodriguez.com”, “http://www.orientechnologies.com/”

http://markorodriguez.com/

http://www.orientechnologies.com/

25


• TinkerGraph의 구현방식을 참고

• Availability 향상을 위해 Replication Failover 기능 구현


Suggestion Result

Stand-byBatch ServerMaster

Batch Server

Friendships

26

친구수가많은사용자로인한성능저하극복

• 친구수가 많은 사용자

• 본인과 친구들의 추천 연산의 성능을 저하 시킴

• 이러한 사용자의 친구수는 급격한 속도로 증가하고 있음

265 X

27


• Dunbar’s Number

• 친밀한 관계의 한계는 150명~200명 사이라는 이롞

※ Robin Dunbar, (2010), “How Many friends Does One Person Need?”.

친구 수 많아 봐야진짜 친구는 150명이야!~

28


• 친밀도 순으로 150명만 남겨놓고 나머지는 제거

29

• Result


RelationalGraph(All)

Graph(Top 150)

ResponseTime

5.9 sec 0.15 sec 0.0005 sec300X 40X

30

• Result

All Top 150

ResultCount

9,060,712 14,912

Memory 900 MB 608 MB

LoadTime

37.1 sec 28.8 sec


32%

23%

99%

31

Batch Server Batch Server

친구추천시스템의확장성문제

Batch Server

아흑!1대의 메모리를

넘어가면 어쩌지?

• Social Network의 급격한 성장

32

Batch Server

• 1안

• 메모리를 넘어서는 데이터는 SSD에 저장

• 캐시 알고리즘(LRU, LFU)에 따라 메모리에 데이터를 유지

Batch Server

SSD


33

Batch Server 1 Batch Server 2 Batch Server 3 Batch Server 4

Remote Cache Cloud

• 2안

• 그래프를 분류 알고리즘으로 분산해서 저장

• Local 메모리에서 miss시에 Remote Cache Cloud를 참조함


34

Next Contents




•결론및향후작업

35

결론및향후작업

• 친구추천 시스템 구현을 위해 다음의 방안들을 적용함

• Graph Model의 도입

• Pruning Edges using Dunbar’s Number

• Scalable Distributed Architecture

• 오픈 후 싞규 친구관계의 약 20%가 친구추천으로 맺어지고 있음

• 추천 알고리즘 정교화와 Scalability 확보는 계속 진행 중임

36

37

참고문헌

• Jilin Chen, (2009), “Recommending People on Social Networking Sites”.

• Robin Dunbar, (2010), “How Many friends Does One Person Need”.

• RENZO ANGLES, (2008), “Survey of Graph database models”, ACM

Computing Surveys.

• Marko A. Rodriguez, (2010), “Graph Traversal Programming Pattern”.

• HANNEMAN, R. A, (2001), “Introduction to social network methods”.

• TinkerPop, “TinkerGraph”.

http://github.com/tinkerpop/gremlin/wiki/tinkergraph

• Grzegorz Malewicz, (2010), “Pregel : A System for Large-Scale Graph

Processing”, Google, Inc.

• Microsoft, “Trinity”, http://research.microsoft.com/en-us/projects/trinity/

http://github.com/tinkerpop/gremlin/wiki/tinkergraph

http://research.microsoft.com/en-us/projects/trinity/



38

참고문헌

• Neo Technology, “Neo4j : the Graph database”. www.neo4j.org

• Twitter, “FlockDB”,

https://github.com/twitter/flockdb/blob/master/doc/blog.md

• Orient Technologies, “OrientDB”, http://www.orientechnologies.com/

• Marko A. Rodriguez, “MySQL vs. Neo4j on a Large-Scale Graph Traversal”,

http://markorodriguez.com/2011/02/18/mysql-vs-neo4j-on-a-large-scale-

graph-traversal/

http://www.neo4j.org/

https://github.com/twitter/flockdb/blob/master/doc/blog.md

http://www.orientechnologies.com/

http://markorodriguez.com/2011/02/18/mysql-vs-neo4j-on-a-large-scale-graph-traversal/















