Introdução à Redes Complexas e Visualização de Dados com Gephi

INTRODUÇÃO À REDES COMPLEXAS E

VISUALIZAÇÃO DE DADOS com gephi

Newton Calegari, TIDD PUC-SP Maio 2014

REDES COMPLEXAS

2

sistemas complexos

3

Interação entre Propriedade emergente

TGS, Redes,

Cibernética...

Auto-organização, Evolução, Adaptação

elementos conectados

diversas relações

podem ser

mapeados

por redes

sistema complexo

4

rede

para cada

existe uma

que mostra as relações dos elementos

REDES

5

usamos

para estudar o comportamento dos

SISTEMAS COMPLEXOS

6

grafos e redes

7

Grafos e Redes

Euler, 1735“7 pontes de Königsberg”

VérticeAresta

8

Grafos e Redes

rede

Nó (node) Link Rede (network) Refere-se aos sistemas reais (redes sociais, neurônios...)

grafo

Vértice Aresta

Grafo É um modelo, uma

representação matemática

9

Grafos e Redes

Grafo

G = (V, E) V: conjunto de vértices E: conjunto de pares de V, arestas !

Arestas não direcionadas Grafo Arestas direcionadas Digrafo (grafo orientado)

[1: https://pt.wikipedia.org/wiki/Ficheiro:6n-graf.svg]

[1]

https://pt.wikipedia.org/wiki/Ficheiro:6n-graf.svg%5D

10

Grafos e Redes

conceitos de redes

Node degree número de links conectados ao nóin-degree

out-degreenúmero links de entrada ou saída de um nó em grafos orientados a soma de in e out resulta no grau do nó

Average degree L (links), N (nodes) não-orientado <k> = 2L÷N orientado <k> = L÷N

11

Grafos e Redes

conceitos de redes

in-degree 4out-degree 2Node degree 6



12

Grafos e Redes

conceitos de redes

Average degree 2.2

N: 10 L: 22

13

Grafos e Redes

Grafo completo

vértices arestas

Average degree

5 n(n-1)÷2 n-1

14

Grafos e Redes

representação

Lista de arestas {(1, 2), (1, 3), (1, 4) (2, 3), (3, 4)}

Lista de adjacências 1: 2, 3, 4 2: 1, 3 3: 1, 2, 4 4: 1, 3

Matriz de adjacências ⎡ 0 1 1 1⎤ ｜ 1 0 1 0｜｜ 1 1 0 1｜ ⎣ 1 0 1 0⎦

12

43

15

Grafos e Redes

grafo e digrafo

⎡ 0 1 1 1⎤ ｜ 1 0 1 0｜｜ 1 1 0 1｜ ⎣ 1 0 1 0⎦

12

4 3

matriz simétrica

⎡ 0 0 1 1⎤ ｜ 1 0 0 0｜｜ 0 1 0 1｜ ⎣ 0 0 0 0⎦

1 2

4 3

matriz não simétrica

16

Grafos e Redes

grafo e digrafo

⎡ 0 0 2 4⎤ ｜ 3 0 0 0｜｜ 0 2 0 1｜ ⎣ 0 0 0 0⎦

1 2

4 3

Peso nas arestas

3

2 21

4

17

Grafos e Redes

caminhos

A distância entre dois vértices é definida pelo número de arestas do menor caminho que os conecta

AB

D C

E

IF

G

H

Qual a distância entre os vértices A e I?

18

Grafos e Redes

caminhos

D

E G

H

AB

C IF



A, B, C, F, I 4 arestas

19

Grafos e Redes

caminhosA

B

D C

E

IF

G

H



A, B, C, F, I 4 arestas A, B, E, G, H, F, I 6 arestas

20

Grafos e Redes

caminhosA

B

D C

E

IF

G

H



A, B, C, F, I 4 arestas A, B, E, G, H, F, I 6 arestas A, D, C, F, I 4 arestas

21

Grafos e Redes

caminhosA

B

D C

E

IF

G

H

A, B, C, F, I 4 arestas A, B, E, G, H, F, I 6 arestas A, D, C, F, I 4 arestas A, C, F, I 3 arestas



22

Grafos e Redes

caminhos‣ Caminho (path)

‣ Distância (shortest path)

‣ Diâmetro do grafo (maior

distância no grafo)

‣ Distância média (average

path length)

‣ Ciclo (N início = N fim)

‣ Caminho euleriano (cada

aresta uma vez) ‣ Caminho hamiltoniano

(cada vértice uma vez)

23

Grafos e Redes

conectividade dos grafos‣ Grafo não orientado ‣ connected dois vértices quaisquer são alcançáveis por um caminho

‣ disconnected formado por dois ou mais componentes não conectados entre si

24

Grafos e Redes

conectividade dos grafos‣ Grafo orientado ‣ strongly connected cada vértice qualquer possui um caminho para outro vértice (e vice-versa)Ex, A->B e B->A.

‣ weakly connected é conectado se não considerarmos a direção das arestas

25

Grafos e Redes

componentes Conectados‣ strongly connected components

B, C, D, E A F G, H

‣ weakly connected components A B C D E G H F

26

Grafos e Redes

componentes Conectados‣ giant component componente que, geralmente, ocupa a maior fração da rede

redes

27

28

ciência das redes

Erdós e Renyi, 1959Modelo de Redes Randômicas !Adicionando links de maneira aleatória, quase todos os nós terão graus próximos

29

ciência das redes

Stanley Milgran, 1967“Six degrees” !Os seis graus de separação

30

ciência das redes

Mark Granovetter, 1973Clusters !Pequenos grupos fortemente conectados !Vínculos fortes e vínculos fracos

31

ciência das redes

Watts e StrogatzCoeficiente de clusterização !Hubs

32

redes randômicas

{ ... }

rede livre sem escala

ciência das redes

33

redes randômicas

•Modelo de Erdös-Renyi •Rede democrática

(probabilidade de conexão igual para todos os nós)

•Randômica •Estática

ciência das redes

34

rede livre sem escala•Modelo de Barabási •Exponencial •Lei de Pareto (80-20) •Permite crescimento dinâmico •Muitos nós são conectados à rede por

ligações com nós que possuem muitos links, os hubs

ciência das redes

35

rede livre sem escala‣A rede se expande com a adição de novos

nós com m links ‣Novos nós adicionados à rede preferem se

conectar com outros nós altamente conectados ‣Hubs se originam do crescimento e da

conexão preferencial

ciência das redes

36

modelo de rede randômica

Modelo de Erdös-Renyi

ciência das redes

37


80 nós 162 arestas Grafo não-orientado

ciência das redes

38


ciência das redes

39

modelo de rede livre sem escala

Modelo de Barabási

ciência das redes

40


80 nós 79 arestas Grafo não-orientado

ciência das redes

41


ciência das redes

42

modelo de rede livre sem escalaHubs

Nós que concentram grande número de conexões

ciência das redes

43

aplicações

Identificação de Comunidades

Organizações: encontrar grupos e comunidades

Biologia: locating funciontal modules (Ex: Se na análise de uma rede molecular há determinados hubs, possivelmente esses hubs são módulos que podem até desempenhar papel de maior importância no organismo, requerem maior atenção)

ciência das redes

44

aplicações

Localização de Caminho Ótimo

Organizações: networking, logística, encontrando vínculos sociais (redes sociais)

Biologia: diseases pathway

ciência das redes

45

aplicações

Viral (Viral Process)

Organizações: marketing viral, buzz

Computação/Epidemiologia: erradicando vírus, identificando como vírus se espalham

ciência das redes

visualização de dados

46

47

Visualização de dados

Visualização das redes

48



49



50



51

gephi

www.gephi.org

http://www.gephi.org

52

introdução ao gephi

53


54


55

Tamanho do nó

Cor

Centralizar grafo na tela

Mostrar/Esconder texto do nó Mostrar/Esconder

arestas


56


57

Detectando comunidades na rede


58

Pluginsintrodução ao gephi

59

Pluginsintrodução ao gephi

[https://marketplace.gephi.org/]

https://marketplace.gephi.org/

60

Layouts


ARF

61

Layouts


Circular Layout

62

Layouts


Concentric Layout

63

Layouts


Dual Circle Layout

64

Layouts


Fruchterman-Reingold

65

Layouts


Radial Axis Layout

66

Principais formatos de arquivos suportados

• GEFX (XML; mais recursos; surgiu em 2007 com o Gephi)

• GraphML (XML; utilizado no NodeXL, Sonivus, NetworkX, Sonivus)

• PajekNET (Arquivo texto; um elemento por linha; reconhecido no Pajek, NodeXL, NetworkX)

• GDF (Parecido com tabela de BD ou arquivo CSV, possui definição de tipo; usado no GUESS)

• GML (Graph Modeling Language; Graphlet, Pajek, yEd, LEDA, NetworkX)

• CSV (Simples, pode ser usado com , ; | “espaço”; Ideal para raw data, dados exportados de BD e Excel)


67[https://gephi.org/users/supported-graph-formats/]


Principais formatos de arquivos suportados

https://gephi.org/users/supported-graph-formats/

68

Datasets

✓ Stanford Large Network Dataset Collectionhttp://snap.stanford.edu/data/ !

✓Gephi Wiki - Datasetshttp://wiki.gephi.org/index.php/Datasets


http://snap.stanford.edu/data/

http://wiki.gephi.org/index.php/Datasets

Data & Analytics

Introdução à Redes Complexas e Visualização de Dados com Gephi