Embed Size (px)
DESCRIPTION
Citation preview
Системастатистики и рейтингов
LiveJournal.com
Николаев Дмитрий, <SUP>
LiveJournal.com Stats
Статистика посещений журналов и записей(за час, за день, за месяц):
по хитам, по посетителям, по читателям.
Статистика комментариев к записям.
Списки недавних посетителей — «Мои гости».
Другие счётчики.
Рейтинги журналов и записей за период.
Входные данные
Количество сообщений за сутки
Скорость поступления событий 800-1200 в сек
Отфильтрованные события ≈ 50%
Объем данных за сутки 16 Gb
50 ∙ 106
Количество соединений с LJ.com 1000
LiveJournal.com Stats
...
Hits
Comments
FileStorage
EventsStorage
Collector Server
FilterEventsReader
LJ.com
Mobile
Apachemod_ljstats
PostgreSQL
Counter Server
Counters
...
Database Server
Hits7
Visitors4
Readers3
SizeId
1001
A
B C D 1002 1003 1004... ...
Id1001
Offset... ...Id
1002Offset
... ...
Id1003
Offset
Hits7
Visitors4
Readers3
Hits15
Visitors3
Readers2
... ...B C D 1002 1003 1004 B C E 1003 1005
A
Index File
Data File
Uniques
Hit Stats Table
Hit Stats Log
id101
visitors3
read2
A 102 104
id101
offsetid
102
visitors3
readers2
hits20
visitors4
readers3 ......
offsetid
103
C D
offset
...
... ...
C 101 102 A ...... C D E 101 102 105
id101
offsetid
102
visitors4
readers3
hits25
visitors5
readers?...
offset...
B C 101 102... 104 A B C D E
id102
hits5
visitors2
read2
B 103 104C ...
Old
Ta
ble
Ne
w T
ab
leL
og
Index
Data
Uniques
Index
Data
Uniques
A D
DB
hits7
hits10
hits17
Счетчик Hit Stats
Число ключей 3 M
Журналы Записи
1,5 M 27 M5 M
День ДеньМесяц Месяц
Числопосетителей
Размер таблицы
80k
4 Gb
10k 10k
8 Gb400 Mb
700k
300 Mb
Время пересчѐта 10 сек. 4 мин. 20 сек. 30 мин.
{
"status" : "Ok",
"result" : [
["time_id", "hits", "visitors", ...],
[1, 1, 1, 1],
[3, 2, 2, 0],
[5, 1, 1, 1],
[6, 4, 3, 0],
...
[24, 1, 1, 0]
]
}
GET http://ljstats-host/journal_stats?date=2010-09&journal_id=1001
...
journal_stats-2010-08-31.idx
journal_stats-2010-08-31.dat
journal_stats-2010-09.idx
journal_stats-2010-09.dat
journal_stats-2010-09-01.idx
journal_stats-2010-09-01.dat
...
Id1001
Offset... ...
... ...
1Hits: 1
Visitors: 1Readers: 1
2Hits: 2
Visitors: 2Readers: 0
5Hits: 1
Visitors: 1Readers: 1
journal_stats-2010-09.idx
journal_stats-2010-09.dat
Binary Search
JSON
LiveJournal.com Ratings
Число ключей 2000
Журналы Записи
Все из статистики
Размер на диске
Интервал пересчѐта
700 Mb 1 Mb
часдень
Время пересчѐта ≈ 15-20 мин.
LiveJournal.com Stats
Heartbeat
Collector 1 Collector 2
Counter 1
Counter 2
Apache
Apache
nginx 1
LJ.com
File SystemCache
Nginx Cache
If-Modified-Since
DRBD
nginx 2 BIG
-IP
