Embed Size (px)
Citation preview
АЛЕКСАНДР КОЧУБЕЙ
Художественный фильм «Служебный роман»
Без статистики вообще не жизнь, а каторга какая-то
Технологии Новый функционалКлючевые моменты
40 %60 %
WIFI
Cellular
55 %45 %
WIFICellular
53 % 47 %WIFI
Cellular
iOS
iOSПн. Вт. Ср. Чт. Пт. Сб. Вс.
100%
0%
20%
40%
60%
80%
WIFI
Cellular
100%
0%
20%
40%
60%
80%
Пн. Вт. Ср. Чт. Пт. Сб. Вс.
WIFI
Cellular
100%
0%
20%
40%
60%
80%
Пн. Вт. Ср. Чт. Пт. Сб. Вс.
WIFI
Cellular
?
Объем данных
АктуальностьСкорость
?
Технологии Новый функционалКлючевые моменты
Технологии Новый функционалКлючевые моменты
Real-time1
Скорость генерации отчетов 2
Отчеты с любой комбинацией данных3
Real-time
Скорость генерации отчетов
Отчеты с любой комбинацией данных
0 0 1 1 1 0 0 1 0 0 0 1 0 0 1 1 0 0 1 0 1 0 0 1 1 1
1 1 1 0 1 0 1 1 1 0 1 0 1 1 1 0 0 0 1 1 0 1 0 1 0 0
0 0 1 0 1 0 0 1 0 1 0 1 0 1 1 1 1 1 0 1 0 0 0 0 1 1
1 0 0 1 0 0 1 0 1 0 0 1 1 0 0 0 1 0 1 0 0 1 0 1 1 0
1 1 0 0 1 1 0 1 1 0 1 0 0 1 0 1 1 0 0 1 0 0 1 0 1 0
1 0 0 0 0 1 0 1 0 1 0 1 1 0 1 0 0 1 0 0 1 0 1 0 0 1
0 1 0 1 1 1 0 0 0 1 0 0 0 1 0 1 1 1 1 1 0 1 0 1 1 0
1 0 1 0 0 0 1 1 1 0 1 1 0 1 0 0 0 1 0 1 0 0 1 0 0 1
0 0 1 0 1 0 1 0 1 0 0 0 1 0 1 1 1 1 0 0 1 1 0 1 1 0
0 0 1 1 1 0 0 1 0 0 0 1 0 0 1 1 0 0 1 0 1 0 0 1 1 1
1 1 1 0 1 0 1 1 1 0 1 0 1 1 1 0 0 0 1 1 0 1 0 1 0 0
0 0 1 0 1 0 0 1 0 1 0 1 0 1 1 1 1 1 0 1 0 0 0 0 1 1
1 0 0 1 0 0 1 0 1 0 0 1 1 0 0 0 1 0 1 0 0 1 0 1 1 0
1 1 0 0 1 1 0 1 1 0 1 0 0 1 0 1 1 0 0 1 0 0 1 0 1 0
1 0 1 0 0 0 1 1 1 0 1 1 0 1 0 0 0 1 0 1 0 0 1 0 0 1
Объем данных
АктуальностьСкорость
Технологии Новый функционалКлючевые моменты
Технологии Новый функционалКлючевые моменты
СУБД ClickHouse
A 10 iOS
B 12 Android
C 11 WP
D 17 iOS
A 10 iOS
B 12 Android
C 11 WP
D 17 iOS
Строковые СУБД
A 10 iOS B 12 Android C 11 WP D 17 iOS
A 10 iOS
B 12 Android
C 11 WP
D 17 iOS
Строковые СУБД
Столбцовые СУБД
A B C D 10 12 11 17 iOS Android WP iOS
A 10 iOS B 12 Android C 11 WP D 17 iOS
A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10 4,0002 1
B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15 2,0019 4
C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65 6,5603 7
D 17 iOS 0,10 29 3,9006 98 0,98 10110010 93 17 3,9006 4
E 15 Android 0,06 47 2,3892 43 0,76 10011001 29 15 2,3892 9
F 19 WP 0,02 25 0,4628 12 0,34 11011101 49 19 0,4628 2
G 13 iOS 0,01 65 2,8700 87 0,54 10001110 69 13 2,8700 3
H 14 WP 0,04 54 3,8651 43 0,23 11011000 45 54 3,7649 7
I 76 Android 0,02 87 2,9854 87 0,53 10100000 98 23 3,0986 9
A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10 4,0002 1
B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15 2,0019 4
C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65 6,5603 7
D 17 iOS 0,10 29 3,9006 98 0,98 10110010 93 17 3,9006 4
E 15 Android 0,06 47 2,3892 43 0,76 10011001 29 15 2,3892 9
F 19 WP 0,02 25 0,4628 12 0,34 11011101 49 19 0,4628 2
G 13 iOS 0,01 65 2,8700 87 0,54 10001110 69 13 2,8700 3
H 14 WP 0,04 54 3,8651 43 0,23 11011000 45 54 3,7649 7
I 76 Android 0,02 87 2,9854 87 0,53 10100000 98 23 3,0986 9
0,060,760,76
iOS
A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10 4,0002 1 A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10
B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15 2,0019 4 B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15
C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65 6,5603 7 C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65
D 17 iOS 0,10 29 3,9006 98 0,98 10110010 93 17 3,9006 4 D 17 iOS 0,10 29 3,9006 98 0,98 10110010 93 17
E 15 Android 0,06 47 2,3892 43 0,76 10011001 29 15 2,3892 9 E 15 Android 0,06 47 2,3892 43 0,76 10011001 29 15
F 19 WP 0,02 25 0,4628 12 0,34 11011101 49 19 0,4628 2 F 19 WP 0,02 25 0,4628 12 0,34 11011101 49 19
G 13 iOS 0,01 65 2,8700 87 0,54 10001110 69 13 2,8700 3 G 13 iOS 0,01 65 2,8700 87 0,54 10001110 69 13
H 14 WP 0,04 54 3,8651 43 0,23 11011000 45 54 3,7649 7 H 14 WP 0,04 54 3,8651 43 0,23 11011000 45 54
I 76 Android 0,02 87 2,9854 87 0,53 10100000 98 23 3,0986 9 I 76 Android 0,02 87 2,9854 87 0,53 10100000 98 23
A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10 4,0002 1 A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10
B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15 2,0019 4 B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15
C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65 6,5603 7 C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65
D 17 iOS 0,10 29 3,9006 98 0,98 10110010 93 17 3,9006 4 D 17 iOS 0,10 29 3,9006 98 0,98 10110010 93 17
E 15 Android 0,06 47 2,3892 43 0,76 10011001 29 15 2,3892 9 E 15 Android 0,06 47 2,3892 43 0,76 10011001 29 15
F 19 WP 0,02 25 0,4628 12 0,34 11011101 49 19 0,4628 2 F 19 WP 0,02 25 0,4628 12 0,34 11011101 49 19
A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10 4,0002
B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15 2,0019
C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65 6,5603
D 17 iOS 0,10 29 3,9006 98 0,98 1011001 93 17 3,9006
E 15 Android 0,06 47 2,3892 43 0,76 1001100 29 15 2,3892
F 19 WP 0,02 25 0,4628 12 0,34 1101110 49 19 0,4628
G 13 iOS 0,01 65 2,8700 87 0,54 1000111 69 13 2,8700
A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10 4,0002
B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15 2,0019
C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65 6,5603
D 17 iOS 0,10 29 3,9006 98 0,98 1011001 93 17 3,9006
E 15 Android 0,06 47 2,3892 43 0,76 1001100 29 15 2,3892
F 19 WP 0,02 25 0,4628 12 0,34 1101110 49 19 0,4628
G 13 iOS 0,01 65 2,8700 87 0,54 1000111 69 13 2,8700
iOS
Android
WP
iOS
Android
WP
iOS
WP
4,0002
2,0019
6,5603
3,9006
2,3892
0,4628
2,8700
3,4577
85
94
38
93
29
49
69
34
Высокая скорость и производительность
〉Хранение и обработка по столбцам
〉Сжатие данных
〉Наличие индексов
〉Параллельная обработка запроса на многих процессорных ядрах
〉Распределённая обработка запроса на многих серверах
〉Векторный движок
23
Производительность столбцовых СУБД
Объём данных: 100 млн. записей
Номер запуска: Первый (холодный кэш) Второй Третий
Производительность столбцовых СУБД
Объём данных: 100 млн. записей
Номер запуска: Первый (холодный кэш) Второй Третий
MySQL
Hive
InfiniDB
Vertica
ClickHouse(0.0.38735)
(6.0.1)
(Enterprise 3.6.23)
(0.11, ORC File)
(5.5.32, MyISAM)
Относительное время выполнения запроса (меньше – лучше)
Производительность столбцовых СУБД
Объём данных: 100 млн. записей
Номер запуска: Первый (холодный кэш) Второй Третий
MySQL
Hive
InfiniDB
Vertica
ClickHouse 1,0
1,78
5,53
44,58
143,55
(0.0.38735)
(6.0.1)
(Enterprise 3.6.23)
(0.11, ORC File)
(5.5.32, MyISAM)
Относительное время выполнения запроса (меньше – лучше)
Инфраструктура Метрики
Дважды в реальном времени
〉Онлайн вычисления сразу при загрузке страницы 〉Поступление данных в real-time
Отказоустойчивость и надежность хранения данных
〉Репликация данных, поддержка целостности данных на репликах
25
www.appmetrika.yandex.ru
www.appmetrika.yandex.ru
Технологии Новый функционалКлючевые моменты
Технологии Новый функционалКлючевые моменты
Трекинг
1 2 3
Device identifier matching
1 2 31
Device identifier matching
Device fingerprintmatching
1 2 31 2
Google Play/ Yandex.Store
referrer
Device identifier matching
Device fingerprintmatching
1 2 31 2 3
Device identifier matching
11
SDK Рекламной сети
Реклама
https://appmetrica.yandex.com device-id click-id
Сервис редиректов
SDK Рекламной сети
Реклама
https://appmetrica.yandex.com device-id click-id
Сервис редиректов Магазин приложений
APP
Сервис редиректов Магазин приложений
APP
SDK Рекламной сети
Реклама
https://appmetrica.yandex.com device-id click-id
Магазин приложений
APP
Магазин приложений
APP
Магазин приложений
APPdevice-id
APP
APP
SDK Метрики
Back-end метрики
Магазин приложений
APP
APP
SDK Метрики
device-id
Back-end метрики
Back-end метрики
Back-end метрики
Связка кликов и установок
Рекламная сеть
device-iddevice-id
click-id
postback
http://…/+click-id
Back-end метрикиСервис редиректов
Отчет в метрике
Device fingerprintmatching
22
Device fingerprintmatching
22Device fingerprint
matching
22
Device fingerprintmatching
22
Реклама
https://appmetrica.yandex.com/…
Сервис редиректов Магазин приложений
APP
Сбор инф.: – user-agent– ip – timestamp
Сервис редиректов Магазин приложений
APP
Реклама
https://appmetrica.yandex.com/…
Сбор инф.: – user-agent– ip – timestamp
Магазин приложений
APP
Магазин приложений
APP
Магазин приложений
APP
device-info: – device, brand, model – carrier– ip– language– OS info– timestamp APP
APP
SDK Метрики
Back-end метрики
Магазин приложений
APP
APP
SDK Метрики
device-info: – device, brand, model – carrier– ip– language– OS info– timestamp
Back-end метрики
Back-end метрики
Back-end метрики
Связка кликов и установок
device-info: – device, brand, model – carrier– ip– language– OS info– timestamp
– ip – timestamp – user-agent– OS info – device brand model
Back-end метрикиСервис редиректов
Отчет в метрике
Device fingerprintmatching
22
Device fingerprintmatching
22Google Play /Yandex.Store
referrer
33
Device fingerprintmatching
22
Реклама
https://appmetrica.yandex.com/…/?referrer
Сервис редиректов Магазин приложений
APP
+ tracking-id
= utm_source=newsource& utm_medium=newcampaing& utm_content=banner& utm_campaing=promo
Сервис редиректов Магазин приложений
APP
Реклама
https://appmetrica.yandex.com/…/?referrer
tracking-id
utm_source=newsource& utm_medium=newcampaing& utm_content=banner&= utm_campaing=promo
Магазин приложений
APP
Магазин приложений
APP
Магазин приложений
APP referrer tracking-id
APP
APP
SDK Метрики
Back-end метрики
broadcast
referrer tracking-id
Магазин приложений
APP
APP
SDK Метрики
Back-end метрики
referrer tracking-id
broadcast
referrer tracking-id
Back-end метрики
Back-end метрики
Связка кликов и установок
referrer=… tracking-id
referrer=… tracking-id
Back-end метрикиСервис редиректов
Отчет в метрике
www.appmetrika.yandex.ru
Трекинг
Трекинг
FREE
52
Расширенные события JSON - 5 уровней вложенности
53
String eventParameters = "{\"Product\":\"music\", \”blues\" :\"guitar\"}";CounterInternal.sharedInstance().reportEvent("Product", eventParameters);
В формате JSON в виде строки
54
Map<String, Object> eventAttributes = new HashMap<String, Object> ();eventAttributes.put("Application", "com.company.myapp.awesomeapp");eventAttributes.put("Audience", 1000000000);eventAttributes.put("Product price in $", 10000000.99);CounterInternal.sharedInstance().reportEvent("Current app statistics”, eventAttributes);
В виде набора атрибутов (Map)
www.appmetrika.yandex.ru
www.appmetrika.yandex.ru
Технологии Новый функционалКлючевые моменты
SDK Метрики
iOS
