Yandex keynote 2014 metrica for apps

АЛЕКСАНДР КОЧУБЕЙ

Художественный фильм «Служебный роман»

Без статистики вообще не жизнь, а каторга какая-то

Технологии Новый функционалКлючевые моменты

40 %60 %

WIFI

Cellular

55 %45 %

WIFICellular

53 % 47 %WIFI

Cellular

iOS

iOSПн. Вт. Ср. Чт. Пт. Сб. Вс.

100%

0%

20%

40%

60%

80%

WIFI

Cellular

100%

0%

20%

40%

60%

80%

Пн. Вт. Ср. Чт. Пт. Сб. Вс.

WIFI

Cellular

100%

0%

20%

40%

60%

80%

Пн. Вт. Ср. Чт. Пт. Сб. Вс.

WIFI

Cellular

?

Объем данных

АктуальностьСкорость

?

Технологии Новый функционалКлючевые моменты

Технологии Новый функционалКлючевые моменты

Real-time1

Скорость генерации отчетов 2

Отчеты с любой комбинацией данных3

Real-time

Скорость генерации отчетов

Отчеты с любой комбинацией данных

0 0 1 1 1 0 0 1 0 0 0 1 0 0 1 1 0 0 1 0 1 0 0 1 1 1

1 1 1 0 1 0 1 1 1 0 1 0 1 1 1 0 0 0 1 1 0 1 0 1 0 0

0 0 1 0 1 0 0 1 0 1 0 1 0 1 1 1 1 1 0 1 0 0 0 0 1 1

1 0 0 1 0 0 1 0 1 0 0 1 1 0 0 0 1 0 1 0 0 1 0 1 1 0

1 1 0 0 1 1 0 1 1 0 1 0 0 1 0 1 1 0 0 1 0 0 1 0 1 0

1 0 0 0 0 1 0 1 0 1 0 1 1 0 1 0 0 1 0 0 1 0 1 0 0 1

0 1 0 1 1 1 0 0 0 1 0 0 0 1 0 1 1 1 1 1 0 1 0 1 1 0

1 0 1 0 0 0 1 1 1 0 1 1 0 1 0 0 0 1 0 1 0 0 1 0 0 1

0 0 1 0 1 0 1 0 1 0 0 0 1 0 1 1 1 1 0 0 1 1 0 1 1 0

0 0 1 1 1 0 0 1 0 0 0 1 0 0 1 1 0 0 1 0 1 0 0 1 1 1

1 1 1 0 1 0 1 1 1 0 1 0 1 1 1 0 0 0 1 1 0 1 0 1 0 0

0 0 1 0 1 0 0 1 0 1 0 1 0 1 1 1 1 1 0 1 0 0 0 0 1 1

1 0 0 1 0 0 1 0 1 0 0 1 1 0 0 0 1 0 1 0 0 1 0 1 1 0

1 1 0 0 1 1 0 1 1 0 1 0 0 1 0 1 1 0 0 1 0 0 1 0 1 0

1 0 1 0 0 0 1 1 1 0 1 1 0 1 0 0 0 1 0 1 0 0 1 0 0 1

Объем данных

АктуальностьСкорость

Технологии Новый функционалКлючевые моменты

Технологии Новый функционалКлючевые моменты

СУБД ClickHouse

A 10 iOS

B 12 Android

C 11 WP

D 17 iOS

A 10 iOS

B 12 Android

C 11 WP

D 17 iOS

Строковые СУБД

A 10 iOS B 12 Android C 11 WP D 17 iOS

A 10 iOS

B 12 Android

C 11 WP

D 17 iOS

Строковые СУБД

Столбцовые СУБД

A B C D 10 12 11 17 iOS Android WP iOS

A 10 iOS B 12 Android C 11 WP D 17 iOS

A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10 4,0002 1

B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15 2,0019 4

C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65 6,5603 7

D 17 iOS 0,10 29 3,9006 98 0,98 10110010 93 17 3,9006 4

E 15 Android 0,06 47 2,3892 43 0,76 10011001 29 15 2,3892 9

F 19 WP 0,02 25 0,4628 12 0,34 11011101 49 19 0,4628 2

G 13 iOS 0,01 65 2,8700 87 0,54 10001110 69 13 2,8700 3

H 14 WP 0,04 54 3,8651 43 0,23 11011000 45 54 3,7649 7

I 76 Android 0,02 87 2,9854 87 0,53 10100000 98 23 3,0986 9

A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10 4,0002 1

B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15 2,0019 4

C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65 6,5603 7

D 17 iOS 0,10 29 3,9006 98 0,98 10110010 93 17 3,9006 4

E 15 Android 0,06 47 2,3892 43 0,76 10011001 29 15 2,3892 9

F 19 WP 0,02 25 0,4628 12 0,34 11011101 49 19 0,4628 2

G 13 iOS 0,01 65 2,8700 87 0,54 10001110 69 13 2,8700 3

H 14 WP 0,04 54 3,8651 43 0,23 11011000 45 54 3,7649 7

I 76 Android 0,02 87 2,9854 87 0,53 10100000 98 23 3,0986 9

0,060,760,76

iOS

A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10 4,0002 1 A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10

B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15 2,0019 4 B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15

C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65 6,5603 7 C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65

D 17 iOS 0,10 29 3,9006 98 0,98 10110010 93 17 3,9006 4 D 17 iOS 0,10 29 3,9006 98 0,98 10110010 93 17

E 15 Android 0,06 47 2,3892 43 0,76 10011001 29 15 2,3892 9 E 15 Android 0,06 47 2,3892 43 0,76 10011001 29 15

F 19 WP 0,02 25 0,4628 12 0,34 11011101 49 19 0,4628 2 F 19 WP 0,02 25 0,4628 12 0,34 11011101 49 19

G 13 iOS 0,01 65 2,8700 87 0,54 10001110 69 13 2,8700 3 G 13 iOS 0,01 65 2,8700 87 0,54 10001110 69 13

H 14 WP 0,04 54 3,8651 43 0,23 11011000 45 54 3,7649 7 H 14 WP 0,04 54 3,8651 43 0,23 11011000 45 54

I 76 Android 0,02 87 2,9854 87 0,53 10100000 98 23 3,0986 9 I 76 Android 0,02 87 2,9854 87 0,53 10100000 98 23

A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10 4,0002 1 A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10

B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15 2,0019 4 B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15

C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65 6,5603 7 C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65

D 17 iOS 0,10 29 3,9006 98 0,98 10110010 93 17 3,9006 4 D 17 iOS 0,10 29 3,9006 98 0,98 10110010 93 17

E 15 Android 0,06 47 2,3892 43 0,76 10011001 29 15 2,3892 9 E 15 Android 0,06 47 2,3892 43 0,76 10011001 29 15

F 19 WP 0,02 25 0,4628 12 0,34 11011101 49 19 0,4628 2 F 19 WP 0,02 25 0,4628 12 0,34 11011101 49 19

A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10 4,0002

B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15 2,0019

C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65 6,5603

D 17 iOS 0,10 29 3,9006 98 0,98 1011001 93 17 3,9006

E 15 Android 0,06 47 2,3892 43 0,76 1001100 29 15 2,3892

F 19 WP 0,02 25 0,4628 12 0,34 1101110 49 19 0,4628

G 13 iOS 0,01 65 2,8700 87 0,54 1000111 69 13 2,8700

A 10 iOS 0,01 34 4,0002 90 0,54 11001100 85 10 4,0002

B 12 Android 0,05 76 2,0019 24 0,11 10010000 94 15 2,0019

C 11 WP 0,01 45 6,5603 65 0,56 11011000 38 65 6,5603

D 17 iOS 0,10 29 3,9006 98 0,98 1011001 93 17 3,9006

E 15 Android 0,06 47 2,3892 43 0,76 1001100 29 15 2,3892

F 19 WP 0,02 25 0,4628 12 0,34 1101110 49 19 0,4628

G 13 iOS 0,01 65 2,8700 87 0,54 1000111 69 13 2,8700

iOS

Android

WP

iOS

Android

WP

iOS

WP

4,0002

2,0019

6,5603

3,9006

2,3892

0,4628

2,8700

3,4577

85

94

38

93

29

49

69

34

Высокая скорость и производительность

〉Хранение и обработка по столбцам

〉Сжатие данных

〉Наличие индексов

〉Параллельная обработка запроса на многих процессорных ядрах

〉Распределённая обработка запроса на многих серверах

〉Векторный движок

23

Производительность столбцовых СУБД

Объём данных: 100 млн. записей

Номер запуска: Первый (холодный кэш) Второй Третий

Производительность столбцовых СУБД

Объём данных: 100 млн. записей

Номер запуска: Первый (холодный кэш) Второй Третий

MySQL

Hive

InfiniDB

Vertica

ClickHouse(0.0.38735)

(6.0.1)

(Enterprise 3.6.23)

(0.11, ORC File)

(5.5.32, MyISAM)

Относительное время выполнения запроса (меньше – лучше)

Производительность столбцовых СУБД

Объём данных: 100 млн. записей

Номер запуска: Первый (холодный кэш) Второй Третий

MySQL

Hive

InfiniDB

Vertica

ClickHouse 1,0

1,78

5,53

44,58

143,55

(0.0.38735)

(6.0.1)

(Enterprise 3.6.23)

(0.11, ORC File)

(5.5.32, MyISAM)

Относительное время выполнения запроса (меньше – лучше)

Инфраструктура Метрики

Дважды в реальном времени

〉Онлайн вычисления сразу при загрузке страницы  〉Поступление  данных в real-time

Отказоустойчивость и надежность хранения данных

〉Репликация данных, поддержка целостности данных на репликах

25

www.appmetrika.yandex.ru

www.appmetrika.yandex.ru

Технологии Новый функционалКлючевые моменты

Технологии Новый функционалКлючевые моменты

Трекинг

1 2 3

Device identifier matching

1 2 31

Device identifier matching

Device fingerprintmatching

1 2 31 2

Google Play/ Yandex.Store

referrer

Device identifier matching

Device fingerprintmatching

1 2 31 2 3

Device identifier matching

11

SDK Рекламной сети

Реклама

https://appmetrica.yandex.com device-id click-id

Сервис редиректов

SDK Рекламной сети

Реклама

https://appmetrica.yandex.com device-id click-id

Сервис редиректов Магазин приложений

APP

Сервис редиректов Магазин приложений

APP

SDK Рекламной сети

Реклама

https://appmetrica.yandex.com device-id click-id

Магазин приложений

APP

Магазин приложений

APP

Магазин приложений

APPdevice-id

APP

APP

SDK Метрики

Back-end метрики

Магазин приложений

APP

APP

SDK Метрики

device-id

Back-end метрики

Back-end метрики

Back-end метрики

Связка кликов и установок

Рекламная сеть

device-iddevice-id

click-id

postback

http://…/+click-id

Back-end метрикиСервис редиректов

Отчет в метрике

Device fingerprintmatching

22

Device fingerprintmatching

22Device fingerprint

matching

22

Device fingerprintmatching

22

Реклама

https://appmetrica.yandex.com/…

Сервис редиректов Магазин приложений

APP

Сбор инф.: – user-agent– ip – timestamp

Сервис редиректов Магазин приложений

APP

Реклама

https://appmetrica.yandex.com/…

Сбор инф.: – user-agent– ip – timestamp

Магазин приложений

APP

Магазин приложений

APP

Магазин приложений

APP

device-info: – device, brand, model – carrier– ip– language– OS info– timestamp APP

APP

SDK Метрики

Back-end метрики

Магазин приложений

APP

APP

SDK Метрики

device-info: – device, brand, model – carrier– ip– language– OS info– timestamp

Back-end метрики

Back-end метрики

Back-end метрики

Связка кликов и установок

device-info: – device, brand, model – carrier– ip– language– OS info– timestamp

– ip – timestamp – user-agent– OS info – device brand model

Back-end метрикиСервис редиректов

Отчет в метрике

Device fingerprintmatching

22

Device fingerprintmatching

22Google Play /Yandex.Store

referrer

33

Device fingerprintmatching

22

Реклама

https://appmetrica.yandex.com/…/?referrer

Сервис редиректов Магазин приложений

APP

+ tracking-id

= utm_source=newsource& utm_medium=newcampaing& utm_content=banner& utm_campaing=promo

Сервис редиректов Магазин приложений

APP

Реклама

https://appmetrica.yandex.com/…/?referrer

tracking-id

utm_source=newsource& utm_medium=newcampaing& utm_content=banner&= utm_campaing=promo

Магазин приложений

APP

Магазин приложений

APP

Магазин приложений

APP referrer tracking-id

APP

APP

SDK Метрики

Back-end метрики

broadcast

referrer tracking-id

Магазин приложений

APP

APP

SDK Метрики

Back-end метрики

referrer tracking-id

broadcast

referrer tracking-id

Back-end метрики

Back-end метрики

Связка кликов и установок

referrer=… tracking-id

referrer=… tracking-id

Back-end метрикиСервис редиректов

Отчет в метрике

www.appmetrika.yandex.ru

Трекинг

Трекинг

FREE

52

Расширенные события JSON - 5 уровней вложенности

53

String eventParameters = "{\"Product\":\"music\", \”blues\" :\"guitar\"}";CounterInternal.sharedInstance().reportEvent("Product", eventParameters);

В формате JSON в виде строки

54

Map<String, Object> eventAttributes = new HashMap<String, Object> ();eventAttributes.put("Application", "com.company.myapp.awesomeapp");eventAttributes.put("Audience", 1000000000);eventAttributes.put("Product price in $", 10000000.99);CounterInternal.sharedInstance().reportEvent("Current app statistics”, eventAttributes);

В виде набора атрибутов (Map)

www.appmetrika.yandex.ru

www.appmetrika.yandex.ru

Технологии Новый функционалКлючевые моменты

SDK Метрики

iOS

SDK Метрики

appmetrika.yandex.ru