ЮЗАБИЛИТИ-РЕЙТИНГ

МОБИЛЬНЫХ ПРИЛОЖЕНИЙ

БАНКОВ 2015

Протестированные задачи

• авторизация;

• проверка счетов и кредитов;

• просмотр истории операций;

• перевод между своими счетами;

• перевод на счет в другом банке;

• оплата услуг сотовой связи;

• оплата ЖКУ;

• поиск ближайшего банкомата.

Процедура отбора участников

исследования учитывает опыт

пользователей

опытные

120 респондентов

неопытные

15

банков

• юзабилити-тестирование

• eye-tracking

• tree-testing

• семантический дифференциал

Что мы вкладываем

в понятие «юзабилити»

• эффективность — способен ли пользователь решить

задачу;

• экономичность — сколько ресурсов он затрачивает на

выполнение;

• удовлетворенность — как оценивает свои субъективные

ощущения от работы с интерфейсом;

• надежность — насколько безошибочно приложение позволяет

справляться с заданием.

Меньше ошибок —

выше балл

Расчет юзабилити-рейтинга

• Данные по 6 метрикам переводятся в единую шкалу и, с

учетом веса каждой из метрик, обобщаются в юзабилити-

индекс каждого отдельного задания.

• Основная метрика исследования – количество и критичность

юзабилити-проблем – влияет на все остальные метрики

задания.

• Общий юзабилити-индекс приложения складывается из

показателей по отдельным заданиям, при этом они имеют

равный вес.

6 метрик

4 показателя

общий показатель по задаче

единый рейтинг

Юзабилити-рейтинг 2015

1. Сбербанк России

2. Банк Москвы

3. Тинькофф Банк

4. ВТБ 24

5. Банк «Санкт-Петербург

6. Хоум Кредит энд Финанс Банк

7. БИНБАНК

8. Ханты-Мансийский банк Открытие

9. Банк «Русский Стандарт»

10. РОСБАНК

11. Промсвязьбанк

12. АЛЬФА-БАНК

13. ЮниКредит Банк

14. Райффайзенбанк

15. Газпромбанк

89,68

89,19

87,36

87,31

86,74

83,57

83,16

82,22

80,92

79,17

78,80

78,07

75,61

75,26

64,87

Рейтинг — это упорядочивание

нескольких объектов

по определенному признаку

Критерии выбора признака:

• выраженность можно оценить по принципу «есть /

нет» или «больше-меньше»;

• представляет собой практический интерес для

потребителей рейтинга.

Как делают рейтинги?

• выбирают объекты сравнения (конкретные

мобильные приложения);

• выбирают признаки сравнения;

• выбирают метод оценки;

• проводят оценку, обобщают результаты;

• презентуют результаты.

Критерии качества рейтинга

• интересен ли признак, положенный в основу

рейтинга?

• можно ли доверять методу измерения признака?

• насколько адекватные выбраны инструменты

измерения признака?

• можно ли доверять людям, проводящим

измерения или выставляющим оценки?

• какие конкретные управленческие решения можно

принять, опираясь на рейтинг?

Чем юзабилити-рейтинг

отличается от других

существующих рейтингов

мобильных приложений

Рейтинг на основе чеклистов

• чеклисты составляют эксперты на основе своих

представлений о том, что должно быть в хорошем

мобильном банке;

• как правило, это рейтинги функциональности, хотя

в чеклист могут входить и другие критерии

(например, «история выписки на русском языке»)

• при этом никак не учитывается необходимость и

удобство функционала для реальных

пользователей;

• могут быть интересны для сравнения своей

«технологической продвинутости» с

конкурентами;

• однако нельзя забывать, что увеличение числа

функций не обязательно приводят к росту

удовлетворенности пользователей.

Функциональность мобильных приложений

И удовлетворенность пользователей не всегда связаны. В сравнительном исследовании приложений

новозеландских банков было показано, что банк с большим количеством функций, но менее удобным

интерфейсом, пользователи оценили гораздо ниже.

Исследование Optima Usability

0

10

20

30

40

50

60

70

80

90

100

AKZ ASB BNZ KiWi bank MY WW O

SUS Score Total # of Features Usability Issues

20

18

16

14

12

10

8

6

4

2

Рейтинг на основе

пользовательских отзывов

В основе – опросы пользователей или анализа

отзывов в магазинах приложений

• позволяют услышать голос живых пользователей

и могут принести некоторые полезные идеи;

• главный недостаток – измеряют мнения, а не

поведение:

✓ опросы: полученные ответы зависят от заданных вопросов;

реальные проблемы могут остаться незамеченными;

✓ анализ отзывов: высказываются самые довольные или самые

недовольные, объективность оценок страдает.

• как результат, сложно применить на практике:

✓ что, кроме очевидных технических проблем, исправлять в

системе для ее улучшения?

✓ как сравнить себя с конкурентами?

Рейтинг на основе сочетания

подходов

В основе – экспертная оценка качества (удобства)

интерфейса по чеклистам в сочетании с

минимальным пользовательским тестированием

• субъективность исследователей проявляется как

при составлении чеклистов, так и при оценке;

• в силу методологии мнения экспертов получают

гораздо больший вес, чем результаты

тестирования;

• возможность применения для улучшений МБ

ограничена, т.к. нет гарантий, что улучшение

интерфейса по конкретному пункту чеклиста

решит реальные пользовательские проблемы.

Общая проблема применимости

рейтингов мобильных банков

*цифры являются вымышленными и не относятся к конкретным рейтингам

78 ваш рейтинг*

рейтинг конкурента 1

рейтинг конкурента 2

86

74

• что делать с этими цифрами?

• использовать в целях маркетинга?

• и все?

• почему отстали от конкурента 1?

• как оторваться от конкурента 2?

• как это связано с бизнес-показателями?

Точного ответа – нет

Юзабилити-рейтинг

мобильных банков от

USABILITYLAB

Юзабилити-рейтинг — критерии

соответствия заявленной

ценности и названию

• Рейтинг должен иметь практическую ценность и обоснование оценкам

• Критерии оценки должны влиять и коррелировать с бизнес-эффективностью

• Функциональность не может иметь превалирующее значение при начислении баллов, поскольку не

коррелирует с юзабилити и удовлетворенностью пользователей

• Критерии должны быть однозначны, обоснованы и актуальны во времени

• Должно быть очевидно как повысить бизнес-эффективность канала и получить высший балл

Удобство интерфейса — реально

значимый признак для бизнес-

эффективности

• 1 из 6 клиентов готов сменить банк из-за недовольства

интерфейсом приложения (http://goo.gl/gQqjyW);

• в целом довольные клиенты в 3 раза менее склонны сменить

банк, чем недовольные (http://goo.gl/Qso0hk)

• для 60% клиентов при выборе банка мобильный банк играет

значимую роль (http://goo.gl/zVpZna);

• провести операцию через приложение в 41 раз дешевле, чем

через офис (http://goo.gl/X5fglb);

Преимущества подхода

USABILITYLAB

• Мы свели к минимуму эти негативные факторы за

счет методологии исследования и своего

профессионализма;

• рейтинг основан на количестве проблем, с

которыми столкнулись живые пользователи в ходе

решения реальных задач, а не на оценках

экспертов;

• мы максимизировали практическую полезность

отчета (см. дальше)

Влияние личности респондента на

результат

• * http://goo.gl/03Cj7n

• 5 респондентов достаточно для выявления 85%

проблем интерфейса*

• мы протестировали 8 на каждый банк;

• 1 респондент тестирует только 1 банк, при этом

тестируемое приложение он видит в первый раз –

так мы исключили влияние опыта на результат;

• это значит, что бо’льшая часть проблем

интерфейса будет выявлена независимо от

личности респондентов.

Специалисты провели более 150

тестирований и имеют опыт

работы более 3 лет

• * http://goo.gl/03Cj7n

• знают, как вести себя во время общения с респондентами;

• на какие особенности поведения пользователей обращать

внимание;

• какие вопросы задавать пользователям;

• как опознать и описать юзабилити-проблему.

Методология исследования

составлена специалистами

экспериментальной психологии

• Юзабилити-специалисты знают, как правильно проводить

исследования на людях, чтобы избежать сознательного

и непроизвольного искажения результатов;

• спланировать исследование, чтобы измерить именно то, что

нужно;

• в каких шкалах измеряются различные показатели;

• как правильно свести секунды, проценты и баллы в единую

осмысленную цифру.

Практическая польза

Не одна цифра, а несколько

• по каждому показателю;

• по каждой задаче;

• по отдельным показателям в задаче.

Благодаря этому даже без подробного отчета видны проблемные

области приложения (наиболее «провальные» задачи и метрики).

Единый рейтинг юзабилити

Можно гордиться, использовать для сравнения себя с конкурентами,использовать в

маркетинговых целях, включать в пресс-релизы.Получаем практическую ценность в сочетании с

практическим отчетом по исследованию.

1 место

Сбербанк России

89,68 версия 1.0 от 24.10.2014

3 место

Тинькофф Банк

87,36 версия 3.0.3 от 10.04.2015

2 место

Банк Москвы

89,19 версия 1.0 от 24.10.2014

4 место

ВТБ 24

87,31 версия 6.4.0 от 06.04.2015

5 место

Банк «Санкт-Петербург»

86,74 версия 3.2.1 от 23.03.2015

6 место

Хоум Кредит энд

Финанс Банк

83,57 версия 1.2 от 27.02.2015

8 место

Ханты-Мансийский

банк Открытие

82,22 версия 1.2 от 14.01.2015

7 место

БИНБАНК

83,16 версия 2.5.1 от 18.04.2015

9 место

Банк «Русский

Стандарт»

80,92 версия 3.2.17 от 4.03.2015

10 место

РОСБАНК

79,17 версия 1.18.0 от 15.03.2015

11 место

Промсвязьбанк

78,80 версия 2.6.5 от 26.03.2015

13 место

ЮниКредит Банк

75,61 версия 2.5.5 от 21.12.14

12 место

АЛЬФА-БАНК

78,07 версия 5.7.1 от 10.02.15

14 место

Райффайзенбанк

75,26 версия 4.2 от 25.09.2014

15 место

Газпромбанк

64,87 версия 3.0 от 26.09.2013

Юзабилити-рейтинг 2015

1. Сбербанк России

2. Банк Москвы

3. Тинькофф Банк

4. ВТБ 24

5. Банк «Санкт-Петербург

6. Хоум Кредит энд Финанс Банк

7. БИНБАНК

8. Ханты-Мансийский банк Открытие

9. Банк «Русский Стандарт»

10. РОСБАНК

11. Промсвязьбанк

12. АЛЬФА-БАНК

13. ЮниКредит Банк

14. Райффайзенбанк

15. Газпромбанк

89,68

89,19

87,36

87,31

86,74

83,57

83,16

82,22

80,92

79,17

78,80

78,07

75,61

75,26

64,87

• Примеры найденных проблем

• Узнать больше о методологии, ценах и возможностях расширения

отчета: info@usabilitylab.net

Спасибо