Инструменты тестирования Microsoft - в облаке и локально

Александр Белоцерковский, Microsoft Россия

Инструменты тестирования Microsoft – в облаке и локально

Семейство Visual Studio

Team ServicesCode

IDE Редактор кода Сервисы для разработчика

На любой платформе

ProductionDevelopment

Collaboration

BACKLOG

REQUIREMENTS

Visual Studio Team Services

Планирование

DevTest Релизы

Мониторинг

Без инфраструктуры | Подписка | Глобальная доступность | Подключение к Visual Studio

Agile Portfolio ManagementKanban

Work item chartsTeam Rooms

Code discussionsВерсионированиеНагрузочное тестированиеУправление тестами

CI и CD

Application InsightsОбратная связь от стейкхолдеров

Браузерный редактор кода

Что будет в докладеТестирование – введение в проблематикуИнструменты – Azure и VSTSВопросы и завершение

Реальный мир сложенБизнес не стоит на месте

Жесткие конкуренты

Time-to-market – ключ к успеху

Проблемы с доставкой ПО

Неэффективный процесс

Задержки

Мало понимания

?

Планирование1 Мониторинг

РелизРазработка и тестирование

2

Разработка

Продакшен

Современный цикл разработки ПОDevOps

4

3

Анализ эксплуатации:

Трудности в мониторинге доступность приложения и производительности.Трудности в поиске причин отказов.

Трудно назначить приоритеты для будущей работы.

ЭксплуатацияРазработкаСовместная

работа

БД леглаКлиент на iPhone не работаетРегистраций нетЗапросы тормозятПинги большие…Установлен Windows на MacBook, курсор тормозит когда навожу на кнопку

Пишем код

Мониторим

2

Собираем

Анализируем

Верифицируем

Релиз

Разработка и тестирование

Мониторинг

Code Repository Build + Deploy Load Testing Release Management

Application Insights and HockeyApp

Visual Studio

AzureEclipse / Xcode

Visual Studio Team Services: Application Insights

Application InsightsТелеметрия собирается везде1

Телеметрия отправляется в облако (есть оффлайн-режим)

Телеметрия проходит анализ и выводится на портал3

2360° View360° View

Application Insightподдерживает

AI используется

В Microsoft Real Madrid

• 400 миллионов фанатов -> использование кросс-платформенных проектов -> кросс-платформенные проекты должны работать безотказно

• AI используется для телеметрии этого проекта

github.com/Microsoft/ApplicationInsights-Home

%@@ 0?< 0!$ $11 0>$ 1 1@1 <1 #0?100?1!<<%% 1%!? $?#1 !#0 0 0?0>% 00 > 1 %$ 1 %0 00@! 1 %111 !# < >1% ? 01 <0 %#10$@ 0>011 >11 @% %0 10%010@# ?#< %@< !11! !0?01 1 $>>% %## #1><%0@ 1 @#@0 ?!> 11 <%%@0!0?0 0# !1 ?!! $>< >0 1! #1<?0? <<1@ <0>0 0 0$$ > ###%0%01 !1 0 @ #10# % 1 0@#1 1@0 <1 >#1 % #1 %?%@1<0?>>1 %>1 !0 ?0?%@ #00 @01 0# > >1%! 0>01 11 1 @ 0<0 0!1%$1<$11# @ > 0 <# $> @?!1 ?$1001 >> ?00 %0 1#< 00%10#0?# %1$ #1% 1@ <$ 01 > 1!< 101 00>>>1! 0 11@@< $1@ >!< #@ 0 00 # $!$1 >@#>$00 > 0 %11 01 00# 1$ 1 <?%1#0 1 $10 0> > !$ %<1?0 11 $>$ #0%% >0$ > !1@1 110> # ?> # >>01 < <0010 !01!>>$$!< >110 1# # ! 0 1 #> $0$@ % 100 !10 !@ 00%?< ><%@!% 11 !>!@ >1 $10>0 > 0 0$ ??10 ## ?1 ?? 10$@@ 10>!#< ?00! 1><0 @> %01 ?>0 @% # 1@01<100% 11 01 < ? 0?>% $ 1 1% >0#1? ## ?!0# 10 0#$ 1><101 !?0? 0#0 @<0@ 0 1 >0 1$?1<< 1 11@1 !> %?1<># %> 011 !@!##0 #0<%@ %! $< $!? $ 1! @0#1 @#1 $@@ %?1<0@

Application InsightsДемонстрация. Много проектов – один портал

Резюме AI – средство больше для разработки,

нежели маркетинга Близкий к реальному времени

мониторинг Хотите знать о проблеме перед ее появлением? Используйте AI Регистрации не идут? Используйте AI Процесс отладки выпрямляется и упрощается

Упрощение сложных задач Как отслеживать поведение пользователей? Интегрируйте AI в приложение и на сервер

А если еще нет пользователей?

Нагрузочное тестированиеНагрузочные тесты состоят из серии Web performance или unit тестов, которые запускаются параллельно в течении некоторого периода времени.

Code Repository Build + Deploy Load Testing Release Management

Application Insights and HockeyApp

Visual Studio

AzureEclipse / Xcode

Visual Studio Team Services: нагрузочное тестирование

VSTS – предоставляемые ресурсы

Нагрузочное тестирование

Бесплатно: 20,000 минут (Virtual User) в месяцМожно купить: $0.0004\минутаТребуется Visual Studio Ultimate

Сборка

Бесплатно: 240 минут в месяцМожно купить дополнительно: $0.05\минута

http://visualstudio.com/

%@@ 0?< 0!$ $11 0>$ 1 1@1 <1 #0?100?1!<<%% 1%!? $?#1 !#0 0 0?0>% 00 > 1 %$ 1 %0 00@! 1 %111 !# < >1% ? 01 <0 %#10$@ 0>011 >11 @% %0 10%010@# ?#< %@< !11! !0?01 1 $>>% %## #1><%0@ 1 @#@0 ?!> 11 <%%@0!0?0 0# !1 ?!! $>< >0 1! #1<?0? <<1@ <0>0 0 0$$ > ###%0%01 !1 0 @ #10# % 1 0@#1 1@0 <1 >#1 % #1 %?%@1<0?>>1 %>1 !0 ?0?%@ #00 @01 0# > >1%! 0>01 11 1 @ 0<0 0!1%$1<$11# @ > 0 <# $> @?!1 ?$1001 >> ?00 %0 1#< 00%10#0?# %1$ #1% 1@ <$ 01 > 1!< 101 00>>>1! 0 11@@< $1@ >!< #@ 0 00 # $!$1 >@#>$00 > 0 %11 01 00# 1$ 1 <?%1#0 1 $10 0> > !$ %<1?0 11 $>$ #0%% >0$ > !1@1 110> # ?> # >>01 < <0010 !01!>>$$!< >110 1# # ! 0 1 #> $0$@ % 100 !10 !@ 00%?< ><%@!% 11 !>!@ >1 $10>0 > 0 0$ ??10 ## ?1 ?? 10$@@ 10>!#< ?00! 1><0 @> %01 ?>0 @% # 1@01<100% 11 01 < ? 0?>% $ 1 1% >0#1? ## ?!0# 10 0#$ 1><101 !?0? 0#0 @<0@ 0 1 >0 1$?1<< 1 11@1 !> %?1<># %> 011 !@!##0 #0<%@ %! $< $!? $ 1! @0#1 @#1 $@@ %?1<0@

Нагрузочное тестирование и Application InsightsДемонстрация. Нагрузочное тестирование

А когда уже есть пользователи?

%@@ 0?< 0!$ $11 0>$ 1 1@1 <1 #0?100?1!<<%% 1%!? $?#1 !#0 0 0?0>% 00 > 1 %$ 1 %0 00@! 1 %111 !# < >1% ? 01 <0 %#10$@ 0>011 >11 @% %0 10%010@# ?#< %@< !11! !0?01 1 $>>% %## #1><%0@ 1 @#@0 ?!> 11 <%%@0!0?0 0# !1 ?!! $>< >0 1! #1<?0? <<1@ <0>0 0 0$$ > ###%0%01 !1 0 @ #10# % 1 0@#1 1@0 <1 >#1 % #1 %?%@1<0?>>1 %>1 !0 ?0?%@ #00 @01 0# > >1%! 0>01 11 1 @ 0<0 0!1%$1<$11# @ > 0 <# $> @?!1 ?$1001 >> ?00 %0 1#< 00%10#0?# %1$ #1% 1@ <$ 01 > 1!< 101 00>>>1! 0 11@@< $1@ >!< #@ 0 00 # $!$1 >@#>$00 > 0 %11 01 00# 1$ 1 <?%1#0 1 $10 0> > !$ %<1?0 11 $>$ #0%% >0$ > !1@1 110> # ?> # >>01 < <0010 !01!>>$$!< >110 1# # ! 0 1 #> $0$@ % 100 !10 !@ 00%?< ><%@!% 11 !>!@ >1 $10>0 > 0 0$ ??10 ## ?1 ?? 10$@@ 10>!#< ?00! 1><0 @> %01 ?>0 @% # 1@01<100% 11 01 < ? 0?>% $ 1 1% >0#1? ## ?!0# 10 0#$ 1><101 !?0? 0#0 @<0@ 0 1 >0 1$?1<< 1 11@1 !> %?1<># %> 011 !@!##0 #0<%@ %! $< $!? $ 1! @0#1 @#1 $@@ %?1<0@

Mobile EngagementДемонстрация. Взаимодействие с пользователями

Azure DevTest Lab

Контакты

Александр Белоцерковский{Microsoft Russia | DX | Tech Evangelist Cloud, Internet Of Things & HPC}albe@microsoft.com; @ahriman_ru; ahriman.ruhttp://blogs.msdn.com/b/albe

© 2013 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

Спасибо за внимание!