35
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Валерий Куваев Технический консультант по ALM, HP Software Реалистичное нагрузочное тестирование

Реалистичное нагрузочное тестирование

  • Upload
    sqalab

  • View
    1.068

  • Download
    4

Embed Size (px)

DESCRIPTION

Доклад Валерия Куваева на конференции SQA Days-12, 30 ноября-1 декабря, Минск

Citation preview

Page 1: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Валерий КуваевТехнический консультант по ALM,HP Software

Реалистичное нагрузочное

тестирование

Page 2: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.2

Управление требованиями

Управление качеством

Управлениеразработкой

ОсноваСвязи артефактов Составление

отчетовСтандартизация

процессов Интеграции(Открытые API)

Управление жизненным циклом приложений

Управление жизненным циклом приложений

Page 3: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.3

Управление требованиями

Управление требованиями

Определение требований

Управление качеством

Функцио-нальный уровень

Производи-тельность

Безопас-ность

Управлениеразработкой

IDE, SCM, построение интеграций

Управле-ние

дефектами

Безопасная разработка

ОсноваСвязи артефактов Составление

отчетовСтандартизация

процессов Интеграции(Открытые API)И

нте

грац

ия в

стр

ате

гию

и п

лан

ирован

ие (

PPM

, го

с.)

Ин

тегр

ац

ия в

работу

азв

ерты

ван

ие, A

PM

, IT

SM

)

Объединено для базовых этапов жизненного цикла приложений, интегрировано

с полным циклом приложений

Управление жизненным циклом приложенийПланирование и отслеживание проекта Управление корпоративными версиями

Управление жизненным циклом приложений

Page 4: Реалистичное нагрузочное тестирование

Что сложного в создании реалистичного нагрузочного теста

Что сложного в создании реалистичного нагрузочного теста?

Page 5: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.5

Некоторые из сложностей

1. Тестовое покрытие не полно2. Профиль нагрузочного теста не похож на продуктивный3. Заглушки «нереально» производительны4. Воздействие слабых сетей не изучено

Page 6: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.6

Сложности реалистичного тестированияТестовое покрытие не полно Профиль нагрузочного теста не похож на продуктивный

Необходимо взаимодействие с эксплуатацией

Page 7: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.7

RUM, SiteScope, BPM

Интеграция с подразделениями Эксплуатации

Продуктив

Мониторы Мониторы

SLA SLО

Скрипты

Транзакционная

нагрузкаСценарии

Нагрузочная

среда

Page 8: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.8

Постоянное совершенствование

Взаимодействие в HP Performance center

Использование продуктивных данных:Источники

• RUM, WebTrends, логи, итд

Скрипты• Синтетические Business Process Monitoring (BPM)

• Из реальных сессий - Real User Monitoring (RUM)

Информация о мониторинге• Профили SiteScope

Сбор и анализ продуктивных данных

Нагрузка

Анализ данных нагрузки

Сравнение данных продуктива и нагрузки

Переопределение

тестового сценария

Page 9: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.9

Доведение тестового сценария до совершенства

Сравнение теста и продуктива

Сравнение тестовые результаты VS продуктивные результаты

Page 10: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.10

Распределение нагрузки

Page 11: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.11

Производительность

Page 12: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.12

Сложности реалистичного тестированияЗаглушки «нереально» производительны

Виртуализация сервисов

Page 13: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.13

Тестируемое приложение

HP Service Virtualization – снятие органичений

Существующие сервисы

14:00-16:00

Ответ 3 с• Доступно• Не надо спрашивать других• Снижение затрат

Service Virtualization

3я сторона

Плата-за-транзакцию

Тестирование на виртуальных сервисахТестирование на виртуальных сервисах

Обучение и симуляция

Page 14: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.14

Service Virtualization v 2.2 - поддерживаемые технологии (User Guide)

Page 15: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.15

Сложности реалистичного тестирования«Воздействие слабых сетей не Изучено»

Page 16: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.16

Нужно ли это?

Page 17: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.17

Проблема века: доступ с мобильных устройствАудитория мобильного интернета растёт в два раза быстрее, чем аудитория интернета в целом. В январе 2012 года мобильными устройствами для выхода в сеть воспользовались более 22% всех жителей российских городов с населением свыше 100 тыс. человек*

На конец первого полугодия 2011 года в России насчитывалось около 40 млн. активных пользователей передачи данных с мобильных устройств **

* Аналитический отчет Яндекс, весна 2012

** J’son & Partners Consulting 2011

Page 18: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.18

Влияние скорости сети на восприятие

Page 19: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.19

Приложения стали сложнее

Page 20: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.20

Влияние мобильных клиентов на производительность

Clean Lab

Results

Virtualized Mobile Results

1.8% мобильных пользователей

Page 21: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.21

Производительность системы

Capacity > 500+ UsersResponse < 10

Capacity < 200 UsersResponse > 40

Быстрая сеть Реальные условия сети

или

Результаты теста без эмуляции скорости сети излишне оптимистичны

Page 22: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.22

Полная картинка производительности

HP Load Runner+ Shunra Network Virtualization

• Shunra воссоздает реальные условия сети

• Динамически меняющиеся параметры связи

• Анализ и рекомендации по уличшению

~70% потерь времени в сети

Page 23: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

LoadRunner 11.5New!

Page 24: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.24

Focus on agility for you, your IT Organization and the your Business

Introducing HP LoadRunner 11.50

• New VUGen• New Correlation Studio• Enhancements to Analysis• Collaboration

Usability & EfficiencyFlexibility Extensibility

Application Agility

• Mobile Protocols• Ajax TruClient for Internet Explorer

(IE 9)• Enhancements on:

– TruClient for Firefox– Web Services– Flex

• Now supporting:– .NET4 Support– Recording 64bit Applications – IPv6– Web Protocol Asynchronous

• Extension on the functionality of the all-new VUGen IDE itself by developing add-ins that is integrated into the user interface.

• Additional Data Format Extensions (DFE)

• Added new languages: Italian, Russian, Brazilian Portuguese and Korean.

Page 25: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.25

Usability & EfficiencyNew and Innovative VUGen (Virtual User Generator)

Modern Interface redesigned with IDE and Design Studio• Intuitive look and feel• Customizable Layout• Improved Editor, now context-sensitive• True C language debugger included• Solution Explorer: faster comparison• Step Navigator: single view for script• Help: context-sensitive

Page 26: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.26

Ability to customize the appearance of the interface in VuGen.

Usability & EfficiencyVUGen: Layouts

Page 27: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.27

A combined view of the visual context of the script and its code with easy navigation.

Usability & EfficiencyVUGen: Thumbnail Explorer

Page 28: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.28

Enables you to view the snapshots captured during recording or replay of the script.

Usability & EfficiencyVUGen: Improved Snapshot view

Page 29: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.29

Enables quick navigation between steps in the script as well as filtering and searching according to its properties

Usability & EfficiencyVUGen: Step Navigator

Page 30: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.30

• Code completion list • Syntax highlight for the C code• Highlighting of the Step parameters• Collapsing of user-defined functions• Tooltips display information for user-

defined functions, parameters, etc.

Usability & EfficiencyVUGen: Script Editor

Shane Evans
Should the screenshot show one or more of the features listed? For code completion, simply start writing a function such as:web_reg_save_param_exAs soon as you enter '(' without the quotes, the code completion tooltip should appear.
Page 31: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.31

Easy way to help you to find issues within your script

Usability & EfficiencyVUGen: Debug Panes

Page 32: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.32

Usability & EfficiencyVUGen: New Correlation Design Studio and Additional APIs

Makes script easier, faster and more intuitiveGrouping correlation capabilities in one place

Page 33: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.33

Usability & EfficiencyCollaboration

Community SharingIntegration into HP online communityEasily access to forums, blogs and twitter.Include your favorite search engine

Page 34: Реалистичное нагрузочное тестирование

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.34

Протоколыи Среды

HP LoadRunner

HP PerformanceCenter

Page 35: Реалистичное нагрузочное тестирование

Спасибо!