【16-E-4】テスト革命！パフォーマンステストの画期的アプローチ

日本コンピュウェア株式会社

シニアソリューションアーキテクト

福田慎

2012年2月16日

テスト革命！パフォーマンステストの画期的アプローチ

アジェンダ

1. パフォーマンステストとは?

2.より簡単に、より効果的に問題の原因を分析するは?

3.より簡単に、より効果的に負荷をかける方法は?

4. 最も効果的なパフォーマンステストとは?

パフォーマンステストとは?

3

Web のパフォーマンスはビジネスの成果に直結

Source: Steve Souders @ Velocity Conference 2009 http://radar.oreilly.com/2009/07/velocity-making-your-site-fast.html

2 秒のレスポンスタイム低下 4.3 ユーザあたりの売り上げが減少

%

400 ミリ秒の遅延

0.59 % ユーザあたりの検索回数が減少

50 % 訪問回数あたりのページ参照回数が増加

ユーザが読み込み時間の速いページを経験した場合、

ページ読み込み時間を 7 秒から 2 秒に短縮した場合、

売り上げの増加 7–12 %

ハードウエア費用の削減 50 %

4

http://radar.oreilly.com/2009/07/velocity-making-your-site-fast.html









まだまだ大きい「地域格差」

5

5

5

クラウド

プライベートパブリック

なぜパフォーマンス管理は難しくなったのか

従業員

メインフレーム

ストレージ

データセンター

Web サービス

携帯コンポーネント

Web サーバ

App サーバ

DB サーバ

ロードバランサ

WAN 最適化

仮想/物理環境

ネットワーク

ISP

携帯キャリア

CDN

サードパーティ/ クラウドサービス

ブラウザ

デバイス

ISP

エンドユーザ

従業員

6

複雑化するデータセンター

仮想化 WAN最適化

他システムとの連携

複雑化するインターネット環境

クラウド SaaS CDN

携帯端末

クラウド


パフォーマンステストの定義


ストレージ


Web サービス


Web サーバ

App サーバ

DB サーバ


WAN 最適化

仮想/物理環境

ネットワーク

ISP

携帯キャリア

CDN


ブラウザ

デバイス

ISP

エンドユーザ

従業員

7

負荷をかける

負荷テスト用仮想ユーザ

パフォーマンスを

分析する

クラウド


パフォーマンステストの現状


ストレージ


Web サービス


Web サーバ

App サーバ

DB サーバ


WAN 最適化

仮想/物理環境

ネットワーク

ISP

携帯キャリア

CDN


ブラウザ

デバイス

ISP

エンドユーザ

従業員

8

負荷をかける

CPU使用率・

メモリ使用率

Webサーバ

アクセス数 DB監視

負荷テストツールを設置

クラウド


パフォーマンステストの課題


ストレージ


Web サービス

携帯コンポーネン

ト

Web サーバ

App サーバ

DB サーバ


WAN 最適化

仮想/物理環境

ネットワーク

ISP

携帯キャリア

CDN


ブラウザ

デバイス

ISP

エンドユーザ

従業員

9

負荷をかける

CPU使用率・

メモリ使用率

Webサーバ


負荷テストツールを設置

問題の原因が分からない・・

推測に基づいたチューニング

クラウド環境のテストができない

不要なリソースの追加

ファイヤウォール内のユーザしか再現できない

テスト期間が長期に及ぶ

地域毎のパフォーマンスの差が把握できない

負荷をかけるために、多数のサーバの設置が

必要

クラウド


パフォーマンステストをより効果的にするには


ストレージ


Web サービス


ト

Web サーバ

App サーバ

DB サーバ


WAN 最適化

仮想/物理環境

ネットワーク

ISP

携帯キャリア

CDN


ブラウザ

デバイス

ISP

エンドユーザ

従業員

10

負荷をかける

CPU使用率・

メモリ使用率

Webサーバ


負荷テスト

ツールを設置

より簡単に、より効果的に問題の原因を分析するには?

より簡単に、より効果的に負荷をかける

方法は?

より簡単に、より効果的に問題の原因を分析するは?

11

負荷テスト時のパフォーマンス分析は難しい・・・

Webサーバアプリケーションデータベース

×

どのトランザクションが、どこで、いつエラーになったのか・・・

どこがボトルネックになっているのか・・・

CPU使用率?

アプリのログ?

Webサーバのログ? ネットワーク

使用率?

12

パフォーマンス分析の次のトレンドは?

13 1993

1995

2004

2000

2007

2012

サーバ

パフォーマンス分析

ネットワーク


Java/.NET


エンドユーザ

レスポンス分析

ビジネス

サービス分析 ?

クラウド


サーバパフォーマンス分析


ストレージ


Web サービス


ト

Web サーバ

App サーバ

DB サーバ


WAN 最適化

仮想/物理環境

ネットワーク

ISP

携帯キャリア

CDN


ブラウザ

デバイス

ISP

エンドユーザ

従業員

14

CPU使用率・

メモリ使用率

Webサーバ


クラウド


エンドユーザレスポンスの分析


ストレージ


Web サービス


Web サーバ

App サーバ

DB サーバ


WAN 最適化

仮想/物理環境

ネットワーク

ISP

携帯キャリア

CDN


ブラウザ

デバイス

ISP

エンドユーザ

従業員

15

エンドユーザレスポンスを計測する

クラウド


パフォーマンス分析の新しいトレンド「トランザクションパス分析」


ストレージ


Web サービス


ト

Web サーバ

App サーバ

DB サーバ


WAN 最適化

仮想/物理環境

ネットワーク

ISP

携帯キャリア

CDN


ブラウザ

デバイス

ISP

エンドユーザ

従業員

16

トランザクションパス分析では、各トランザクションが、どのサーバの、どのアプリケー

ションで実行されたのかを正確に記録し、問題箇所を瞬時に特定します

トランザクションパス分析とは

17

CICS

MQ

EAI

SOA

DBMS

Webサーバ C/C++ Java

クライアント

dynaTraceのコンセプト

18

ライフサイクル・開発

・テスト

・運用

ビジネス・ユーザ体感

・サービスレベル管理

・インパクト分析

分析・問題箇所の特定

・再現テスト不要フルカバレッジ・全トランザクション分析

・全ユーザ分析

エンドツーエンド・全ての階層

・トランザクションの視点

19

dynaTraceの構成と特徴

Webサーバアプリケーションサーバ

データベースサーバ

dynaTraceは、ユーザがアクセスしたトランザクションがどこで遅延したかを特定します

dynaTrace Analysis Server

dynaTrace Client

１つのライブラリ、１つの引数、1回のリスタート

簡単なインストール

ソースコードの変更なし

自動ディスカバリーによる迅速なインプリ

スケーラビリティ

効率的なデータ保持

運用時においても利用可能な安全性

データのエクスポートとレポート

Java/.NETエージェント

Webサーバエージェント

ブラウザエージェント

Javaスクリプトエージェント

トランザクションパスのボトルネックを特定する

20

Webサーバでの処理

アプリケーションサーバでの処理

DBサーバでの処理

クライアントから実行

されたトランザクション


21

アプリケーションサーバでエラーが発生している

サーバ内での実行時間

DBサーバ

J2EEサーバ .NETサーバ

クライアント


22

サーバ・サーバ間の遅延分析

メソッドレベルの遅延分析

問題のあるソースコードをデコンパイルする

23

デコンパイルしたソースコードを参照

CPU時間や処

理時間からボトルネックを特定

より簡単に、より効果的に

負荷をかける方法は?

24

負荷テストの種類


負荷テストは、その形態によって3つに分類されます

負荷テスト1.5

負荷テスト1.0

負荷テスト2.0

25

負荷テスト1.0


負荷テスト1.0

短所:

• 製品として提供される（ソフトウェア、ハードウェアの導入が必要）

• 大規模な負荷テストの場合多数のサーバが必要

• “エンドユーザ”の体感を計測できない

• サードパーティの外部コンポーネント（クラウド、CDNなど）の計測ができない

• 地域によるレスポンスの違いを把握することができない

ファイヤウォール内での負荷生成

長所:

• ファイヤウォール内のリソース管理に優れている

• 内部システムでの負荷テストに適している

26

負荷テスト1.5


負荷テスト1.5

短所:

• “エンドユーザ”の体感を計測できない

• アプリケーションデリバリチェーン全体での問題把握ができない

• 地域によるレスポンスの違いを把握することができない

• 外部からアクセスできないシステムに対応できない

クラウドからの負荷生成

長所:

• 大規模な負荷テストが可能

• SaaSとして提供(ソフトウェア、ハードウェアが不要)

27

負荷テスト2.0


短所:

• 外部からアクセスできないシステムに対応できない

クラウドからの負荷生成と

一般ユーザからの計測と分析

負荷テスト2.0

長所:

• SaaSとして提供(ソフトウェア、ハードウェアが不要)

• 大規模な負荷テストが可能

• エンドツーエンドで問題の検知が可能

• サードパーティの外部コンポーネント（クラウド、CDNなど）をすべて計測可能

• アプリケーションデリバリチェーン全体で問題の検知と分析が可能

• 「セルフサービス」によって、任意の時間帯に負荷テストを実施

28

Compuware GomezTM Web Load Testing


Compuware GomezTM Web Load Testingは、Compuwareが準備するクラウド環境から

お客様の対象システムに負荷をかけます。同時に、一般ユーザのPCにインストールした

計測用エージェントからレスポンスタイムを計測します。

クラウドから負荷を生成

一般ユーザのPCから

パフォーマンスを計測 29

最も効果的なパフォーマンステストとは?

30

負荷テストとdynaTraceの統合


パフォーマンスボトルネックの分析（dynaTrace）

負荷テスト実施

31

負荷テストツールとdynaTrace連携の仕組み


負荷テストツールが生成するトランザクションのヘッダにタグを付加することにより、dynaTrace

はすべてのトランザクションを個別に把握することが出来ます

dynaTrace Analysis Server

dynaTrace Client

WebサーバエージェントがHTTPヘッダのタグを認識し、APサーバに送るパ

ケットに同様のタグを付ける

dynaTraceのエージェントは同様の処理を繰り返す

32

負荷テストツールが生成するトランザクションのヘッダに「タグ」を付加して送信する

遅延した負荷テスト・トランザクションを分析する

33

トランザクションID

このトランザクションは

どの処理で遅延したのか？

負荷テストで発生したボトルネックを分析

34

どこでエラーに

なっているのか

負荷テストで発生したボトルネックを分析

35

テストログ参照ログ内容の修正

再テストテストログ参照ログ内容の修正

再テストテストログ参照

開発・運用

テストテストログ参照ログ内容の修正

再テストテストログ参照ログ内容の修正

再テストテストログ参照問題の分析

問題の解決

時間

問題の解決

開発・運用

テスト

時間

問題の分析

テストの繰り返し

•ダイレクトな問題分析

•テスト回数を削減

•確かな品質を確保し、

開発・運用者の作業

時間を削減

従来の手法

dyn

aTrace

による手法

従来のパフォーマンステストと dynaTraceを利用したパフォーマンステストの違い

36

37

まとめ

・ITシステムの複雑化に伴い、パフォーマンステストの重要性が増しています

・パフォーマンス分析は、「トランザクションパス」のレベルまで分析できるツールが注目されています

・負荷テスト時にトランザクションパス分析ソリューションを併用することで、負荷テストの効果を最大化し、またテスト期間を大幅に短縮することが可能です

お知らせ

38

39

dynaTrace AJAXエディション

dynaTrace AJAXエディションダウンロードサイト：

http://ajax.dynatrace.com/ajax/en/

dynaTrace ブラウザエージェントのほとんどの機能を無料でご利用いただくことが可能

です。下記URLからダウンロードしてご利用ください。

40

dynaTrace体験セミナー開催！

Javaや.NETアプリケーションの設計・開発・テストに従事されている方を対象としたdynaTraceの体験セミナーを開催します。実機を用いて実際にdynaTraceに触れることができます。この機会をぜひご利用ください。

◆日時 2012年2月29日（水）15:00-17:00（14:30開場） ◆会場ネクストワークスラーニングセンター東京都品川区上大崎2-27-1 サンフェリスタ目黒8F JR「目黒」駅より徒歩1分 ◆お申込み以下のURLよりご登録ください http://offers.compuware.com/register?cid=70170000000gdsB ◆お問い合わせ日本コンピュウェア㈱マーケティング本部セミナー担当 TEL：03-5473-4530 Email：[email protected]

Thank You

Documents

【16-E-4】 テスト革命！パフォーマンステストの画期的アプローチ

【16-E-4】テスト革命！パフォーマンステストの画期的アプローチ