ユーザーズガイド - Fujitsusoftware.fujitsu.com/jp/manual/manualfiles/m150005/j2ul...・Apache Hadoop、Hadoop、HDFS、HBase、Hive、Pig、Mahout は Apache Software Foundation

J2UL-1563-04Z0(00)2015年4月

Linux(64)

FUJITSU SoftwareInterstage Big Data Parallel Processing Server V1.2.0

ユーザーズガイド

まえがき

本書の目的

本書は、Interstage Big Data Parallel Processing Server (以降、本製品) の機能概要と、導入時に必要な操作および設定、運用につい

て説明しています。

本書の読者

本書は、本製品を利用してビッグデータ分析を行うシステムを構築するにあたり、インフラ構築の知識に加え、Apache Hadoop のシス

テム構築、操作およびアプリケーション開発の知識を有する管理者を対象にしています。

本書の構成

本書の構成は、以下のとおりです。

第1部概説編

第1章概要本製品の概要について説明します。

第2章機能本製品が提供する機能について説明します。

第2部導入編

第3章システム構成と設計本製品を使用する際に検討すべきサーバ構成、ファイルシステム構成、

ネットワーク構成、およびユーザーアカウントの設計について説明しま

す。

第4章システム要件本製品のハードウェア要件およびソフトウェア要件について説明します。

第5章システム構築の準備本製品の導入にあたり、事前の準備作業について説明します。

第6章インストール本製品のインストールおよびセットアップ方法について説明します。

第7章アンインストール本製品のアンインストール方法について説明します。

第3部運用編

第8章起動・停止本製品の Hadoop の起動および停止方法について説明します。

第9章アプリケーションの開発と登録 Hadoop で実行するアプリケーションの開発手法について説明します。

第10章ジョブの実行・停止本製品を使用して、Hadoop ジョブの実行および停止する方法について

説明します。

第11章外部プログラム並列実行機能の

使い方

外部プログラム並列実行機能の使い方について説明します。

第12章ジョブの実行ユーザーの管理 Hadoop ジョブの操作を行うジョブ実行ユーザーの管理について説明し

ます。

第13章スレーブサーバの追加と削除本製品の導入後（運用開始後）におけるスレーブサーバの追加および

削除方法について説明します。

第14章ストレージシステムの追加と削除本製品の導入後（運用開始後）におけるストレージシステムの追加およ

び削除方法について説明します。

第15章バックアップ・リストア本製品のシステム構成のバックアップおよびリストア方法について説明し

ます。

第16章異常時の操作本製品を使用したシステムで異常が発生した場合の対処方法について

説明します。

第17章システムの設計・開発・運用にお

ける前提知識や役立つ情報

本製品を使用してシステムを設計・開発・運用する際の前提知識や、役

に立つ情報について記載します。

第18章トラブルシューティング本製品を使用したシステムでトラブルが発生した際の調査資料の採取に

ついて説明します。

- i -

付録

付録A コマンド本製品のコマンドについて説明します。

付録B 定義ファイル本製品で使用するシステム構成情報の定義ファイルについて説明しま

す。

付録C Hadoop 設定パラメーター本製品で Hadoop を使用するために設定する各種パラメーターについ

て説明します。

付録D ポート一覧本製品で使用するポートについて説明します。

付録E メッセージ本製品が出力するメッセージの意味、対処方法について説明します。

付録F 必須パッケージ本製品が動作する基本ソフトウェアに必須となるパッケージについて説

明します。

付録G ツール本製品に付属するツールについて説明します。

付録H ユーザーアカウント本製品が作成するユーザーアカウントについて説明します。

用語集本製品で使用する用語について説明します。

本書の表記について

本書中の表記方法は以下のとおりです。

・本製品の使用時に必要な基本ソフトウェアに応じて異なる機能がある場合、以下のように区別して記述します。

【マスタサーバ】マスタサーバを対象とした記事

【スレーブサーバ】スレーブサーバを対象とした記事

【開発実行環境サーバ】開発実行環境サーバを対象とした記事

【連携サーバ】連携サーバを対象とした記事

・特に説明がない場合、本文中の"ラックサーバ"はPRIMERGY RXシリーズを指します。

・参照先は、「」でくくります。

・可変部分は、{ }でくくります。

・画面名、ダイアログ名、メニュー名およびタブ名は[ ]でくくります。

・ボタン名は< >でくくります。

・メニューの選択順を[ ] > [ ]の形式で示します。

・特に強調が必要な文字列、数値をダブルクォーテーション( " )でくくります。

・メニュー名には、設定、操作画面の起動を示す"..."は表記しません。

・使用例は、プロンプトを Linux の"#"で表記しています。

本書に記載しているURLについて

本書に記載しているURLは、2015年1月時点で参照できることを確認しています。

Interstage Big Data Parallel Processing Server ウェブサイト

Interstage Big Data Parallel Processing Server のウェブサイトでは、新のマニュアルや技術情報を公開しています。

本製品を利用する前に、Interstage Big Data Parallel Processing Server のウェブサイトを参照することをお勧めします。URL は以下の

とおりです。

http://interstage.fujitsu.com/jp/bigdatapps/

- ii -

関連マニュアル

本製品には、以下のマニュアルを同梱しています。

・ PRIMECLUSTER 4.3A30

・ ServerView Resource Orchestrator Virtual Edition V3.1.2

・ Primesoft Distributed File System V1

本製品から同梱マニュアルの内容を参照する場合は、製品媒体の下記場所に格納されているそれぞれのマニュアルを参照してくだ

さい。

DISK1 ：PRIMECLUSTER のマニュアル

{DVDドライブ}:\DISK1\products\PCL\documents\manuals\Ja

DISK1 ：ServerView Resource Orchestrator Virtual Edition のマニュアル

{DVDドライブ}:\DISK1\packages\ROR\Common\manual\ja

DISK1 ：Primesoft Distributed File System for Hadoop のマニュアル

{DVDドライブ}:\DISK1\products\PDFS\documents\manuals\ja

なお、各同梱マニュアルのうち、Interstage Big Data Parallel Processing Server が提供する機能以外は使用できません。

略称

本書中の略称は以下のとおりです。

略称製品

Linuxまたは、

Red Hat Enterprise Linux

Red Hat(R) Enterprise Linux(R) 5.8 (for Intel64)Red Hat(R) Enterprise Linux(R) 5.9 (for Intel64)Red Hat(R) Enterprise Linux(R) 5.10 (for Intel64)Red Hat(R) Enterprise Linux(R) 6.3 (for Intel64)Red Hat(R) Enterprise Linux(R) 6.4 (for Intel64)Red Hat(R) Enterprise Linux(R) 6.5 (for Intel64)

輸出管理規制表記

当社ドキュメントには、外国為替および外国貿易管理法に基づく特定技術が含まれていることがあります。特定技術が含まれている場

合は、当該ドキュメントを輸出または非居住者に提供するとき、同法に基づく許可が必要となります。

商標について

・ Apache Hadoop、Hadoop、HDFS、HBase、Hive、Pig、Mahout は Apache Software Foundation の米国およびその他の国における

登録商標または商標です。

・ Adobe、Adobe Reader および Flash は、Adobe Systems Incorporated (アドビシステムズ社)の米国ならびに他の国における商標ま

たは登録商標です。

・ Linux は、Linus Torvalds 氏の米国およびその他の国における登録商標または商標です。

・ Red Hat、RPM および Red Hat をベースとしたすべての商標とロゴは、Red Hat, Inc. の米国およびその他の国における登録商標

または商標です。

・ Oracle と Java は、Oracle Corporation およびその子会社、関連会社の米国およびその他の国における登録商標です。文中の社

名、商品名等は各社の商標または登録商標である場合があります。

- iii -

・ Microsoft、Windows、MS、MS-DOS、Windows XP、Windows Server、Windows Vista、Windows 7、Excel および Internet Explorerは、米国 Microsoft Corporation の米国およびその他の国における商標または登録商標です。

・ VMware、VMwareロゴ、VMware vSphere、VMware vCenter、ESXi、vMotion、Storage DRS、Server Appliance、DirectPath I/Oは、

VMware, Inc の米国およびその他の国における登録商標または商標です。

・ Interstage、ServerView、Symfoware および Systemwalker は、富士通株式会社の登録商標です。

・その他の会社名および製品名は、それぞれの会社の商標または登録商標です。

なお、本書では、システム名または製品名に付記される登録表示((TM)または(R))は、省略しています。

出版年月および版数

版数マニュアルコード形式

2015年 4月第4版J2UL-1563-04Z0(00) PDF

J2UL-1563-04Z2(00) HTML

お願い

本書を無断で他に転載しないようお願いします。

本書は予告なしに変更されることがあります。

Copyright 2012-2015 FUJITSU LIMITED

- iv -

目　次

第1部概説編.............................................................................................................................................................................1

第1章概要................................................................................................................................................................................ 21.1 Interstage Big Data Parallel Processing Server とは............................................................................................................................21.2 製品の特長..........................................................................................................................................................................................3

1.2.1 高性能.......................................................................................................................................................................................... 31.2.2 高信頼性...................................................................................................................................................................................... 41.2.3 高運用性...................................................................................................................................................................................... 4

第2章機能................................................................................................................................................................................ 62.1 独自分散ファイルシステム(DFS)........................................................................................................................................................ 62.2 マスタサーバ二重化............................................................................................................................................................................62.3 スマートセットアップ.............................................................................................................................................................................72.4 外部プログラムの並列実行.................................................................................................................................................................7

第2部導入編.............................................................................................................................................................................8

第3章システム構成と設計......................................................................................................................................................... 93.1 設計の概要..........................................................................................................................................................................................93.2 サーバの設計......................................................................................................................................................................................9

3.2.1 サーバ構成...................................................................................................................................................................................93.2.2 サーバ構成の設計.....................................................................................................................................................................113.2.3 システム資源の設計...................................................................................................................................................................12

3.2.3.1 静的ディスク容量.................................................................................................................................................................123.2.3.2 動的ディスク容量.................................................................................................................................................................143.2.3.3 メモリ容量.............................................................................................................................................................................153.2.3.4 システムパラメーター...........................................................................................................................................................15

3.3 ファイルシステムの設計.................................................................................................................................................................... 173.3.1 ファイルシステム構成................................................................................................................................................................. 173.3.2 ファイルシステム構成の設計..................................................................................................................................................... 18

3.3.2.1 ファイルシステムサイズ、データブロックサイズ、大ファイルサイズの関係.................................................................... 203.4 ネットワークの設計............................................................................................................................................................................ 21

3.4.1 ネットワーク構成......................................................................................................................................................................... 213.4.2 ネットワーク構成の設計............................................................................................................................................................. 23

3.5 ユーザーアカウントの設計................................................................................................................................................................ 24

第4章システム要件.................................................................................................................................................................264.1 ハードウェア要件...............................................................................................................................................................................26

4.1.1 ハードウェア条件........................................................................................................................................................................264.1.2 拡張カードオプション................................................................................................................................................................. 26

4.2 ソフトウェア構成.................................................................................................................................................................................274.3 ソフトウェア要件.................................................................................................................................................................................27

4.3.1 基本ソフトウェア..........................................................................................................................................................................274.3.2 必須ソフトウェア..........................................................................................................................................................................284.3.3 排他ソフトウェア..........................................................................................................................................................................294.3.4 関連ソフトウェア..........................................................................................................................................................................29

第5章システム構築の準備...................................................................................................................................................... 315.1 サーバの BIOS 設定.........................................................................................................................................................................315.2 OS 導入時のファイルシステム.......................................................................................................................................................... 325.3 SELinux 機能の無効化.................................................................................................................................................................... 325.4 NetworkManagerの無効化............................................................................................................................................................... 335.5 システムパラメーターの設定.............................................................................................................................................................335.6 ファイアーウォールの設定................................................................................................................................................................ 345.7 ホスト名の設定.................................................................................................................................................................................. 355.8 サーバ名の設定................................................................................................................................................................................36

- v -

5.9 業務 LAN のネットワークインターフェースの設定...........................................................................................................................365.10 システム時刻の設定........................................................................................................................................................................375.11 ストレージシステム環境の準備....................................................................................................................................................... 375.12 ssh の設定........................................................................................................................................................................................385.13 SNMP トラップデーモンの設定...................................................................................................................................................... 385.14 ServerView Agent の設定...............................................................................................................................................................395.15 IPMI シャットダウンエージェントの設定......................................................................................................................................... 395.16 kdump シャットダウンエージェントの設定.......................................................................................................................................405.17 KVM シャットダウンエージェントの設定.........................................................................................................................................405.18 Microsoft LAN Manager モジュールの展開.................................................................................................................................. 42

第6章インストール...................................................................................................................................................................446.1 マスタサーバへのインストール..........................................................................................................................................................46

6.1.1 マスタサーバ機能のインストール...............................................................................................................................................476.1.1.1 構成ファイル bdpp.conf の作成.......................................................................................................................................... 476.1.1.2 マスタサーバ機能のインストール........................................................................................................................................486.1.1.3 ソフトウェア製品の修正適用...............................................................................................................................................49

6.1.2 HA クラスタのセットアップ.......................................................................................................................................................... 496.1.2.1 HA クラスタのセットアップ1................................................................................................................................................. 506.1.2.2 HA クラスタのセットアップ2................................................................................................................................................. 506.1.2.3 システムの再起動................................................................................................................................................................50

6.1.3 DFS のセットアップ..................................................................................................................................................................... 506.1.3.1 共用ディスク設定の確認.....................................................................................................................................................526.1.3.2 クラスタ状態の確認............................................................................................................................................................. 536.1.3.3 管理パーティションの初期化.............................................................................................................................................. 546.1.3.4 管理パーティションへの DFS 管理サーバ情報の登録..................................................................................................... 546.1.3.5 pdfsfrmd デーモンの起動...................................................................................................................................................546.1.3.6 ファイルシステムの作成...................................................................................................................................................... 546.1.3.7 MapReduce 実行用のユーザーID の設定.........................................................................................................................556.1.3.8 DFS クライアント情報の登録...............................................................................................................................................566.1.3.9 マウントポイントの作成および fstab の設定........................................................................................................................576.1.3.10 マウント...............................................................................................................................................................................596.1.3.11 DFS ファイルシステム構成情報の生成............................................................................................................................ 59

6.1.4 ネットワーク二重化・Hadoop のセットアップ...............................................................................................................................606.1.4.1 スレーブサーバ定義ファイル slaves の作成...................................................................................................................... 606.1.4.2 ネットワーク二重化・Hadoop のセットアップの実行............................................................................................................61

6.2 スレーブサーバへのインストール..................................................................................................................................................... 616.2.1 スレーブサーバ機能のインストール.......................................................................................................................................... 62

6.2.1.1 構成ファイル bdpp.conf の作成.......................................................................................................................................... 626.2.1.2 スレーブサーバ機能のインストール................................................................................................................................... 626.2.1.3 ソフトウェア製品の修正適用...............................................................................................................................................63

6.2.2 DFS のセットアップ..................................................................................................................................................................... 636.2.2.1 マウントポイントの作成および fstab の設定........................................................................................................................636.2.2.2 マウント.................................................................................................................................................................................65

6.2.3 ネットワーク二重化・Hadoop のセットアップ...............................................................................................................................656.2.4 スレーブサーバとの接続確認....................................................................................................................................................66

6.3 2台目以降のスレーブサーバの追加................................................................................................................................................676.3.1 物理環境へのスレーブサーバ追加...........................................................................................................................................67

6.3.1.1 スレーブサーバの導入........................................................................................................................................................696.3.1.2 スレーブサーバの登録........................................................................................................................................................696.3.1.3 ネットワークパラメーター・iSCSI 名の自動設定の登録..................................................................................................... 706.3.1.4 クローニングイメージの作成............................................................................................................................................... 716.3.1.5 システムの再起動................................................................................................................................................................726.3.1.6 クローニング.........................................................................................................................................................................726.3.1.7 システムの再起動................................................................................................................................................................72

6.3.2 仮想環境へのスレーブサーバ追加...........................................................................................................................................726.3.2.1 スレーブサーバの導入........................................................................................................................................................73

- vi -

6.3.2.2 ネットワークパラメーター・iSCSI 名の自動設定の登録..................................................................................................... 736.3.2.3 クローニング.........................................................................................................................................................................756.3.2.4 サーバ名の設定..................................................................................................................................................................756.3.2.5 仮想マシンの再起動...........................................................................................................................................................75

6.4 開発実行環境サーバへのインストール............................................................................................................................................766.4.1 開発実行環境サーバ機能のインストール.................................................................................................................................76

6.4.1.1 構成ファイル bdpp.conf の作成.......................................................................................................................................... 766.4.1.2 開発実行環境サーバ機能のインストール..........................................................................................................................766.4.1.3 ソフトウェア製品の修正適用...............................................................................................................................................77

6.4.2 DFS のセットアップ..................................................................................................................................................................... 776.4.2.1 マウントポイントの作成および fstab の設定........................................................................................................................776.4.2.2 マウント.................................................................................................................................................................................78

6.4.3 Hadoop のセットアップ................................................................................................................................................................796.5 連携サーバへのインストール............................................................................................................................................................79

6.5.1 連携サーバ機能のインストール.................................................................................................................................................796.5.1.1 構成ファイル bdpp.conf の作成.......................................................................................................................................... 806.5.1.2 連携サーバ機能のインストール..........................................................................................................................................806.5.1.3 ソフトウェア製品の修正適用...............................................................................................................................................81

6.5.2 DFS のセットアップ..................................................................................................................................................................... 816.5.2.1 マウントポイントの作成および fstab の設定........................................................................................................................816.5.2.2 hadoop グループおよび mapred ユーザーの登録.............................................................................................................826.5.2.3 マウント.................................................................................................................................................................................82

第7章アンインストール............................................................................................................................................................ 847.1 マスタサーバからのアンインストール................................................................................................................................................84

7.1.1 ネットワーク二重化のアンセットアップ....................................................................................................................................... 857.1.2 DFS のアンセットアップ.............................................................................................................................................................. 857.1.3 HA クラスタのアンセットアップ................................................................................................................................................... 877.1.4 マスタサーバ機能のアンインストール........................................................................................................................................877.1.5 アンインストール後の作業..........................................................................................................................................................88

7.1.5.1 アンインストール後に残るディレクトリおよびファイルについて..........................................................................................887.1.5.2 「アンインストールと管理(ミドルウェア)」のアンインストール...............................................................................................897.1.5.3 アンインストール後に残るOSの設定について................................................................................................................... 907.1.5.4 アンインストール後に残るユーザーについて.....................................................................................................................90

7.1.6 システムの再起動.......................................................................................................................................................................907.2 スレーブサーバからのアンインストール............................................................................................................................................90

7.2.1 ネットワーク二重化のアンセットアップ....................................................................................................................................... 907.2.2 DFS のアンセットアップ.............................................................................................................................................................. 917.2.3 スレーブサーバ機能のアンインストール................................................................................................................................... 917.2.4 アンインストール後の作業..........................................................................................................................................................92

7.2.4.1 アンインストール後に残るディレクトリおよびファイルについて..........................................................................................927.2.4.2 アンインストール後に残るOSの設定について................................................................................................................... 937.2.4.3 アンインストール後に残るユーザーについて.....................................................................................................................93

7.2.5 システムの再起動.......................................................................................................................................................................947.3 開発実行環境サーバからのアンインストール.................................................................................................................................. 94

7.3.1 DFS のアンセットアップ.............................................................................................................................................................. 947.3.2 開発実行環境サーバ機能のアンインストール..........................................................................................................................947.3.3 アンインストール後の作業..........................................................................................................................................................95

7.3.3.1 アンインストール後に残るディレクトリおよびファイルについて..........................................................................................957.3.3.2 アンインストール後に残るOSの設定について................................................................................................................... 967.3.3.3 アンインストール後に残るユーザーについて.....................................................................................................................96

7.3.4 システムの再起動.......................................................................................................................................................................967.4 連携サーバからのアンインストール.................................................................................................................................................. 97

7.4.1 DFS のアンセットアップ.............................................................................................................................................................. 977.4.2 連携サーバ機能のアンインストール..........................................................................................................................................977.4.3 アンインストール後の作業..........................................................................................................................................................98

7.4.3.1 アンインストール後に残るディレクトリおよびファイルについて..........................................................................................98

- vii -

7.4.3.2 アンインストール後に残るユーザーについて.....................................................................................................................997.4.4 システムの再起動.......................................................................................................................................................................99

第3部運用編.........................................................................................................................................................................100

第8章起動・停止................................................................................................................................................................... 1018.1 起動................................................................................................................................................................................................. 1018.2 停止................................................................................................................................................................................................. 1028.3 状態表示......................................................................................................................................................................................... 103

第9章アプリケーションの開発と登録...................................................................................................................................... 1059.1 アプリケーションの開発環境...........................................................................................................................................................1059.2 アプリケーションの開発...................................................................................................................................................................105

9.2.1 アプリケーションの概要............................................................................................................................................................1059.2.2 アプリケーションの設計............................................................................................................................................................1069.2.3 アプリケーション作成................................................................................................................................................................1079.2.4 MapReduce アプリケーション開発のためのリファレンス......................................................................................................... 107

9.3 アプリケーションの登録...................................................................................................................................................................107

第10章ジョブの実行・停止.....................................................................................................................................................10810.1 入出力データの準備.....................................................................................................................................................................10810.2 ジョブの実行..................................................................................................................................................................................10910.3 ジョブの停止..................................................................................................................................................................................10910.4 ジョブの状態表示..........................................................................................................................................................................110

第11章外部プログラム並列実行機能の使い方...................................................................................................................... 11111.1 概要............................................................................................................................................................................................... 11111.2 外部プログラムと入出力ファイル.................................................................................................................................................. 11111.3 作業手順....................................................................................................................................................................................... 11411.4 外部プログラムの開発...................................................................................................................................................................115

11.4.1 Mapタスクで使用するファイル............................................................................................................................................... 11511.4.2 Reduceタスクで使用するファイル...........................................................................................................................................116

11.5 MapReduce設定ファイル...............................................................................................................................................................11711.5.1 MapReduce設定ファイルのフォーマット................................................................................................................................ 11711.5.2 MapReduce設定ファイルに指定する情報一覧.....................................................................................................................11811.5.3 Hadoopジョブ名の指定.......................................................................................................................................................... 11911.5.4 外部プログラムの指定............................................................................................................................................................11911.5.5 外部プログラムの再実行を行う復帰値のしきい値................................................................................................................12011.5.6 ジョブをエラーとして扱う復帰値のしきい値...........................................................................................................................12111.5.7 環境変数の指定.....................................................................................................................................................................12111.5.8 入出力ファイルの指定........................................................................................................................................................... 12211.5.9 出力データファイル格納基準ディレクトリの上書きの指定................................................................................................... 12211.5.10 キー情報の指定................................................................................................................................................................... 12311.5.11 Shuffle&sort入力データの扱いの指定............................................................................................................................... 12411.5.12 Map出力データファイル自動ソートの指定......................................................................................................................... 12711.5.13 処理レコード件数のログを取得する.................................................................................................................................... 12711.5.14 カレントディレクトリの退避の指定........................................................................................................................................ 12711.5.15 バッファサイズの指定...........................................................................................................................................................12811.5.16 主キー一覧ファイルの指定..................................................................................................................................................12811.5.17 一意振り分けの指定............................................................................................................................................................ 12811.5.18 一意振り分けにおけるキーの上限数の指定...................................................................................................................... 12811.5.19 Mapタスク複数ファイル出力モード......................................................................................................................................129

11.6 Hadoopジョブの実行..................................................................................................................................................................... 12911.6.1 実行に必要な資源の配付..................................................................................................................................................... 12911.6.2 Hadoop入力データファイルの準備....................................................................................................................................... 12911.6.3 外部プログラムの並列実行....................................................................................................................................................13011.6.4 外部プログラムのエラーと復帰値.......................................................................................................................................... 13011.6.5 外部プログラムが出力するファイル....................................................................................................................................... 131

- viii -

11.7 Shuffle&sortの振り分け処理について......................................................................................................................................... 13111.7.1 ハッシュ値により振り分ける....................................................................................................................................................13111.7.2 キー分布を考慮し自動的に適な条件に振り分ける..........................................................................................................13211.7.3 キーごとに異なるタスクに振り分ける..................................................................................................................................... 13211.7.4 主キー一覧ファイル............................................................................................................................................................... 132

11.7.4.1 主キー一覧ファイル作成コマンド................................................................................................................................... 13311.7.4.2 テキストエディタを使用した主キー一覧ファイルの作成................................................................................................ 13411.7.4.3 スペアReduceタスク......................................................................................................................................................... 135

11.8 サンプルプログラム........................................................................................................................................................................13511.8.1 サンプル1 CSVファイルの突合せ処理..................................................................................................................................13611.8.2 サンプル2 CSVファイルのフィルタリングと集計処理............................................................................................................ 136

第12章ジョブの実行ユーザーの管理..................................................................................................................................... 13712.1 ジョブ実行ユーザーの追加.......................................................................................................................................................... 137

12.1.1 ユーザーアカウントの作成..................................................................................................................................................... 13712.1.2 DFS上にユーザーのホームディレクトリを作成......................................................................................................................13812.1.3 MapReduceジョブユーザー認証キーの設定........................................................................................................................ 138

12.2 ジョブ実行ユーザーの削除.......................................................................................................................................................... 13912.2.1 DFS上に作成したユーザーのホームディレクトリの削除.......................................................................................................13912.2.2 ユーザーアカウントの削除..................................................................................................................................................... 139

12.3 OSS実行時の環境変数の設定.....................................................................................................................................................13912.3.1 ユーザープロファイルへの追加.............................................................................................................................................140

第13章スレーブサーバの追加と削除..................................................................................................................................... 14113.1 スレーブサーバの追加..................................................................................................................................................................141

13.1.1 ホスト名の設定....................................................................................................................................................................... 14213.1.2 DFS クライアント情報の登録..................................................................................................................................................14313.1.3 クローニングによる追加..........................................................................................................................................................14413.1.4 Hadoop の停止....................................................................................................................................................................... 14513.1.5 再マウント................................................................................................................................................................................14513.1.6 スレーブサーバ定義ファイルの編集および反映.................................................................................................................. 14513.1.7 Hadoop 設定パラメーターの変更.......................................................................................................................................... 14613.1.8 Hadoop の起動....................................................................................................................................................................... 146

13.2 スレーブサーバの削除..................................................................................................................................................................14713.2.1 Hadoop の停止....................................................................................................................................................................... 14813.2.2 スレーブサーバ定義ファイルの編集および反映.................................................................................................................. 14813.2.3 Hadoop 設定パラメーターの変更.......................................................................................................................................... 14813.2.4 Hadoop の起動....................................................................................................................................................................... 14913.2.5 アンマウントおよび fstab の設定解除.................................................................................................................................... 14913.2.6 DFS クライアント情報の削除..................................................................................................................................................149

第14章ストレージシステムの追加と削除................................................................................................................................ 15114.1 ストレージシステムの追加............................................................................................................................................................. 151

14.1.1 Hadoop の停止....................................................................................................................................................................... 15214.1.2 アンマウント.............................................................................................................................................................................15314.1.3 パーティションの追加............................................................................................................................................................. 15314.1.4 DFS ファイルシステム構成情報の再作成と配付.................................................................................................................. 15314.1.5 マウント....................................................................................................................................................................................15414.1.6 Hadoop の起動....................................................................................................................................................................... 154

14.2 ストレージシステムの削除............................................................................................................................................................. 15414.2.1 Hadoop の停止....................................................................................................................................................................... 15614.2.2 アンマウント.............................................................................................................................................................................15614.2.3 ファイルシステムの削除......................................................................................................................................................... 15614.2.4 ファイルシステムの作成......................................................................................................................................................... 15714.2.5 MapReduce 実行用のユーザーID の設定............................................................................................................................15714.2.6 DFS ファイルシステム構成情報の再作成と配付.................................................................................................................. 15714.2.7 マウント....................................................................................................................................................................................15814.2.8 Hadoop用のディレクトリ作成.................................................................................................................................................. 158

- ix -

14.2.9 Hadoop の起動....................................................................................................................................................................... 159

第15章バックアップ・リストア..................................................................................................................................................16015.1 バックアップ................................................................................................................................................................................... 160

15.1.1 バックアップコマンドによって退避される資源....................................................................................................................... 16015.1.2 バックアップ方法.................................................................................................................................................................... 162

15.1.2.1 マスタサーバ、開発実行環境サーバ、連携サーバのバックアップ...............................................................................16215.1.2.2 スレーブサーバのバックアップ....................................................................................................................................... 163

15.2 リストア............................................................................................................................................................................................16415.2.1 リストア方法.............................................................................................................................................................................164

15.2.1.1 マスタサーバ、開発実行環境サーバ、連携サーバのリストア....................................................................................... 16415.2.1.2 スレーブサーバのリストア................................................................................................................................................166

第16章異常時の操作............................................................................................................................................................16816.1 マスタサーバ異常時の操作..........................................................................................................................................................169

16.1.1 マスタサーバが二重化構成の場合....................................................................................................................................... 16916.1.2 マスタサーバが二重化構成でない場合................................................................................................................................174

16.2 スレーブサーバ異常時の操作......................................................................................................................................................17616.3 開発実行環境サーバ異常時の操作............................................................................................................................................17816.4 連携サーバ異常時の操作............................................................................................................................................................17816.5 ファイルシステム異常時の操作.................................................................................................................................................... 17916.6 異常の確認方法............................................................................................................................................................................180

第17章システムの設計・開発・運用における前提知識や役立つ情報...................................................................................... 18317.1 動作の概要....................................................................................................................................................................................183

17.1.1 各サーバの役割.....................................................................................................................................................................18317.1.2 各機能を構成するプロセスの詳細........................................................................................................................................ 184

17.2 設計............................................................................................................................................................................................... 18517.2.1 DFS領域の割り当て............................................................................................................................................................... 18517.2.2 MapReduce作業領域の割り当て........................................................................................................................................... 18617.2.3 データの圧縮..........................................................................................................................................................................18717.2.4 タスクスケジューラによるサーバ稼働率の設計.....................................................................................................................189

17.3 起動・停止、異常時の動作........................................................................................................................................................... 18917.3.1 各デーモンプロセスの起動・停止..........................................................................................................................................18917.3.2 異常発生箇所の特定.............................................................................................................................................................19017.3.3 JobTrackerプロセス異常時の動作.........................................................................................................................................19117.3.4 TaskTrackerプロセス異常時の動作.......................................................................................................................................19117.3.5 MDS異常時の動作................................................................................................................................................................ 19117.3.6 AC異常時の動作................................................................................................................................................................... 191

17.4 運用............................................................................................................................................................................................... 19217.4.1 デーモンプロセスの監視........................................................................................................................................................19217.4.2 メッセージの監視....................................................................................................................................................................19217.4.3 ログファイルの一覧.................................................................................................................................................................19317.4.4 ストレージ装置の機能を利用したバックアップ......................................................................................................................195

17.5 ジョブの実行..................................................................................................................................................................................19617.5.1 Hadoopジョブとタスク..............................................................................................................................................................19617.5.2 Hadoopタスクスケジューラ......................................................................................................................................................19917.5.3 Hadoopジョブの起動・停止の詳細........................................................................................................................................ 20317.5.4 Hadoopジョブのデバッグ........................................................................................................................................................20417.5.5 Hadoopジョブのプロパティ設定............................................................................................................................................. 207

17.6 アプリケーションの開発.................................................................................................................................................................20717.6.1 MapReduceアプリケーションの概要.......................................................................................................................................20717.6.2 MapReduceアプリケーション作成時の注意点.......................................................................................................................20917.6.3 MapReduceアプリケーションのテスト..................................................................................................................................... 210

17.7 FAQ............................................................................................................................................................................................... 21017.7.1 Hadoopのメッセージとその対処.............................................................................................................................................21017.7.2 よくある質問やTips.................................................................................................................................................................212

- x -

第18章トラブルシューティング................................................................................................................................................21518.1 HA クラスタでトラブルが発生した場合.........................................................................................................................................216

18.1.1 調査資料の採取.....................................................................................................................................................................21618.2 クローニングでトラブルが発生した場合....................................................................................................................................... 219

18.2.1 調査資料の種類.....................................................................................................................................................................21918.2.2 初期調査資料の採取.............................................................................................................................................................22018.2.3 詳細調査資料の採取.............................................................................................................................................................221

18.3 DFS、共用ディスクでトラブルが発生した場合............................................................................................................................. 22218.3.1 DFSの調査資料採取............................................................................................................................................................. 222

18.4 Hadoopでトラブルが発生した場合............................................................................................................................................... 22418.5 外部プログラム並列実行機能でトラブルが発生した場合........................................................................................................... 224

18.5.1 ログの出力例と内容の確認方法........................................................................................................................................... 23118.5.1.1 ジョブ成功時の例............................................................................................................................................................23218.5.1.2 ジョブ失敗時の例（実行する外部プログラムが見つからない例）..................................................................................23318.5.1.3 ジョブ失敗時の例（外部プログラムで実行時エラーが起きている例）...........................................................................234

付録A コマンド....................................................................................................................................................................... 237A.1 bdpp_addserver............................................................................................................................................................................... 238A.2 bdpp_backup................................................................................................................................................................................... 239A.3 bdpp_changeimagedir..................................................................................................................................................................... 240A.4 bdpp_changeslaves......................................................................................................................................................................... 241A.5 bdpp_deployimage..........................................................................................................................................................................242A.6 bdpp_getimage................................................................................................................................................................................243A.7 bdpp_lanctl......................................................................................................................................................................................244A.8 bdpp_listimage................................................................................................................................................................................245A.9 bdpp_listserver................................................................................................................................................................................246A.10 bdpp_prepareserver.......................................................................................................................................................................247A.11 bdpp_removeimage.......................................................................................................................................................................248A.12 bdpp_removeserver.......................................................................................................................................................................249A.13 bdpp_restore..................................................................................................................................................................................250A.14 bdpp_start......................................................................................................................................................................................251A.15 bdpp_stat....................................................................................................................................................................................... 252A.16 bdpp_stop......................................................................................................................................................................................253A.17 bdpp_submitjob.............................................................................................................................................................................254A.18 bdpp_mkmlist............................................................................................................................................................................... 255

付録B 定義ファイル................................................................................................................................................................257B.1 bdpp.conf.........................................................................................................................................................................................257B.2 slaves............................................................................................................................................................................................... 271B.3 clone.conf........................................................................................................................................................................................ 271B.4 FJSVrcx.conf...................................................................................................................................................................................274B.5 ipaddr.conf...................................................................................................................................................................................... 274B.6 initiator.conf.................................................................................................................................................................................... 277

付録C Hadoop 設定パラメーター........................................................................................................................................... 279C.1 hadoop-env.sh................................................................................................................................................................................. 279C.2 core-site.xml....................................................................................................................................................................................281C.3 mapred-site.xml...............................................................................................................................................................................281C.4 pdfs-site.xml....................................................................................................................................................................................283C.5 sysctl.conf........................................................................................................................................................................................284C.6 limits.conf........................................................................................................................................................................................285C.7 HDFS に関する設定（参考情報）...................................................................................................................................................285

付録D ポート一覧.................................................................................................................................................................. 288

付録E メッセージ....................................................................................................................................................................292E.1 インストール時のメッセージ............................................................................................................................................................ 292E.2 セットアップ時のメッセージ.............................................................................................................................................................294

- xi -

E.3 運用中に出力されるメッセージ...................................................................................................................................................... 297E.3.1 コマンド実行時のメッセージ.................................................................................................................................................... 297E.3.2 その他のメッセージ..................................................................................................................................................................302

付録F 必須パッケージ............................................................................................................................................................303

付録G ツール........................................................................................................................................................................ 311G.1 ジョブヒストリログ可視化ツール...................................................................................................................................................... 311

G.1.1 使用手順..................................................................................................................................................................................313G.1.2 実行方法..................................................................................................................................................................................313G.1.3 ジョブヒストリサマリファイル......................................................................................................................................................317

付録H ユーザーアカウント......................................................................................................................................................327

用語集...................................................................................................................................................................................328

- xii -

第1部概説編本製品の特長や機能について説明します。

第1章概要........................................................................................................................................................ 2

第2章機能........................................................................................................................................................ 6

- 1 -

第1章概要

本章では、本製品の概要および特長について説明します。

1.1 Interstage Big Data Parallel Processing Server とは

Interstage Big Data Parallel Processing Server は、ビッグデータ処理の業界標準である「Apache Hadoop」に、当社独自の技術を搭載

したソフトウェアです。

近年、スマートフォン、タブレット端末などのスマートデバイスや各種センサーから収集されるデータは、大量であるとともに、形式や構

造がバラバラであり、しかも刻々と増え続けています。これらの「ビッグデータ」と呼ばれるデータは、先進企業を中心に活用が進み、こ

れまで得られなかったビジネスメリットを続々と創出していることから、大きな注目を集めています。

本製品は、信頼性と処理性能の大幅な向上と、システム導入時間の短縮、および運用管理にかかる負荷軽減を実現し、企業システム

でのビッグデータ活用を支援します。

ビッグデータ

ビッグデータには次の特徴があります。

1. 大量のデータ

TB(テラバイト)～PB(ペタバイト)に及ぶ大容量で多数のデータ

2. 多様なデータ

様々な形式のデータ(構造化データ(データベースのデータ)・非構造化データ(センサー情報、アクセスログ情報などのテキ

ストデータ) ・半構造化データ(構造化データ、非構造化データの両方の性質を持つデータ))

3. 高頻度で発生するデータ

センサーなどから刻々と新しく発生するデータ

4. リアルタイムに使いたいデータ

短時間で分析処理を行い、リアルタイムに利活用

上記ビッグデータ処理のうち、(1)大量データ処理、(2)多様なデータ解析が可能なアプリケーションとして、「Apache Hadoop(*1)」が業界標準として、広く利用されてきています。

*1 Apache Hadoop: Apache Software Foundation(ASF) が開発したビッグデータの効率的な分散・並列処理を行うオープンソース

ソフトウェア

- 2 -

Apache Hadoop

大量データを分割かつ、数十～数千台のサーバに分散配置して並列処理することによって、大量のデータに対するバッチ処理を

短時間で処理する技術であり、次の特長があります。

－低コスト

比較的安価なサーバを多数使用して並列処理することで、経済的なシステムを構成できます。

－高可用性

分割されたデータは3か所以上に分散配置されることによって、並列処理を実行するサーバ(スレーブサーバ)は同時に2台停

止しても、処理を続行することができます。

－スケールアウト

スレーブサーバの追加により、容易にスケールアウトできます。

－多様なデータ処理

文字列検索などの単純な分析から、画像解析などの高度な分析ロジックに対応する並列分析処理アプリケーション(MapReduceアプリケーション)を開発することができ、多様な形式のデータを処理することができます。

1.2 製品の特長

本製品の特長について説明します。

・高性能

・高信頼性

・高運用性

1.2.1 高性能

Hadoop の処理サーバへのデータ転送時間を削減

「Apache Hadoop」の分散ファイルシステム(HDFS)に加え、独自の分散ファイルシステム(DFS)によりストレージシステムに格納したデー

タに直接アクセスして処理することができます。

業務アプリケーションのデータを一旦「HDFS」に転送してから処理する Hadoop に対し、独自の分散ファイルシステムを利用した場合

は、データ転送が不要になるため、処理時間を大幅に短縮することができます。

- 3 -

既存ツールをそのまま活用

データを格納するストレージシステムとのインターフェースは、Linux 標準のため、バックアップや印刷などの既存ツールをそのまま活

用することができます。

1.2.2 高信頼性

単一障害点の解消

「Apache Hadoop」では、全体を管理するマスタサーバに障害が起きると、マスタサーバの異常原因を取り除き復旧するまでの間、

「HDFS」が使用できない状態になり、業務の停止時間が長時間に及ぶこともあります(単一障害点)。本製品では、当社の HA クラスタ

技術を用いてマスタサーバを二重化運用することでこの単一障害点を解消し、短時間での業務再開を可能にし、高い信頼性を実現

しています。

1.2.3 高運用性

短時間で簡単なセットアップ

本製品は、当社のスマートソフトウェアテクノロジー(*)に基づいた「スマートセットアップ」を搭載しています。

あらかじめ作られたスレーブサーバのクローンを複数サーバへ一括して自動配備し設定できるため、システム導入を短時間で行いま

す。

- 4 -

サーバ増設時も、イメージの自動配備ですばやく簡単にスケールアウトできます。

* スマートソフトウェアテクノロジー：ハードウェアやソフトウェアの状況を自ら判断し、より簡単・安心に使うための適化を図る当社独

自の技術

サーバ仮想化によるコスト削減

「Apache Hadoop」では、スレーブサーバの台数を増やすことで分散処理の性能を向上させることができますが、サーバの追加導入に

伴いコストも増大します。

本製品は、ハイパーバイザー型のサーバ仮想化ソフトウェアを使用してシステムを構築することができます。小限の物理マシンで

CPU・メモリなどのリソースを効率的に使用することによって、導入コスト・ランニングコストを削減できます。

- 5 -

第2章機能

本章では、本製品で提供する機能について説明します。

・独自分散ファイルシステム(DFS)

・マスタサーバ二重化

・スマートセットアップ

・外部プログラム並列実行

2.1 独自分散ファイルシステム(DFS)独自分散ファイルシステム（DFS）には以下の機能があります。

外部ストレージ装置の利用

高い信頼性・運用性のある当社の外部ストレージ装置 "ETERNUS" を利用することができます。

RAID 機能を利用して、HDFS のようなソフトウェアによるデータのレプリカ処理を行う必要がなく、高速なアクセスを実現していま

す。

また、スレーブサーバとディスクを個別にサイジングできるため、必要な資源だけを無駄なく追加できます。

iSCSIインターフェース、またはFibre Channelインターフェースによる接続を利用することができます。

POSIX 準拠のインターフェース

Linux 標準のファイルアクセスインターフェース（POSIX）をサポートします。

アプリケーションの変更なしにデータ入出力が可能なため、容易かつ、効率的な連携を実現できます。

メモリキャッシュによる高速化

スレーブサーバ内のメモリキャッシュを効率的に割り当てることができ、処理速度を向上しています。

各サーバで取得した管理データ情報（メタデータ）をキャッシュ保持することで、管理データにアクセスするためのネットワーク通信

が繰返し発生することはありません。

圧縮機能によるストレージ容量の削減

ファイルシステム内で自動的にデータの圧縮／伸長を行う圧縮機能を搭載しています。データ格納に必要なディスク容量を節減

し、格納コストを抑えます。

圧縮したファイルの操作は通常のファイルとまったく同じで、圧縮されているかどうかを意識する必要はありません。ディレクトリに圧

縮属性を設定しておけば、その配下に作成するファイルやサブディレクトリは自動的に圧縮されるため、ファイルごとに圧縮する必

要はありません。

2.2 マスタサーバ二重化

2台のマスタサーバ（プライマリおよびセカンダリ）を用いた二重化構成にすることで、マスタサーバ(プライマリ)がダウンしてもマスタサー

バ（セカンダリ）に処理を引き継ぐことができます。また、Hadoop を構成する JobTracker（MapReduce）をクラスタアプリケーションとして

登録することで、Hadoop に異常が発生した場合にマスタサーバ(セカンダリ)に処理を引き継ぎます。

- 6 -

また、マスタサーバとスレーブサーバ間のネットワークの伝送路を冗長化します。2本のネットワークの伝送路を用いて二重化すること

で、障害発生時に該当の伝送路を切り離すことで、ネットワークの通信を継続できます。

ポイント

1台のマスタサーバまたは1本のネットワークの伝送路により Hadoop のネットワークを構成することも可能です。

ただし、「1.2.2 高信頼性」で説明した Hadoop の単一障害点であるマスタサーバの障害発生時に運用を継続できるように、マスタサー

バを二重化する構成を推奨します。

2.3 スマートセットアップ

2台目以降のスレーブサーバの構築（クローニング）を自動化します。

1台のスレーブサーバから採取したクローニングイメージを、複数のスレーブサーバに配付することで短時間にスケールアップが可能

となります。また、スレーブサーバのホスト名およびIPアドレスなどのネットワーク設定も自動的に設定できます。物理サーバのクローニ

ングだけではなく、仮想環境に構築したスレーブサーバからクローニングを行うことも可能です。

本製品には、クローニング機能を呼び出すコマンドを提供しており、クローニングイメージの採取から配付、設定までを簡単に実現で

きます。

2.4 外部プログラムの並列実行

Hadoopから、外部プログラム(Hadoop外で動作する通常のプログラム)を呼び出し、並列に実行する機能を提供します。

業務処理には、データ量や処理内容などに依存して、Hadoop上で並列に実行した方が性能的に有利な処理と単独で実行した方が

有利な処理とが混在しています。これは、Hadoopで処理するには相応の内部コスト(データを分散・集約する、複数のプロセスを起動

するなど)が上乗せされるため、それが実際の処理性能の向上の度合いとのトレードオフとなるためです。

また、Hadoopで処理するにはHadoopの機能を理解し、固有のAPIを利用したHadoop専用のプログラムを作成する必要があります。し

かし、結果的にHadoopで処理しない方が効率的であった場合には、Hadoop外で動作する通常のプログラムを別途作成しなければな

りません。

一方、時間とともに処理データ量が増加するなどの理由で、これまで単独で処理していた業務を並列に処理したい場合には、Hadoop専用のプログラムを新たに作成する必要があります。

本機能は、上記のような課題を解決し、

・ Hadoop専用のプログラムに関するスキルを習得しなくても並列処理プログラムの作成・実行が可能

・作成したプログラムは、処理時間や処理データ量などに応じて単独でも並列でも実行が可能

といった利点があります。

- 7 -

第2部導入編本製品の導入時におけるシステムの構築方法について説明します。

第3章システム構成と設計................................................................................................................................. 9

第4章システム要件......................................................................................................................................... 26

第5章システム構築の準備.............................................................................................................................. 31

第6章インストール...........................................................................................................................................44

第7章アンインストール.................................................................................................................................... 84

- 8 -

第3章システム構成と設計

本章では、本製品のシステム構成と設計について説明します。

3.1 設計の概要

本製品を導入する前に、必要となる設計項目について説明します。

分類設計項目概要備考

サーバの設計サーバを導入する

環境

物理環境または仮想環境のどちらに導入す

るかを決定します。

－

マスタサーバの構

成

マスタサーバを二重化構成とするか否かを

決定します。

導入時に用いる構成ファイル

bdpp.conf に指定します。

スレーブサーバの

構成

初期導入時のスレーブサーバの台数を決

定します。

導入時に2台目以降のスレー

ブサーバとして必要な台数だ

け構築します。

仮想環境のマシン

台数

仮想環境として使用するマシン台数を決定

します。（仮想環境に導入する場合）

－

システム資源の設

計

本製品のインストールおよび運用に必要と

なるディスク容量、メモリ容量、およびチュー

ニングパラメーターを確認します。

導入前に、インストール対象と

なる各サーバが要件を満たし

ていることを確認します。

ファイルシステ

ムの設計

共用ディスク装置

への搭載容量

ファイルデータの総容量を見積り、ストレー

ジ装置に搭載するディスク容量を決定しま

す。

導入時の DFS ファイルシステ

ムを構築する際に指定します。

導入前に、ストレージシステム

の導入・設定を完了させておく

必要があります。

使用するパーティ

ション

DFS で使用するためのパーティションを決

定します。

ファイルデータ領

域のサイズ

将来追加するパーティションを含めた大

サイズを決定します（任意）。

データブロックサイ

ズ

適な I/O 処理を行うためのデータブロック

サイズを決定します（任意）。

ネットワークの

設計

業務 LAN の二重

化

Hadoop の並列分散処理を行うための LANを冗長化するか否かを決定します。



導入前に、各サーバおよびス

トレージシステムが物理的に接

続されている必要があります。

CIP の二重化マスタサーバの死活監視を行うための LANを冗長化するか否かを決定します。

iSCSI の二重化ストレージシステムを接続するため LAN を冗長化するか否かを決定します。

ユーザーアカ

ウントの設計

Hadoop 利用ユー

ザーの決定

Hadoop ジョブの実行ユーザーを決定しま

す。



3.2 サーバの設計

本製品のサーバの設計について説明します。

3.2.1 サーバ構成

本製品を使用したサーバ構成およびサーバ種別について説明します。

- 9 -

マスタサーバ

大量のデータファイルをブロックに分けた上でファイル化(分散ファイルシステム)し、そのファイル名や保管場所を一元管理するサー

バです。

また、分析処理アプリケーションのジョブの実行要求を受け付け、スレーブサーバに対して並列分散処理を実行させることができま

す。

本製品では、マスタサーバを二重化構成にすることができます。

マスタサーバには、本製品のマスタサーバ機能を導入します。

スレーブサーバ

マスタサーバによってブロック化されたデータファイルを、複数のスレーブサーバが並列分散処理することによって、短時間に分析

処理を行うことができます。

また本製品では、高信頼なストレージシステム上にブロック化したデータを保管します。

スレーブサーバには、本製品のスレーブサーバ機能を導入します。

開発実行環境サーバ

並列分散を行うアプリケーション(MapReduce)の開発を容易にする Pig や Hive を導入し実行するサーバです。

開発実行環境サーバには、本製品の開発実行環境サーバ機能を導入します。

連携サーバ

Apache Hadoop の場合は、分析のために Hadoop の分散ファイルシステムである HDFS にデータを登録する必要がありました。本

製品の特長である高信頼なストレージシステム上に構築する DFS(Distributed File System)に対して、Linux 標準のファイルインター

フェースを使用して、連携サーバから業務システム上の大量データを直接転送し、分析を行うことができます。

また、連携サーバ上に既存のデータバックアップシステムを導入することで、データのバックアップを容易に利用することができま

す。

連携サーバには、本製品の連携サーバ機能を導入します。

- 10 -

注意

データ転送によりDFSに格納するデータは、Hadoopを使用して分析を行う分析対象のデータのみとしてください。意図しないI/O競

合などの発生によりHadoopの処理に影響を与える可能性があるため、他の用途で使用するデータは格納しないようにしてくださ

い。

3.2.2 サーバ構成の設計

サーバ構成の設計にあたり、以下のサーバ種別ごとに以下の設計を行ってください。

サーバを導入する環境

本製品を物理環境または仮想環境のどちらに導入するかを決定します。

仮想環境に導入する場合は、マスタサーバ(プライマリ・セカンダリ)、スレーブサーバ、および開発実行環境サーバをすべて仮想

環境に導入してください。

なお、仮想化ソフトウェアのインストールなど仮想環境の構築は、事前に実施しておいてください。

注意

連携サーバを除き、物理環境に導入するサーバと仮想環境に導入するサーバが混在するサーバ構成はサポートしません。

参照

仮想環境の構築方法については、ご使用の仮想化ソフトウェアのマニュアルを参照してください。

マスタサーバの構成

マスタサーバを二重化構成とするか否かを決定します。

本製品では、マスタサーバを二重化構成（1:1運用待機型の HA クラスタ構成）にすることができます。二重化構成では2台のマス

タサーバ(プライマリとセカンダリ)を必要とします。二重化構成を必要としない場合、1台のマスタサーバによってシステムを構成しま

す。

Hadoop の単一障害点を解消するために、二重化構成にすることを推奨します。

注意

仮想環境（VMware）に導入する場合

マスタサーバを導入した仮想マシンを VMware HA などのクラスタ配下に配置しないでください。また、マスタサーバを導入した仮

想マシンでは VMware VMotion などの機能を使用できません。

VMware を利用する場合の留意事項については、「PRIMECLUSTER 導入運用手引書 4.3」の「付録G VMware環境で

PRIMECLUSTERを使用する場合」を参照してください。

スレーブサーバの構成

本製品はスレーブサーバをスケールアウト構成とし、スレーブサーバを追加していくことで、スケーラブルに性能を向上することが

できます。このとき、必要となるスレーブサーバの台数は、Hadoop アプリケーション、処理するデータの量と特性などにより、処理時

間が変わるため、業務への適用の前に、プロトタイプによる検証を行い、サーバ台数の見積りを行うことをお勧めします。そのうえ

で、将来の増設分も含めたスレーブサーバの大台数を決定します。

- 11 -

ポイント

マスタサーバ、スレーブサーバ、開発実行環境サーバ、および連携サーバ含めて大 128 台まで設置できます。

仮想環境のマシン台数

仮想環境に使用するマシン数（物理マシンの台数）を決定します。

同一物理マシン上に多数の仮想マシンを構築して運用を行う場合、Hadoop アプリケーション、処理するデータの量と特性などに

より、分散処理性能が頭打ちとなり期待する効果が得られない場合があります。そのため、業務への適用の前に、プロトタイプによ

る検証を行い、1台あたりの仮想マシン数の見積りを行うことをお勧めします。

なお、本製品を導入する仮想マシン(ゲスト OS)は、事前に作成しておいてください。

参照

仮想マシンの作成方法については、ご使用の仮想化ソフトウェアのマニュアルを参照してください。

注意

仮想環境（KVM）に導入する場合

マスタサーバを導入する仮想マシン名（ゲスト OS のドメイン名）は、仮想マシンのホスト名と一致させる必要があります。連携サー

バを導入する仮想マシンを除き、仮想マシン名にはインストール時に指定する構成ファイル bdpp.conf の下記パラメーターと同じ名

称を指定してください。

－ BDPP_PRIMARY_NAME（マスタサーバ(プライマリ)のホスト名）

－ BDPP_SECONDARY_NAME（マスタサーバ(セカンダリ)のホスト名）

－ BDPP_SERVER_NAME（スレーブサーバのホスト名、開発実行環境サーバのホスト名）

3.2.3 システム資源の設計

本製品を導入するうえで必要となるシステム資源について説明します。

3.2.3.1 静的ディスク容量

本製品を新規にインストールする場合、以下の静的ディスク容量（OS 除く）が必要です。

【マスタサーバ】

導入環境ディレクトリディスク容量(単位:MB)

物理環境

マスタサーバ(プライマリ)

/opt 1090

/etc 15

/var 470

/usr 280

物理環境

マスタサーバ(セカンダリ)

/opt 385

/etc 2

- 12 -


/var 80

/usr 280

仮想環境

/opt 380

/etc 2

/var 40

/usr 280

【スレーブサーバ】


物理環境

/opt 330

/etc 1

/var 20

/usr 270

仮想環境

/opt 260

/etc 1

/var 20

/usr 270

【開発実行環境サーバ】


物理環境

/opt 230

/etc 1

/var 20

/usr 400

仮想環境

/opt 240

/etc 1

/var 20

/usr 400

【連携サーバ】


物理環境

/opt 35

/etc 1

/var 20

仮想環境

/opt 40

/etc 1

/var 20

- 13 -

3.2.3.2 動的ディスク容量

本製品を使用する場合、マスタサーバおよびスレーブサーバの各ディレクトリには静的ディスク容量に加えて以下のディスク容量が必

要です。



物理環境

/etc 2

/var/opt 2520

クローニングイメージファイル

格納ディレクトリ

デフォルト：

/var/opt/FJSVscw-deploysv/depot

後述の「クローニングイメージファ

イル格納域」を参照してくださ

い。

バックアップ/リストアの実行ディレクトリ

詳細は、「第15章バックアップ・リストア」を

参照してください。

150

仮想環境/etc 1

/var/opt 5



物理環境／仮想環境/etc 1

/var/opt 1

クローニングイメージファイル格納域

クローニングイメージファイル格納域は、クローニングを行う場合に必要な領域です。

クローニングを使用して採取するスレーブサーバのクローニングイメージファイルを格納する領域として、マスタサーバ上に確保します

（仮想環境に構築したスレーブサーバは除く）。

注意

・クローニングイメージファイル格納域は、マスタサーバのローカルディスクまたは SAN ストレージに作成してください。ネットワーク

ドライブ上のフォルダーや、ネットワーク上のほかのマシンの共有フォルダー(NFS、SMB など)、UNC 形式のフォルダーは指定で

きません。

・クローニングイメージの作成対象となるサーバとクローニングの対象サーバは、同じ機種である必要があります。機種が異なる場合

は、機種ごとのクローニングイメージの作成が必要です。詳細は、「6.3 2台目以降のスレーブサーバの追加」の「注意」を参照して

ください。

クローニングイメージファイル格納域として必要な容量の見積り方法は以下のとおりです。

クローニングイメージファイル格納域＝スレーブサーバ1台のディスク使用量 × 圧縮率 × 機種数

スレーブサーバ1台のディスク使用量

同一ソフトウェア構成のシステム構築実績がある場合、そのシステムのディスク使用量(1つのディスクを複数の区画に分割している

場合、各区画の使用量の合計)を用います。

- 14 -

ディスク使用量については、OS の機能を利用して確認してください。

同一ソフトウェア構成での構築実績がない場合、各ソフトウェアのインストールガイドなどに記載されたディスク容量から算出します。

圧縮率

スレーブサーバのディスクの使用域をイメージファイルとしてマスタサーバ上に格納する際の圧縮率です。

ファイルの内容によりますが、一般的に 50% 程度が期待できます。

3.2.3.3 メモリ容量

本製品を使用する場合、以下のメモリ容量（OS 除く）が必要です。


導入環境メモリ容量(単位:GB)

物理環境／仮想環境 8.0 以上


導入環境メモリ容量(単位:GB)



導入環境メモリ容量(単位: GB)



導入環境メモリ容量(単位: GB)


3.2.3.4 システムパラメーター

本製品を安定した状態で運用するためにチューニングが必要となるシステムパラメーターについて説明します。

【マスタサーバ】物理環境のマスタサーバ(プライマリ)

物理環境に導入するマスタサーバ(プライマリ)で必要となるシステムパラメーターのチューニング値は以下のとおりです。

共有メモリ

パラメーター説明設定値種別

kernel.shmmax 共有メモリの大セグメントサイズ 55155880 大

kernel.shmall 使用可能な共有メモリの総数 655360 大

kernel.shmmni 共有メモリセグメントの大数 114 加算

セマフォ

セマフォの設定値は、各パラメーター値を以下の形式で指定します。

- 15 -

kernel.sem = SEMMSL値 SEMMNS値 SEMOPM値 SEMMNI値


SEMMSL値セマフォ識別子あたりの大セマフォ数 512 大

SEMMNS値システム全体のセマフォ数 15933 加算

SEMOPM値セマフォコールあたりの大演算子数 50 大

SEMMNI値システム全体のセマフォ演算子数 2271 加算

メッセージキュー


kernel.msgmax メッセージの大サイズ 16384 大

kernel.msgmnb 1つのメッセージキューに保持できるメッセー

ジの大値

4194304 大

kernel.msgmni システム全体のメッセージキューの大値 1578

低 8192 以上必要

加算

【マスタサーバ】上記以外

仮想環境に導入するマスタサーバ(プライマリ)、およびマスタサーバ(セカンダリ)で必要となるシステムパラメーターのチューニング値

は以下のとおりです。

共有メモリ


kernel.shmmax 共有メモリの大セグメントサイズ 1048576＋

2776×共用ディスクデバ

イスのディスク数(*)×3×2

大

kernel.shmall 使用可能な共有メモリの総数変更なし－

kernel.shmmni 共有メモリセグメントの大数 30 大

*： "共用ディスクデバイスのディスク数" には、以下を指定します。

－ディスクアレイユニットの場合は論理ユニット数 (LUN)

－ディスクアレイユニット以外の場合は、物理ディスク数

セマフォ




SEMMSL値セマフォ識別子あたりの大セマフォ数変更なし－

SEMMNS値システム全体のセマフォ数 11

低 41 以上必要

加算

SEMOPM値セマフォコールあたりの大演算子数変更なし－

SEMMNI値システム全体のセマフォ演算子数 2 加算

- 16 -


低 22 以上必要

メッセージキュー


kernel.msgmax メッセージの大サイズ 16384 大

kernel.msgmnb 1つのメッセージキューに保持できるメッセー

ジの大値

4194304 大

kernel.msgmni システム全体のメッセージキューの大値 8192 大

【スレーブサーバ】／【開発実行環境サーバ】／【連携サーバ】

スレーブサーバ、開発実行環境サーバ、および連携サーバで必要となるシステムパラメーターのチューニング値は以下のとおりです。

セマフォ




SEMMSL値セマフォ識別子あたりの大セマフォ数変更なし－

SEMMNS値システム全体のセマフォ数 11

低 41 以上必要

加算

SEMOPM値セマフォコールあたりの大演算子数変更なし－

SEMMNI値システム全体のセマフォ演算子数 2

低 22 以上必要

加算

3.3 ファイルシステムの設計

本製品の DFS ファイルシステムの設計について説明します。

3.3.1 ファイルシステム構成

本製品を使用したファイルシステム構成について説明します。

- 17 -

DFS は、DFS 管理サーバと DFS クライアントから構成されます。

マスタサーバでは、DFS 管理サーバ(MDS)が動作します。スレーブサーバ、開発実行環境サーバ、および連携サーバでは DFS クラ

イアント機能(AC)が動作します。

また、DFS ファイルシステムを構成するパーティションをディスク媒体上で3つの領域に分けています。

領域種別利用コンポーネント

メタデータ領域 MDS

アップデートログ領域

ファイルデータ領域 AC

3.3.2 ファイルシステム構成の設計

ファイルシステム構成の設計にあたり、以下の設計を行ってください。

共用ディスク装置への搭載容量

本製品の運用において DFS に格納するファイルデータの総容量を想定し、DFS で必要となる共用ディスク装置の容量を見積りま

す。

領域種別見積り方法

(a)ファイルデータ領域ファイルデータで必要となる容量

(b)メタデータ領域ファイルデータ領域 ≦ 1TB の場合： 100GBファイルデータ領域＞ 1TB の場合： 300GB

(c)アップデートログ領域メタデータ領域に内包されるため見積り不要

(d)管理パーティション固定値（見積り不要）：1GB

合計 (a)+(b)+(d)

- 18 -

使用するパーティション

上記で見積った容量を踏まえ、DFS に使用する共用ディスク装置のパーティションを決定しデバイス名を確認します。

複数のパーティションから、各領域として使用する管理パーティション、代表パーティション、およびファイルデータパーティションを

決定します。

例

ファイルシステムを構成するための各領域のパーティションの例：

・管理パーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370105

・代表パーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370106

・ファイルデータパーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370107/dev/disk/by-id/scsi-1FUJITSU_300000370108

ポイント

－メタデータ領域とファイルデータ領域を分離して別パーティションに配置します。また、管理パーティションとして別途パーティ

ションが必要となります。

－ DFS のメタデータ領域とファイルデータ領域を1つのパーティションでも構成できますが、複数のパーティションで構成した場

合、I/O 処理の分散効果が得られます。

複数のパーティションで構成する場合、メタデータ領域に使用するパーティションが、代表パーティションとなります。

－大 256 パーティションまで使用できます。

－共用ディスクのデバイス名には、udev 機能により生成される by-id 名を使用します。

by-id 名の詳細は、「6.1.3.1 共用ディスク設定の確認」を参照してください。

参考

ファイルデータ領域の分離は、ファイルシステムの作成時に pdfsmkfs コマンドの dataopt オプションで指定します。

ファイルデータ領域のサイズ

DFS の容量を拡張することが予想される場合は、将来に備えて、拡張する大サイズを予測してファイルシステムを作成します。

大サイズは、ファイルシステムの作成時に pdfsmkfs コマンドの maxdsz オプションで指定できます。

注意

ファイルアクセスの高速化のため、本製品を構成する全サーバにおいて各ファイルデータパーティションごとに約6GBを予約領域

として確保します。そのため、ファイルデータ領域は以下のサイズ以上を目安に確保するようにしてください。

全サーバ数×ファイルデータパーティション数×10GB

予約領域はdfコマンド等で使用中の容量として計上されます。

参照

ファイルデータ領域のサイズの詳細は、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレン

ス」で「pdfsmkfs」を参照してください。

- 19 -

データブロックサイズ

DFS の作成時、pdfsmkfs コマンドの blocksz オプションでデータブロックサイズを指定できます。データブロックサイズを指定するこ

とで、共用ディスク装置の領域を連続で割り当てられるようになり、I/O 処理を効率的に行えます。

データブロックサイズは、圧縮機能を利用しない場合には8MB、圧縮機能を利用する場合には2MBとすることを推奨します。なお、

2MBを超えるデータブロックサイズを指定した場合、圧縮機能は利用できません。

注意

たとえば、データブロックサイズに 8MB を指定した場合、ファイルサイズが 8MB 未満であっても 8MB の共用ディスク領域が使用

されます。

小容量ファイルを大量に格納する場合は、容量効率を優先してデータブロックサイズを指定しないでください。

参照

データブロックサイズと大ファイルシステムサイズ、大ファイルサイズの関係は、「3.3.2.1 ファイルシステムサイズ、データブロッ

クサイズ、大ファイルサイズの関係」を参照してください。

3.3.2.1 ファイルシステムサイズ、データブロックサイズ、大ファイルサイズの関係

データブロックサイズは、値を指定しないでファイルシステムを作成した場合、ファイルデータ領域のサイズ、またはファイルシステムを

構成する大パーティションサイズを元に、自動で算出されます。ファイルシステムサイズが大きくなると、データブロックサイズも大きく

なります。また、データブロックサイズが大きくなると、大ファイルサイズも大きくなります。

以下に、データブロックサイズを指定しないでファイルシステムを作成した場合の、ファイルシステムサイズ、データブロックサイズ、

大ファイルサイズの関係を示します。

表3.1 ファイルシステムサイズ、データブロックサイズ、大ファイルサイズの関係

ファイルシステムサイズデータブロックサイズ大ファイルサイズ

～ 1TB 8KB 1TB － 8KB

( 1TB + 1Byte) ～ 2TB 8KB ～ 16KB (1TB － 8KB) ～ (2TB － 16KB)



( 8TB + 1Byte) ～ 16TB 16KB ～ 128KB (2TB － 16KB) ～ (16TB －128KB)



( 64TB + 1Byte) ～ 128TB 128KB ～ 1MB (16TB －128KB) ～ (128TB － 1MB)

(128TB + 1Byte) ～ 256TB 256KB ～ 1MB (32TB －256KB) ～ (128TB － 1MB)

(256TB + 1Byte) ～ 512TB 512KB ～ 1MB (64TB －512KB) ～ (128TB － 1MB)

(512TB + 1Byte) ～ 1PB 1MB 128TB － 1MB

( 1PB + 1Byte) ～ 2PB 2MB 256TB － 2MB

注意

ファイルシステムサイズには、ファイルデータ領域のサイズだけでなく、メタデータ領域やアップデートログ領域のサイズなども含まれる

ため、上表のファイルシステムサイズの各境界値付近では、データブロックサイズが 1段階小さい値になる場合があります。

- 20 -

参照

ファイルシステムの上限値については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「定量制限値」を参照

してください。

ファイルシステムのデータブロックサイズは、ファイルシステム作成時に変更できます。詳細は、「Primesoft Distributed File System forHadoop V1 ユーザーズガイド」の「コマンドリファレンス」で「pdfsmkfs」を参照してください。

3.4 ネットワークの設計

本製品のネットワークの設計について説明します。

3.4.1 ネットワーク構成

本製品を使用したネットワーク構成および LAN 種別について説明します。

管理 LAN

スマートセットアップにおけるクローニング処理を行うための LAN です。

Hadoop の並列分散処理を行うための業務 LAN とは別に設置します。

- 21 -

管理 LAN の接続先は1つ目のネットワークインターフェースを使用します。

注意

仮想環境（VMware）に導入する場合

マスタサーバを導入する二重化構成にする場合、管理 LAN に接続する NIC のインターフェース名を合わせてください。

例えば、マスタサーバ(プライマリ)の管理 LAN のインターフェースが eth0 の場合、マスタサーバ(セカンダリ)の管理 LAN のイン

ターフェースも eth0 となるようにネットワークを構成してください。

業務 LAN

マスタサーバ、スレーブサーバ間の並列分散処理を行うための LAN です。

本製品に組み込まれているネットワーク冗長化ソフトウェアを利用して、業務 LAN を冗長化することができます。

仮想環境に導入する場合は、ホストマシン上で NIC チーミング機能を使用して業務 LAN の冗長化を実現します。

参考

ネットワーク冗長化ソフトウェアを利用した業務 LAN の冗長化について

マスタサーバおよびスレーブサーバでは、NIC 切替え方式によって伝送路の切替えを制御します。NIC 切替えによって以下のと

おり IP の引継ぎが行われます。

－マスタサーバ：論理 IP アドレス引継ぎ

－スレーブサーバ：物理 IP アドレス引継ぎ

参照

NIC チーミング機能の詳細については、ご使用の仮想化ソフトウェアのマニュアルを参照してください。

クラスタインタコネクト(CIP) LAN

マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)を HA クラスタ構成とするために使用する LAN です。

本製品に組み込まれている高信頼基盤ソフトウェアを利用して、冗長化することができます。

仮想環境に導入する場合は、ホストマシン上で NIC チーミング機能を使用してクラスタインタコネクト(CIP) LAN の冗長化を実現

することも可能です。

注意

マスタサーバを二重化にしない場合においても、クラスタインタコネクト(CIP)の設定は必要です。

参照

－マスタサーバの二重化構成の設計については、「3.2.2 サーバ構成の設計」を参照してください。

－ NIC チーミング機能の詳細については、ご使用の仮想化ソフトウェアのマニュアルを参照してください。

iSCSI-LAN

各サーバとストレージシステム間のインターフェースにiSCSIを使用する場合のLANです。

ETERNUS マルチパスドライバによって構成を冗長化することができます。

なお、仮想環境に導入する場合は冗長化できません。

- 22 -

ポイント

ストレージシステムとネットワークスイッチ間の転送速度は 10Gbit/s 以上とすることをお勧めします。

注意

各サーバとストレージシステム間のインターフェースにFibre Channelを使用する場合は、iSCSI-LANの設計は不要です。

注意

仮想環境に導入する場合

・管理LAN、業務 LAN、およびクラスタインタコネクト(CIP) LAN の外部ネットワークへ通信を行うために、仮想マシンを対応する物

理 NIC にブリッジ接続する必要があります。

・仮想マシン（仮想ディスクイメージ）を共有ストレージに格納する場合は、ホストマシンと共有ストレージを接続するストレージネット

ワークを別途構成してください。

・仮想化ソフトウェアの機能でネットワーク通信が必要な場合、本製品で利用する業務 LAN、iSCSI-LAN、およびクラスタインタコ

ネクト(CIP) LAN と共用しないように設定してください。

3.4.2 ネットワーク構成の設計

ネットワーク構成の設計にあたり、「3.4.1 ネットワーク構成」の図中に示す各種 LAN の設計を行ってください。

業務 LAN の二重化

業務 LAN を冗長化するかどうか決定します。

一部の LAN に異常が発生した状態において並列分散処理を継続できるように、業務 LAN を冗長化することを推奨します。

CIP の二重化

マスタサーバを二重化構成にしている場合に、クラスタインタコネクト(CIP)を冗長化するかどうかを決定します。

クラスタインタコネクト(CIP)は、マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)間でサーバの死活監視を行うために必要であ

り、LAN の障害に備えて冗長化することを推奨します。

iSCSI の二重化

外部ストレージ装置 "ETERNUS" を利用する場合に、ストレージシステムを接続するための iSCSI-LAN を冗長化するかどうかを決

定します。

物理環境に導入する場合は、LAN の障害に備えて、冗長化することを推奨します。

ポイント

各 LAN を冗長化する場合、導入する構成に応じて以下のように冗長化してください。

- 23 -

LAN 種別物理環境仮想環境

業務 LAN 構成ファイル bdpp.conf に下記パラメーターを設定して

セットアップすることで冗長化します。


BDPP_GLS_PRIMARY_CONNECT2BDPP_GLS_SECONDARY_CONNECT2BDPP_GLS_POLLING2_IP


BDPP_GLS_SERVER_CONNECT2BDPP_GLS_SERVER_POLLING2_IP

ホストマシン上で冗長化します（必須）。

この場合、構成ファイル bdpp.conf には左記パラ

メーターの設定は不要です。

CIP LAN 構成ファイル bdpp.conf に下記パラメーターを設定して

セットアップすることで冗長化します。


BDPP_PCL_PRIMARY_CONNECT2BDPP_PCL_SECONDARY_CONNECT2

ホストマシン上で冗長化します（推奨）。

この場合、構成ファイル bdpp.conf には左記パラ

メーターの設定は不要です。

仮想マシン上で冗長化する場合は、物理環境と同

様に設定します。

iSCSI-LAN ETERNUS マルチパスドライバを使用して冗長化します。冗長化できません。

参照

構成ファイル bdpp.conf の詳細については、「B.1 bdpp.conf」を参照してください。

注意

各サーバとストレージシステム間のインターフェースにFibre Channelを使用する場合は、iSCSI-LANの設計は不要です。

3.5 ユーザーアカウントの設計

本製品の導入、運用、および保守において、利用するユーザーアカウントについて説明します。

ユーザー種別ユーザー名説明

システム管理者 root root 権限を持つシステム管理者（スーパーユーザー）

本製品の導入、Hadoop の起動・停止、および保守を行います。

MapReduce 実行ユーザー mapred（固定） JobTracker および TaskTracker プロセスを実行するユーザー

Hadoop 利用ユーザー任意 Hadoop ジョブの実行、停止、状態表示などの操作を行うユーザー

（ジョブ実行ユーザー）

本製品の運用にあたり、以下の設計を行ってください。

Hadoop 利用ユーザーの決定

Hadoop 利用ユーザーのユーザーアカウントを複数登録することができます。

本製品の導入セットアップ時にユーザーアカウントおよび各ユーザーが所属するグループを指定することで、Hadoop 利用ユーザー

を登録できます。

想定される Hadoop 利用ユーザー（ユーザー名およびユーザーID）をあらかじめ確認してください。

- 24 -

参照

Hadoop 利用ユーザー（ジョブ実行ユーザー）の管理方法については、「12.1 ジョブ実行ユーザーの追加」を参照してください。

- 25 -

第4章システム要件

本章では、本製品のシステム要件について説明します。

4.1 ハードウェア要件

本製品を使用する場合のハードウェア要件について説明します。

4.1.1 ハードウェア条件

物理環境

各機能を使用するには、以下のハードウェア条件を満たす必要があります。

機能ハードウェア備考

マスタサーバPRIMERGY RX シリーズ、

PRIMERGY TX シリーズ

CPU は、デュアルコア CPU 以上を必要としま

す。

マスタサーバを二重化構成とする場合は、マス

タサーバ(プライマリ)、マスタサーバ(セカンダリ)の導入環境を同一機種にする必要があります。

スレーブサーバPRIMERGY RX シリーズ、

PRIMERGY TX シリーズ(*)CPU は、デュアルコア CPU 以上を必要としま

す。

開発実行環境サーバPRIMERGY RX シリーズ、



す。

連携サーバPRIMERGY RX シリーズ、



す。

外部ストレージ装置 ETERNUS DX シリーズ

*: PRIMERGY RX、TX シリーズのうち、本製品でサポートする機種については、以下のサイトのサポート機種情報を参照してくださ

い。

http://software.fujitsu.com/jp/ror/technical/reference/

・サポート機種情報

「ServerView Resource Orchestrator V3.1 Virtual Edition/Express 管理対象サーバ・LAN スイッチ・電力監視デバイス - サポート

機種情報」

仮想環境

各機能を使用する場合には、使用するサーバ仮想化ソフトウェア(KVM/VMware)の動作が保証されている当社製ハードウェアであれ

ば、機種の制約はありません。

4.1.2 拡張カードオプション

各種 LAN の冗長化を行う場合は、追加のネットワークインターフェースカードが必要となります。

事前に設計した「3.4.1 ネットワーク構成」に応じてネットワークインターフェースカードを追加してください。

- 26 -

4.2 ソフトウェア構成

本製品は、以下の DVD-ROM で構成されています。

・ Interstage Big Data Parallel Processing Server

本製品は、以下のソフトウェアで構成されています。

ソフトウェア名機能概要

Interstage Big Data Parallel Processing Server Standard Edition V1.2.0

マスタサーバ本製品のマスタサーバ機能です。


スレーブサーバ本製品のスレーブサーバ機能です。


開発実行環境サーバ本製品の開発実行環境サーバ機能です。


連携サーバ本製品の連携サーバ機能です。

4.3 ソフトウェア要件

本製品を使用する場合のソフトウェア要件について説明します。

4.3.1 基本ソフトウェア

本製品を使用する場合、以下の基本ソフトウェアが必要です。

【マスタサーバ】、【スレーブサーバ】

OS 種別基本ソフトウェア備考

Linux

Red Hat(R) Enterprise Linux(R) 5.8 (for Intel64) (*1)Red Hat(R) Enterprise Linux(R) 5.9 (for Intel64) (*1)Red Hat(R) Enterprise Linux(R) 5.10 (for Intel64) (*1)Red Hat(R) Enterprise Linux(R) 6.3 (for Intel64) (*1)Red Hat(R) Enterprise Linux(R) 6.4 (for Intel64) (*1)Red Hat(R) Enterprise Linux(R) 6.5 (for Intel64) (*1)

ドライバーキット、アップデートキッ

トなどの必須ソフトウェアがある場

合は、それらを準備してください。

必須ソフトウェアについては、各

サーバ用の取扱説明書、または

Linux のインストールガイドを参照


*1: クローニング機能のみ、WOW64 (Windows 32-bit On Windows 64-bit) サブシステム上で、32ビットアプリケーションとして動

作します。

【開発実行環境サーバ】、【連携サーバ】


Linux

Red Hat(R) Enterprise Linux(R) 5.8 (for Intel64)Red Hat(R) Enterprise Linux(R) 5.9 (for Intel64)Red Hat(R) Enterprise Linux(R) 5.10 (for Intel64)Red Hat(R) Enterprise Linux(R) 6.3 (for Intel64)Red Hat(R) Enterprise Linux(R) 6.4 (for Intel64)Red Hat(R) Enterprise Linux(R) 6.5 (for Intel64)






- 27 -




仮想環境に導入する場合

本製品を仮想環境に導入する場合、ホストマシンには以下に示す仮想化基本ソフトウェアが必要です。

これらのホストマシン（ホスト OS）上に仮想マシンを構築し、上記の各サーバ用の基本ソフトウェア（ゲスト OS）をインストールしま

す。

仮想環境種別基本ソフトウェア（ホスト OS）備考

KVMRed Hat(R) Enterprise Linux(R) 6.3 (for Intel64)Red Hat(R) Enterprise Linux(R) 6.4 (for Intel64)Red Hat(R) Enterprise Linux(R) 6.5 (for Intel64)








VMware

（vSphere ESXi）

VMware vSphere 5.0VMware vSphere 5.1VMware vSphere 5.5

必須パッケージ

本製品を使用する場合、「付録F 必須パッケージ」に示す必須パッケージが必要です。

本製品のインストール時にインストールされていないパッケージが存在する場合は、エラーとなりますので、メッセージを確認して、必

要なパッケージをインストールしてください。

4.3.2 必須ソフトウェア

本製品を使用する場合、以下のソフトウェアが必要です。


ソフトウェア名バージョンレベル備考

Microsoft(R) LAN Manager モジュー

ル-

マスタサーバ(プライマリ)のみ必要となります。

Microsoft 社の FTP サイトから入手してくださ

い。(*1)

仮想環境に導入する場合、または物理環境

でクローニング機能を利用しない場合は不要

です。

*1：以下の Microsoft 社の FTP サイトから入手してください。

URL:

ftp://ftp.microsoft.com/bussys/clients/msclient/DSK3-1.EXE

Microsoft LAN Manager モジュールは CPU アーキテクチャー(x86, x64)に関係なく利用できます。

なお、ServerView Deployment Manager をインストールしてある環境に本製品をインストールする場合、Microsoft LAN Manager モジュールを入手する必要はありません。


- 28 -


ServerView Agent for Linux V4.50.12 以降

仮想環境に導入する場合、または物理環境

でクローニング機能を利用しない場合は不要

です。

4.3.3 排他ソフトウェア

以下のソフトウェアを本製品と同一のサーバにインストールしないでください。また、マスターサーバ、スレーブサーバは、OSをインス

トールした直後の他ソフトウェアがインストールされていない状態でインストールしてください。

マスタサーバ

・ PRIMECLUSTER Clustering Base

・ PRIMECLUSTER GLS

・ ServerView Resource Orchestrator(*1)


・ ServerView Resource Orchestrator(*1)

*1: 物理環境でクローニング機能を利用する場合のみ排他となります。物理環境でクローニング機能を利用しない場合、または仮想環

境の場合は、排他ではありません。

4.3.4 関連ソフトウェア

必要に応じて、以下の関連ソフトウェアの導入をご検討ください。



ETERNUS マルチパスドライバ V2.0L22 以降

ストレージシステムとの接続を冗長化する場

合に必要です。

仮想環境に導入する場合は不要です。









Interstage Application ServerEnterprise Edition または、

Interstage Application ServerStandard-J Edition

V10.0.0 以降

Hadoop 上で動作する分析アプリケーション

(MapReduce アプリケーション)を開発する場


ETERNUS マルチパスドライバ V2.0L22 以降ストレージシステムとの接続を冗長化する場


- 29 -









その他


VMware vCenter Server5.05.1

VMware vSphere を使用した仮想環境を利

用する場合、VM ゲスト、VM ホストの管理に

必要です。

VMware vSphere Client5.05.1

VMware vSphere を使用した仮想環境を利

用する場合、管理クライアントで、管理対象

サーバの VMware や、VM管理製品との連

携機能を利用する場合に必要です。

- 30 -

第5章システム構築の準備

本章では、本製品のインストール前に実施する作業について説明します。

設定順序／設定項目導入環境

マスタサーバスレーブ

サーバ

開発実行

環境

サーバ

連携

サーバプライマリセカンダリ

1 サーバの BIOS 設定 ○ ○ ○ ○ ×

2 OS 導入時のファイルシステム × × ○(*1) × ×

3 SELinux 機能の無効化 ○ ○ ○ ○ ○

4 NetworkManagerの無効化 ○ ○ ○ ○ ○

5 システムパラメーターの設定 ○ ○ ○ ○ ○

6 ファイアーウォールの設定 ○ ○ ○ ○ ×

7 ホスト名の設定 ○ ○ ○ ○ ○

8 サーバ名の設定 ○ ○ ○ ○ ×

9 業務 LAN のネットワークインター

フェースの設定

○ ○ ○ ○ ○

10 システム時刻の設定 ○ ○ ○ ○ ○

11 ストレージシステム環境の準備 ○ ○ ○ ○ ○

12 ssh の設定 ○ ○ × × ×

13 SNMP トラップデーモンの設定 ○(*1) × × × ×

14 ServerView Agent の設定 × × ○(*1) × ×

15 IPMI シャットダウンエージェントの

設定

○(*2) ○(*2) × × ×

16 kdump シャットダウンエージェント

の設定

○(*2) ○(*2) × × ×

17 KVM シャットダウンエージェントの

設定

○(*3) ○(*3) × × ×

18 Microsoft LAN Manager モジュー

ルの展開

○(*1) × × × ×

○：設定する必要があります。

×：設定は不要です。

*1：物理環境でクローニング機能を利用する場合のみ、設定する必要があります。

*2：物理環境に導入する場合のみ、設定する必要があります。

*3：仮想環境（KVM）に導入する場合のみ、設定する必要があります。

5.1 サーバの BIOS 設定

システム BIOS 設定を以下のように設定する必要があります。

ハイパースレッディング

マスタサーバ、スレーブサーバ、および開発実行環境サーバのハイパースレッディング機能を無効化してください。

- 31 -

ポイント

－ハイパースレッディング機能によってパフォーマンスが向上することは、必ずしも保証されていません。そのため、本製品では

ハイパースレッディングを無効にした条件下で Hadoop のパラメーターを適化します。

Hadoop のパラメーターの詳細は、「付録C Hadoop 設定パラメーター」を参照してください。

－仮想環境に導入する場合は、ホストマシンのシステム BIOS を設定します。

ブート順序

スレーブサーバのブート順序を以下のとおり設定してください。

1. 管理 LAN で使用するネットワークインターフェースからのブート(1つ目のネットワークインターフェース)

2. DVD-ROM または CD-ROM からのブート(DVD-ROM または CD-ROM を接続している場合)

3. ストレージからのブート

注意

－管理対象サーバで運用を開始し、ディスクからブートする際も、ブート順序は変更しないでください。

－ネットワークインターフェースからのブート設定時に "UEFI" と "Legacy" が表示されたときは、"Legacy" を選択してください。

ポイント

－クローニングによってスレーブサーバを追加導入するために設定する必要があります。

－仮想環境にスレーブサーバを導入する場合、ブート順序の設定は不要です。

5.2 OS 導入時のファイルシステム

クローニングによってスレーブサーバを追加導入するためには、スレーブサーバに OS を導入する際のファイルシステムのタイプは

"EXT3" である必要があります。

ファイルシステムのタイプに "LVM (Logical Volume Manager)" が使用されている場合には、クローニングによるスレーブサーバの追

加導入が行えません。ファイルシステムのタイプを "EXT3" として、OS を導入してください。

ポイント

仮想環境にスレーブサーバを導入する場合、または物理環境でクローニング機能を利用しない場合は、本設定は不要です。

5.3 SELinux 機能の無効化

SELinux(Security-Enhanced Linux)機能が有効に設定されている Linux 環境には、本製品をインストールすることができません。

本製品をインストールするには、SELinux 機能を無効に設定してから、本製品をインストールしてください。

- 32 -

参照

SELinux 機能を無効に設定する方法は、Linux のオンラインマニュアル等を参照してください。

5.4 NetworkManagerの無効化

NetworkManagerが起動しているLinux環境では、DFSの設定でエラーとなります。

以下のいずれかの手順で、NetworkManagerを無効に設定してください。

・ NetworkManagerのサービスを停止する。

・インターフェース設定ファイル(/etc/sysconfig/network-scripts/ifcfg-ethX)で、NM_CONTROLLED="no"を設定する。

参照

NetworkManagerを無効に設定する方法は、Linux のオンラインマニュアル等を参照してください。

5.5 システムパラメーターの設定

システムパラメーターのチューニングを行う必要があります。

以下の手順でシステムパラメーターのチューニングを実施してください。

1. 以下のコマンドを使用して、現在システムに設定されている該当するパラメーターの設定値を確認します。

# /sbin/sysctl -a <Enter>

例


・・・省略・・・

kernel.sem = 250 32000 32 128

kernel.msgmnb = 4194304

kernel.msgmni = 8192

kernel.msgmax = 65536

kernel.shmmni = 4096

kernel.shmall = 4294967296

kernel.shmmax = 68719476736

・・・省略・・・

2. 「3.2.3.4 システムパラメーター」を参照し、現在の設定値と比較を行い、パラメーターごとに大／加算の種別を考慮して、適切

な設定値を算出します。

ポイント

パラメーターの "種別" により、以下のように設定してください。

－種別が " 大 "の場合

すでに設定されている値（初期値または以前の設定値）がパラメーターの "設定値(チューニング値)" 以上の場合は変更不

要です。チューニング値より小さい場合は、チューニング値に変更してください。

- 33 -

－種別が "加算" の場合

すでに設定されている値（初期値または以前の設定値）にパラメーターの "設定値(チューニング値)" を加算してください。

加算する前にシステム上限値を確認し、加算した値がシステム上限値を超える場合は、システム上限値を設定してください。

詳細については、「Linux のマニュアル」などを参照してください。

3. /etc/sysctl.conf を編集します。以下の例のように編集します。

例

kernel.sem = 250 32002 32 130




4. /etc/sysctl.conf へ編集内容が反映されていることを、以下のコマンドで確認します。

# /bin/cat /etc/sysctl.conf <Enter>

5. 3.の設定を有効にするために、次のどちらかの方法を実行します。

－システムを再起動して設定を反映

# /sbin/shutdown -r now <Enter>

－ /sbin/sysctl -p を使用して設定を反映

# /sbin/sysctl -p /etc/sysctl.conf <Enter> (*)

*: このコマンドを使用した場合は、システムの再起動は必要ありません。

6. 設定したシステムパラメーターが反映されていることを、以下のコマンドの出力で確認します。


例


・・・省略・・・

kernel.sem = 250 32002 32 130



kernel.msgmax = 65536


kernel.shmall = 4294967296

kernel.shmmax = 68719476736

・・・省略・・・

5.6 ファイアーウォールの設定

ファイアーウォール機能を利用している環境に本製品をインストールする場合には、ファイアーウォール機能に対して必要な通信(ポー

ト)を許可する必要があります。

ファイアーウォール機能に対して必要な通信(ポート)を許可する方法については、OS のマニュアルを参照してください。

本製品が使用するポートについては、「付録D ポート一覧」を参照し、接続を許可する必要があります。

- 34 -

5.7 ホスト名の設定

マスタサーバ、スレーブサーバ、開発実行環境サーバ、および連携サーバにおいて、Hadoop で使用するホスト名の設定が必要です。

hosts ファイルに、各サーバの業務 LAN に接続する NIC に対応するホスト名を記述してください。

hosts ファイル

/etc/hosts

hosts ファイルの詳細については、オンラインマニュアルページを参照してください。

ポイント

・マスタサーバを二重化構成とする場合は、マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)の hosts ファイルの内容を一致させ

てください。

・スレーブサーバ、開発実行環境サーバ、および連携サーバの hosts ファイルに記述するホスト情報は、マスタサーバで追加したホ

スト名を設定してください。

・マスタサーバ、スレーブサーバ、および開発実行環境サーバのホスト名は、サーバ名と一致させてください。詳しくは、「5.8 サーバ

名の設定」を参照してください。

注意

hosts ファイルにローカルホストを登録する場合、以下に注意してください。

・ "127.0.0.1" にローカルホスト名を設定する場合、必ずリモートから参照可能な IP アドレスを先に記述してください。または、"127.0.0.1"にはローカルホスト名を設定しないでください。

・ホスト名にエイリアス名は設定しないでください。

注意

物理環境でクローニング機能を利用する場合、ホスト名には以下の条件を満たす文字列を指定してください。

・半角英数字

・ハイフン("-")

・先頭文字は英字

・ 15文字以内

例

各サーバの業務 LAN に接続する NIC に割り当てる IP アドレスとホスト名の設定例：

・マスタサーバ(プライマリ) ：10.10.10.11 ：master1

・マスタサーバ(セカンダリ) ：10.10.10.12 ：master2

・スレーブサーバ：10.10.10.21 ～ 10.10.10.25 ：slave1 ～ slave5

- 35 -

・開発実行環境サーバ：10.10.10.30 ：develop

・連携サーバ：10.10.10.31 ：collaborate

マスタサーバの hosts ファイルには以下のように設定します。

10.10.10.11 master1

10.10.10.12 master2

127.0.0.1 localhost.localdomain localhost

10.10.10.21 slave1

10.10.10.22 slave2

10.10.10.23 slave3

10.10.10.24 slave4

10.10.10.25 slave5

10.10.10.30 develop

10.10.10.31 collaborate

5.8 サーバ名の設定

サーバ名（hostname コマンドなどで出力されるシステムのホスト名）は、業務 LAN に接続する NIC に対応するホスト名と同じである必

要があります。

異なる場合は、「5.7 ホスト名の設定」で設定したホスト名を network ファイルに設定してください。

network ファイル

/etc/sysconfig/network

HOSTNAME パラメーターにサーバ名を設定します。

例

マスタサーバ(プライマリ)のサーバ名を確認します。

# hostname <Enter>

master1

サーバ名を変更する場合は、network ファイルを編集します。

NETWORKING=yes

HOSTNAME=master1

参考

既設のサーバを連携サーバとして使用する場合、サーバ名と業務 LAN に接続する NIC に対応するホスト名が一致していなくても構

いません。

5.9 業務 LAN のネットワークインターフェースの設定

各サーバの業務 LAN のネットワークインターフェースは、本製品を導入する前に、IP アドレスが設定されており、かつ、活性状態であ

る必要があります。

- 36 -

対象となるネットワークインターフェースの状態を ifconfig コマンドで確認して、未設定および未活性の状態であれば、IP アドレスの設

定および活性化を行ってください。

例

# ifconfig eth1 <Enter>

eth1 Link encap:Ethernet HWaddr 00:19:99:8D:7E:90

inet addr:10.10.10.11 Bcast:10.10.10.255 Mask:255.255.255.0

・・・中略・・・

RX bytes:2440357552 (2.2 GiB) TX bytes:1144015405 (1.0 GiB)

Memory:cd400000-cd480000

5.10 システム時刻の設定

マスタサーバ、スレーブサーバ、開発実行環境サーバ、および連携サーバのシステム時刻は、NTP(Network Time Protocol)を使用し、

同じ時刻に同期するように設定してください。

注意

仮想環境(KVM)に導入する場合

ホストマシンを NTP サーバとし、仮想マシンを NTP クライアントとした時刻同期を行ってください。

複数の物理マシン上に仮想マシンを構築する場合は、ホストマシンでも NTP による時刻同期を行ってください。

5.11 ストレージシステム環境の準備

分散ファイルシステムに DFS を利用するには、ストレージシステムに対する共用LUNの作成、インターフェース(iSCSI、またはFibreCannel)の設定、マルチパスの設定(インターフェースを二重化する場合)をそれぞれ予め完了させておく必要があります。

ストレージシステム、インターフェース(iSCSI、またはFibre Cannel)の設定、および ETERNUS マルチパスドライバの導入・設定につい

ては、それぞれのマニュアルを参照してください。

注意

仮想環境では、ETERNUS マルチパスドライバの導入・設定は不要です。

注意

VMware環境でETERNUSシステムとFibre Channelインターフェースで接続する場合、以下のように設定してください。

・ DFSで使用する共有ディスクをRaw Device Mapping(RDM)で作成、互換モードを「物理」に設定

・ SCSIバス共有を「物理」に設定

設定方法の詳細については、VMwareのマニュアルを参照してください。

- 37 -

5.12 ssh の設定

マスタサーバは自身に対してパスワードなしで ssh の通信ができるように設定する必要があります。

また、マスタサーバを二重化構成にする場合、マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)間でパスワードなしで ssh の通信が

できるように設定する必要があります。

マスタサーバ(プライマリ)およびマスタサーバ(セカンダリ)において、それぞれ公開鍵を作成して root 権限でパスワードなしで ssh 接続

できるようにしてください。

参照

公開鍵の作成については、ssh-keygen コマンドのヘルプを参照してください。

注意

本製品の Hadoop の起動・停止などを行う場合、Hadoop は ssh 経由にて通信を行います。

また、Hadoop のセットアップおよび DFS ファイルシステムの構成を行うには、マスタサーバ上の定義ファイルの内容を各サーバと合わ

せる必要があります。本書では、scp を使用してマスタサーバ上の定義ファイルをコピーする手順を用います。

ssh/scp を使用する場合は、パスワードの入力を促すプロンプトが表示されることに留意してください。

各サーバ間の ssh 接続の有無について、以下に示します。

接続先サーバ


サーバ

開発実行

環境

サーバ

連携


接続元

サーバ

マスタサーバ

(プライマリ)○(*1) ○(*1) ○(*2) ○ ○

マスタサーバ

(セカンダリ)○(*1) ○(*1) ○(*2) × ×

スレーブ

サーバ

○ × － × ×

開発実行環境

サーバ

○ × × － ×

連携

サーバ

○ × × × －

○：root 権限で ssh 接続を行う

×：ssh 接続は行わない

*1：パスワードなしで ssh 接続できるように設定する必要があります。

*2：Hadoop の起動・停止ではマスタサーバからスレーブサーバに対して ssh 経由で通信を行うため、パスワードなしで ssh 接続できる

ように設定していない場合はスレーブサーバの数だけパスワードの入力が必要となります。

5.13 SNMP トラップデーモンの設定

本製品が正しく動作するために、マスタサーバ（プライマリ）において net-snmp パッケージのインストールと共に /etc/snmp/snmptrapd.confファイルに以下の設定を追記してください。ファイルが存在しない場合は、ファイルを作成したあと、以下の設定を追記してください。

- 38 -

disableAuthorization yes

ポイント

仮想環境にマスタサーバを導入する場合、または物理環境でクローニング機能を利用しない場合は、本設定は不要です。

5.14 ServerView Agent の設定

スレーブサーバにおいて、ServerView Agent のインストールで必要な SNMP サービスの設定を行ってください。

SNMP サービスの設定方法については、ServerView Agent のマニュアルを参照してください。

・ SNMP コミュニティー名には、iRMC に設定してある SNMP コミュニティー名と同じ値を設定してください。

・ SNMP コミュニティー名には、Read(参照権)または Write(参照更新権)を設定してください。

・ SNMP パケットを受け付けるホストは、マスタサーバの管理 LAN の IP アドレスを設定してください。

・ SNMP トラップ送信先には、マスタサーバの IP アドレスを設定してください。

・なお、SNMP トラップ送信先のマスタサーバが複数の NIC を持つ場合、スレーブサーバと接続されている側の管理 LAN の IP アドレスを設定してください。

ポイント

仮想環境にスレーブサーバを導入する場合、または物理環境でクローニング機能を利用しない場合は、本設定は不要です。

5.15 IPMI シャットダウンエージェントの設定

HAクラスタで利用する、IPMIシャットダウンエージェントを設定します。

マスタサーバを二重化構成にする場合は、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の両方で実施します。

1. runlevel コマンドで、現在のランレベルを確認します。

例

以下の場合、現在のランレベルは 3 です。

# /sbin/runlevel <Enter>

N 3

2. chkconfig コマンドで、IPMI の利用可能状態を確認します。

例

以下の場合、現在のランレベル 3 の IPMI はオフです。

# /sbin/chkconfig --list ipmi <Enter>

kdump 0:オフ 1:オフ 2:オフ 3:オフ 4:オフ 5:オフ 6:オフ

- 39 -

3. 現在のランレベルで IPMI がオフになっている場合、chkconfig コマンドでオンにし、service コマンドで IPMI を起動してくださ

い。

# /sbin/chkconfig ipmi on <Enter>

# /sbin/service ipmi start <Enter>

5.16 kdump シャットダウンエージェントの設定

マスタサーバがパニックした場合に、kdump を使用してクラッシュダンプを採取するように設定します。


1. runlevel コマンドで、現在のランレベルを確認します。

例

以下の場合、現在のランレベルは 3 です。

# /sbin/runlevel <Enter>

N 3

2. chkconfig コマンドで、kdump の利用可能状態を確認します。

例

以下の場合、現在のランレベル 3 の kdump はオフです。

# /sbin/chkconfig --list kdump <Enter>

kdump 0:オフ 1:オフ 2:オフ 3:オフ 4:オフ 5:オフ 6:オフ

3. 現在のランレベルで kdump がオフになっている場合、chkconfig コマンドでオンにし、service コマンドで kdump を起動してくだ

さい。

# /sbin/chkconfig kdump on <Enter>

# /sbin/service kdump start <Enter>

ポイント

仮想環境にマスタサーバを導入する場合、本設定は不要です。

5.17 KVM シャットダウンエージェントの設定

仮想環境（KVM）にマスタサーバを導入する場合は、シャットダウンエージェントの設定を行う必要があります。

libvirt-guests の設定

1. ホストマシンに root 権限でログインします。

2. /etc/sysconfig/libvirt-guests ファイルに以下の値を定義します。

- ON_SHUTDOWN=shutdown

- SHUTDOWN_TIMEOUT={仮想マシンがシャットダウンするのを待機する時間}

- 40 -

例

仮想マシンのシャットダウンにかかる時間が300秒(5分)以内の場合：

# cat /etc/sysconfig/libvirt-guests <Enter>

・・・中略・・・

ON_SHUTDOWN=shutdown

SHUTDOWN_TIMEOUT=300

ポイント

本設定は、仮想マシンの動作中にホストマシンを誤ってシャットダウンした場合に、マスタサーバを含む仮想マシンを正常に

停止させるために設定します。SHUTDOWN_TIMEOUT には、ホストマシン上に作成されている複数の仮想マシンにおい

てシャットダウンにかかる時間の大きい方を設定してください。

注意

マスタサーバを二重化構成にする場合

マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)を異なるホストマシン上に導入する場合は、それぞれのホストマシンで実施し

てください。

シャットダウンエージェント用のユーザーの作成

ホストマシンに任意のユーザーアカウントを作成します。

1. ホストマシンに root 権限でログインします。

2. ユーザー（任意）を作成し、パスワードを設定します。

例

シャットダウンエージェント用のユーザー pcluser を作成する場合：

# useradd pcluser <Enter>

# passwd pcluser <Enter>

3. root ユーザーとしてコマンドを実行できるように設定します。

visudo コマンドを実行することで起動するエディタで、作成したユーザーの設定行を追加します。

# visudo <Enter>

例

ユーザー pcluser に、root としてパスワード入力なしでのコマンド実行を許可する場合：

pcluser ALL=(ALL) NOPASSWD: ALL

4. マスタサーバを導入する仮想マシンにログインします。

5. ssh 接続における初回アクセス時のユーザー問い合わせ（RSA 鍵の生成）を済ませておきます。

マスタサーバを二重化構成にする場合は、マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)上でそれぞれ実施してくださ

い。

- 41 -

例

KVM ホストマシンの IP アドレスが 192.168.1.100 であり、シャットダウンエージェント用のユーザーアカウントが pcluser であ

る場合：

# ssh -l pcluser 192.168.1.100 <Enter>

The authenticity of host '192.168.1.100 (192.168.1.100)' can't be established.

RSA key fingerprint is xx:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx.

Are you sure you want to continue connecting (yes/no)? yes <Enter>

Warning: Permanently added '192.168.1.100' (RSA) to the list of known hosts.

[email protected]'s password: {シャットダウンエージェント用ユーザーのパスワード} <Enter>

$ exit

ポイント

ここで使用した KVM ホストマシンの IP アドレス、および作成したユーザーアカウント・パスワードは、マスタサーバのインストール時

に指定する構成ファイル bdpp.conf の BDPP_KVMHOST_IP 、BDPP_KVMHOST_ACCOUNT 、および

BDPP_KVMHOST_PASS パラメーターにそれぞれ設定します。

構成ファイル bdpp.conf の詳細については、「B.1 bdpp.conf」の「【マスタサーバ】」を参照してください。

注意

マスタサーバを二重化構成にする場合

マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)を異なるホストマシン上に導入する場合は、それぞれのホストマシンで実施し

てください。

その際、シャットダウンエージェント用のユーザーアカウントおよびパスワードは同じ設定にしてください。また、マスタサーバ(プライ

マリ)とマスタサーバ(セカンダリ)上でそれぞれ、自身のホストマシンに加え、他方のホストマシンに対しても ssh 接続における初回ア

クセスを実施してください。

5.18 Microsoft LAN Manager モジュールの展開

「4.3.2 必須ソフトウェア」で入手したモジュールを、CPU アーキテクチャー(x86)の Windows 上で、事前に Expand コマンドにより展開

しておく必要があります。展開方法については、以下の例を参照してください。

例

C:\tempにdsk3-1.exe を配置した場合

> cd /d c:\temp

> dsk3-1.exe

> Expand c:\temp\protman.do_ /r

> Expand c:\temp\protman.ex_ /r

フォルダー名やファイル名は Windowsの8.3 形式(*1)にしてください。

なお、展開した Microsoft LAN Manager モジュールはマネージャーのインストール後は必要ありません。

*1: ファイル名部分が大で8文字、拡張子部分が大で3文字とする規則です。

展開が完了した以下のモジュールを、マスタサーバの作業用ディレクトリ(/tmp)に配置してください。

・ PROTMAN.DOS

- 42 -

・ PROTMAN.EXE

・ NETBIND.COM

参考

本製品のマスタサーバ機能のインストール時に、作業ディレクトリに配置したモジュールが読込まれます。

ポイント

仮想環境にマスタサーバを導入する場合、または物理環境でクローニング機能を利用しない場合は、本設定は不要です。

- 43 -

第6章インストール

本章では、本製品を使用したシステム構築の方法について説明します。

システム構築の流れについて以下に示します。

1. システム構築の準備

インストール前に、システムがインストール可能な状態となっているか、第5章システム構築の準備を参照して再度確認してくだ

さい。

2. マスタサーバの導入

導入手順については、「6.1 マスタサーバへのインストール」を参照してください。

3. 1台目のスレーブサーバの導入

導入手順については、「6.2 スレーブサーバへのインストール」を参照してください。

4. 2台目以降のスレーブサーバの追加

2台目以降のスレーブサーバは、スマートセットアップにより追加できます。スマートセットアップによる導入手順については、「6.32台目以降のスレーブサーバの追加」を参照してください。

参考

本マニュアルでは、初期導入のスレーブサーバ台数が 5台の場合を例として説明していますが、さらにスレーブサーバ台数を

追加する場合も同様の操作で実施できます。

5. 開発実行環境サーバの導入

導入手順については、「6.4 開発実行環境サーバへのインストール」を参照してください。

6. 連携サーバの導入

導入手順については、「6.5 連携サーバへのインストール」を参照してください。

- 44 -

注意

各サーバへのインストール後は、本製品および本製品に含まれるソフトウェアの修正を適用してください。

本製品をはじめソフトウェア製品から提供される修正情報は、「ソフトウェア修正情報提供統合サイト」である "アップデートサイト" から

入手することができます。

1. アップデートサイトにログインします。

2. 製品名、世代から修正を検索します。

3. 検索結果から、使用する機能に該当する修正あるいはすべての修正を本製品に適用してください。

4. 本製品では、各製品から公開されている修正を適用してください。

*：該当する製品にはさらに同梱している製品があるため、それらの修正も適用することを推奨します。

5. 修正に添付されている修正情報ファイルから、マニュアルも修正されている場合は、新マニュアルを下記のサイトから入手して

ください。

URL:

http://software.fujitsu.com/jp/manual/

修正適用の対象となる製品は以下のとおりです。

製品名製品世代導入環境


サーバ

開発実行

環境

サーバ

連携


Primesoft Distributed FileSystem for Hadoop

1.1.0 ○ ○ ○ ○ ○

- 45 -

製品名製品世代導入環境


サーバ

開発実行

環境

サーバ

連携


PRIMECLUSTER ClusteringBase

4.3A30 ○ ○ －－－

PRIMECLUSTER GLS 4.3A30 ○ ○ ○(*1) －－

ServerView ResourceOrchestratorVirtual Edition

V3.1.2 ○(*1)(*2) － ○(*1)(*2) －－

○：修正適用の対象です。

*1：仮想環境に導入する場合、修正の適用は不要です。

*2：物理環境でクローニング機能を利用しない場合、修正の適用は不要です。

ポイント

本製品を使用したシステム構築が完了した後、運用を開始する前にマスタサーバ、開発実行環境サーバ、および連携サーバにおい

て構成情報をバックアップしておくことを推奨します。

バックアップの詳細については、「15.1 バックアップ」を参照してください。

6.1 マスタサーバへのインストール

マスタサーバへのマスタサーバ機能のインストールについて説明します。

1. マスタサーバ機能のインストール

2. HA クラスタのセットアップ

3. DFS のセットアップ

4. ネットワーク二重化・Hadoop のセットアップ

マスタサーバのインストールの流れを以下に示します。

マスタサーバを二重化構成とする場合は、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の順でインストールを行い、セットアップ

を交互に行う必要があります。

インストールおよびセットアップの作業は、すべて root 権限で実施します。

- 46 -

*1 HA クラスタのセットアップの流れについては、別途「6.1.2 HA クラスタのセットアップ」で示します。

*2 DFS のセットアップの流れについては、別途「6.1.3 DFS のセットアップ」で示します。

6.1.1 マスタサーバ機能のインストール

マスタサーバ機能のインストール手順を以下に示します。

1. 構成ファイル bdpp.conf の作成

2. マスタサーバ機能のインストール

3. ソフトウェア製品の修正適用

6.1.1.1 構成ファイル bdpp.conf の作成

マスタサーバ機能をインストールするために、構成ファイル bdpp.conf に対し、事前に設計した値を設定します。

構成ファイル bdpp.conf はマスタサーバ(プライマリ)およびマスタサーバ(セカンダリ)で共通の設定である必要があります。マスタサー

バを二重化構成にする場合は、マスタサーバ(セカンダリ)のインストールを行う前に、マスタサーバ(プライマリ)で使用した構成ファイ

ル bdpp.conf をマスタサーバ(セカンダリ)にもコピーしてください。

例

構成ファイル bdpp.conf を /home/data/master ディレクトリの配下で作成した場合

# cd /home/data/master <Enter>

# scp -p ./bdpp.conf root@master2:/home/data/master/bdpp.conf <Enter>

注意

・仮想環境（KVM）に二重化構成のマスタサーバを導入し、かつ、マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)を導入する

仮想マシンが異なるホストマシン上に存在する場合、構成ファイルの BDPP_KVMHOST_IP には2台のホストマシンの IP アドレス

を設定する必要があります。

- 47 -

・物理環境にマスタサーバを導入し、かつクローニング機能を利用しない場合、構成ファイルの BDPP_ROR_INSTALL にはNO(またはno)を設定してください。

参照

構成ファイル bdpp.conf の詳細については、「B.1 bdpp.conf」の「【マスタサーバ】」を参照してください。

6.1.1.2 マスタサーバ機能のインストール

マスタサーバを二重化構成にする場合は、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の順でインストールします。

1. 環境変数 BDPP_CONF_PATH を設定します。

環境変数 BDPP_CONF_PATH に構成ファイル bdpp.conf が格納されているディレクトリを設定します。

例

構成ファイル bdpp.conf を /home/data/master ディレクトリの配下で作成した場合

# export BDPP_CONF_PATH=/home/data/master <Enter>

2. DVD-ROM をマウントします。

DVD-ROM を DVD 装置にセットし、以下のコマンドを実行して DVD-ROM をマウントします。自動マウントデーモン(autofs)により、DVD-ROM の自動マウントを行うと、マウントオプションに noexec が設定されているため、インストーラの起動に失敗しま

す。

# mount /dev/hdc {DVD-ROMマウントポイント} <Enter>

3. インストーラを起動します。

bdpp_inst を実行してインストーラを起動してください。

# {DVD-ROMマウントポイント}/bdpp_inst <Enter>

4. "1. Master Server installation" を選択してください。

================================================================================

Interstage Big Data Parallel Processing Server

V1.2.0

All Rights Reserved, Copyright(c) FUJITSU LIMITED 2012-2015

================================================================================

<< Menu >>

1. Master Server installation

2. Slave Server installation

3. Development Server installation

4. Collaboration Server installation

================================================================================

Please select number to start specified Server installation [?,q]

=> 1 <Enter>

- 48 -

注意

・インストーラを起動する前に、業務 LAN 用のネットワークインターフェースには IP アドレスが設定され、かつ、活性状態となってい

る必要があります。

・インストールに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてインストールログ

(/var/tmp/bdpp_install.log)を参照して、失敗した原因を取り除き、再度インストールを実施してください。

6.1.1.3 ソフトウェア製品の修正適用

マスタサーバ機能のインストール後に、本製品および本製品に含まれるソフトウェアの修正を適用してください。

詳細は、「第6章インストール」の「注意」を参照してください。

6.1.2 HA クラスタのセットアップ

HA クラスタのセットアップ手順を以下に示します。

1. HA クラスタのセットアップ1

2. HA クラスタのセットアップ2

3. システムの再起動

HA クラスタのセットアップの流れを以下に示します。

マスタサーバを二重化構成とする場合は、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の順で交互にセットアップを行う必要が

あります。

注意

HA クラスタセットアップ1および2に失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じて

セットアップログ(/var/opt/FJSVbdpp/log/bdpp_setup.log)を参照して、失敗した原因を取り除き、再度 HA クラスタセットアップを実施し

てください。

- 49 -

6.1.2.1 HA クラスタのセットアップ1HA クラスタのセットアップ1 を実施します。

マスタサーバを二重化構成にする場合は、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の順で実施します。

1. クラスタインタコネクトの設定および活性化します。

a. /etc/sysconfig/network-scripts/ifcfg-ethX ファイルの編集

/etc/sysconfig/network-scripts/ifcfg-ethX ファイルの ONBOOT を以下のように編集します。

ONBOOT=yes

注意

ethX は、クラスタインタコネクトで使用するネットワークインターフェースです。

X は数字を指定します。

b. クラスタインタコネクトの確認

以下のコマンドにてインタコネクト用インターフェースの状態を確認します。

# ifconfig {該当インターフェース} <Enter>

c. 上記コマンド出力結果から、該当するインターフェースの状態が、"UP" になっていなければ以下のコマンドを実行して、"UP"となることを確認します。

# ifconfig {該当インターフェース} up <Enter>

2. cluster_setup を実行します。

# /opt/FJSVbdpp/setup/cluster_setup <Enter>

6.1.2.2 HA クラスタのセットアップ2続いて、HA クラスタのセットアップ2 を実施します。


cluster_setup2 を実行します。

# /opt/FJSVbdpp/setup/cluster_setup2 <Enter>

6.1.2.3 システムの再起動

HA クラスタのセットアップ完了後、システムを再起動します。


# shutdown -r now <Enter>

6.1.3 DFS のセットアップ

DFS のセットアップ手順を以下に示します。

1. 共用ディスク設定の確認

2. クラスタ状態の確認

- 50 -

3. 管理パーティションの初期化

4. 管理パーティションへの DFS 管理サーバ情報の登録

5. pdfsfrmd デーモンの起動

6. ファイルシステムの作成

7. MapReduce 実行用のユーザーID の設定

8. DFS クライアント情報の登録

9. マウントポイントの作成および fstab の設定

10. マウント

11. DFS ファイルシステム構成情報の生成

DFS のセットアップの流れを以下に示します。

マスタサーバを二重化構成とする場合は、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の順で交互にセットアップを行う必要が

あります。

- 51 -

ポイント

ここでは、セットアップで指定するデバイス名などの情報を、以下に示すファイルシステム構成の例として説明します。実際にセットアッ

プする際には、ご使用の環境の構成に読み替えてください。



・ファイルデータパーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370107 /dev/disk/by-id/scsi-1FUJITSU_300000370108

・ファイルシステム ID ：1

・論理ファイルシステム名：pdfs1

・マスタサーバ：master1（プライマリ）、master2（セカンダリ）

・スレーブサーバ：slave1、slave2、slave3、slave4、slave5

・開発実行環境サーバ：develop

・連携サーバ：collaborate

6.1.3.1 共用ディスク設定の確認

共用ディスクのデバイス名には、udev 機能により生成される by-id 名を使用します。

従来の互換デバイス名から by-id 名を特定するには、udevinfo コマンドまたは udevadm コマンドを使用します。

以下に by-id 名の確認例を示します。

例

互換デバイス名から by-id 名を使用したデバイス名を特定する場合

・ Red Hat(R) Enterprise Linux(R) 5 の場合

# udevinfo -q symlink -n /dev/sdb <Enter>

disk/by-id/scsi-1FUJITSU_300000370105

# udevinfo -q symlink -n /dev/sdc <Enter>


# udevinfo -q symlink -n /dev/sdd <Enter>


# udevinfo -q symlink -n /dev/sde <Enter>


・ Red Hat(R) Enterprise Linux(R) 6 の場合

# udevadm info -q symlink -n /dev/sdb <Enter>

block/8:48 disk/by-id/scsi-1FUJITSU_300000370105

# udevadm info -q symlink -n /dev/sdc <Enter>


# udevadm info -q symlink -n /dev/sdd <Enter>


# udevadm info -q symlink -n /dev/sde <Enter>


- 52 -

注意

・ udevinfo コマンドまたは udevadm コマンドで確認した by-id 名を使用するには、先頭に "/dev/" を追加する必要があります。

・ fdisk コマンドや parted コマンドなどで共用ディスクのパーティション情報を変更した場合は、「Primesoft Distributed File System forHadoop V1 ユーザーズガイド」の「fdisk で操作した共用ディスク装置のパーティション情報が反映されない」を参照して、すべての

サーバでパーティション情報を新にしてください。

参照

udevinfo コマンドまたは udevadm コマンドの詳細については、各オンラインマニュアルページを参照してください。

ポイント

・ by-id 名は、ハードディスクに設定されている個別識別情報から生成されるデバイス名です。

by-id 名を使用することにより、各サーバは常に同じデバイス名で特定のディスクにアクセスできます。

・ DFS の管理パーティションは、Logical Unit(物理)単位またはディスクパーティション(論理)単位のどちらでも運用できます。ETERNUSSF AdvancedCopy Manager を使用したボリュームコピーを行う場合、ETERNUS SF AdvancedCopy Manager がサポートするデバ

イスの単位に留意してください。

ETERNUS SF AdvancedCopy Manager の詳細については、「ETERNUS SF AdvancedCopy Manager 運用ガイド」を参照してくだ

さい。

6.1.3.2 クラスタ状態の確認

マスタサーバを二重化構成にする場合は、管理パーティションの作成を実施する前に、クラスタパーティションが発生していないことを

確認します。

マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)のそれぞれで実施します。

1. cftool(1M) コマンドを実行します。

表示された状態（State欄）が、2台のマスタサーバで同じであることを確認します。

# cftool -n <Enter>

Node Number State Os Cpu

primary 1 UP Linux EM64T

secondary 2 UP Linux EM64T

参照

cftool(1M) コマンドの詳細については、「PRIMECLUSTER 活用ガイド <コマンドリファレンス編>」－「第2章」－「cftool」を参照


2. 2台のマスタサーバで同じ表示結果とならない場合は、クラスタパーティションが発生しています。

この場合、クラスタパーティションを解消してください。

参照

クラスタパーティションの解消方法については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「pdfsfrmdデーモンが起動しない場合の対処」を参照してください。

- 53 -

6.1.3.3 管理パーティションの初期化

管理パーティションを初期化します。

マスタサーバ(プライマリ)で実施します。

pdfssetup コマンドに -c オプションと管理パーティションのパス名を指定して実行します。

# pdfssetup -c /dev/disk/by-id/scsi-1FUJITSU_300000370105 <Enter>

参照

pdfssetup コマンドの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレンス」

で「pdfssetup」を参照してください。

6.1.3.4 管理パーティションへの DFS 管理サーバ情報の登録

管理パーティションへマスタサーバ情報を登録します。


1. 管理パーティションへマスタサーバ情報を登録します。

pdfssetup コマンドに -a オプションを指定して実行します。

# pdfssetup -a /dev/disk/by-id/scsi-1FUJITSU_300000370105 <Enter>

2. 登録したマスタサーバ情報を確認します。

pdfssetup コマンドをオプションなしで実行することで確認できます。

# pdfssetup <Enter>

HOSTID CIPNAME MP_PATH

80380000 primaryRMS yes

80380001 secondaryRMS yes

設定した管理パーティションのパス名は、pdfssetup コマンドに -p オプションを指定することで確認できます。

# pdfssetup -p <Enter>

/dev/disk/by-id/scsi-1FUJITSU_300000370105

6.1.3.5 pdfsfrmd デーモンの起動

運用を開始するために、pdfsfrmd デーモンを起動します。


# pdfsfrmstart <Enter>

参照

pdfsfrmstart コマンドの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレン

ス」で「pdfsfrmstart」を参照してください。

6.1.3.6 ファイルシステムの作成

使用するパーティションに DFS を作成します。

- 54 -

マスタサーバ(プライマリ)で実行します。

1. ファイルシステムを作成します。

pdfsmkfs コマンドに以下に示すオプションと代表パーティションを指定して実行します。

－ dataopt オプション

代表パーティションからファイルデータ領域を分割するために、y を指定します。

－ blocksz オプション

データブロックサイズを指定します。推奨値は、圧縮機能を利用しない場合は8388608(8MB)、利用する場合は2097152(2MB)です。

注意

2097152(2MB)を超える値を指定した場合、圧縮機能は使用できません。

－ data オプション

ファイルデータパーティションのパス名をカンマで区切って指定します。

－ node オプション

マスタサーバのホスト名(業務 LAN に接続する NIC に対応するホスト名)を指定します。

マスタサーバを二重化構成とする場合は、マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)をカンマで区切って指定しま

す。マスタサーバを二重化構成としない場合は、本オプションを省略します。

注意

node オプションは、後のオプションに指定してください。

マスタサーバを二重化構成とする場合：

# pdfsmkfs -o dataopt=y,blocksz=2097152,data=/dev/disk/by-id/scsi-1FUJITSU_300000370107,data=/dev/disk/by-id/

scsi-1FUJITSU_300000370108,node=master1,master2 /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

参照

－データブロックサイズの詳細については、「3.3.2 ファイルシステム構成の設計」を参照してください。

－ pdfsmkfs コマンドの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファ

レンス」で「pdfsmkfs」を参照してください。

2. 作成したファイルシステム情報を確認します。

# pdfsinfo /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

/dev/disk/by-id/scsi-1FUJITSU_300000370106:

FSID special size Type mount

1 /dev/disk/by-id/scsi-1FUJITSU_300000370106 (864) 25418 META -----

1 /dev/disk/by-id/scsi-1FUJITSU_300000370106 (864) 5120 LOG -----

1 /dev/disk/by-id/scsi-1FUJITSU_300000370107 (880) 7341778 DATA -----


6.1.3.7 MapReduce 実行用のユーザーID の設定

Hadoop の JobTracker、TaskTracker を mapred ユーザーで実行するために、DFS にユーザーを設定する必要があります。

ここでは、DFS への mapred ユーザーの設定手順を説明します。

- 55 -

マスタサーバ(プライマリ)で実行します。

1. ユーザーID を設定します。

pdfsadm コマンドで MAPRED 変数に MapReduce を実行するユーザーID を設定します。

# pdfsadm -o MAPRED=mapred /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

2. ユーザーID が設定されていることを確認します。

# pdfsinfo -e /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>


MAPRED=mapred

参照

設定した MAPRED 変数の削除方法など、pdfsadm コマンドの詳細については、「Primesoft Distributed File System for Hadoop V1ユーザーズガイド」の「コマンドリファレンス」で「pdfsadm」を参照してください。

6.1.3.8 DFS クライアント情報の登録

スレーブサーバ、開発実行環境サーバ、および連携サーバ情報（DFS クライアント情報）を接続許可リストに登録します。

マスタサーバを二重化構成にする場合は、マスタサーバ(プライマリ)で接続許可リストの作成および登録を行い、マスタサーバ(セカン

ダリ)に配付します。

参考

DFS では、マスタサーバ(MDS)に接続できる DFS クライアントを管理しています。

マスタサーバで接続許可リストファイルを作成し、DFS に接続する各サーバのホスト名を登録します。

1. ファイルシステム ID を確認します。

代表パーティションに記録されたファイルシステム情報から、対象となるファイルシステム ID を確認します。








2. 接続許可リストファイルを作成します。

# cd /etc/pdfs <Enter>

# cp ./server.conf.sample server.conf.1 <Enter>

注意

接続許可リストファイルは、マスタサーバの /etc/pdfs 配下に配置してください。

接続許可リストファイルの名前は、ファイルシステム ID 部分以外 (server.conf.)を変更しないでください。

- 56 -

3. 接続許可リストファイルに接続を許可するサーバ（スレーブサーバ、開発実行環境サーバ、および連携サーバ）のホスト名(業務 LAN に接続する NIC に対応するホスト名)を登録します。

以下の形式で記載します。

CLIENT {接続を許可するホスト名}

例

slave1、slave2、slave3、slave4、slave5、develop、collaborate の接続を許可する場合

# cat /etc/pdfs/server.conf.1 <Enter>

#

# Copyright (c) 2012 FUJITSU LIMITED. All rights reserved.

#

# /etc/pdfs/server.conf.<FSID>

#

# List of client hostnames of a file system.

#

# Notes:

# Do not describe hostnames of management servers.

#

# example:

#CLIENT nodeac1

#CLIENT nodeac2

#CLIENT nodeac3

#CLIENT nodeac4

#CLIENT nodeac5

CLIENT develop ← 追加する開発実行環境サーバ

CLIENT collaborate ← 追加する連携サーバ

CLIENT slave1 ← 追加するスレーブサーバ





4. 接続許可リストファイルの内容を確認します。

接続許可リストに誤りがある場合、マスタサーバでマウントできません。そのため、以下を確認してください。

－マスタサーバとスレーブサーバ、開発実行環境サーバ、および連携サーバの数の合計が共用サーバ数の上限を超えてい

ないこと

－指定したスレーブサーバ、開発実行環境サーバ、および連携サーバのホストが、正しくネットワーク経由で参照できること

－スレーブサーバ、開発実行環境サーバ、および連携サーバの指定に重複がないこと

5. 接続許可リストファイルをマスタサーバ(セカンダリ)に配付します。（マスタサーバを二重化構成にする場合のみ）


# scp -p ./server.conf.1 root@master2:/etc/pdfs/server.conf.1 <Enter>

6.1.3.9 マウントポイントの作成および fstab の設定

マウントポイントを作成し、/etc/fstab に DFS の記述を追加します。


マウントポイントの作成

DFS として利用するストレージシステム上のディスクパーティションをマウントするマウントポイントを作成します。

- 57 -

作成するマウントポイントは、構成ファイル bdpp.conf の BDPP_PDFS_MOUNTPOINT パラメーターに指定した値と同じである必要が

あります。

例

/mnt の配下にマウントポイント pdfs を作成します。

# mkdir /mnt/pdfs <Enter>

fstab 設定

/etc/fstab に DFS のエントリーを追加します。

追加するエントリーの各フィールドに指定するパラメーターは以下のとおりです。

・第 1 フィールド(fs_spec)マウントする DFS の代表パーティションを指定します。

・第 2 フィールド(fs_file)上記で作成したマウントポイントを指定します。

・第 3 フィールド(fs_vfstype)pdfs を指定してください。

・第 4 フィールド(fs_mntops)マウント時に使用されるマウントオプションを指定します。

noauto オプションは、必ず指定してください。

ほかのオプション指定は、以下に従って決定します。

確認項目指定オプション

次のいずれかの場合

・ファイルの終参照時刻を更新しない場合

・ DFS をサーバ 5 台以上で共有する場合

noatime

DFS 管理サーバ起動時にマウントしない場合 noatrc

DFS を読込み専用でマウントする場合 ro

参照

マウントオプションの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレン

ス」で「pdfsmount」を参照してください。

・第 5 フィールド(fs_freq)0 を指定してください。

・第 6 フィールド(fs_passno)0 を指定してください。

例

/etc/fstab にマウントポイント /mnt/pdfs および DFS の代表パーティションを定義した場合の例を示します。

LABEL=/ / ext3 defaults 1 1

LABEL=/boot /boot ext3 defaults 1 2

tmpfs /dev/shm tmpfs defaults 0 0

- 58 -

devpts /dev/pts devpts gid=5,mode=620 0 0

sysfs /sys sysfs defaults 0 0

proc /proc proc defaults 0 0

LABEL=SWAP-sda3 swap swap defaults 0 0

/dev/disk/by-id/scsi-1FUJITSU_300000370106 /mnt/pdfs pdfs noauto,noatime 0 0

注意

マスタサーバを二重化構成にする場合は、/etc/fstab の記述内容をマスタサーバ(プライマリ)とマスタサーバ(セカンダリ)間で同じにし

てください。

6.1.3.10 マウント

DFS のファイルシステムをマウントします。

マスタサーバ(プライマリ)でのみ実施します。

# pdfsmntgl /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

注意

・ pdfsmntgl コマンドは、すべての DFS 管理サーバで DFS をマウントします。そのため、マスタサーバ（セカンダリ）でマウントする必


・ DFS では、必ずマスタサーバ、スレーブサーバ、開発実行環境サーバ、連携サーバの順でマウントしてください。スレーブサーバ、

開発実行環境サーバ、または連携サーバを先にマウントしても、マスタサーバ(MDS) が存在しないためマウントが失敗します。

6.1.3.11 DFS ファイルシステム構成情報の生成

マスタサーバで DFS 構成情報ファイルを生成します。

マスタサーバ(プライマリ)で実施します。

1. ファイルシステム ID を確認します。

代表パーティションに記録されたファイルシステム情報から、対象となるファイルシステム ID を確認します。








2. DFS 構成情報ファイルを pdfsmkconf コマンドで生成します。

# pdfsmkconf <Enter>

3. 生成したDFS 構成情報ファイルの名前を、ファイルシステム ID から論理ファイルシステム名に変更します。

# cd pdfsmkconf_out <Enter>

# mv ./client.conf.1 client.conf.pdfs1 <Enter>

- 59 -

注意

DFS 構成情報ファイルは、pdfsmkconf コマンドを実行したディレクトリ配下に pdfsmkconf_out/client.conf.fsid として作成されま

す。

DFS 構成情報ファイルの名前は、ファイルシステム ID 部分以外 (client.conf.) を変更しないでください。

4. 「6.1.3.7 MapReduce 実行用のユーザーID の設定」で設定した MapReduce 実行用のユーザーID が DFS 構成情報ファイルに

設定されていることを確認します。

# cat ./client.conf.pdfs1 <Enter>

FSID 1

MDS master1 29000

MDS master2 29000

DEV /dev/disk/by-id/scsi-1FUJITSU_300000370107 0 7341778

DEV /dev/disk/by-id/scsi-1FUJITSU_300000370108 0 6578704

MAPRED mapred

ポイント

生成した DFS 構成情報ファイルは、DFS クライアント（スレーブサーバ、開発実行環境サーバ、および連携サーバ）の /etc/pdfs に配

置する必要があります。

後述するスレーブサーバ、開発実行環境サーバ、および連携サーバのセットアップの際に、マスタサーバ上の DFS 構成情報ファイル

を各サーバに配付します。

参照

pdfsmkconf コマンドの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレン

ス」で「pdfsmkconf」を参照してください。

6.1.4 ネットワーク二重化・Hadoop のセットアップ

ネットワーク二重化および Hadoop のセットアップ手順を以下に示します。

1. スレーブサーバ定義ファイル slaves の作成

2. ネットワーク二重化・Hadoop のセットアップの実行

6.1.4.1 スレーブサーバ定義ファイル slaves の作成

接続対象となるスレーブサーバをマスタサーバ(プライマリ)上のスレーブサーバ定義ファイル /etc/opt/FJSVbdpp/conf/slaves を新規作

成して定義します。

マスタサーバを二重化構成にする場合は、マスタサーバ(プライマリ)で定義したスレーブサーバ定義ファイルをマスタサーバ(セカンダ

リ)に配付します。

1. スレーブサーバ定義ファイルを作成します。

例

5台のスレーブサーバ slave1、slave2、slave3、slave4、slave5 を定義する場合

- 60 -

# cat /etc/opt/FJSVbdpp/conf/slaves <Enter>

slave1,slave2,slave3,slave4,slave5

2. スレーブサーバ定義ファイルをマスタサーバ(セカンダリ)に配付します。（マスタサーバを二重化構成にする場合のみ）

# scp /etc/opt/FJSVbdpp/conf/slaves root@master2:/etc/opt/FJSVbdpp/conf/slaves <Enter>

ポイント

スレーブサーバ定義ファイルは、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)、スレーブサーバ、および開発実行環境サーバ

において同じ設定である必要があります。

後述するスレーブサーバおよび開発実行環境サーバのセットアップの際に、マスタサーバ上のスレーブサーバ定義ファイルを各サー

バに配付します。

参照

スレーブサーバ定義ファイル slaves の詳細については、「B.2 slaves」を参照してください。

6.1.4.2 ネットワーク二重化・Hadoop のセットアップの実行

ネットワーク二重化・Hadoop のセットアップを実施します。

マスタサーバを二重化構成としている場合、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の順で実施します。

bdpp_setup を実行します。

# /opt/FJSVbdpp/setup/bdpp_setup <Enter>

注意

セットアップに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてセットアップログ

(/var/opt/FJSVbdpp/log/bdpp_setup.log)を参照して、失敗した原因を取り除き、再度インストールを実施してください。

参考

Hadoop のセットアップによって、本製品のデフォルトの設定として Hadoop および DFS の構成が設定されます。構成設定をチューニ

ングするには、「付録C Hadoop 設定パラメーター」を参照してください。

6.2 スレーブサーバへのインストール

スレーブサーバへのスレーブサーバ機能のインストールについて説明します。

ここでは、新規にスレーブサーバを構築します。OS のみがインストールされている状態に対し、スレーブサーバ機能をインストールお

よびセットアップを行う場合の手順について説明します。


1. スレーブサーバ機能のインストール


- 61 -

3. ネットワーク二重化・Hadoop のセットアップ

4. スレーブサーバとの接続確認

6.2.1 スレーブサーバ機能のインストール

スレーブサーバ機能のインストール手順を以下に示します。


2. スレーブサーバ機能のインストール



スレーブサーバ機能をインストールするために、構成ファイル bdpp.conf に対し、事前に設計した値を設定します。

参照

構成ファイル bdpp.conf の詳細については、「B.1 bdpp.conf」の「【スレーブサーバ】」を参照してください。

注意

物理環境にスレーブサーバを導入し、かつクローニング機能を利用しない場合、構成ファイルの BDPP_ROR_INSTALL にはNO(またはno)を設定してください。

6.2.1.2 スレーブサーバ機能のインストール

以下の手順で、スレーブサーバ機能をインストールします。



例

構成ファイル bdpp.conf を /home/data/slave ディレクトリの配下で作成した場合

# export BDPP_CONF_PATH=/home/data/slave <Enter>



す。





4. "2. Slave Server installation" を選択してください。

================================================================================


- 62 -

V1.2.0


================================================================================

<< Menu >>





================================================================================


=> 2 <Enter>

5. インストール完了後は、システムを再起動してください。


注意

インストールに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてインストールログ



スレーブサーバ機能のインストール後に、本製品および本製品に含まれるソフトウェアの修正を適用してください。





2. マウント


マウントポイントを作成し、 /etc/fstab に DFS の記述を追加します。



マウントポイントは、マスタサーバで指定したものと同じにしてください。

例



- 63 -

fstab 設定

/etc/fstab に DFS のエントリーを追加します。

追加するエントリーの各フィールドに指定するパラメーターは以下のとおりです。

・第 1 フィールド(fs_spec)マウントする DFS の論理ファイルシステム名を指定します。

参考

論理ファイルシステム名は、DFS ファイルシステムを識別するための論理名です。マスタサーバでファイルシステムの構成情報を

生成する際に定義した名前を使用します。

スレーブサーバ、開発実行環境サーバ、および連携サーバでは、DFS 構成情報ファイルを使用して、ファイルシステム構成を管

理します。このDFS 構成情報ファイルを識別するために論理ファイルシステム名を使用します。

・第 2 フィールド(fs_file)上記で作成したマウントポイントを指定します。

・第 3 フィールド(fs_vfstype)pdfs を指定してください。

・第 4 フィールド(fs_mntops)マウント時に使用されるマウントオプションを指定します。

_netdev オプションは、必ず指定してください。

ほかのオプション指定は、以下に従って決定します。

確認項目指定オプション

ファイルの終参照時刻を更新しない場合、または

DFS をサーバ 5 台以上で共有する場合

noatime

DFS クライアント起動時にマウントしない場合 noauto

DFS を読込み専用でマウントする場合 ro

参照

noauto オプションの詳細については、オンラインマニュアルページの mount コマンドを参照してください。

その他のマウントオプションの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンド

リファレンス」で「mount.pdfs」を参照してください。

・第 5 フィールド(fs_freq)0 を指定してください。

・第 6 フィールド(fs_passno)0 を指定してください。

例

/etc/fstab にマウントポイント /mnt/pdfs および論理ファイルシステム名 pdfs1 を定義した場合の例を示します。


LABEL=/home /home ext3 defaults 1 2






- 64 -


pdfs1 /mnt/pdfs pdfs _netdev 0 0

6.2.2.2 マウント

マスタサーバで生成した DFS 構成情報ファイルをスレーブサーバに配付し、DFS ファイルシステムをマウントします。

1. マスタサーバの「6.1.3.11 DFS ファイルシステム構成情報の生成」で生成した DFS 構成情報ファイルを /etc/pdfs 配下にコピーし

ます。

# scp -p root@master1:{DFS 構成情報ファイルを作成したディレクトリ}/client.conf.pdfs1 /etc/pdfs <Enter>

2. DFS ファイルシステムをマウントします。

例

スレーブサーバで、DFS ファイルシステムをマウントします。

# mount pdfs1 <Enter>

注意

・ DFS ファイルシステムをマウントする前にスレーブサーバに DFS 構成情報ファイルを配置しておく必要があります。



参照

マウントの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コマンドリファレンス」で「mount.pdfs」を参照してください。

6.2.3 ネットワーク二重化・Hadoop のセットアップ

ネットワークの二重化および Hadoop のセットアップ手順を以下に示します。

1. マスタサーバの「6.1.4.1 スレーブサーバ定義ファイル slaves の作成」で作成したスレーブサーバ定義ファイル slaves を /etc/opt/FJSVbdpp/conf 配下にコピーします。

# scp -p root@master1:/etc/opt/FJSVbdpp/conf/slaves /etc/opt/FJSVbdpp/conf <Enter>

2. ネットワーク二重化・Hadoop のセットアップを実行します。



注意

・構成ファイル bdpp.conf の BDPP_GLS_SERVER_CONNECT2 パラメーターの値が省略された場合は、ネットワーク二重化のセッ

トアップは行われず、Hadoop のセットアップのみを行います。

- 65 -

・セットアップに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてセットアップログ

(/var/opt/FJSVbdpp/log/bdpp_setup.log)を参照して、失敗した原因を取り除き、再度セットアップを実施してください。

参考



6.2.4 スレーブサーバとの接続確認

2台目以降のスレーブサーバを構築する前に、マスタサーバと導入済みの1台目のスレーブサーバとの接続が正常に行えることを確認

します。

この確認は、マスタサーバ(プライマリ)上で実施します。また、すべて root 権限で実施します。

1. 1台目のスレーブサーバとの接続確認用に、スレーブサーバ定義ファイル /etc/opt/FJSVbdpp/conf/slaves を編集するため、スレー

ブサーバ定義ファイルを一旦、バックアップします。

# cp /etc/opt/FJSVbdpp/conf/slaves /etc/opt/FJSVbdpp/conf/slaves.bak <Enter>

2. スレーブサーバ定義ファイルを編集し、接続確認対象のスレーブサーバのみを残して、他のスレーブサーバを削除します。

編集前：



編集後：


slave1

3. bdpp_changeslaves コマンドを実行して、スレーブサーバ定義ファイルの変更を反映します。

# /opt/FJSVbdpp/bin/bdpp_changeslaves <Enter>

4. bdpp_start コマンドを実行し、本製品の Hadoop を起動します。

# /opt/FJSVbdpp/bin/bdpp_start <Enter>

5. bdpp_stat コマンドを実行し、本製品の Hadoop の状態を表示し、対象のスレーブサーバ上で TaskTracker が起動されているか

確認します。

# /opt/FJSVbdpp/bin/bdpp_stat -all <Enter>

cluster mapred 30595 jobtracker

slave1 mapred 11381 tasktracker ← slave1上でTaskTrackerが起動されていることを確認

bdpp: INFO : 003: bdpp Hadoop JobTracker is alive.

6. Hadoop ジョブを実行して、動作確認を行います。

Hadoop に付属するサンプル(teragen, terasort)などを利用して、Hadoop ジョブの動作確認をしてください。

7. bdpp_stop コマンドを実行し、本製品の Hadoop を停止します。

# /opt/FJSVbdpp/bin/bdpp_stop <Enter>

8. マスタサーバと1台目のスレーブサーバとの接続確認の完了後、スレーブサーバ定義ファイルのバックアップを復元します。

# rm -fr /etc/opt/FJSVbdpp/conf/slaves <Enter>

# cp /etc/opt/FJSVbdpp/conf/slaves.bak /etc/opt/FJSVbdpp/conf/slaves <Enter>

- 66 -

9. bdpp_changeslaves コマンドを実行して、スレーブサーバ定義ファイルの変更を再反映します。


参照

・ bdpp_changeslaves コマンドの詳細は、「A.4 bdpp_changeslaves」を参照してください。

・ bdpp_start コマンドの詳細は、「A.14 bdpp_start」を参照してください。

・ bdpp_stat コマンドの詳細は、「A.15 bdpp_stat」を参照してください。

・ Hadoop のジョブの実行については、「第10章ジョブの実行・停止」を参照してください。

・ bdpp_stop コマンドの詳細は、「A.16 bdpp_stop」を参照してください。

6.3 2台目以降のスレーブサーバの追加

クローニング機能を利用したスレーブサーバの追加方法について説明します。クローニング機能を利用しない場合は、すべてのスレー

ブサーバに対して、6.2 スレーブサーバへのインストールの作業を行ってください。

・物理環境へのスレーブサーバ追加

・仮想環境へのスレーブサーバ追加

ここでは、以下の構成を例に説明します。

・導入済みのスレーブサーバ：slave1

・追加するスレーブサーバ：slave2、slave3、slave4、slave5

注意

Hadoop が動作している場合は、マスタサーバ上で bdpp_stop コマンドを実行して事前に Hadoop を停止してください。


参照

ここでは、初回導入時のスレーブサーバの追加手順について説明しています。

運用開始後、さらにスレーブサーバの追加導入（スケールアウト）を行う場合は、「13.1 スレーブサーバの追加」を参照してください。

6.3.1 物理環境へのスレーブサーバ追加

ここでは、物理環境へスレーブサーバを追加する手順を以下に示します。

1. スレーブサーバの導入

2. スレーブサーバの登録

3. ネットワークパラメーター・iSCSI 名の自動設定の登録

- 67 -

4. クローニングイメージの作成


6. クローニング


スレーブサーバの導入の流れを以下に示します。

1台目（導入済み）のスレーブサーバのクローニングイメージを採取し、2台目以降（導入予定）のスレーブサーバの数だけクローニング

を実施します。

導入作業はすべて root 権限で実施します。

注意

クローニングイメージの作成対象となるサーバとクローニングの対象サーバは、以下の条件を満たしている必要があります。条件が異

なる場合は、条件に当てはまるグループごとにクローニングイメージを作成する必要があります。

・モデル名が同じであること。

・オプションカードおよび拡張ボードとその搭載位置など、ハードウェア構成が同じであること。

・「5.1 サーバの BIOS 設定」に従って同じ BIOS 設定がされていること。

・ LAN、SAN の接続が同じ冗長化方式、冗長パス数で、同一のネットワーク装置やストレージ装置にアクセスできること。

なお、カスケード接続された LAN スイッチやファイバーチャネルスイッチは、1台の装置とみなします。

- 68 -

6.3.1.1 スレーブサーバの導入

「6.2 スレーブサーバへのインストール」を参照して、追加導入するスレーブサーバの1台目(クローニングイメージを採取するスレーブ

サーバ)を導入します。

6.3.1.2 スレーブサーバの登録

クローニング作業を行うために、導入予定のすべてのスレーブサーバをマスタサーバに登録します。

1. クローニングサーバ定義ファイル clone.conf を作成します。

クローニングイメージを採取するスレーブサーバ、および導入予定のクローニングイメージの配付対象となるすべてのスレーブ

サーバをクローニングサーバ定義ファイルに指定します。

例

クローニングサーバ定義ファイル clone.conf の定義例：

RCXCSV,V3.4

[Server]

operation,chassis_name,slot_no,server_name,ip_address,mac_address,second_mac_address,snmp_community_name,ipmi_ip_ad

dress,ipmi_user_name,ipmi_passwd,ipmi_passwd_enc,admin_lan1_nic_number,admin_lan2_nic_number,admin_lan_nic_redundan

cy

new,,,slave1,192.168.1.21,A0:A0:A0:A0:A0:A1,,public,192.168.1.121,admin,admin,plain,,,OFF ← 登録対象サーバ





[ServerAgent]

operation,server_name

new,slave1 ← クローニングイメージの採取対象サーバ

- 69 -

2. bdpp_addserver コマンドを実行し、スレーブサーバの登録を行います。

# /opt/FJSVbdpp/bin/bdpp_addserver {clone.conf ファイルの格納ディレクトリ}/clone.conf <Enter>

3. スレーブサーバが登録できたことを bdpp_listserver コマンドで確認します。

# /opt/FJSVbdpp/bin/bdpp_listserver <Enter>

例

スレーブサーバの登録状況の確認例：


PHYSICAL_SERVER SERVER ADMIN_IP STATUS MAINTENANCE

--------------- ------ -------- ------ -----------

slave1 slave1 192.168.1.21 normal OFF

slave2 - 192.168.1.22 stop -

slave3 - 192.168.1.23 stop -

slave4 - 192.168.1.24 stop -

slave5 - 192.168.1.25 stop -

参照

・クローニングサーバ定義ファイルの詳細は、「B.3 clone.conf」を参照してください。

・ bdpp_addserver コマンドの詳細は、「A.1 bdpp_addserver」を参照してください。

・ bdpp_listserver コマンドの詳細は、「A.9 bdpp_listserver」を参照してください。

6.3.1.3 ネットワークパラメーター・iSCSI 名の自動設定の登録

ネットワークパラメーターおよび iSCSI イニシエーター名の自動設定のための登録方法について説明します。

事前にスレーブサーバ分の業務 LAN、iSCSI-LAN のネットワークパラメーターおよび iSCSI イニシエーター設定を行い、クローニン

グイメージを採取することで、クローニングイメージを配付する際にスレーブサーバのネットワークおよび iSCSI イニシエーター名の設

定を自動的に行うことができます。

1. ネットワークパラメーター自動設定用の定義ファイル FJSVrcx.conf、ipaddr.conf を作成します。

定義ファイル FJSVrcx.conf には、クローニングイメージを採取するスレーブサーバの管理 LAN の情報を指定します。

定義ファイル ipaddr.conf には、すべてのスレーブサーバにおける業務 LAN、iSCSI-LAN の情報を指定します。

2. iSCSI イニシエーター設定定義ファイル initiator.conf を作成します。

イメージ配付先のすべてのスレーブサーバに対応する iSCSI イニシエーター名を指定します。

3. クローニングイメージを採取するスレーブサーバの管理 LAN の IP アドレス、定義ファイル FJSVrcx.conf、ipaddr.conf、および

initiator.conf を指定して、bdpp_prepareserver コマンドを実行します。

# /opt/FJSVbdpp/bin/bdpp_prepareserver -m {管理 LAN の IP アドレス} -o {FJSVrcx.conf ファイル} -i {ipaddr.conf ファ

イル} -f {initiator.conf ファイル} <Enter>

参照

・ネットワークパラメーター自動設定用の定義ファイルの詳細は、「B.4 FJSVrcx.conf」および「B.5 ipaddr.conf」を参照してください。

・ iSCSI イニシエーター設定定義ファイルの詳細は、「B.6 initiator.conf」を参照してください。

- 70 -

・ bdpp_prepareserver コマンドの詳細は、「A.10 bdpp_prepareserver」を参照してください。

注意

各サーバとストレージシステム間のインターフェースにFibre Channelを使用する場合は、iSCSI イニシエーター設定定義ファイルの指

定を省略してください。

6.3.1.4 クローニングイメージの作成

導入済みのスレーブサーバから、クローニングイメージを作成します。

1. イメージ格納ディレクトリを変更する場合は、bdpp_changeimagedir コマンドを実行します。

# /opt/FJSVbdpp/bin/bdpp_changeimagedir {イメージ格納ディレクトリ名} <Enter>

2. df コマンドを実行し、イメージ格納ディレクトリの空きディスク容量（Avail）を確認します。

「クローニングイメージファイル格納域」を参照し、クローニングイメージを格納できるだけの十分な領域が確保されていることを

確認してください。

例

イメージ格納ディレクトリ /data/imagedir のファイルシステムのディスク使用状況を確認する場合：

# df -h /data/imagedir <Enter>

Filesystem Size Used Avail Use% マウント位置

/dev/sda3 1.9T 62G 1.8T 4% /

この例では、空きディスク容量が 1.8TB です。

3. 採取対象のサーバ名とクローニングイメージ名を指定して、bdpp_getimage コマンドを実行します。

# /opt/FJSVbdpp/bin/bdpp_getimage {サーバ名} {クローニングイメージ名} <Enter>

4. クローニングイメージが採取できたことを bdpp_listimage コマンドで確認します。

# /opt/FJSVbdpp/bin/bdpp_listimage <Enter>

例

クローニングイメージの採取状況の確認例：


IMAGEDIRECTORY

--------------

imagedir: /data/imagedir

NAME VERSION CREATIONDATE COMMENT

---- ------- ------------ -------

RX200img 1 2012/04/20-22:39:59 -

RX300img 1 2012/04/20-22:41:13 -

参照

・ bdpp_changeimagedir コマンドの詳細は、「A.3 bdpp_changeimagedir」を参照してください。

- 71 -

・ bdpp_getimage コマンドの詳細は、「A.6 bdpp_getimage」を参照してください。

・ bdpp_listimage コマンドの詳細は、「A.8 bdpp_listimage」を参照してください。


クローニングイメージの作成後、イメージ採取対象のスレーブサーバのシステムを再起動します。


6.3.1.6 クローニング

イメージ配付対象のスレーブサーバの数だけクローニングを実施します。

イメージの配付先のサーバとクローニングイメージ名を指定して、bdpp_deployimage コマンドを実行します。

# /opt/FJSVbdpp/bin/bdpp_deployimage {サーバ名} {クローニングイメージ名} <Enter>

参照

bdpp_deployimage コマンドの詳細は、「A.5 bdpp_deployimage」を参照してください。


クローニングを実施後に、イメージ配付対象のスレーブサーバのシステムを再起動します。


6.3.2 仮想環境へのスレーブサーバ追加

ここでは、仮想環境へスレーブサーバを追加する手順を以下に示します。

1. スレーブサーバの導入

2. ネットワークパラメーター・iSCSI 名の自動設定の登録

3. クローニング

4. サーバ名の設定

5. 仮想マシンの再起動

スレーブサーバの導入の流れを以下に示します。

1台目（導入済み）のスレーブサーバを構築されている仮想マシンから、2台目以降（導入予定）のスレーブサーバの数だけクローニン

グを実施します。

特に指示がない場合は、root 権限で実施します。

- 72 -

注意

クローン先の仮想マシンの作業は、ご使用の仮想化ソフトウェアに応じて実施場所が異なります。

6.3.2.1 スレーブサーバの導入

「6.2 スレーブサーバへのインストール」を参照して、追加導入するスレーブサーバの1台目(クローン元のスレーブサーバ)を導入しま

す。

6.3.2.2 ネットワークパラメーター・iSCSI 名の自動設定の登録

ネットワークパラメーターおよび iSCSI イニシエーター名の自動設定のための登録方法について説明します。

事前にスレーブサーバ分の管理 LAN、業務 LAN、および iSCSI-LAN のネットワークパラメーターおよび iSCSI イニシエーター設定

をクローン元の仮想マシンに対して行うことで、クローニングする際にスレーブサーバのネットワークおよび iSCSI イニシエーター名の

設定を自動的に行うことができます。

1. ネットワークパラメーター自動設定用の定義ファイル FJSVrcx.conf、ipaddr.conf を作成します。

定義ファイル FJSVrcx.conf には、クローン元のスレーブサーバの管理 LAN の情報を指定します。

定義ファイル ipaddr.conf には、すべてのスレーブサーバにおける管理 LAN、業務 LAN、および iSCSI-LAN の情報を指定し

ます。

2. iSCSI イニシエーター設定定義ファイル initiator.conf を作成します。

クローン先のすべてのスレーブサーバに対応する iSCSI イニシエーター名を指定します。

3. クローン元のスレーブサーバの管理 LAN の IP アドレス、定義ファイル FJSVrcx.conf、ipaddr.conf、および initiator.conf を指定

し、-v オプションを付加して bdpp_prepareserver コマンドを実行します。

# /opt/FJSVbdpp/bin/bdpp_prepareserver -m {管理 LAN の IP アドレス} -o {FJSVrcx.conf ファイル} -i {ipaddr.conf ファ

イル} -f {initiator.conf ファイル} -v <Enter>

例

次の構成におけるネットワークパラメーター自動設定定義ファイル ipaddr.conf の定義例：

- 73 -

・管理 LAN に接続する NIC ：eth0

・業務 LAN に接続する NIC ：eth1

・ iSCSI-LAN に接続する NIC ：eth2、eth3 （冗長化する）

NODE_NAME="slave1" ← クローン元のスレーブサーバ

IF_NAME0="eth0"

IF_IPAD0="192.168.1.21"

IF_MASK0="255.255.255.0"

IF_NAME1="eth1"

IF_IPAD1="10.10.10.21"

IF_MASK1="255.255.255.0"

IF_NAME2="eth2"

IF_IPAD2="10.10.11.21"

IF_MASK2="255.255.255.0"

IF_NAME3="eth3"

IF_IPAD3="10.10.12.21"

IF_MASK3="255.255.255.0"

NODE_NAME="slave2" ← クローン先のスレーブサーバ

IF_NAME0="eth0"

IF_IPAD0="192.168.1.22"

IF_MASK0="255.255.255.0"

IF_NAME1="eth1"

IF_IPAD1="10.10.10.22"

IF_MASK1="255.255.255.0"

IF_NAME2="eth2"

IF_IPAD2="10.10.11.22"

IF_MASK2="255.255.255.0"

IF_NAME3="eth2"

IF_IPAD3="10.10.12.22"

IF_MASK3="255.255.255.0"

NODE_NAME="slave3" ← クローン先のスレーブサーバ

IF_NAME0="eth0"

IF_IPAD0="192.168.1.23"

IF_MASK0="255.255.255.0"

IF_NAME1="eth1"

IF_IPAD1="10.10.10.23"

IF_MASK1="255.255.255.0"

IF_NAME2="eth2"

IF_IPAD2="10.10.11.23"

IF_MASK2="255.255.255.0"

IF_NAME3="eth3"

IF_IPAD3="10.10.12.23"

IF_MASK3="255.255.255.0"

：

参照

・ネットワークパラメーター自動設定用の定義ファイルの詳細は、「B.4 FJSVrcx.conf」および「B.5 ipaddr.conf」を参照してください。

・ iSCSI イニシエーター設定定義ファイルの詳細は、「B.6 initiator.conf」を参照してください。

・ bdpp_prepareserver コマンドの詳細は、「A.10 bdpp_prepareserver」を参照してください。

- 74 -

注意

各サーバとストレージシステム間のインターフェースにFibreFibre Channelを使用する場合は、iSCSI イニシエーター設定定義ファイル

の指定を省略してください。

6.3.2.3 クローニング

クローン元のスレーブサーバの仮想マシンから、クローン先のスレーブサーバの数だけ仮想マシンのクローニングを行います。

参照

仮想マシンのクローニング方法は、ご使用の仮想化ソフトウェアのマニュアルを参照してください。

6.3.2.4 サーバ名の設定

クローン先のスレーブサーバを起動し、サーバ名を設定します。

/etc/sysconfig/network ファイルの HOSTNAME パラメーターを、クローン先のスレーブサーバのサーバ名に変更してください。

例

スレーブサーバ slave1 から slave2 をクローニングする場合

設定前：

HOSTNAME=slave1

設定後：

HOSTNAME=slave2

ポイント

HOSTNAME パラメーターには、「6.3.2.2 ネットワークパラメーター・iSCSI 名の自動設定の登録」で指定したネットワークパラメーター

自動設定定義ファイル ipaddr.conf に定義したサーバ名を設定してください。

参照

サーバ名の設定の詳細は、「5.8 サーバ名の設定」を参照してください。

6.3.2.5 仮想マシンの再起動

クローン先のスレーブサーバを再起動します。

参照

仮想マシンの起動方法および再起動方法は、ご使用の仮想化ソフトウェアのマニュアルを参照してください。

- 75 -

6.4 開発実行環境サーバへのインストール

開発実行環境サーバへの開発実行環境サーバ機能のインストールについて説明します。


1. 開発実行環境サーバ機能のインストール


3. Hadoop のセットアップ

6.4.1 開発実行環境サーバ機能のインストール

開発実行環境サーバ機能のインストール手順を以下に示します。


2. 開発実行環境サーバ機能のインストール



開発実行環境サーバ機能をインストールするために、構成ファイル bdpp.conf に対し、事前に設計した値を設定します。

参照

構成ファイル bdpp.conf の詳細については、「B.1 bdpp.conf」の「【開発実行環境サーバ】」を参照してください。

6.4.1.2 開発実行環境サーバ機能のインストール

以下の手順で、開発実行環境サーバ機能をインストールします。



例

構成ファイルbdpp.confを /home/data/develop ディレクトリの配下で作成した場合

# export BDPP_CONF_PATH=/home/data/develop <Enter>



す。





- 76 -

4. "3. Development Server installation" を選択してください。

================================================================================


V1.2.0


================================================================================

<< Menu >>





================================================================================


=> 3 <Enter>

注意




開発実行環境サーバ機能のインストール後に、本製品および本製品に含まれるソフトウェアの修正を適用してください。





2. マウント


マウントポイントを作成し、 /etc/fstab に DFS の記述を追加します。




例



- 77 -

fstab 設定

/etc/fstab に上記で作成したマウントポイントおよび論理ファイルシステム名を定義します。

論理ファイルシステム名は、DFS ファイルシステムを識別するための論理名です。マスタサーバでファイルシステムの構成情報を生成

する際に定義した名前を使用します。

例











参照

/etc/fstab に追加するエントリーの各フィールドに指定するパラメーターについて、スレーブサーバ導入時の「6.2.2.1 マウントポイントの

作成および fstab の設定」を参照してください。

6.4.2.2 マウント

マスタサーバで生成した DFS 構成情報ファイルを開発実行環境サーバに配付し、DFS ファイルシステムをマウントします。


ます。



例

開発実行環境サーバで、DFS ファイルシステムをマウントします。


注意

・ DFS ファイルシステムをマウントする前に開発実行環境サーバに DFS 構成情報ファイルを配置しておく必要があります。



- 78 -

参照


6.4.3 Hadoop のセットアップ

Hadoop のセットアップ手順を以下に示します。

1. マスタサーバの「6.1.4.1 スレーブサーバ定義ファイル slaves の作成」で作成したスレーブサーバ定義ファイル slaves を /etc/opt/FJSVbdpp/conf 配下にコピーします。

# scp -p root@master1:/etc/opt/FJSVbdpp/conf/slaves /etc/opt/FJSVbdpp/conf <Enter>

2. Hadoop のセットアップを実行します。



注意

セットアップに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてセットアップログ

(/var/opt/FJSVbdpp/log/bdpp_setup.log)を参照して、失敗した原因を取り除き、再度セットアップを実施してください。

参考



6.5 連携サーバへのインストール

連携サーバへの連携サーバ機能のインストールについて説明します。


1. 連携サーバ機能のインストール


6.5.1 連携サーバ機能のインストール

連携サーバ機能のインストール手順を以下に示します。


2. 連携サーバ機能のインストール


- 79 -


連携サーバ機能をインストールするために、構成ファイル bdpp.conf に対し、事前に設計した値を設定します。

参照

構成ファイル bdpp.conf の詳細については、「B.1 bdpp.conf」の「【連携サーバ】」を参照してください。

6.5.1.2 連携サーバ機能のインストール

以下の手順で、連携サーバ機能をインストールします。



例

構成ファイルbdpp.confを /home/data/collaborate ディレクトリの配下で作成した場合

# export BDPP_CONF_PATH=/home/data/collaborate <Enter>



す。





4. "4. Collaboration Server installation" を選択してください。

================================================================================


V1.2.0


================================================================================

<< Menu >>





================================================================================


=> 4 <Enter>

注意



- 80 -


連携サーバ機能のインストール後に、本製品および本製品に含まれるソフトウェアの修正を適用してください。





2. hadoop グループおよび mapred ユーザーの登録

3. マウント


マウントポイントを作成し、/etc/fstab に DFS の記述を追加します。




例



fstab 設定

/etc/fstab に上記で作成したマウントポイントおよび論理ファイルシステム名を定義します。

論理ファイルシステム名は、DFS ファイルシステムを識別するための論理名です。マスタサーバでファイルシステムの構成情報を生成

する際に定義した名前を使用します。

例











- 81 -

参照

/etc/fstab に追加するエントリーの各フィールドに指定するパラメーターについて、スレーブサーバ導入時の「6.2.2.1 マウントポイントの

作成および fstab の設定」を参照してください。

6.5.2.2 hadoop グループおよび mapred ユーザーの登録

hadoop グループおよび mapred ユーザーを登録します。

hadoop グループのグループID および mapred ユーザーのユーザーID は、マスタサーバの hadoop グループのグループID および

mapred ユーザーのユーザーID と同じ値である必要があります。

マスタサーバの /etc/passwd ファイルを確認して、同じ値となるように登録してください。

例

1. マスタサーバで登録されているグループのうち、hadoop グループを確認する。

# cat /etc/group <Enter>

・・・中略・・・

hadoop:x:123:hbase

hbase:x:1503:

bdppgroup:x:1500:

2. マスタサーバで登録されているユーザーのうち、mapred ユーザーを確認する。

# cat /etc/passwd <Enter>

・・・中略・・・

bdppuser1:x:1500:1500::/home/bdppuser1:/bin/bash

bdppuser2:x:1501:1500::/home/bdppuser2:/bin/bash

mapred:x:202:123:Hadoop MapReduce:/tmp:/bin/bash

hdfs:x:201:123:Hadoop HDFS:/tmp:/bin/bash

hbase:x:203:1503::/tmp:/bin/bash

3. hadoop グループを登録する。

# groupadd -g 123 hadoop <Enter>

4. mapred ユーザーを登録する。

# useradd -g hadoop -u 202 -c "Hadoop MapReduce" -d /tmp -s /bin/bash mapred <Enter>

注意

連携サーバで、すでにグループID およびユーザーID が登録済となっているために別のグループID、ユーザーID に変更する必要

がある場合には、マスタサーバ、スレーブサーバ、および開発実行環境サーバに登録されている hadoop グループのグループID、

mapred ユーザーのユーザーID もすべて同じ値となるように変更してください。

6.5.2.3 マウント

マスタサーバで生成した DFS 構成情報ファイルを連携サーバに配付し、DFS ファイルシステムをマウントします。

- 82 -


ます。



例

連携サーバで、DFS ファイルシステムをマウントします。


注意

・ DFS ファイルシステムをマウントする前に連携サーバに DFS 構成情報ファイルを配置しておく必要があります。



参照


- 83 -

第7章アンインストール

本章では、本製品を使用してシステム構築を行った各サーバ機能のアンインストール方法について説明します。

・マスタサーバからのアンインストール

・スレーブサーバからのアンインストール

・開発実行環境サーバからのアンインストール

・連携サーバからのアンインストール

7.1 マスタサーバからのアンインストール

マスタサーバからのマスタサーバ機能のアンインストールについて説明します。

1. ネットワーク二重化のアンセットアップ

2. DFS のアンセットアップ

3. HA クラスタのアンセットアップ

4. マスタサーバ機能のアンインストール

5. アンインストール後の作業


マスタサーバのアンインストールの流れを以下に示します。

マスタサーバを二重化構成としている場合は、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)の順でアンセットアップを交互に行

い、アンインストールを行う必要があります。

アンインストールおよびアンセットアップの作業は、すべて root 権限で実施します。

- 84 -

7.1.1 ネットワーク二重化のアンセットアップ

ネットワーク二重化のアンセットアップを実施します。

bdpp_unsetup を実行します。

# /opt/FJSVbdpp/setup/bdpp_unsetup <Enter>

注意

アンセットアップに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてセットアップログ

(/var/opt/FJSVbdpp/log/bdpp_setup.log)を参照して、失敗した原因を取り除き、再度アンセットアップを実施してください。

7.1.2 DFS のアンセットアップ

DFS のアンセットアップ手順を以下に示します。

DFS では、管理パーティションにファイルシステムを構成しているパーティション情報を記録しています。

そのため、使用中の DFS が不要になった場合は削除する必要があります。

- 85 -

注意

ファイルシステムを削除すると、ファイルシステムのデータはすべて削除されます。そのため、必要なデータは削除前にバックアップし

てください。

以下の環境を例に、DFS の削除手順を示します。



・ファイルデータパーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370107 /dev/disk/by-id/scsi-1FUJITSU_300000370108



特に指示がない場合は、マスタサーバ(プライマリ)で実行してください。

1. 現在のファイルシステム情報を確認します。

# pdfsinfo -a <Enter>







2. 対象となる DFS がマウントされている場合はアンマウントします。

すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバでアンマウントします。

# umount pdfs1 <Enter>

マスタサーバでアンマウントします。

# pdfsumntgl /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

3. DFS を削除します。

# pdfsadm -D /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

4. DFS が削除されたことを確認します。

管理パーティションに記録されている、ファイルシステム情報が存在しないことを確認します。


5. マスタサーバ(プライマリ)およびマスタサーバ(セカンダリ)で、接続許可リストファイルを削除します。


# rm ./server.conf.1 <Enter>

6. マスタサーバ(プライマリ)およびマスタサーバ(セカンダリ)の /etc/fstab から対象となる DFS の記述を削除します。

第1フィールドに代表パーティション（by-id 名を使用したデバイス名）が指定されているエントリーが該当します。

7. pdfsfrmd デーモンを停止します。

マスタサーバ(プライマリ)およびマスタサーバ(セカンダリ)で pdfsfrmd デーモンを停止します。

# pdfsfrmstop <Enter>

- 86 -

8. マスタサーバ(プライマリ)およびマスタサーバ(セカンダリ)で、DFS 管理サーバ情報を削除します。

# pdfssetup -d <Enter>

参照

pdfsinfo、pdfsumntgl、pdfsadm、pdfsfrmstop、pdfssetup の各コマンドの詳細については、「Primesoft Distributed File System for HadoopV1 ユーザーズガイド」の「コマンドリファレンス」で該当するコマンドを参照してください。

7.1.3 HA クラスタのアンセットアップ

HA クラスタのアンセットアップを実施します。

cluster_unsetup を実行します。

# /opt/FJSVbdpp/setup/cluster_unsetup <Enter>

注意



7.1.4 マスタサーバ機能のアンインストール

マスタサーバ機能のアンインストール手順を以下に示します。

1. 本製品および以下に示す本製品に含まれる製品の UpdateSite 形式の修正を適用している場合は、修正を削除します。

－ PRIMECLUSTER Clustering Base

－ PRIMECLUSTER GLS

－ Primesoft Distributed File System for Hadoop

－ ServerView Resource Orchestrator Virtual Edition (*1)

*1：物理環境に導入したマスタサーバ(プライマリ)のみ

参照

詳細は、「UpdateAdvisor(ミドルウェア)」の help および各修正パッチの修正情報ファイルを参照してください。

2. システム起動時にシングルユーザーモードで起動するようにデフォルトランレベルを変更します。

/etc/inittab ファイルの id エントリーの内容を 1 に変更してください。

注意

アンインストール後は元に戻すため、変更前のデフォルトランレベルを記録しておいてください。

# Default runlevel. The runlevels used are:

# 0 - halt (Do NOT set initdefault to this)

# 1 - Single user mode

- 87 -

# 2 - Multiuser, without NFS (The same as 3, if you do not have networking)

# 3 - Full multiuser mode

# 4 - unused

# 5 - X11

# 6 - reboot (Do NOT set initdefault to this)

#

id:1:initdefault: ← この行を変更してください。

3. シングルユーザーモードで再起動します。


4. アンインストーラーを実行します。

ネットワークインターフェースを起動してから、 bdpp_mgruninstall を実行します。

# /etc/init.d/network start <Enter>

# /opt/FJSVbdpp/manager/bdpp_mgruninstall <Enter>

5. システム起動時のデフォルトランレベルを元に戻します。

2. の手順で記録しておいた、デフォルトランレベルに戻してください。






# 4 - unused

# 5 - X11


#

id:5:initdefault: ← この行を元に戻してください。

注意

・アンインストールに失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてインストールロ

グ(/var/tmp/bdpp_install.log)を参照して、失敗した原因を取り除き、再度アンインストールを実施してください。

・本製品では、本製品および関連製品のパッチ適用に備えて、「UpdateAdvisor(ミドルウェア)」のインストールも行っていますが、本

製品のアンインストーラーでは、「UpdateAdvisor(ミドルウェア)」のアンインストールは行いません。

「UpdateAdvisor(ミドルウェア)」のアンインストールについては、「UpdateAdvisor(ミドルウェア)」の help を参照してください。

7.1.5 アンインストール後の作業

マスタサーバのアンインストール後の作業について説明します。

7.1.5.1 アンインストール後に残るディレクトリおよびファイルについて

アンインストール後にディレクトリおよびファイルが残る場合があります。

以下に示すディレクトリ(ディレクトリ配下に存在するディレクトリやファイルも含みます)およびファイルを削除してください。

ディレクトリ：

・ /opt/FJSVbdpp

・ /opt/SMAW

・ /etc/opt/FJSVbdpp

・ /etc/opt/FJSVhanet

- 88 -

・ /etc/opt/FJSVwvbs

・ /etc/opt/SMAW

・ /etc/pdfs

・ /var/opt/FJSVbdpp

・ /var/opt/FJSVpdfs

ファイル：

・ /etc/cip.cf

・ /etc/default/cluster

・ /etc/default/cluster.config

・ /var/adm/cfreg.data

7.1.5.2 「アンインストールと管理(ミドルウェア)」のアンインストール

「アンインストールと管理(ミドルウェア)」は、富士通ミドルウェア製品共通のツールです。

ここでは、「アンインストールと管理(ミドルウェア)」のアンインストール方法や注意事項について説明します。

「アンインストールと管理(ミドルウェア)」をアンインストールする場合は、以下の手順を実施してください。

1. 「アンインストールと管理(ミドルウェア)」を起動して他の富士通ミドルウェア製品が残っていないか確認します。起動方法は以下

のとおりです。

# /opt/FJSVcir/cir/bin/cimanager.sh [-c] <Enter>

-c:コマンドインターフェース

注意

コマンドのパスに空白を含めると起動に失敗しますので、空白を含むディレクトリに移動させないでください。

参考

コマンドモードで起動する場合は、-c を指定してください。-c の指定がない場合は、GUI 環境がある場合は GUI モード、GUI環境がない場合はコマンドモードで起動されます。

2. インストールされている富士通ミドルウェア製品が何もない場合、下記のアンインストールコマンドを実行します。

# /opt/FJSVcir/bin/cirremove.sh <Enter>

3. "本ソフトウェアは富士通製品共通のツールです。本当に削除しますか？[y/n]:" と表示されたら、"y" を入力して継続します。

数秒ほどでアンインストールが完了します。

4. アンインストール完了後、以下のディレクトリおよびその配下のファイルが残りますので削除します。

－ /var/opt/FJSVcir/cir/internal

－ /var/opt/FJSVcir/cir/logs

－ /var/opt/FJSVcir/cir/meta_db

ポイント

仮想環境にマスタサーバを導入していた場合、本作業は不要です。

- 89 -

7.1.5.3 アンインストール後に残るOSの設定について

インストール時にBDPPが以下のOSの設定ファイルに対して設定した値は、アンインストール後も設定されたまま残ります。必要に応じ

て設定を元に戻してください。

・ /etc/hosts

・ /etc/security/limits.conf

・ /etc/sysctl.conf

参考

インストール前のOSの設定ファイルは、「.bdpp」という拡張子を付加したファイル名で退避されています。設定を元に戻す際の参考に


7.1.5.4 アンインストール後に残るユーザーについて

インストール時に構成ファイルの BDPP_HADOOP_DEFAULT_USERS、

BDPP_HADOOP_DEFAULT_GROUP で指定し、作成されたユーザー、グループはアンインストール時に削除されません。

必要に応じて削除してください。

7.1.6 システムの再起動

システムを再起動します。


7.2 スレーブサーバからのアンインストール

スレーブサーバからのスレーブサーバ機能のアンインストールについて説明します。


1. ネットワーク二重化のアンセットアップ


3. スレーブサーバ機能のアンインストール



7.2.1 ネットワーク二重化のアンセットアップ

ネットワーク二重化のアンセットアップを実施します。

bdpp_unsetup を実行します。

# /opt/FJSVbdpp/setup/bdpp_unsetup <Enter>

- 90 -

注意





以下の環境を例に、アンセットアップ手順を示します。






2. DFS 構成情報ファイルを削除します。


# rm ./client.conf.pdfs1 <Enter>

3. /etc/fstab から対象となる DFS の記述を削除します。

第1フィールドに論理ファイルシステム名が指定されているエントリーが該当します。

7.2.3 スレーブサーバ機能のアンインストール

スレーブサーバ機能のアンインストール手順を以下に示します。


－ PRIMECLUSTER GLS


－ ServerView Resource Orchestrator Virtual Edition (*1)

*1：物理環境に導入したスレーブサーバのみ

参照




注意




- 91 -




# 4 - unused

# 5 - X11


#




4. アンインストールを実行します。

ネットワークインターフェースを起動してから、bdpp_agtuninstall を実行します。


# /opt/FJSVbdpp/agent/bdpp_agtuninstall <Enter>








# 4 - unused

# 5 - X11


#


注意







スレーブサーバのアンインストール後の作業について説明します。





・ /opt/FJSVbdpp

・ /opt/FJSVnrmp (*1)

・ /opt/FJSVrcxat (*1)

- 92 -

・ /opt/FJSVssagt (*1)

・ /opt/systemcastwizard (*1)


・ /etc/opt/FJSVhanet

・ /etc/opt/FJSVnrmp (*1)

・ /etc/opt/FJSVrcxat (*1)

・ /etc/opt/FJSVssagt (*1)

・ /etc/pdfs



・ /var/opt/FJSVnrmp (*1)

・ /var/opt/FJSVrcxat (*1)

・ /var/opt/FJSVssagt (*1)

・ /var/opt/systemcastwizard (*1)

ファイル：

・ /boot/clcomp2.dat (*1)

・ /etc/init.d/scwagent (*1)

・ /etc/scwagent.conf (*1)

*1：物理環境に導入したスレーブサーバのみ




・ /etc/hosts



参考




インストール時に構成ファイルの BDPP_HADOOP_DEFAULT_USERS 、



- 93 -




7.3 開発実行環境サーバからのアンインストール

開発実行環境サーバからの開発実行環境サーバ機能のアンインストールについて説明します。



2. 開発実行環境サーバ機能のアンインストール
















7.3.2 開発実行環境サーバ機能のアンインストール

開発実行環境サーバ機能のアンインストール手順を以下に示します。



参照




- 94 -

注意







# 4 - unused

# 5 - X11


#





ネットワークインターフェースを起動してから、bdpp_devuninstall を実行します。


# /opt/FJSVbdpp/agent/bdpp_devuninstall <Enter>








# 4 - unused

# 5 - X11


#


注意







開発実行環境サーバのアンインストール後の作業について説明します。



- 95 -



・ /opt/FJSVbdpp


・ /etc/pdfs






・ /etc/hosts



参考







ポイント

ユーザープロファイル(/home/{ユーザーID}/.bash_profile)について

インストール時に構成ファイルの BDPP_HADOOP_DEFAULT_USERS で指定し、作成されたユーザーのユーザープロファイルには、

OSS実行時の環境変数の設定について、以下のように記述されています。

# Set the BDPP environment

if [ -f /etc/opt/FJSVbdpp/conf/bdpp-products-env.sh ]; then

. /etc/opt/FJSVbdpp/conf/bdpp-products-env.sh

fi

上記の記述は、必要に応じて削除してください。



- 96 -


7.4 連携サーバからのアンインストール

連携サーバからの連携サーバ機能のアンインストールについて説明します。



2. 連携サーバ機能のアンインストール
















7.4.2 連携サーバ機能のアンインストール

連携サーバ機能のアンインストール手順を以下に示します。



参照




- 97 -

注意







# 4 - unused

# 5 - X11


#





ネットワークインターフェースを起動してから、bdpp_coouninstall を実行します。


# /opt/FJSVbdpp/agent/bdpp_coouninstall <Enter>








# 4 - unused

# 5 - X11


#


注意







連携サーバのアンインストール後の作業について説明します。



- 98 -



・ /opt/FJSVbdpp


・ /etc/pdfs










- 99 -

第3部運用編本製品を使用したアプリケーションの登録・実行のほか、システム管理、システム構成の変更、保守などの運用全般について説明しま

す。

第8章起動・停止........................................................................................................................................... 101

第9章アプリケーションの開発と登録.............................................................................................................. 105

第10章ジョブの実行・停止.............................................................................................................................108

第11章外部プログラム並列実行機能の使い方.............................................................................................. 111

第12章ジョブの実行ユーザーの管理............................................................................................................. 137

第13章スレーブサーバの追加と削除............................................................................................................. 141

第14章ストレージシステムの追加と削除........................................................................................................ 151

第15章バックアップ・リストア..........................................................................................................................160

第16章異常時の操作....................................................................................................................................168

第17章システムの設計・開発・運用における前提知識や役立つ情報.............................................................. 183

第18章トラブルシューティング........................................................................................................................215

- 100 -

第8章起動・停止

本章では、本製品を導入したシステムの起動、停止、および状態表示の方法について説明します。

8.1 起動

本製品を導入したシステムを起動する際には、以下の順序で作業を行ってください。

図8.1 本製品を導入したシステムの起動の流れ

DFSのマウント

DFS をマウントする際は、必ず DFS 管理サーバ、DFS クライアントの順で行う必要があります。

そのため、DFS 管理サーバであるマスタサーバの起動から行います。マスタサーバを二重化構成で運用している場合は、マスタ

サーバ(プライマリ)、マスタサーバ(セカンダリ)の順でサーバの起動を行ってください。

マスタサーバの起動が完了したあとに、DFS クライアントであるスレーブサーバ、開発実行環境サーバ、連携サーバの起動を行い

ます。

既存の業務システムを運用しているなど既に連携サーバが起動している場合、連携サーバでは DFS のマウントのみ行います。

注意

－マスタサーバが二重化構成の場合、マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)の両方で DFS 管理サーバが起動す

るまで、システムの起動が完了しません。

そのため、マスタサーバ(プライマリ)のシステム起動の完了を待たずに、マスタサーバ(セカンダリ)のシステムを起動してくださ

い。

－サーバ起動時に DFS のマウントが自動的に行われない設定となっている場合は、サーバの起動後に手動で DFS のマウント

を行ってください。

- 101 -

Hadoop の起動

すべてのサーバで DFS のマウントが完了したあと、Hadoop の起動を行います。

本製品の Hadoop は、マスタサーバで bdpp_start コマンドを実行することで起動することができます。

bdpp_start コマンドの詳細については、「A.14 bdpp_start」を参照してください。

Hadoop の起動を行うと、次に示すプロセスが起動されます。

－マスタサーバ

- JobTracker(Hadoop)

－スレーブサーバ

- TaskTracker(Hadoop)

注意

マスタサーバ上の Apache Hadoop の "JobTracker" を直接、起動することはできません。本製品の Hadoop を起動する場合は必ず、

bdpp_start コマンドを使用してください。

Apache Hadoop の利用方法については、「Hadoop プロジェクトトップページ http://hadoop.apache.org/」を参照してください。

参考

DFS の自動マウントを行うかどうかの設定は、/etc/fstab で行います。DFS のマウントオプションが以下の場合に、自動マウントが行われ

ます。

・マスタサーバの場合： noatrc オプションが指定されていない

・それ以外のサーバの場合： noauto オプションが指定されていない

8.2 停止

本製品を導入したシステムを停止する際は、以下の順序で作業を行ってください。

- 102 -

図8.2 本製品を導入したシステムの停止の流れ

Hadoop の停止

本製品の Hadoop を停止したあとに、各サーバを停止してください。

本製品の Hadoop の停止は、bdpp_stop コマンドで行います。

コマンドの実行によって、マスタサーバおよびスレーブサーバで動作する Hadoop プロセスが停止されます。

bdpp_stop コマンドの詳細は、「A.16 bdpp_stop」を参照してください。

DFSのアンマウント

DFS のアンマウントは、DFS クライアント、DFS 管理サーバの順で行う必要があります。

そのため、DFS クライアントである連携サーバ、開発実行環境サーバ、スレーブサーバから停止します。

既存の業務システム環境を運用しているなどの理由から連携サーバを停止できない場合、連携サーバでは DFS のアンマウントの

み行います。

すべての DFS クライアントの停止が完了したあと、マスタサーバを停止します。

マスタサーバを二重化構成で運用している場合は、マスタサーバ(セカンダリ)、およびマスタサーバ(プライマリ)の順で停止します

注意

マスタサーバ上の Apache Hadoop の "JobTracker" を直接、停止することはできません。本製品の Hadoop を停止する場合は必ず、

bdpp_stop コマンドを使用してください。

Apache Hadoop の利用方法については、「Hadoop プロジェクトトップページ http://hadoop.apache.org/」を参照してください。

8.3 状態表示

本製品の Hadoop の状態を表示する方法について説明します。

本製品の Hadoop の状態表示は、bdpp_stat コマンドで行います。

- 103 -

コマンドの実行によって、マスタサーバおよびスレーブサーバ上で動作する Hadoop プロセスの状態を表示することができます。

bdpp_stat コマンドの詳細は、「A.15 bdpp_stat」を参照してください。

- 104 -

第9章アプリケーションの開発と登録

本章では、Hadoop で実行するアプリケーションの開発手法について説明します。

9.1 アプリケーションの開発環境

開発実行環境サーバ上にインストールされる Hadoop、Hive、Pig、HBase、Mahout の各機能が提供するAPIや言語インターフェースを

利用して、アプリケーションを開発します。

Hadoop の API を利用した Java プログラム開発を行う場合は、Eclipse および Eclipse の Hadoop 専用プラグインを利用することによっ

て、開発容易性が向上します。

9.2 アプリケーションの開発

従来、大量データの並列分散処理を実現するためには、同期処理などの複雑なプログラムを作成する必要がありました。

Hadoop では、並列分散処理を考慮したプログラムを作成する必要はありません。利用者は、MapReduce アルゴリズムにしたがって

Map 処理とReduce 処理の2つをアプリケーションとして作成するだけです。データの分散格納・抽出や作成した処理の並列実行は、

すべて Hadoopが担っています。

9.2.1 アプリケーションの概要

Hadoop 上で処理を行うためのアプリケーションには、以下の種類があります。

・ MapReduce アプリケーション

Hadoop の MapReduce フレームワーク上で動作する Java プログラムを、Hadoop API を利用して開発します。

・ Hive クエリ

Hadoop API を利用することなく、The Apache Software Foundation で開発された Apache Hive を利用して、SQL 相当の言語

(HiveQL)で記述するクエリです。

・ Pigスクリプト

Hive と同様に、Hadoop API を利用することなく、Pig Latin 言語を利用したスクリプトを記述します。

・ HBase アプリケーション

HBase に対するデータ入出力、HBase 上のデータに対する操作を行う Java プログラムを、HBase API を利用して開発します。

・ Mahout アプリケーション

Hadoop 上で実行できる機械学習アルゴリズムを、Hadoop APIとMahout APIを利用して開発します。

参考

インストール先ディレクトリ

上記に示すアプリケーションは、マスタサーバ、スレーブサーバ、および開発実行環境サーバの下記ディレクトリにインストールされま

す。

アプリケーションインストールディレクトリマスタサーバスレーブ

サーバ

開発実行環境

サーバ

MapReduce /usr/bin（コマンド） ○ ○ ○

- 105 -

アプリケーションインストールディレクトリマスタサーバスレーブ

サーバ

開発実行環境

サーバ

/usr/share/hadoop（ライブラリ）

/etc/hadoop（設定ファイル）

Hive /usr/lib/hive (*1)

/etc/hive（設定ファイル）(*1)

× × ○

Pig /usr/lib/pig (*1)

/etc/pig（設定ファイル）(*1)

× × ○

HBase /usr/lib/hbase (*1)

/etc/hbase（設定ファイル）(*1)

○ ○ ○

Mahout /usr/lib/mahout (*1) × × ○

○：インストールされます。

×：インストールされません。

*1：シンボリックリンクです。

注意

Hive、Pig、Hbase、Mahoutを実行する場合、環境変数の設定が必要となります。

設定方法については、「12.1.3 OSS実行時の環境変数の設定」を参照してください。

参考

上記に示すアプリケーション以外でも、Hadoop API を利用せずに実装された外部プログラムを、HadoopのMapReduceフレームワーク

上で動作させることが可能です。

詳細については「第11章外部プログラム並列実行機能の使い方」を参照してください。

以降、MapReduce アプリケーションの開発について説明します。その他のアプリケーション開発については、Apache Hadoop プロジェ

クトのWebページ等を参照してください。

9.2.2 アプリケーションの設計

アプリケーションの処理ロジックを設計します。並列分散処理を行うために従来設計が必要であった、入力ファイル分割やマージなど

の処理は、Hadoop のフレームワークが実行するため設計が不要です。そのため、業務に必要なロジックの設計に専念することができ

ます。

アプリケーション開発者は Hadoop API を理解し、MapReduce フレームワークに従った設計が必要となります。主に、以下の設計を行

う必要があります。

・ Key、Value に該当する項目の決定

・ Map 処理の内容

・ Reduce 処理の内容

- 106 -

9.2.3 アプリケーション作成

アプリケーションを設計した結果をもとに、アプリケーションを作成します。

MapReduce アプリケーション

通常の Java アプリケーションの作成と同様に、Javaプロジェクトを作成し、コーディングを行います。

Eclipse のビルドパスに Hadoop の jar ファイルを追加することで、Hadoop API を使用することができます。

なお、hadoop -core-xxx.jar の指定は必須です( "xxx" には Hadoop のバージョンが入ります)。なお、その他の Hadoopのライブラリは、

使用する Hadoop API に応じて適宜指定してください。

9.2.4 MapReduce アプリケーション開発のためのリファレンス

MapReduce アプリケーションのリファレンスについては、以下に示す Apache Hadoop が提供する情報を参照してください。

Hadoop API を利用する場合

・ Hadoop プロジェクトトップページ

http://hadoop.apache.org/

－スタートガイド

－リリース情報

－ドキュメント

・ MapReduce チュートリアル

http://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html

9.3 アプリケーションの登録

作成した Java プログラム（jar ファイル）を、開発実行環境サーバ上の任意のディレクトリに格納します。

- 107 -

第10章ジョブの実行・停止

本章では、本製品を使用して Hadoop のジョブの実行、停止、状態表示を行う方法について説明します。

Hadoop のジョブの実行、停止、状態表示などの操作は、Hadoop が提供するコマンドを利用して行うことができます。

Hadoop および Hadoop を動作させるためのシステムや Java のチューニング、Hadoop コマンド仕様の詳細は、Apache Hadoop プロジェ

クトの Web ページを参照してください。

なお、インストール時に構成ファイル bdpp.conf の BDPP_HADOOP_DEFAULT_USERS パラメーターで指定したユーザー ID 以外で

Hadoop のジョブを実行するためには、ユーザーアカウントの設定を行う必要があります。ユーザーアカウントの設定についての詳細

は、「第12章ジョブの実行ユーザーの管理」を参照してください。

10.1 入出力データの準備

Hadoopジョブで使用するファイル・ディレクトリを準備します。

・入力データをローカルファイルシステムからDFSにコピーします。

・出力ディレクトリをDFSに用意します。

例

コマンド実行例：

$ hadoop fs -mkdir /user/bdppuser1/input-dir <Enter>

$ hadoop fs -copyFromLocal /home/bdppuser1/input.txt /user/bdppuser1/input-dir/input.txt <Enter>

$ hadoop fs -mkdir /user/bdppuser1/output-dir <Enter>

入出力データは、POSIXインターフェースを利用しているミドルウェアやプログラムから直接入出力することもできます。

例

RDBから抽出したデータを直接DFSに格納：

$ mkdir /mnt/pdfs/hadoop/user/bdppuser1/input-dir <Enter>

$ RDBからのデータ抽出プログラム > /mnt/pdfs/hadoop/user/bdppuser1/input-dir/input.txt <Enter>

Hadoopジョブが出力したデータを直接RDBに格納：

$ RDBへのデータ登録プログラム < /mnt/pdfs/hadoop/user/bdppuser1/output-dir/part-r-* <Enter>

上記のパス/mnt/pdfs/hadoopは、本製品のインストール時にbdpp.confファイルに指定した以下のパラメーターに対応しています。

・ BDPP_PDFS_MOUNTPOINT = /mnt/pdfs

・ BDPP_HADOOP_TOP_DIR = /hadoop

この場合、上記の例にある以下の2つのファイルの実体は同じものになります。

・ OSにマウントされたファイルシステム上の/mnt/pdfs/hadoop/user/bdppuser1/input-dir/input.txt

・ Hadoopから使用するDFS上の/user/bdppuser1/input-dir/input.txt

また、入出力ディレクトリにファイルを格納する前に圧縮属性を付加しておくことで実データ量を削減することができます。圧縮属性の

付加は、OS上のコマンドで行います。

- 108 -

例

入出力ディレクトリの圧縮：

$ chattr +c /mnt/pdfs/hadoop/user/bdppuser1/input-dir /mnt/pdfs/hadoop/user/bdppuser1/output-dir <Enter>

圧縮属性の確認：

$ lsattr -d /mnt/pdfs/hadoop/user/bdppuser1/input-dir /mnt/pdfs/hadoop/user/bdppuser1/output-dir <Enter>

上記の操作により、以降OSやHadoopを通して当該ディレクトリに格納するファイルが自動的に圧縮されます。ファイルを読み出す際に

は自動的に伸長されますので、利用者やアプリケーションで意識する必要はありません。

なお、圧縮属性はディレクトリ作成直後、ファイルを格納する前に付加するようにしてください。

参照

圧縮機能、chattrコマンド、およびlsattrコマンドの詳細は、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」を参照


注意

・ chattrコマンド、およびlsattrコマンドの実行時に『サポートされていない操作です』のメッセージが出力される場合、DFSが2MBを超

えるデータブロックサイズで作成されている可能性があります。圧縮機能を使用するには、2MB以下のデータブロックサイズを指

定してDFSを再作成してください。再作成の方法については、「14.2 ストレージシステムの削除」を参照してください。

10.2 ジョブの実行

Hadoop ジョブを実行可能なユーザーアカウントで hadoop コマンドを利用して、MapReduce プログラム（Javaプログラム）を実行します。

jar オプションまたは、job オプションを利用します。

例


$ hadoop jar sample.jar /user/bdppuser1/input-dir/input.txt /user/bdppuser1/output-dir <Enter>

上記は、MapReduce プログラムを含んだ sample.jar を jar オプションを利用して実行している例です。

参照

外部プログラム並列実行機能を利用してHadoopジョブを実行する場合は、「第11章外部プログラム並列実行機能の使い方」を参照し

てください。

10.3 ジョブの停止

Hadoop ジョブを実行可能なユーザーアカウントで hadoop コマンドを利用して、実行中の Hadoop ジョブを停止することができます。jobオプションを利用します。

- 109 -

例


$ hadoop job -kill {ジョブID} <Enter>

10.4 ジョブの状態表示

Hadoop ジョブを実行可能なユーザーアカウントで hadoop コマンドを利用して、実行中の Hadoop ジョブの状態を表示、確認すること

ができます。job オプションを利用します。

以下の例は、すべての Hadoop ジョブのリストを表示するコマンドです。ジョブID、状態(1:実行中／2:正常終了／3:異常終了／4:実行

待機中／5:強制終了)、開始時間等を確認するコマンドです。

例


$ hadoop job -list all <Enter>

- 110 -

第11章外部プログラム並列実行機能の使い方

本章では、外部プログラム並列実行機能の使い方について説明します。

11.1 概要

「2.4 外部プログラムの並列実行」で述べたように、Hadoopで並列処理を行うには、Hadoop固有の機能やAPIを理解し、Mapタスク、

Reduceタスクで動作するMapReduceアプリケーション(Javaプログラム)を作成する必要があります。

本機能では、Hadoop固有の機能やAPIを使用しない外部プログラム(任意のプログラミング言語を使用して作成したプログラムやスクリ

プトなど)を、Mapタスク、Reduceタスクとして実行することができます。通常、外部プログラムをHadoopで利用するには、Hadoopに標準

で搭載されているHadoop Streaming機能を利用しますが、その場合と比較して本機能には以下のような特徴があります。

・ Hadoopジョブに複数種類(形式)のファイルを入力し、ファイル形式に応じた外部プログラムで処理した後、複数の種類(形式)で出

力することができます。

Hadoop Streamingでは、外部プログラムに対して入出力は一つずつとなっています。そのため、業務処理で多用される、複数の

データを入力し結合(JOIN)するような処理を作成するには、高いスキルを要します。

・ CSV形式など、項目が任意の文字で区切られたデータを容易に扱うことができます。

MapReduceによる並列処理では、複数のMapタスクから複数のReduceタスクに受け渡すデータを識別するため、処理したいデー

タにキーを付加したKey-ValueデータをMapタスクから出力する必要があります。Hadoop Streamingをデフォルトの設定で使用した

場合、Key-Valueデータの形式がKey→Valueの順に物理的に配置されている必要がある、KeyとValueの区切り文字がタブ文字で

あるなど、所望のプログラムロジックや出力データ形式を生成するのが困難な場合があります。

参考

MapReduce処理やアプリケーション、Hadoop Streamingの詳細は、以下を参照してください。

・ http://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html

・ http://hadoop.apache.org/docs/r1.2.1/streaming.html

MapタスクやReduceタスク、MapReduce処理の流れについては、「17.5.1 Hadoopジョブとタスク」もあわせて参照してください。

11.2 外部プログラムと入出力ファイル

本機能では、入力ファイルと出力ファイルを指定して実行できる外部プログラムを使用します。本機能から呼び出される際のコマンドラ

インのイメージは以下のようになります。

$ Mapタスクとして実行する外部プログラム [プログラム固有のオプション] 入力ファイル名出力ファイル名

$ Reduceタスクとして実行する外部プログラム [プログラム固有のオプション] 入力ファイル名出力ファイル名

Hadoopジョブの実行時には、各スレーブサーバの各タスクごとにディレクトリが割り当てられます。外部ブログラムは、そのディレクトリを

カレントディレクトリとして起動されます。

カレントディレクトリは他のタスクとは重複しないため、外部プログラムが独自に出力したデバッグ情報用のファイルや、外部プログラム

の標準出力・標準エラー出力の内容等の配置先として利用します。また、後述する11.7.4 主キー一覧ファイルなど、Hadoopの機能に

より配布され各タスクから参照することができるサイドデータも配置されます。

ポイント

Hadoopを使用せずに単独で実行する場合、以下のように実行することでHadoopで並列処理を行った場合と同じ結果を得ることができ

ます。

- 111 -

1. 処理対象のデータを、『Mapタスクとして実行する外部プログラム』の入力ファイルに指定して実行

2. 1.の出力ファイルを、『Reduceタスクとして実行する外部プログラム』の入力ファイルに指定して実行

また、本機能では以下のような入出力ファイルを使用します。

・ Hadoop入力データファイル

・ Map入力データファイル

・ Map出力データファイル

・ Reduce入力データファイル

・ Reduce出力データファイル

・ Hadoop出力データファイル

このうち、外部プログラムが本機能から呼び出される際に指定される入出力ファイルは、Map入力/出力データファイル、またはReduce入力/出力データファイルです。各ファイルについての詳細は後述します。

本機能を使用する際は、呼び出す外部プログラムや、処理対象となるHadoop入力/出力データファイルなどをあらかじめ設定ファイル

に記述しておきます。この設定ファイルを「MapReduce設定ファイル」と呼びます。

MapタスクおよびReduceタスクとして実行する外部プログラムと入出力ファイル、MapReduce設定ファイルの概念を以下の図に示しま

す。

- 112 -

以降で、本機能における各ファイルとMapタスク、Shuffle&sortおよびReduceタスクについて説明します。

Hadoop入力データファイル

Hadoopによって分割され、各Mapタスクに渡されるファイルを「Hadoop入力データファイル」といいます。Hadoop入力データファイルは

分割可能なデータファイルである必要があり、トランザクションファイルやマスタファイルなどをHadoop入力データファイルに使用しま

す。

参考

Mapタスクに渡されるファイルは自動的に分割されますが、レコードの途中で分割されることはありません。

Mapタスク

Mapタスクには、一定サイズに単純分割されたHadoop入力データファイルが割り当てられます。この割り当てられたファイルのことを

「Map入力データファイル」といいます。必要に応じて外部プログラムでデータを加工し、ファイルに出力することで後続のShuffle&sortに渡します。この出力ファイルのことを「Map出力データファイル」といいます。Map出力データファイルは、CSV形式のデータである必


Mapタスクでは、MapReduceフレームワークによって単純に分割されたファイルが入力になります。このため、Mapタスクではすべての

レコードを一律に加工する処理など、入力データを分割して処理しても問題ないものを実装します。

Map入力データファイルとMap出力データファイルのパスは、それぞれ外部プログラム実行時のコマンドライン引数として渡されます。

外部プログラムでは引数で渡されたファイルパスに対して、ファイル読み込み・ファイル書き込みの処理を実装してください。

- 113 -

参考

Mapタスクは省略することもできます。省略した場合、Hadoop入力データファイルがそのままMap出力データファイルとしてShuffle&sortに受け渡されます。

Shuffle&sort

Shuffle&sortはMapタスクから渡されたデータをレコード単位に分割し、指定されたキーの単位でグループ化・ソートして後続のReduceタスクへ振り分けます。本機能では、HadoopのPartitioner機能でグループ化・ソートするためのキーを「主キー」といいます。また、ソー

トするためのキーとして「主キー」に加えて、別のキーを指定することも可能です。このソートだけに使用するキーを「副キー」といいま

す。

また、本機能ではShuffle&sortからReduceタスクへのレコード振り分けの際に、以下の3つの振り分け条件を選択することが可能です。

・ハッシュ値により振り分ける

・キー分布を考慮し自動的に適な条件に振り分ける

・キーごとに異なるタスクに振り分ける

主キー、副キーおよび振り分け条件は、MapReduce設定ファイルで指定します。

参考

キー情報には、キーごとに異なる種別、順序（昇順・降順）を指定することができます。

Reduceタスク

Reduceタスクには、キー単位にグループ化されたファイルが割り当てられます。この割り当てられたファイルのことを「Reduce入力デー

タファイル」といいます。必要に応じて外部プログラムでデータを加工し、ファイルに出力します。この出力ファイルのことを「Reduce出

力データファイル」といいます。

Reduceタスクには、Shuffle&sortによって主キー単位にグループ化されたレコードが渡されます。また、レコードは主キーおよび副キー

でソート済になっています。このため、Reduceタスクではデータを集計したり、突き合わせたりする処理などを実装します。

Reduce入力データファイルとReduce出力データファイルのパスは、それぞれ外部プログラム実行時のコマンドライン引数として渡され

ます。外部プログラムでは引数で渡されたファイルパスに対して、ファイル読み込み・ファイル書き込みの処理を実装してください。

参考

Reduceタスクは省略することもできます。省略した場合、Reduce入力データファイルがそのままReduce出力データファイルとしてファイ

ルに出力されます。

Reduceタスクを省略する場合、Hadoopのプロパティ「mapred.reduce.tasks」に「0」を指定してください。

Hadoop出力データファイル

各Reduceタスクから出力されるファイルを「Hadoop出力データファイル」といいます。Hadoop出力データファイルは実行されたReduceタスクごとに出力されます。

11.3 作業手順

以下に、外部プログラム並列実行機能を利用する際の作業手順を示します。

1. 外部プログラムの開発

MapタスクおよびReduceタスクとしてHadoop上で実行する外部プログラムを開発します。詳細は「11.4 外部プログラムの開発」を


- 114 -

2. MapReduce設定ファイルの記述

Hadoop上で外部プログラムを実行するために必要な情報をMapReduce設定ファイルに記述します。詳細は「11.5 MapReduce設定ファイル」を参照してください。

3. Hadoopジョブの実行

外部プログラム並列実行コマンドを利用して、外部プログラムを並列実行するためのHadoopジョブを実行します。詳細は「11.6Hadoopジョブの実行」を参照してください。

11.4 外部プログラムの開発

MapタスクおよびReduceタスクとして実行する外部プログラムは、コマンドラインからMap入出力ファイル・Reduce入出力ファイルのパス

名を受け取ることができるアプリケーションである必要があります。

例：MapタスクとしてJavaアプリケーションを実行する際のコマンドライン

$ java -cp ./sample.jar Map1 <Map入力ファイルパス> <Map出力ファイルパス>

また、MapタスクとReduceタスクは、それぞれ以下のような役割を持っており、実行する外部プログラムもこの役割に沿った処理を実装

する必要があります。

・ Mapタスク

入力データのフィルタリングなど、データ加工の前処理を行う役割

・ Reduceタスク

Mapから渡されたデータをまとめ上げて結果を出力する役割

11.4.1 Mapタスクで使用するファイル

Mapタスクで使用するMap入力データファイルおよびMap出力データファイルは、外部プログラム実行コマンドラインの引数として指定

します。外部プログラム実行コマンドラインはMapReduce設定ファイルで記述します。

Mapタスクの外部プログラムは、Map入力データファイルとMap出力データファイルをそれぞれ1つオープンできます。

以下の例では、異なる2つのHadoop入力データファイルを2つの外部プログラムに割り当ててMapタスクを実行しています。

Hadoop入力データファイル(1)を外部プログラム(1)に割り当て

Hadoop入力データファイル(2)を外部プログラム(2)に割り当て

- 115 -

11.4.2 Reduceタスクで使用するファイル

Reduceタスクで使用するReduce入力データファイルおよびReduce出力データファイルは、外部プログラム実行コマンドラインの引数と

して指定します。外部プログラム実行コマンドラインはMapReduce設定ファイルで記述します。

Reduceタスクの外部プログラムは、Hadoop入力データファイルに指定した全てのファイルをReduce入力データファイルとして読み込む

ことができます。また、複数のReduce出力データファイルを書き出すことができます。

以下の例では、異なる2つのHadoop入力データファイルを割り当ててReduceタスクを実行しています。

Shuffle&sortにキーとして数字項目を指定してグループ化しています。Reduceタスクの外部プログラムでは、グループ化されたレコード

を読み込んで、同じキーのレコードを結合しています。

- 116 -

11.5 MapReduce設定ファイル

外部プログラム並列実行機能では、実行に必要な以下の情報をMapReduce設定ファイルに定義します。

・ Mapタスク・Reduceタスクとして実行する外部プログラム名

・入出力ファイルのファイル(パス)名

・ Shuffle&sortで使用するキーの情報

MapReduce設定ファイルは、XMLファイル（テキストファイル）です。テキストエディタなどを使用して作成してください。

参考

MapReduce設定ファイルには、タスクのタイムアウト時間やReduceタスク数などHadoopのプロパティの値を定義することもできます。

11.5.1 MapReduce設定ファイルのフォーマット

MapReduce設定ファイルは、設定する一つの項目に対して<property>要素を作成します。その<property>要素の中に、設定名を<name>要素、設定値を<value>要素としてそれぞれ設定します。

以下にMapReduce設定ファイルのフォーマットを示します。

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration> 

<property> 

<name>設定名1</name>

<value>設定値1</value>

</property>

<property>

<name>設定名2</name>

<value>設定値2</value>

</property>



</configuration>

- 117 -

11.5.2 MapReduce設定ファイルに指定する情報一覧

MapReduce設定ファイルに設定する項目の一覧を示します。

表11.1 設定項目一覧

カテゴリ設定名意味指定

Hadoopジョブ名の指定 extjoiner.jobname Hadoopジョブ名任意

外部プログラムの指定 extjoiner.map.streamprocessor.nn Mapタスクで実行する外部プロ

グラム必須

(*1)extjoiner.reduce.streamprocessor Reduceタスクで実行する外部

プログラム

外部プログラムの再実行を行う復

帰値のしきい値

extjoiner.command.retryexitstatus 外部プログラムから返される復

帰値により、外部プログラムの

再実行を行うかどうかのしきい

値を指定します

任意

ジョブをエラーとして扱う復帰値の

しきい値

extjoiner.command.jobfailurestatus 外部プログラムから返される復

帰値により、ジョブをエラーとす

るかどうかのしきい値を指定し

ます

任意

環境変数の指定

extjoiner.map.environment Mapタスクで実行する外部プロ

グラムの環境変数を指定します任意

extjoiner.reduce.environment Reduceタスクで実行する外部

プログラムの環境変数を指定し

ます

任意

入出力ファイルの指定

extjoiner.input.nn.filename Hadoop入力データファイル名

(*2)(*3)必須

mapred.output.dir Hadoop出力データファイル格

納基準ディレクトリ名(*2)必須

extjoiner.output.mm.filename Hadoop出力データファイルディ

レクトリ名(*2)必須

出力データファイル格納基準ディ

レクトリの上書きの指定

extjoiner.output.dir.removeifexist Hadoop出力データファイル格

納基準ディレクトリを上書きする

かどうかを指定します

任意

キー情報の指定

extjoiner.sortkey.nn.main Shuffle&sortで使用する主キー

の情報

必須

(*4)

extjoiner.sortkey.nn.sub Shuffle&sortで使用する副キー

の情報任意

Shuffle&sort入力データの扱いの

指定

extjoiner.csv.separator CSVデータのセパレータを指

定する任意

extjoiner.partitioner.csv.padding CSVデータの振り分け処理に

おける主キーの空白の扱い任意

extjoiner.comparator.csv.padding CSVデータのソート処理におけ

る副キーの空白の扱い任意

extjoiner.csv.floatfield 浮動フィールド指定任意

Map出力データファイル自動ソー

トの指定

extjoiner.input.sort Reduceタスクで実行する外部

プログラムの指定を省略しても

Shuffle&sortを動作させる

任意

処理レコード件数のログを取得す

る

extjoiner.map.input.getRecordCount Map入力レコード数をログに表

示する任意

- 118 -


extjoiner.map.output.getRecordCount Map出力レコード数をログに表

示する任意

extjoiner.reduce.input.getRecordCount Reduce入力レコード数をログに

表示する任意

extjoiner.reduce.output.getRecordCount Reduce出力レコード数をログに

表示する任意

カレントディレクトリの退避の指定extjoiner.copyworkingdir 外部プログラムのカレントディレ

クトリをタスク終了後退避する任意

バッファサイズの指定extjoiner.maxbufferrecords バッファリングを行うレコード数

の上限任意

主キー一覧ファイルの指定 extjoiner.mainkeylist 主キー一覧ファイル名任意

一意振り分けの指定

extjoiner.partitioner.unique キーが異なるレコードを、それ

ぞれ異なるReduceタスクへ振り

分ける

任意

一意振り分けにおけるキーの上限

数の指定

extjoiner.partitioner.unique.max.keys 一意振り分けにおけるキーの

上限数任意

Mapタスク複数ファイル出力モー

ド

extjoiner.map.multioutput Mapタスクに割り当てた外部プ

ログラムで複数ファイル出力を

利用する

任意

(*1)：いずれか片方を省略できます。

(*2)：DFS上のパス名を指定します。

(*3)：ディレクトリ名を指定することもできます。ディレクトリを指定した場合、そのディレクトリ内のファイルすべてが入力ファイルとして扱

われます。

(*4)：Shuffle&sortを使用しない場合は省略できます。

表中の「nn」は、Hadoop入力データファイルの個数(ファイルの種類の数)に対応します。また、表中の「mm」は、Hadoop出力データファ

イルの個数(ファイルの種類の数)に対応します。「nn」と「mm」には、それぞれ01～64の数値を指定します。

以降で各設定名に対する設定値を説明します。

11.5.3 Hadoopジョブ名の指定

Hadoopジョブ名は以下の設定名で指定します。

設定内容設定名

(NAME要素)設定値

(VALUE要素)備考

Hadoopジョブ名 extjoiner.jobname ジョブ名を英数字で指定します省略可

デフォルト値は

"External Joiner utility"です

11.5.4 外部プログラムの指定

Mapタスクとして実行する外部プログラムは、利用するファイルごとに指定します。

Reduceタスクとして実行する外部プログラムは、利用するファイル数に関わらず一つだけ指定します。

- 119 -



(VALUE要素)備考

Mapタスクとして実行する外部

プログラム

extjoiner.map.streamprocessor.nn 外部プログラム実行のコマン

ドラインを指定します

Map/Reduceタ

スクのいずれか

片方を省略可Reduceタスクとして実行する外

部プログラム

extjoiner.reduce.streamprocessor

外部プログラムの入出力データファイルを外部プログラム実行のコマンドライン引数で指定する必要があります。引数で指定する値は

以下の通りです。

ファイル種別引数で指定する値外部プログラムに渡される実際の値

Map入力データファイル %innn Hadoop入力データファイルが分割された、Map入力データファイ

ルのパス

Map出力データファイル %outnn Hadoopによって用意された、Map出力データファイルのパス。Mapタスク終了後、Shuffle&sortへの入力ファイルとなる

Reduce入力データファイル %innn Map出力データファイルに対してShuffle&sortの処理が行われた、

Reduce入力データファイルのパス

Reduce出力データファイル %outmm Hadoopによって用意された、Reduce出力データファイルのパス

表中の「nn」は、Hadoop入力データファイルの個数(ファイルの種類の数)に対応します。また、表中の「mm」は、Hadoop出力データファ

イルの個数(ファイルの種類の数)に対応します。「nn」と「mm」には、それぞれ01～64の数値を指定します。

Reduceタスクとして実行する外部プログラムを省略する場合、Apache Hadoopのプロパティ「mapred.reduce.tasks」に0を指定してくださ

い。

外部プログラムとしてJavaアプリケーションを実行する場合の指定例

外部プログラムとしてJavaアプリケーションを実行する場合は、外部プログラムの指定として以下の値を指定します。

■Mapタスクとして実行する外部プログラム

/usr/lib/jre-fj/bin/java -cp /mnt/pdfs/hadoop/work/sample.jar TestMap %in01 %out01

■Reduceタスクとして実行する外部プログラム

/usr/lib/jre-fj/bin/java -cp /mnt/pdfs/hadoop/work/sample.jar TestReduce %in01 %in02 %out01

javaコマンド実行時のクラスパスとして、外部プログラムを含んだjarファイルのパスをDFSのマウントディレクトリの絶対パスで指定しま

す。

11.5.5 外部プログラムの再実行を行う復帰値のしきい値

MapタスクやReduceタスクから実行された外部プログラムが返す復帰値について、外部プログラムの再実行を行う復帰値のしきい値を

以下の設定名で指定します。



(VALUE要素)備考

外部プログラムの再実行を行う

復帰値のしきい値

extjoiner.command.retryexitstatus 外部プログラムから返される

復帰値について、再実行を行

うかどうかのしきい値を指定し

ます

指定した値を超える復帰値が

返された場合、タスクが失敗

省略可


255です

- 120 -



(VALUE要素)備考

し、MapReduceフレームワー

クによって再実行されます

ポイント

デフォルト値の255は復帰値として返却可能な大値です。そのため、外部ブログラムの復帰値に関わらず成功タスクとなり再実行は

されません。タスクは成功しても、ジョブをエラーとして扱う復帰値のしきい値(extjoiner.command.jobfailurestatus)により、128を超える

復帰値を返却した場合にはジョブ失敗となります。

再実行により正常終了する可能性のある論理が外部プログラムに含まれている場合には、本設定に255よりも小さい値を指定し、それ

以上の復帰値を返却することでタスクを再実行させることができます。

11.5.6 ジョブをエラーとして扱う復帰値のしきい値

MapタスクやReduceタスクから実行された外部プログラムが返す復帰値について、ジョブをエラーとして扱う値のしきい値を以下の設定

名で指定します。



(VALUE要素)備考

ジョブをエラーとして扱う復帰

値のしきい値

extjoiner.command.jobfailurestatus ジョブで実行された複数の外

部プログラムから返される復

帰値について、その大値が

設定値と比較されます

大値が指定した値を超える

場合、ジョブ失敗のメッセージ

が出力されます

省略可


128です

ポイント

デフォルトの場合、実行されたすべての外部ブログラムのうち128を超える復帰値を返却したものが1つでもある場合には、メッセージが

出力されジョブ失敗となります。

11.5.7 環境変数の指定

MapタスクやReduceタスクから実行される外部プログラムに対して有効とする環境変数を以下の設定名で指定します。



(VALUE要素)備考

Mapタスクから実行する外部プ

ログラムの環境変数

extjoiner.map.environment 環境変数名=環境変数値

複数個指定する場合は空白

区切りで指定します

省略可

Reduceタスクから実行する外部

プログラムの環境変数

extjoiner.reduce.environment

指定例 <name>extjoiner.reduce.environment</name>

<value>BDP_MESSOUTFILE=message.txt</value>

参考

外部プログラム並列実行機能により、Mapタスク・Reduceタスクから実行する外部プログラムに対して以下の環境変数が設定されます。

- 121 -

環境変数名概要

MAPRED_TASK_ID 個々のタスクに割り当てられたタスクID

11.5.8 入出力ファイルの指定

ファイル名は利用するファイルごとに指定します。



(VALUE要素)備考

Hadoop入力データファイル名 extjoiner.input.nn.filename DFS上のファイル名

または

ディレクトリ名を指定します

(*1)

指定必須

ディレクトリを指

定した場合は、

そのディレクトリ

内のファイルす

べてが入力ファ

イルとして扱わ

れます

Hadoop出力データファイル格

納基準ディレクトリ名

mapred.output.dir DFS上のディレクトリ名を指定

します(*1)指定必須

Hadoop出力データファイル

ディレクトリ名

extjoiner.output.mm.filename DFS上のディレクトリ名を指定

します

指定必須

Hadoop出力

データファイル

格納基準ディレ

クトリ名の下に、

本指定のディレ

クトリ名が作成さ

れ、配下にタスク

ごとの出力ファイ

ルが格納されま

す

(*1) ディレクトリ名はDFS上のフルパスまたは相対パスで指定できます。相対パスはDFS上のホームディレクトリからの相対パスです。

参考

Hadoop入力データファイル名に指定したファイルは、定義した順番(nn)にレコードが外部プログラムに渡されます。

ファイルの突き合わせ処理などで複数のHadoop入力データファイルを使用する場合は、サイズの小さいマスタファイルなどを先に定

義することで、読み込み待ちが少なくなり性能が向上するとともに、メモリを効率的に利用することができます。

注意

Hadoop入力データファイル名およびHadoop出力データファイルディレクトリ名には、',' および '='を含む文字列を使用することはできま

せん。

11.5.9 出力データファイル格納基準ディレクトリの上書きの指定

Hadoop出力データファイル格納基準ディレクトリを上書きするかどうかを指定します。指定を省略した場合、Hadoop出力データファイ

ル格納基準ディレクトリがすでに存在する場合はエラーとして扱われます。指定内容は以下のとおりです。

- 122 -


(NAME要素)設定値(*1)

(VALUE要素)備考

出力データファイル格納

基準ディレクトリの上書き

の指定

extjoiner.output.dir.removeifexist ・ true

すでにディレクトリが存在する場

合、上書きを行います

・ false

すでにディレクトリが存在する場

合、エラーとします

省略可


falseです

11.5.10 キー情報の指定

Shuffle&sortで使用するキー情報には、データのグループ化に使用される「主キー」と、並び替えに使用される「副キー」があります。主

キーおよび副キーは複数指定可能です。キーごとに属性や並び順（昇順・降順）を指定することができます。

キー情報は、Hadoop入力データファイルごとに指定する必要があります。

設定内容設定名（*）


(VALUE要素)備考

主キー extjoiner.sortkey.nn.main

カンマ区切りで

キー属性,カラム目,並び順

または

キー属性,カラム目:開始オフセット-長

さ,並び順

を指定します

キー属性

CSVまたはCSVN

CSV：キーを文字として評価します

CSVN：キーを数値として評価します

カラム目:開始オフセット-長さ

キーが存在するカラム目と、カラム内にあ

るキーの先頭オフセットおよび長さをバイ

ト長で指定します

開始オフセットのみを指定した場合（-長さが指定されていない場合）は、カラムの

末尾までを長さと見なします

並び順

A(昇順)またはD(降順)を指定します

省略した場合、昇順と見なします

Shuffle&sortを使用する場合、指定必須

主キーを指定します

複数指定する場合は/(スラッシュ)で区

切って指定します

このキーでグループ化されたデータが各

Reduceタスクに渡されます

副キー extjoiner.sortkey.nn.sub

省略可

副キーを指定します。

複数指定する場合は/(スラッシュ)で区

切って指定します

カラムは0番目から始まります

データ自体にセパレータ文字を含めたい

場合は、カラムをダブルクォーテーション

で囲む必要があります

ただし、浮動フィールド指定にtrueが指定

されている場合、フィールドを囲むダブル

クォーテーションを考慮しません

指定例

- 123 -

設定内容設定名（*）


(VALUE要素)備考

<name> extjoiner.sortkey.01.main</name>

<value>CSV,2,A</value>

<name> extjoiner.sortkey.01.sub</name>

<value>CSVN,3,D/CSVN,4:2-5,D </value>

・主キーにCSV形式データの3カラム目、文字として評価、昇順

・ 1番目の副キーにCSV形式データの4カラム目、数値として評価、降順

・ 2番目の副キーにCSV形式データの5カラム目にあるオフセット2バイト目から長さ5バイト、数値として評価、

降順

11.5.11 Shuffle&sort入力データの扱いの指定

Shuffle&sortへの入力となるCSVデータのセパレータを変更したり、カラムの前後にある空白の評価方法などを変更したりすることがで

きます。



(VALUE要素)備考

CSVデータのセパレータ

extjoiner.csv.separator ,（カンマ）

\t（TAB）

アルファベット

(a-z,A-Z)

記号

（セパレータに利用可能な値

は1文字だけです）

省略可

デフォルトはカ

ンマです

ただし、浮動

フィールド指定

にtrueが指定さ

れている場合、

デフォルトは空

白とタブがセパ

レータとなりま

す

指定例

<name> extjoiner.csv.separator </name>

<value>;</value>

設定値がアルファベットの場合、大文字と小文字を区別します

CSVデータの振り分け処理に

おける主キーの空白の扱い

extjoiner.partitioner.csv.padding true

false

省略可

デフォルトは

trueです

- 124 -



(VALUE要素)備考

指定例

<name> extjoiner.partitioner.csv.padding </name>

<value>true</value>

trueの場合、カラム内の前置空白、後置空白、前置TAB、後置TABを含めた値を主キーとし

て振り分けます

falseの場合、カラム内の前置空白、後置空白、前置TAB、後置TAB を含めない値を主キー

として振り分けます

CSVデータのソート処理にお

けるキーの空白の扱い

extjoiner.comparator.csv.padding true

false

省略可

デフォルトは

falseです

指定例

<name> extjoiner.comparator.csv.padding </name>

<value>true</value>

trueの場合、カラム内の前置空白、後置空白、前置TAB、後置TABを含めた値をキーとして

比較します

falseの場合、カラム内の後置空白、後置TABを含めた値をキーとして比較します（前置空

白、前置TABを含めません）

浮動フィールド指定

extjoiner.csv.floatfield true

false

省略可

デフォルトは

falseです

- 125 -



(VALUE要素)備考

指定例

<name> extjoiner.csv.floatfield </name>

<value>false</value>

trueの場合

- カラム内のすべてのデータを値として扱います。

- CSVデータのセパレータを省略した場合、行頭のセパレータはCSVデータの一部とみなし

ます。セパレータが連続している場合、先頭をセパレータ、残りをCSVデータの一部とみなし

ます。

- CSVデータのセパレータを指定した場合、行頭のセパレータや連続したセパレータは空の

カラムとみなします

falseの場合

- カラムの先頭と末尾のダブルクォーテーションは、カラムを囲むための引用符とみなしデー

タには含めません。

- CSVデータのセパレータの指定の有無に関わらず、行頭のセパレータや連続したセパレー

タは空のカラムとみなします

- 126 -

注意

Shuffle&sortへの入力となるCSVデータのセパレータは、浮動フィールド指定の有無により指定可能な値が異なります。指定可能な値

は以下のとおりです。

・浮動フィールド指定が有効な場合

,（カンマ）、\t（TAB）、アルファベット(a-z,A-Z)、記号

・浮動フィールド指定が無効な場合

,（カンマ）、\t（TAB）

指定できないセパレータが指定された場合、Hadoopジョブ実行時にエラーになります。

11.5.12 Map出力データファイル自動ソートの指定

Reduceタスクとして実行する外部プログラムの指定を省略した場合、Shuffle&sortは起動せず、Map出力ファイルは未ソートのまま出力

されます。Reduceタスクとして実行する外部プログラムの指定を省略し、かつShuffle&sortを起動させたい場合、trueを設定します。



(VALUE要素)備考

Map出力データファイル自動

ソートの指定

extjoiner.input.sort true

false

省略可

デフォルトは

falseです

注意

Shuffle&sortはReduceタスクを用いて実行されます。mapred.reduce.tasksプロパティに0が設定されている場合、Shuffle&sortは起動し

ません。

11.5.13 処理レコード件数のログを取得する

外部プログラムによりMapタスク・Reduceタスクで処理した入出力レコード数を、カウンタ情報として出力する場合trueを指定します。指

定を省略した場合は、falseを指定したものとみなします。



(VALUE要素)備考

処理レコード件数ログ取得指

定

extjoiner.map.input.getRecordCount

extjoiner.map.output.getRecordCount

extjoiner.reduce.input.getRecordCount

extjoiner.reduce.output.getRecordCount

true

false

省略可

デフォルトは

falseです

11.5.14 カレントディレクトリの退避の指定

外部プログラムのカレントディレクトリをタスク終了後、退避するかどうかを指定します。指定を省略した場合は、falseを指定したものとみ

なします。

trueを指定した場合、カレントディレクトリを退避します。カレントディレクトリに出力したファイルをタスク終了後、確認したい場合にtrueを指定します。

falseを指定した場合カレントディレクトリは退避されず、タスク終了と同時に削除されます。

- 127 -



(VALUE要素)備考

カレントディレクトリの退避の指

定

extjoiner.copyworkingdir true

false

省略可

デフォルトは

falseです

参考

falseを指定し退避を抑止した場合でも、標準出力、標準エラー出力が格納されているファイル(stdout、stderr)は退避されます。

11.5.15 バッファサイズの指定

Mapタスク・Reduceタスクから実行される外部プログラムの入出力ファイルは、メモリ上にバッファリングを行って高速化を図っています。

外部プログラムの処理によっては、バッファリングにより、Javaヒープが枯渇する場合があります。その場合は、バッファリングサイズの上

限を指定してください。



(VALUE要素)備考

バッファリングするレコードの数extjoiner.output.maxbufferrecords バッファリングを行うレコード

数の上限

デフォルトは

25000です

11.5.16 主キー一覧ファイルの指定

主キーの振り分けに使用する振り分け指定ファイルを指定します。



(VALUE要素)備考

主キー一覧ファイル

extjoiner.mainkeylist 主キー一覧ファイル名をフル

パスまたは相対パスで指定し

ます

省略可

デフォルトは主

キー一覧ファイ

ルを利用した

振り分けを行い

ません

11.5.17 一意振り分けの指定

主キーが異なるレコードを、それぞれ異なるReduceタスクへ振り分ける場合に指定します。

この指定を行うためには、主キー一覧ファイルを作成しておく必要があります。



(VALUE要素)備考

一意振り分けの指定

extjoiner.partitioner.unique true

false

省略可

デフォルトは

falseです

11.5.18 一意振り分けにおけるキーの上限数の指定

一意振り分けにおけるキーの上限数を引き上げる場合に指定します。想定外のタスク数が実行されることを防止するため、デフォルト

では上限が「512」に指定されています。

- 128 -



(VALUE要素)備考

一意振り分けにおけるキーの

上限数の指定

extjoiner.partitioner.unique.max.keys 整数省略可

デフォルトは

512です

11.5.19 Mapタスク複数ファイル出力モード

通常、Mapタスクとして実行する外部プログラムではMap入力データファイルとMap出力データファイルをそれぞれ一つだけオープン

できます。Mapアプリケーションで複数ファイルを出力したい場合(データに応じて入力ファイルを分割するジョブなど)、このプロパティ

を有効化してください。

Mapタスク複数ファイル出力が有効化されている場合、Map出力ファイルに関する設定は、全てextjoiner.map.streamprocessor.01に指

定されたアプリケーションの出力ファイル設定として扱われます。



(VALUE要素)備考

Mapアプリの複数ファイル出力

をサポートする

extjoiner.map.multioutput true

false

省略可

デフォルトはfalseです

注意

Mapタスク複数ファイル出力を有効化する場合、以下の制限があります。

・ Mapタスクとして実行する外部プログラムを2つ以上使用することはできません。extjoiner.map.streamprocessor.01以外にMapアプリ

ケーションが指定されている場合、ジョブはエラーとなります。

・ Reduceタスクとして実行する外部プログラムは指定できません。本プロパティを有効化する際は、同時にmapred.reduce.tasksプロパ

ティに0を設定し、Reduceタスクを無効化してください。

11.6 Hadoopジョブの実行

外部プログラムを並列に実行するためのHadoopジョブの実行方法について以下に説明します。

11.6.1 実行に必要な資源の配付

Hadoopジョブの実行には、以下の資源が必要です。

・ MapReduce設定ファイル

・外部プログラム

・ Hadoop入力データファイル

MapReduce設定ファイルは、開発実行環境サーバ上に作成します。

外部プログラムとHadoop入力データファイルは各スレーブサーバで必要な資源です。これらの資源は、開発実行環境サーバやマスタ

サーバと各スレーブサーバ間で共有マウントされているDFSディレクトリに格納してください。

11.6.2 Hadoop入力データファイルの準備

Hadoop入力データファイルは、Hadoopジョブの実行前にあらかじめDFSに格納しておく必要があります。

Hadoop入力データファイルのDFS上のパスをMapReduce設定ファイルに指定します。Hadoop入力データファイルのパスにディレクトリ

を指定した場合、そのディレクトリ内のすべてのファイルが読み込まれます。

レコードのレイアウトが異なる複数のファイルをHadoop入力データファイルとして指定することも可能です。

- 129 -

図11.1 複数のディレクトリ（input01、input02）を指定する例

注意

Hadoop入力データファイルにディレクトリを指定する場合、ディレクトリ内のファイルのレコードレイアウトは同一である必要があります。

11.6.3 外部プログラムの並列実行

開発実行環境サーバから外部プログラム並列実行コマンドを利用してHadoopジョブを起動します。

外部プログラム並列実行コマンドには、MapReduce設定ファイルをパラメタに指定して実行します。

$ /opt/FJSVbdpp/bin/bdpp_submitjob -conf MapReduce設定ファイル

MapReduce設定ファイルの指定を省略することはできません。

外部プログラム並列実行コマンドは、戻り値としてジョブが成功すると「0」を、失敗すると「0以外」を返します。ただし、外部プログラムが

復帰値を返す場合、その大値を返します。

外部プログラム並列実行コマンドを実行中に「Ctrl+C」キーを入力することによりジョブを中断させることができます。

参考

外部プログラム並列実行コマンドの引数には、汎用Hadoopコマンドラインオプションを指定することができます。たとえば、「-D」オプショ

ンを実行することで、Hadoopのプロパティの値を指定することができます。これにより、タスクのタイムアウト時間やReduceタスク数など

をジョブごとに変更できます。

例：タスクのタイムアウト時間に「300秒」を指定し、かつReduceタスク数に「0」を設定する場合。

$ /opt/FJSVbdpp/bin/bdpp_submitjob -conf MapReduce設定ファイル -D mapred.task.timeout=300000 -D mapred.reduce.tasks=0

11.6.4 外部プログラムのエラーと復帰値

外部プログラム並列実行機能では、外部プログラムから返される復帰値の大値を外部プログラム並列実行コマンドに返します。

デフォルトでは外部プログラムから返される復帰値の大値が「128」を超えた場合、ジョブ失敗のメッセージを出力します。このとき

JobTrackerのステータスは成功(SUCCEEDED)となり、Hadoop出力データファイルは保持されます。

ジョブをエラーとして扱う復帰値のしきい値は、MapReduce設定ファイルで変更することができます。

- 130 -

また、外部プログラムの再実行を行う復帰値のしきい値を設定することにより、タスクごとに外部プログラムの再実行を行うことができま

す。（設定しない場合、デフォルト値は255のため再実行は行われません）

しきい値を超える復帰値が外部プログラムから返された場合、外部プログラム並列実行機能はTaskTrackerに異常終了を通知します。

TaskTrackerは、あらかじめ設定された大試行回数分外部プログラムの再実行を繰り返しますが、同じタスクが大試行回数分のエ

ラーを繰り返すと、Hadoopジョブをエラーとして終了します。このときその他の実行中のタスクは強制終了し、Hadoop出力データファイ

ルは完了済のタスクから出力されたものを含めて、すべて削除されます。

外部プログラムの再実行を行う復帰値のしきい値は、MapReduce設定ファイルで変更することができます。

11.6.5 外部プログラムが出力するファイル

外部プログラムからカレントディレクトリに出力したファイルを、MapReduce設定ファイルに設定を行うことにより、実行後に以下のディレ

クトリへ退避することができます。

{Hadoop出力データファイル格納基準ディレクトリ}/currentdir/part-{m|r}-{nnnnn}/

{Hadoop出力データファイル格納基準ディレクトリ}：MapReduce設定ファイルで指定するパスです

{m|r}：Mapタスクとして実行する外部プログラムの出力の場合「m」、

Reduceタスクとして実行する外部プログラムの出力の場合「r」です

{nnnnn}：JobTrackerが生成したタスク試行IDです

また、標準出力・標準エラー出力にメッセージを出力した場合は、以下のファイルとして出力されます。

この2つのファイルは退避の設定の有無にかかわらず、常に上記ディレクトリに格納されます。

stdout 標準出力に出力した内容が記録されます

stderr 標準エラーに出力した内容が記録されます

参考

カレントディレクトリには、外部プログラムから出力したファイル以外にも、Mapタスク、Reduceタスクの実行に必要なファイルが格納され

ています。このため、退避するように指定した場合、これらのファイルも一緒に退避されます。

11.7 Shuffle&sortの振り分け処理について

Shuffle&sortでは、MapReduce設定ファイルに指定された主キーに振り分け条件を適用し、実行可能なReduceタスク数にレコードを振

り分けます。

外部プログラム並列実行機能で利用可能な以下の3種類の振り分け方法を以降で説明します。

・ハッシュ値により振り分ける

・キー分布を考慮し自動的に適な条件に振り分ける

・キーごとに異なるタスクに振り分ける

11.7.1 ハッシュ値により振り分ける

デフォルトの振り分け方法です。主キーからハッシュ値を求めて、実行可能なReduceタスク数（mapred.reduce.tasks）にレコードを振り分

けます。

注意

ハッシュ値の重複によって複数の主キーが同一のReduceタスクに振り分けられる場合があります。このため、主キーが異なるレコード

が同一のReduceタスクに渡される場合を考慮し、Reduceアプリケーションを作成してください。

- 131 -

11.7.2 キー分布を考慮し自動的に適な条件に振り分ける

Hadoop入力データファイルの主キーの分布を調べ、その分布に応じてタスクが適に実行されるように振り分ける方法です。これによ

りHadoopジョブの実行時間を短縮します。データ量の多い主キーから優先的に処理されるとともに、効率的にジョブが実行できるよう

に各Reduceタスクの入力主キーグループが決定されます。また、実行可能なReduceタスク数（mapred.reduce.tasks）も実行環境に適し

た値に自動的設定されます。このため、スレーブサーバの故障や追加による多重度の変化が起こった際に、Reduceタスク数をチュー

ニングする手間を省くことができます。

この振り分け方法を利用するためには、あらかじめ、主キー一覧ファイルを作成しておく必要があります。この主キー一覧ファイルを

MapReduce設定ファイルの「主キー一覧ファイルの指定」で指定して外部プログラム並列実行コマンドを実行します。

参考

キー分布を考慮した振り分けでは、主キーの分布に偏りがある場合にHadoopジョブの実行時間を短縮することができます。

主キー一覧ファイル作成コマンドを実行すると、主キーの分布の偏りを確認することができます。

注意

適化によるReduceタスクの数が優先されるため、MapReduce設定ファイルにReduceタスク数（mapred.reduce.tasks）を指定している場

合、その値は無視されます。

外部プログラム並列実行コマンドの実行時、一時ディレクトリ(Javaのシステムプロパティ:java.io.tmpdirに指定されたディレクトリ、デフォ

ルトは/tmp)に「_mainkeyList」ディレクトリが生成され、その配下に作業用ファイルが生成されます。「_mainkeyList」ディレクトリが使用

するファイルサイズは、利用する主キー一覧ファイルと同等です。

ジョブ終了と同時に作業用ファイルは削除されます。

11.7.3 キーごとに異なるタスクに振り分ける

主キーが異なるレコードを、それぞれ異なるReduceタスクへ振り分ける方法です。各Reduceタスクは1種類の主キーしか処理しないこと

が保障されるため、複数の主キーグループを処理できないアプリケーションに対して有効です。

この振り分け方法を利用するためには、以下の3つの手順が必要です。

1. あらかじめ、Hadoop入力データファイルに含まれる主キーを主キー一覧ファイルに定義します。

2. 主キー一覧ファイルをMapReduce設定ファイルの「主キー一覧ファイルの指定」に指定します。

3. MapReduce設定ファイルに「一意振り分けの指定」を行います。

注意

主キー一覧ファイルに含まれない主キーを持つレコードはすべて11.7.4.3 スペアReduceタスクに割り振られるため、スペアReduceタス

クに割り振られるレコードは一意のキーにはなりません。

Hadoop入力ファイルに含まれる主キーに対応するReduceタスク数にスペアReduceタスクとして1を加えた値が、実行可能なReduceタス

ク数（mapred.reduce.tasks）になります。このため、MapReduce設定ファイルにReduceタスク数（mapred.reduce.tasks）を指定している場

合、その値は無視されます。

想定外のタスク数が実行されることを防止するため、振り分け可能なキーの上限数が規定されています。上限数を引き上げるために

は、MapReduce設定ファイルの「一意振り分けにおけるキーの上限数の指定」を行います。

11.7.4 主キー一覧ファイル

主キー一覧ファイルは、Hadoop入力データファイルに含まれる主キーが定義されたファイルです。このファイルを作成することで、キー

分布を考慮し自動的に適な条件に振り分けたり、キーごとに異なるタスクに振り分けたりすることができます。

主キー一覧ファイルの作成方法には、以下の2つがあります。

- 132 -

・主キー一覧ファイル作成コマンドの実行

・テキストエディタを使用した主キー一覧ファイルの作成

参考

主キー一覧ファイルはジョブ実行時に自動的にサイドデータとして各スレーブサーバに配布されます。このため、利用者がサイドデー

タとして指定したり、各スレーブサーバにコピーしたりする必要はありません。

主キー一覧ファイルに定義されていない主キーは、自動的にスペアReduceタスクに振り分けられます。

11.7.4.1 主キー一覧ファイル作成コマンド

主キー一覧ファイル作成コマンド(bdpp_mkmlist)は、主キー一覧ファイルを作成するHadoopジョブを実行するコマンドです。

本コマンドには、MapReduce設定ファイルをパラメタに指定して実行します。

$ /opt/FJSVbdpp/bin/bdpp_mkmlist -conf MapReduce設定ファイル

戻り値としてジョブが成功すると「0」を、失敗すると「0以外」を返します。

ジョブが成功すると、主キー一覧ファイルの指定で指定したパスに主キー一覧ファイルが作成され、振り分け機能によって性能が改善

できる見込みが表示されます。

振り分け機能が有効な場合の表示例

入力ファイルのキー分布を分析した結果、自動的に最適な条件に振り分けることで性能が改善できる見込みは「80%」です。

振り分け機能が有効ではない場合の表示例

$ 入力ファイルのキー分布を分析した結果、自動的に最適な条件に振り分けを行う効果は見込めません。

なお、ここに表示されるのはキーの分布のみを考慮した理論値であり、改善できる見込みが「100%」と表示された場合でも、実際には

Hadoopジョブのオーバヘッドなどによってジョブ時間が短縮できない場合があります。

MapReduce設定ファイルで定義する情報は以下のとおりです。各設定の詳細は「11.5 MapReduce設定ファイル」を参照してください。


入出力ファイルの指定

extjoiner.input.nn.filename Hadoop入力データファイル名 (*1)(*2) 必須

mapred.output.dir Hadoop出力データファイル格納基準ディレクトリ

名(*1)(*3)必須

キー情報の指定extjoiner.sortkey.nn.main Shuffle&sortで使用する主キーの情報必須

extjoiner.sortkey.nn.sub Shuffle&sortで使用する副キーの情報任意

主キー一覧ファイルの指

定

extjoiner.mainkeylist 主キー一覧ファイルのファイル名必須

外部プログラムの指定 extjoiner.map.streamprocessor.nn Mapタスクとして実行する外部プログラム(*4) 任意

外部プログラムの再実行

を行う復帰値のしきい値

extjoiner.command.retryexitstatus 外部プログラムから返される復帰値について、再

実行を行うかどうかのしきい値を指定します

任意

環境変数の指定extjoiner.map.environment Mapタスクから実行する外部プログラムの環境変

数を指定します

任意

Shuffle&sort入力データ

の扱いの指定

extjoiner.csv.separator CSVデータのセパレータを指定します任意

extjoiner.partitioner.csv.padding CSVデータの振り分け処理における主キーの空

白の扱いを指定します

任意

extjoiner.csv.floatfield 浮動フィールドを指定します任意

- 133 -

(*1)：DFS上のパス名を指定します。

(*2)：ディレクトリ名を指定することもできます。ディレクトリを指定した場合、そのディレクトリ内のファイルすべてが入力ファイルとして扱

われます。

(*3)：本コマンドから実行されるHadoopジョブが一時的に作業用ディレクトリとして使用します。本コマンドの終了後、ディレクトリ内の作

業ファイルは自動的に削除されます。

(*4)：Mapタスクとして実行する外部プログラムを指定します。

表中の「nn」は、Hadoop入力データファイルの個数(ファイルの種類の数)に対応します。「nn」には、それぞれ01～64の数値を指定しま

す。

ポイント

extjoiner.input.nn.filename、extjoiner.map.streamprocessor.nn には、本コマンドより作成された主キー一覧ファイルを指定して実行する

Hadoopジョブと同じものを指定します。extjoiner.map.streamprocessor.nn の指定は必須ではありませんが、指定することによりMapタス

クから出力される主キーのみが対象となるため、作成される主キー一覧ファイルの精度を向上させることができます。

参考

本コマンドを実行中に「Ctrl+C」キーを入力することにより、タスクを中断させることができます。

本コマンドの引数には、汎用Hadoopコマンドラインオプションを指定することができます。詳細は「11.6.3 外部プログラムの並列実行」

を参照してください。

11.7.4.2 テキストエディタを使用した主キー一覧ファイルの作成

主キー一覧ファイルはCSV形式のテキストファイルです。テキストエディタなどを使用して新規作成、編集が可能です。主キー一覧ファ

イルには主キーの値と主キーの割合を指定します。

主キーにABCDEと、主キーの割合に50を指定した主キー一覧ファイルの例：

"ABCDE",50

主キーの値

主キーの値を指定します。主キーを複数指定している場合は、カンマで切って指定します。

主キー一覧ファイルに指定する主キーの値は、桁数を含めキー値と一致させる必要があります。

値はダブルクォーテーションで囲んで指定します。

主キーの割合

全体のうち当該行の主キーの値が占める割合を整数で指定します。指定された値は他の主キーとの比率として扱われますので、

値の意味としては件数であってもパーセントであってもかまいません。

割合は、適なタスクの実行をスケジュールするために利用されます。

参考

例：主キーの値に文字と数値を、主キーの割合に件数を指定した場合の主キー一覧ファイル

; この行はコメントです

"CCCCC","1234",62000

"AAAAA","0000",40000

"BBBBB","1234",98000

例：上記の例と同じ意味を持つパーセントで主キーの割合を指定した場合の主キー一覧ファイル

; この行はコメントです

"CCCCC","1234",31

- 134 -

"AAAAA","0000",20

"BBBBB","1234",49

注意

主キー一覧ファイルを作成する際には、以下の点に注意してください。

・文字コードは、Unicode（UTF-8）で作成する必要があります。

・改行文字は、1バイトの改行コード(0x0A)で作成する必要があります。

・ BOM(Byte Order Mark)付きUnicode(UTF-8)、BOMなしUnicode(UTF-8)のどちらも使用できます。

・行の先頭1バイトがセミコロン（;）のとき、その行の先頭から改行までの間はコメントとして認識されます。

・主キーの値と主キーの割合のみを指定できます。コメント行以外には、空白などの文字を含めることはできません。

・主キーの値にダブルクォーテーションを含む場合には、キーの値のダブルクォーテーションを二重にする必要があります。

11.7.4.3 スペアReduceタスク

キー一覧ファイルに含まれないキーが振り分けられるタスクのことを、スペアReduceタスクと呼びます。スペアReduceタスクは、「キー分

布を考慮し自動的に適な条件に振り分ける」場合、および「キーごとに異なるタスクに振り分ける」際に自動的に起動されます。すべ

ての主キーが主キー一覧ファイルに定義されている場合は、スペアReduceタスクにキーは振り分けられません。

注意

主キー一覧ファイルに含まれないキーは、すべてスペアReduceタスクに振り分けられます。このため、そのようなキーがたくさんある場

合、スペアReduceタスクがボトルネックになります。この場合、主キー一覧ファイルを見直すことをおすすめします。

11.8 サンプルプログラム

ここでは、外部プログラム並列実行機能を使用したサンプルプログラムについて説明します。

サンプルプログラムは、以下の場所の、各サンプル番号の付いたディレクトリに格納されます。コピーして利用してください。

・ /opt/FJSVbdpp/samples/submitjob/

－サンプル1：CSVファイルの突合せ処理

－サンプル2：CSVファイルのフィルタリングと集計処理

ポイント

外部プログラム並列実行機能には、以下の2つの実行方法があります。

・外部プログラムをDFSに格納して実行する方法

・外部プログラムを各スレーブサーバに転送して実行する方法（汎用Hadoopコマンドラインオプションの-filesを使用します）

サンプルプログラムでは、DFSのパスに依存しないように外部プログラムを各スレーブサーバに転送して実行する方法を使用していま

す。

外部プログラムをDFSに格納して実行する方法を使用する場合は、以下の手順で実行してください。

1. 外部プログラム(jarファイル)をDFSに格納する。

2. MapReduce設定ファイルの外部プログラムの指定パラメタを、1で格納したDFSのマウントディレクトリの絶対パスで指定するよう

修正する。

- 135 -

3. -filesオプションを指定せずにbdpp_submitjobコマンドを実行する。

11.8.1 サンプル1 CSVファイルの突合せ処理

サンプル1－ファイルの突合せ処理は、Mapタスク・Reduceタスクで実行する外部プログラムでそれぞれ以下の処理を行います。

・ Mapタスクで実行する外部プログラム

ありません

・ Reduceタスクで実行する外部プログラム

トランザクションファイルとマスタファイルを読み込み、商品IDごとの合計個数と小計を求める

実行方法

# Hadoop入力データをDFSにコピー

$ hadoop dfs -put ./sample1_input sample1_input

# Hadoopジョブの実行

$ /opt/FJSVbdpp/bin/bdpp_submitjob -conf ./conf/configuration.conf -files ./lib/sample1.jar

# 実行結果をローカルにコピー

$ hadoop dfs -copyToLocal sample1_output ./sample1_output

11.8.2 サンプル2 CSVファイルのフィルタリングと集計処理

サンプル2－CSVファイルのフィルタリングと集計処理は、Mapタスク・Reduceタスクで実行する外部プログラムでそれぞれ以下の処理

を行います。

・ Mapタスクで実行する外部プログラム

トランザクションファイルを読み込み、個数が100未満のデータを除去する

・ Reduceタスクで実行する外部プログラム

トランザクションファイルを読み込み、店舗ごとの合計個数を求める

実行方法

# Hadoop入力データをDFSにコピー

$ hadoop dfs -put ./sample2_input sample2_input

# Hadoopジョブの実行

$ /opt/FJSVbdpp/bin/bdpp_submitjob -conf ./conf/configuration.conf -files ./lib/sample2.jar

# 実行結果をローカルにコピー

$ hadoop dfs -copyToLocal sample2_output ./sample2_output

- 136 -

第12章ジョブの実行ユーザーの管理

本章では、Hadoop ジョブの操作を行うジョブ実行ユーザーの管理について説明します。

12.1 ジョブ実行ユーザーの追加

Hadoop のジョブ実行ユーザーは、本製品のインストール時に、構成ファイル bdpp.conf の BDPP_HADOOP_DEFAULT_USERS パラ

メーターにユーザー名、ユーザー ID を指定することで設定されます。

本製品を使用したシステムの運用中に、構成ファイル bdpp.conf に指定したユーザー以外に、ジョブの実行を行うユーザーアカウント

を追加したい場合の設定方法について説明します。

以下に、ジョブ実行ユーザーの追加にあたって、必要な作業の一覧を示します。

作業工程実施可能な権限および実施条件

ユーザーアカウントの作成 root 権限で実施します。

DFS 上にユーザーのホームディレクトリを作成 root 権限で実施します。

MapReduceジョブユーザー認証キーの設定作成したユーザーアカウントで実施します。

12.1.1 ユーザーアカウントの作成

まずは、ジョブ実行ユーザーのユーザーアカウントの作成を行います。

ユーザーアカウントは、DFS を構成する全ノードに対して作成する必要があります。その際、ユーザー名、ユーザーIDは全ノード間で

統一してください。これは、DFS ではユーザー ID による制御となり、Hadoop ではユーザー名ベースで動作するために、全ノードで整

合性がとれるようにするためです。

また、作成するユーザーアカウントが属するグループは、構成ファイル bdpp.conf の BDPP_HADOOP_DEFAULT_GROUP パラメー

ターで指定したグループを設定してください。

例

bdppuser1 というユーザーアカウントを作成する場合

以下の条件で作成することとします。

・ユーザー名：bdppuser1

・ユーザー ID ：1500

・グループ名：bdppgroup (BDPP_HADOOP_DEFAULT_GROUP パラメーターに指定されているグループ)

# useradd -u 1500 -g bdppgroup bdppuser1 <Enter>

作成するユーザーアカウントが属するグループとして、構成ファイル bdpp.conf の BDPP_HADOOP_DEFAULT_GROUP パラメーター

で指定したグループ以外のグループを指定する場合は、対象のグループ名、グループIDが全ノード間で統一されている必要がありま

す。

また、/etc/security/limits.confファイルに以下の設定を追記して、対象グループの起動できるプロセス数とファイルディスクリプタの上限

値を設定してください。

@{対象グループ名} - nofile 32768

@{対象グループ名} - nproc 32000

- 137 -

例

作成するユーザーアカウントが属するグループをbdppgroup2とする場合

・ファイルディスクリプタ上限：32768

・起動プロセス数上限：32000

# cat /etc/security/limits.conf <Enter>

・・・中略・・・

@bdppgroup2 - nofile 32768 ← 追加した設定

@bdppgroup2 - nproc 32000 ← 追加した設定

12.1.2 DFS上にユーザーのホームディレクトリを作成

全ノードに対してユーザーアカウントの作成を行ったあとは、DFS 用 FileSystem クラス上に、作成したユーザー用のホームディレクトリ

（${pdfs.fs.local.homedir}/{ユーザー名}）を作成してください。

pdfs.fs.local.homedir については、「C.4 pdfs-site.xml」を参照してください。

例

bdppuser1 というユーザーのホームディレクトリを DFS 上に作成する場合

全ノードで共用しているため、DFS をマウントしているいずれかのノードで、以下のように実行します。

# hadoop fs -mkdir /user/bdppuser1 <Enter>

# hadoop fs -chown bdppuser1:bdppgroup /user/bdppuser1 <Enter>

# hadoop fs -chmod 700 /user/bdppuser1 <Enter>

Group、Permission は、利用環境に応じて適切に設定してください。

12.1.3 MapReduceジョブユーザー認証キーの設定

DFS 独自の MapReduce ジョブユーザー認証において認証キー確認を行うため、あらかじめ認証キーファイルを作成しておく必要が

あります。ジョブユーザー認証を使用するかどうかは、pdfs-site.xml ファイルの pdfs.security.authorization プロパティで設定します。デ

フォルトは "true" （有効）です。

なお、pdfs.security.authorization を "false" （無効）に設定した場合は、以下の作業は不要です。

pdfs.security.authorization プロパティについては、「C.4 pdfs-site.xml」を参照してください。

例

bdppuser1 というユーザーで、DFS のマウントディレクトリが /mnt/pdfs の場合

全ノードで共用しているため、DFS をマウントしているいずれかのノードで、以下を bdppuser1 で実行します。

$ cd ~ <Enter>

$ cat > id_hadoop <Enter>

{任意のキーワード文字列}

ctrl-d

$ hadoop fs -mkdir .pdfs <Enter>

$ hadoop fs -chmod 700 .pdfs <Enter>

$ hadoop fs -moveFromLocal id_hadoop .pdfs/ <Enter>

$ hadoop fs -chmod 600 .pdfs/id_hadoop <Enter>

- 138 -

12.2 ジョブ実行ユーザーの削除

「12.1 ジョブ実行ユーザーの追加」に記述されている手順で追加した、Hadoop ジョブ実行ユーザーの削除方法に関して説明します。

以下の手順は、全て root 権限で実施します。

12.2.1 DFS上に作成したユーザーのホームディレクトリの削除

「12.1.2 DFS上にユーザーのホームディレクトリを作成」で、DFS 用 FileSystem クラス上に作成したユーザー用のホームディレクトリ（${pdfs.fs.local.homedir}/{ユーザー名}）を削除してください。pdfs.fs.local.homedir については、「C.4 pdfs-site.xml」を参照してください

例

bdppuser1 というユーザーの場合

全ノードで共用しているため、DFS をマウントしているいずれかのノードで、以下のように実行します。

root 権限で実行してください。

# hadoop fs -rmr /user/bdppuser1 <Enter>

* -rmr オプションを指定することで、指定したディレクトリおよびファイルを削除します。

12.2.2 ユーザーアカウントの削除

DFS を構成する全ノードから、不要になった実行ユーザーアカウントの削除を行ってください。

例

bdppuser1 というユーザーの場合

# userdel -r bdppuser1 <Enter>

上記の手順で、DFSを構成する全ノードから bdppuser1 を削除してください。上記の手順では、userdel コマンドに -r オプションを指定

して、対象ユーザーのホームディレクトリも同時に削除しています。

12.3 OSS実行時の環境変数の設定

OSS(Hive、Pig、HBase、Mahout) を実行するには、ユーザー毎に環境変数を設定する必要があります。

実行に必要な環境変数は、以下のスクリプトに記述してあります。

・ /etc/opt/FJSVbdpp/conf/bdpp-products-env.sh

環境変数は、"." または "source" コマンドを使用して、"/etc/opt/FJSVbdpp/conf/bdpp-products-env.sh" を実行し有効にします。またユー

ザープロファイルにスクリプトの実行を追加することでログイン時に有効にすることができます。

- 139 -

12.3.1 ユーザープロファイルへの追加

環境変数を設定するために、OSSを実行するユーザーのユーザープロファイルにスクリプトの実行を追加します。

ユーザープロファイルは、/home/{ユーザーID}/.bash_profile です。

上記のファイルに、". /etc/opt/FJSVbdpp/conf/bdpp-products-env.sh" の一行を追加します。

ユーザープロファイルへの追加後に、OSSを実行する場合は、ログインし直す必要があります。

例

bdppuser2 というユーザーのユーザープロファイルへスクリプトの実行を追加する場合

ユーザープロファイルは、/home/bdppuser2/.bash_profile です。

以下の例のように編集します。

# .bash_profile

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

. ~/.bashrc

fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

. /etc/opt/FJSVbdpp/conf/bdpp-products-env.sh

ポイント

ユーザープロファイルにスクリプトの実行を追加したユーザーは、ログインするたびにスクリプト実行コマンドを使用して環境変数の設

定をする作業が不要となります。

- 140 -

第13章スレーブサーバの追加と削除

本章では、スレーブサーバの追加および削除を行う方法について説明します。

・スレーブサーバの追加

・スレーブサーバの削除

Hadoop では、処理を行うデータを複数台のスレーブサーバに分割し、並列に処理することで大規模なデータを短時間で処理するこ

とができます。そのため、本製品を使用したシステムの性能の強化は、分散処理を行うスレーブサーバの台数を増やすことによって行

います。

スレーブサーバの台数を増やすことによってサーバ1台ごとの処理負荷を分散させ、更なるパフォーマンスの向上を実現することがで

きます。

Hadoop を使用して開発したアプリケーションで処理するデータの規模が増大し、性能の強化が必要な場合はスレーブサーバの追加

を行ってください。

ポイント

スレーブサーバの追加または削除によりシステム構成を変更した後、運用を再開する前にマスタサーバ、開発実行環境サーバ、およ

び連携サーバにおいて構成情報をバックアップしておくことを推奨します。


13.1 スレーブサーバの追加

運用開始後に、さらにスレーブサーバを追加する方法について説明します。

1. ホスト名の設定

2. DFS クライアント情報の登録

3. クローニングによる追加

4. Hadoop の停止

5. 再マウント（マスタサーバを二重化構成にしている場合のみ）

6. スレーブサーバ定義ファイルの編集および反映

7. Hadoop 設定パラメーターの変更

8. Hadoop の起動

スレーブサーバの追加の流れを以下に示します。

スレーブサーバ追加の作業は、すべて root 権限で実施します。

なお、「13.1.3 クローニングによる追加」の手順は、追加導入するスレーブサーバの環境に応じて実施場所が異なります。

- 141 -

ここでは、初回導入時に「6.3 2台目以降のスレーブサーバの追加」で構築済みの構成に加えて、さらに追加導入する手順を以下の環

境を例に説明します。



・マウントポイント：/mnt/pdfs


・初回導入時に構築済みのスレーブサーバ：slave1、slave2、slave3、slave4、slave5

・新規に導入するスレーブサーバ：slave6

・その他の追加導入予定のスレーブサーバ：slave7、slave8、slave9、slave10

13.1.1 ホスト名の設定

マスタサーバ、スレーブサーバ、および開発実行環境サーバにおいて、追加するスレーブサーバのホスト名を設定します。

マスタサーバを二重化構成にしている場合は、マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)の両方で設定します。

参照

ホスト名の設定の詳細は、「5.7 ホスト名の設定」を参照してください。

- 142 -

13.1.2 DFS クライアント情報の登録

マスタサーバの接続許可リストファイルに、追加するスレーブサーバのホスト名を登録します。

マスタサーバを二重化構成にしている場合は、マスタサーバ(プライマリ)で接続許可リストの更新および登録を行い、マスタサーバ(セカンダリ)に配付します。

1. スレーブサーバを追加するファイルシステムのファイルシステム ID を pdfsinfo コマンドの出力にある FSID 欄から確認します。

# pdfsinfo -n /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>


FSID hostID status hostname

1 80a4f75b RUN master1

1 80960096 RUN master2

2. ファイルシステム ID に対応する接続許可リストファイルの末尾に、追加導入するスレーブサーバの CLIENT フィールドを追加し

ます。

複数のスレーブサーバを追加する場合は、クライアントの数だけ CLIENT フィールドを追加してください。

例

追加導入するスレーブサーバの接続を許可する場合


#


#


#


#

# Notes:


#

# example:

#CLIENT nodeac1

#CLIENT nodeac2

#CLIENT nodeac3

#CLIENT nodeac4

#CLIENT nodeac5

CLIENT slave1

CLIENT slave2

CLIENT slave3

CLIENT slave4

CLIENT slave5

CLIENT develop

CLIENT collaborate






注意

－追加する DFS クライアントの CLIENT フィールドは、必ず接続許可リストファイルの末尾に追加してください。

既存の CLIENT フィールドが変更されると、追加するスレーブサーバ、連携サーバ、または開発実行環境サーバの mountコマンドが失敗します。

- 143 -

－既存の CLIENT フィールドの変更および削除はできません。

スレーブサーバ、開発実行環境サーバ、または連携サーバの追加と同時に変更および削除を行いたい場合は、DFS をア

ンマウントした状態で行ってください。

－スレーブサーバ、開発実行環境サーバ、および連携サーバとマスタサーバを合わせた数が、共用サーバ数の上限である128台を超えないようにしてください。

3. 更新した接続許可リストファイルをマスタサーバ(セカンダリ)に配付します。（マスタサーバを二重化構成にしている場合のみ）



注意

マスタサーバ間で接続許可リストファイルの内容が異なると、MDS ダウンリカバリーに失敗してファイルシステム閉塞やシステム

パニックが発生する場合があります。

13.1.3 クローニングによる追加

初回導入時の「6.3 2台目以降のスレーブサーバの追加」と同様に、スレーブサーバを追加します。

ここでは、初回導入時で使用する定義情報などの差分や注意点について説明します。

例

物理環境へスレーブサーバを追加する場合

追加導入する際の定義例を示します。

・クローニングサーバ定義ファイルclone.conf の定義例

RCXCSV,V3.4

[Server]

operation,chassis_name,slot_no,server_name,ip_address,mac_address,second_mac_address,snmp_community_name,ipmi_ip_addr

ess,ipmi_user_name,ipmi_passwd,ipmi_passwd_enc,admin_lan1_nic_number,admin_lan2_nic_number,admin_lan_nic_redundancy

-,,,slave1,192.168.1.21,A0:A0:A0:A0:A0:A1,,public,192.168.1.121,admin,admin,plain,,,OFF









new,,,slave10,192.168.1.30,A0:A0:A0:A0:A0:B0,,public,192.168.1.130,admin,admin,plain,,,OFF ← 登録対象サーバ

[ServerAgent]


new,slave6 ← クローニングイメージの採取対象サーバ

・スレーブサーバの登録状況の確認例



--------------- ------ -------- ------ -----------






- 144 -


slave7 - 192.168.1.27 stop -

slave8 - 192.168.1.28 stop -

slave9 - 192.168.1.29 stop -

slave10 - 192.168.1.30 stop -

注意

既存のクローニングイメージを利用して、追加導入予定のスレーブサーバを構築することはできません。スレーブサーバを追加導入す

る際は、新たにクローニングイメージを作成してください。

13.1.4 Hadoop の停止

スレーブサーバを追加する前に本製品の Hadoop が動作している場合は、 bdpp_stop コマンドで停止します。


参照


13.1.5 再マウント

マスタサーバ(セカンダリ)で DFS を再マウントします。

マスタサーバを二重化構成にしている場合のみ実施します。

1. DFS をアンマウントします。

# pdfsumount /mnt/pdfs <Enter>

2. DFS をマウントします。

# pdfsmount /mnt/pdfs <Enter>

参照

pdfsumount、pdfsmount の各コマンドの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「コ

マンドリファレンス」で該当するコマンドを参照してください。

13.1.6 スレーブサーバ定義ファイルの編集および反映

スレーブサーバ定義ファイルの編集および反映の手順について説明します。

マスタサーバ(プライマリ)で各種定義ファイルを変更し、すべてのスレーブサーバおよび開発実行環境サーバに配付します。マスタ

サーバを二重化構成にしている場合は、マスタサーバ(セカンダリ)にも配付します。

1. 追加するスレーブサーバをスレーブサーバ定義ファイル /etc/opt/FJSVbdpp/conf/slaves を編集して定義します。

- 145 -

例

スレーブサーバ定義ファイルの定義例：

slave1,slave2,slave3,slave4,slave5,slave6,slave7,slave8,slave9,slave10

(注) 下線部は、追加するスレーブサーバを示します。



3. 変更ファイルをマスタサーバ(セカンダリ) にコピーします。（マスタサーバを二重化構成にしている場合のみ）

# scp -p /etc/opt/FJSVbdpp/conf/slaves root@master2:/etc/opt/FJSVbdpp/conf <Enter>

# scp -pr /etc/opt/FJSVbdpp/data root@master2:/etc/opt/FJSVbdpp/ <Enter>

# scp -p /etc/hadoop/mapred.include root@master2:/etc/hadoop <Enter>

4. 同様にスレーブサーバおよび開発実行環境サーバに変更したファイルをコピーします。

参照

・スレーブサーバ定義ファイルの詳細については、「B.2 slaves」を参照してください。


13.1.7 Hadoop 設定パラメーターの変更

スレーブサーバ数の変更に伴い、Hadoop の設定を変更します。

マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)、スレーブサーバ、および開発実行環境サーバで実施します。

/etc/hadoop/mapred-site.xml ファイルを編集し、mapred.reduce.tasks プロパティの値を再設定します。

参照

mapred-site.xml に設定するプロパティの詳細は、「C.3 mapred-site.xml」を参照してください。

13.1.8 Hadoop の起動

本製品の Hadoop を起動し、状態を確認します。

1. bdpp_start コマンドを実行し、本製品の Hadoop を起動します。


2. Hadoop の状態表示で、対象のスレーブサーバ上で TaskTracker が起動されているか確認します。

対象のスレーブサーバのシステムが起動されていることを確認してから、bdpp_stat コマンドを実行して本製品の Hadoop の状態

を表示します。



slave1 mapred 29615 tasktracker


- 146 -










参照

・ bdpp_start コマンドの詳細は、「A.14 bdpp_start」を参照してください。

・ bdpp_stat コマンドの詳細は、「A.15 bdpp_stat」を参照してください。

13.2 スレーブサーバの削除

スレーブサーバを削除する手順について説明します。

1. Hadoop の停止

2. スレーブサーバ定義ファイルの編集および反映

3. Hadoop 設定パラメーターの変更

4. Hadoop の起動

5. アンマウントおよび fstab の設定解除

6. DFS クライアント情報の削除

スレーブサーバの削除の流れを以下に示します。

スレーブサーバ削除の作業は、すべて root 権限で実施します。

- 147 -

ここでは、「6.3 2台目以降のスレーブサーバの追加」で構築済みの構成から、スレーブサーバを1台削除する手順を以下の環境を例

に説明します。




・初回導入時に構築済みのスレーブサーバ：slave1、slave2、slave3、slave4、slave5

・削除対象スレーブサーバ：slave3


スレーブサーバを削除する前に本製品の Hadoop が動作している場合は、 bdpp_stop コマンドで停止します。


参照


13.2.2 スレーブサーバ定義ファイルの編集および反映

スレーブサーバ定義ファイルの編集および反映の手順について説明します。

マスタサーバ(プライマリ)で各種定義ファイルを変更し、すべてのスレーブサーバおよび開発実行環境サーバに配付します。マスタ

サーバを二重化構成にしている場合は、マスタサーバ(セカンダリ)にも配付します。

1. スレーブサーバ定義ファイル /etc/opt/FJSVbdpp/conf/slaves から削除するスレーブサーバを編集により削除します。



3. 変更ファイルをマスタサーバ(セカンダリ) にコピーします。（マスタサーバを二重化構成にしている場合のみ）

# scp -p /etc/opt/FJSVbdpp/conf/slaves root@master2:/etc/opt/FJSVbdpp/conf <Enter>

# scp -pr /etc/opt/FJSVbdpp/data root@master2:/etc/opt/FJSVbdpp/ <Enter>

# scp -p /etc/hadoop/mapred.include root@master2:/etc/hadoop <Enter>

4. 同様にスレーブサーバおよび開発実行環境サーバに変更したファイルをコピーします。

参照

・スレーブサーバ定義ファイルの詳細については、「B.2 slaves」を参照してください。


13.2.3 Hadoop 設定パラメーターの変更

スレーブサーバ数の変更に伴い、Hadoop の設定を変更します。

「13.1.7 Hadoop 設定パラメーターの変更」と同様に実施してください。

- 148 -


bdpp_start コマンドを実行し、本製品の Hadoop を起動します。


参照

bdpp_start コマンドの詳細は、「A.14 bdpp_start」を参照してください。

13.2.5 アンマウントおよび fstab の設定解除

削除対象のスレーブサーバにおいて以下に示す作業を行います。

1. DFS がマウントされている場合はアンマウントします。







13.2.6 DFS クライアント情報の削除

マスタサーバの接続許可リストファイルから、削除するスレーブサーバのホスト名を削除します。

マスタサーバを二重化構成にしている場合は、マスタサーバ(プライマリ)で接続許可リストの更新および登録を行い、マスタサーバ(セカンダリ)に配付します。

1. マスタサーバ(プライマリ)の接続許可リストファイルから、削除対象となるスレーブサーバの CLIENT フィールドを削除します。

例

削除するスレーブサーバの接続許可を解除する場合


#


#


#


#

# Notes:


#

# example:

#CLIENT nodeac1

#CLIENT nodeac2

#CLIENT nodeac3

- 149 -

#CLIENT nodeac4

#CLIENT nodeac5

CLIENT slave1

CLIENT slave2

CLIENT slave3 ← ここの行を削除します

CLIENT slave4

CLIENT slave5

CLIENT develop

CLIENT collaborate

2. 更新した接続許可リストファイルをマスタサーバ(セカンダリ)に配付します。（マスタサーバを二重化構成にしている場合のみ）



注意

マスタサーバ間で接続許可リストファイルの内容が異なると、MDS ダウンリカバリーに失敗してファイルシステム閉塞やシステムパニッ

クが発生する場合があります。

- 150 -

第14章ストレージシステムの追加と削除

本章では、ストレージシステムの追加および削除を行う方法について説明します。

・ストレージシステムの追加

・ストレージシステムの削除

DFS では、データを格納するストレージ領域を共用ディスク装置上に構築しています。

ファイルデータの入出力を行う共用ディスク装置の処理性能を向上させたい場合や、ファイルシステムの容量を増やしたい場合は、共

用ディスク装置のファイルデータ領域(共用ディスク装置においてファイルのデータを格納する領域)を新しく追加してください。

新しいパーティションの追加により、ファイルデータ領域のサイズが拡張され、DFS に以前より大きな容量のデータを格納することが可

能になります。また、DFS は複数のパーティションで構成した場合、ファイルデータの入出力処理が分散されるため、共用ディスク装置

のパフォーマンスを向上させることができます。

ポイント

ストレージシステムの追加または削除によりシステム構成を変更した後、運用を再開する前にマスタサーバ、開発実行環境サーバ、お

よび連携サーバにおいて構成情報をバックアップしておくことを推奨します。


14.1 ストレージシステムの追加

共用ディスクを追加する方法について説明します。

1. Hadoop の停止

2. アンマウント

3. パーティションの追加

4. DFS ファイルシステム構成情報の再作成と配付

5. マウント

6. Hadoop の起動

共用ディスクの追加の流れを以下に示します。

共用ディスク追加の作業は、すべて root 権限で実施します。

- 151 -

ここでは、DFS にパーティションを追加する手順を、以下の環境を例に説明します。




・既存パーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370107

・追加パーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370108






共用ディスクを追加する前に本製品の Hadoop が動作している場合は、 bdpp_stop コマンドで停止します。


参照


- 152 -

14.1.2 アンマウント

対象となる DFS がマウントされている場合はアンマウントします。

1. すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバでアンマウントします。


2. マスタサーバ(プライマリ)でアンマウントします。


14.1.3 パーティションの追加

ファイルデータ領域としてパーティションを追加します。

1. ファイルシステム情報を確認します。

管理パーティションに記録されたファイルシステム情報から、対象となるファイルシステムの構成を確認します。







2. パーティションを追加します。

ファイルデータ領域として /dev/disk/by-id/scsi-1FUJITSU_300000370108 を追加します。

# pdfsadd -D /dev/disk/by-id/scsi-1FUJITSU_300000370108 /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

3. パーティションが追加されたことを確認します。

ファイルシステム情報から、パーティションが追加されたことを確認します。








14.1.4 DFS ファイルシステム構成情報の再作成と配付

マスタサーバで DFS 構成情報ファイルを再作成します。

マスタサーバ(プライマリ)で DFS 構成情報ファイルを作成し、すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバに

配付します。

1. DFS 構成情報ファイルを再生成します。

pdfsmkconf コマンドを実行します。


- 153 -

参考

DFS 構成情報ファイルはpdfsmkconf コマンドを実行したディレクトリ配下に pdfsmkconf_out/client.conf.fsid として、ファイルシス

テム ID fsid ごとに生成されます。

2. DFS 構成情報ファイルの名前を論理ファイルシステム名に変更します。

ファイルシステム ID fsid を論理ファイルシステム名に変更します。



3. DFS 構成情報ファイルを各スレーブサーバ、開発実行環境サーバ、および連携サーバに配付します。

# scp ./client.conf.pdfs1 root@slave1:/etc/pdfs/client.conf.pdfs1 <Enter>





# scp ./client.conf.pdfs1 root@develop:/etc/pdfs/client.conf.pdfs1 <Enter>

# scp ./client.conf.pdfs1 root@collaborate:/etc/pdfs/client.conf.pdfs1 <Enter>

注意

DFS 構成情報ファイルは、各スレーブサーバ、開発実行環境サーバ、および連携サーバの /etc/pdfs 配下に配置してください。

14.1.5 マウント


1. マスタサーバ(プライマリ)からマウントします。


2. すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバでマウントします。



bdpp_start コマンドを実行して本製品の Hadoop を起動し、運用を再開します。


参照


14.2 ストレージシステムの削除

DFS では、ファイルシステムを構成している共用ディスクの削除を行うことはできません。

共用ディスクの削除を伴う DFS の構成変更を行う方法について説明します。

- 154 -

1. Hadoop の停止

2. アンマウント

3. ファイルシステムの削除

4. ファイルシステムの作成

5. MapReduce 実行用のユーザーID の設定

6. DFS ファイルシステム構成情報の再作成と配付

7. マウント

8. Hadoop の起動

DFS の構成変更の流れを以下に示します。

構成変更の作業は、すべて root 権限で実施します。

ここでは、DFS からパーティションを削除する場合の構成変更の手順を、以下の環境を例に説明します。




- 155 -

・既存パーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370107 /dev/disk/by-id/scsi-1FUJITSU_300000370108

・削除するパーティション：/dev/disk/by-id/scsi-1FUJITSU_300000370108





なお、構成変更後も必要となる資産がある場合は、事前に資産をバックアップし、構成変更後にバックアップした資産をリストアします。

バックアップは、ファイル／ディレクトリ単位で行ってください。

注意

共用ディスクの削除を行うため、バックアップした資産のリストア時に DFS の容量不足とならないよう注意してください。

参照

「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」の「Linux 標準コマンドによるバックアップ／リストア（ファイル／

ディレクトリ単位）」を参照してください。


DFS の構成変更を行う前に本製品の Hadoop が動作している場合は、 bdpp_stop コマンドで停止します。


参照


14.2.2 アンマウント

対象となる DFS がマウントされている場合はアンマウントします。

1. すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバでアンマウントします。


2. マスタサーバ(プライマリ)でアンマウントします。


14.2.3 ファイルシステムの削除

対象となる DFS ファイルシステムを削除します。

- 156 -

1. 現在のファイルシステム情報を確認します。








2. DFS を削除します。

# pdfsadm -D /dev/disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

3. DFS が削除されたことを確認します。


14.2.4 ファイルシステムの作成

初回導入時の「6.1.3.6 ファイルシステムの作成」を参考に実施してください。

ポイント

以下のように data オプションに /dev/disk/by-id/scsi-1FUJITSU_300000370108 を含めずに pdfsmkfs コマンドを実行してファイルシス

テムを再作成することで、対象パーティションを削除したファイルシステム構成に変更できます。

マスタサーバを二重化構成にしている場合：

# pdfsmkfs -o dataopt=y,blocksz=2097152,data=/dev/disk/by-id/scsi-1FUJITSU_300000370107,node=master1,master2 /dev/

disk/by-id/scsi-1FUJITSU_300000370106 <Enter>

14.2.5 MapReduce 実行用のユーザーID の設定

初回導入時の「6.1.3.7 MapReduce 実行用のユーザーID の設定」を参考に実施してください。

14.2.6 DFS ファイルシステム構成情報の再作成と配付

マスタサーバで DFS 構成情報ファイルを再作成します。

マスタサーバ(プライマリ)で DFS 構成情報ファイルを作成し、すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバに

配付します。

1. DFS 構成情報ファイルを再生成します。

pdfsmkconf コマンドを実行します。


参考

DFS 構成情報ファイルは pdfsmkconf コマンドを実行したディレクトリ配下に pdfsmkconf_out/client.conf.fsid として、ファイルシ

ステム ID fsid ごとに生成されます。

- 157 -

2. DFS 構成情報ファイルの名前を論理ファイルシステム名に変更します。

ファイルシステム ID fsid を論理ファイルシステム名に変更します。



3. DFS 構成情報ファイルを各スレーブサーバ、開発実行環境サーバ、および連携サーバに配付します。






# scp ./client.conf.pdfs1 root@develop:/etc/pdfs/client.conf.pdfs1 <Enter>

# scp ./client.conf.pdfs1 root@collaborate:/etc/pdfs/client.conf.pdfs1 <Enter>

注意

DFS 構成情報ファイルは、各スレーブサーバ、開発実行環境サーバ、および連携サーバの /etc/pdfs 配下に配置してください。

14.2.7 マウント


1. マスタサーバ(プライマリ)からマウントします。


2. すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバでマウントします。


14.2.8 Hadoop用のディレクトリ作成

マスターサーバ(プライマリ)でHadoop用のディレクトリを作成します。

1. Hadoopの動作に必要なディレクトリを作成します。

構成ファイルbdpp.confのBDPP_PDFS_MOUNTPOINTパラメーター、およびBDPP_HADOOP_TOP_DIRパラメーターに指定し

たディレクトリ、およびその配下にディレクトリを作成します。

bdpp.confに以下を指定している場合の例を示します。

－ BDPP_PDFS_MOUNTPOINT=/mnt/pdfs

－ BDPP_HADOOP_TOP_DIR=/hadoop

# mkdir -p /mnt/pdfs/hadoop # BDPP_PDFS_MOUNTPOINTとBDPP_HADOOP_TOP_DIRを連結

# chown root:hadoop /mnt/pdfs/hadoop

# chmod 0777 /mnt/pdfs/hadoop

#

# mkdir -p /mnt/pdfs/hadoop/tmp

# chmod 1777 /mnt/pdfs/hadoop/tmp

#

# mkdir -p /mnt/pdfs/hadoop/mapred/mapredsystem

# chown -R mapred:hadoop /mnt/pdfs/hadoop/mapred

# chmod 0755 /mnt/pdfs/hadoop/mapred

# chmod 0700 /mnt/pdfs/hadoop/mapred/mapredsystem

#

- 158 -

# mkdir -p /mnt/pdfs/hadoop/user

# chown root:root /mnt/pdfs/hadoop/user

# chmod 0755 /mnt/pdfs/hadoop/user

2. ユーザーのホームディレクトリを作成します。

構成ファイルbdpp.confのBDPP_HADOOP_DEFAULT_USERSパラメーターに指定したユーザー、およびセットアップ以降に作

成したジョブ実行ユーザーのDFS上のホームディレクトリを作成します。

参照

作成方法については、12.1.2 DFS上にユーザーのホームディレクトリを作成を参照してください。

3. MapReduceジョブユーザー認証キーを設定します。

2.でホームディレクトリを作成したユーザーについて認証キーを設定します

参照

設定方法については、12.1.3 MapReduceジョブユーザー認証キーの設定を参照してください。


bdpp_start コマンドを実行して本製品の Hadoop を起動し、運用を再開します。


参照


- 159 -

第15章バックアップ・リストア

本章では、システム構成のバックアップおよびリストアの方法について説明します。

各サーバでハードウェアの故障など重度の障害が発生した場合は、バックアップ・リストア機能を使用して復旧を行います。

注意

・ここで説明するバックアップ・リストア機能は、システム構成や定義情報を復旧するためのものであり、開発した Hadoopアプリケー

ションや業務データを復旧することはできません。

・二重化構成のマスタサーバにおけるバックアップ・リストアについて

マスタサーバ(プライマリ)またはマスタサーバ(セカンダリ)のどちらか一方で障害が発生した場合に、マスタサーバのシステム構成

を復旧することができます。

マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)の両方で障害が発生した場合は、リストア機能によってマスタサーバを再構築

することはできないため、必要に応じてシステムのバックアップを採取してください。

15.1 バックアップ

ディスクの破損など、ハードウェアの故障によるトラブルに備えて、構成変更時にはサーバごとにシステム構成や定義情報のバックアッ

プを行ってください。

ポイント

・マスタサーバ、開発実行環境サーバ、連携サーバでは、サーバごとに専用のバックアップコマンド bdpp_backup を使用します。

bdpp_backup コマンドの詳細については、「A.2 bdpp_backup」を参照してください。

・スレーブサーバでは、導入済みのスレーブサーバのクローニングイメージをバックアップに使用します。なお、仮想環境ではスレー

ブサーバのバックアップは不要です。ただし、物理環境でクローニング機能を利用しない場合は、ご利用のバックアップソフトウェ

アを使用し、システムイメージをバックアップしてください。

15.1.1 バックアップコマンドによって退避される資源

ここでは、バックアップコマンドによって退避される定義情報や構成情報について説明します。

以下にバックアップコマンドによって、退避される資源を示します。

表15.1 サーバごとにバックアップされる資源の一覧と資源の概要

資源の種別資源の概要マスタサーバ開発実行

環境

サーバ

連携


OS 構成関連情報 hosts ファイルや、本製品の構

成ファイル bdpp.conf といった

各サーバの OS ごとに設定さ

れている情報。

○ ○ ○ ○

イメージファイル

関連情報

スレーブサーバのクローニング

イメージなどイメージファイルや

それらの管理情報。

○(*1) × × ×

DFS 構成情報 DFS ファイルシステム構成情

報など、DFS の構成や定義に

関する情報。

○ ○ ○ ○

- 160 -

資源の種別資源の概要マスタサーバ開発実行

環境

サーバ

連携


本製品の構成情報スレーブサーバ定義ファイルな

ど、本製品を使用したシステム

の構成や定義に関する情報。

○ ○ ○ ×

Hadoop 構成情報 Hadoop のパラメーターを設定

する定義ファイルなど、本製品

で使用する Hadoop の構成や

定義に関する情報。

○ ○ ○ ×

○：バックアップします。

×：バックアップしません。

*1：マスタサーバ(プライマリ)では bdpp_backup コマンドに -q オプションを指定して実行することで、クローニングイメージのバックアッ

プ処理をスキップすることができます。なお、仮想環境、または物理環境でクローニング機能を利用しない場合は、イメージファイル関

連情報はバックアップしません。

バックアップ格納ディレクトリ

bdpp_backup コマンドを実行すると、実行時に指定したバックアップ先のディレクトリに FJSVbdpp-backup という親ディレクトリを作成し、

その配下に退避した資源を、資源ごとに分類して格納します。

作成されるディレクトリに格納される資源(バックアップ)の種別について記述します。

表15.2 FJSVbdpp-backup ディレクトリ配下に作成されるディレクトリと、格納される資源

ディレクトリ名格納される資源の種別

SYS OS 関連情報

ROR イメージファイル関連情報

PDFS DFS 構成情報

BDPP 本製品の構成情報

Hadoop Hadoop 構成情報

注意

マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)、開発実行環境サーバ、および連携サーバでは、バックアップ対象となる資源が

それぞれ異なるため、FJSVbdpp-backup 配下のディレクトリ構造はサーバごとに異なります。

バックアップ容量

バックアップで退避される資源のサイズ(FJSVbdpp-backup ディレクトリの容量)目安について、以下に示します。

ディスク容量の不足によるバックアップ処理の失敗を防ぐため、対象サーバのディスク容量を確認してからバックアップ処理を実行して

ください。

表15.3 サーバごとに必要なディスク容量

実行環境ディスク容量(目安) (MB) 備考

マスタサーバ

(プライマリ)10 ＋

クローニングイメージファイルのサイズ

左記は、クローニングイメージファイル

を採取する場合のディスク容量の目安

です。

- 161 -

実行環境ディスク容量(目安) (MB) 備考

クローニングイメージファイルを採取し

ない場合のディスク容量の目安は10MBとなります。

マスタサーバ

(セカンダリ)10

-

開発実行環境サーバ 10 -

連携サーバ 10 -

注意

マスタサーバ(プライマリ)では、bdpp_backup コマンド実行時に別途、一時的に作業用ディスク容量が必要となります。一時的に必要と

なるディスク容量については、「3.2.3.2 動的ディスク容量」の「【マスタサーバ】」を参照してください。

参考

クローニングイメージファイルのサイズの取得方法

クローニングイメージファイルのサイズの取得方法について説明します。

1. マスタサーバにログインします。

2. bdpp_listimage コマンドを実行し、現在のクローニングイメージファイルの格納場所を確認します。

3. 項番 2 で確認したディレクトリを指定して、du コマンドを実行してください。

クローニングイメージファイルの格納域が /var/opt/FJSVscw-deploysv/depot の場合

# du -hs /var/opt/FJSVscw-deploysv/depot <Enter>

15.1.2 バックアップ方法

各サーバのバックアップ方法について説明します。

・マスタサーバ、開発実行環境サーバ、連携サーバのバックアップ

・スレーブサーバのバックアップ

15.1.2.1 マスタサーバ、開発実行環境サーバ、連携サーバのバックアップ

ここでは、マスタサーバ(プライマリ・セカンダリ)、開発実行環境サーバ、および連携サーバのバックアップ方法について説明します。

スレーブサーバ以外の各サーバのバックアップは、対象のサーバ上で bdpp_backup コマンドを実行することで行います。

注意

bdpp_backup コマンドでは、開発実行環境サーバで開発した MapReduce アプリケーションや、連携サーバ上に存在する既存の業務

システムや業務データなどのバックアップは行いません。別途、ユーザー自身でバックアップを行い、退避させておく必要があります。

- 162 -

バックアップ手順

Hadoop の停止

1. マスタサーバ(プライマリ)に root 権限でログインします。

2. bdpp_stop コマンドを使用して、Hadoop を停止します。

バックアップの実施

1. バックアップを行うサーバに root 権限でログインします。

2. bdpp_backup コマンドを実行します。

例

マスタサーバ(プライマリ)で、バックアップを /var/backup 配下に格納し、かつ、クローニングイメージのバックアップを行わない場合

# /opt/FJSVbdpp/bin/bdpp_backup -d /var/backup -q <Enter>

注意

・ bdpp_backup コマンドの実行に失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じて

バックアップログ(/var/opt/FJSVbdpp/log/bdpp_backup.log)を参照して、失敗した原因を取り除いてください。

・前回の失敗時にバックアップ格納ディレクトリおよびその配下が作成されていた場合は全て削除してから、再度バックアップコマン

ドを実行してください。

・マスタサーバ(プライマリ)で bdpp_backup コマンドをオプションの指定をせずに実行した場合、クローニングイメージを含めてバッ

クアップします。このとき、クローニングイメージのファイルサイズ × イメージ数に比例して、ファイルのコピー（ディスク I/O）に時間

がかかるため、バックアップ処理が長期化する場合があります。

不要なクローニングイメージは、バックアップの実施前に bdpp_removeimage コマンドで削除してください。また、必要に応じて -qオプションを指定してクローニングイメージのバックアップ処理をスキップしてください。

bdpp_removeimage コマンドの詳細は、「A.11 bdpp_removeimage」を参照してください。

バックアップコマンドで採取したバックアップは、アーカイブ化して他のサーバやテープなど別媒体へ退避させてください。

参考

バックアップのアーカイブ化

ここでは、例として /var/backup 配下に作成したバックアップ格納ディレクトリとその配下を tar コマンドを使用して、アーカイブ化する方

法を記述します。

# cd /var/backup <Enter>

# tar cvf FJSVbdpp-backup-master1-20121010.tar FJSVbdpp-backup <Enter>

15.1.2.2 スレーブサーバのバックアップ

ここでは、スレーブサーバのバックアップ方法について説明します。

スレーブサーバのバックアップは、スレーブサーバのクローニングイメージを作成することによって行います。

導入済みのスレーブサーバから、クローニングイメージを作成してください。

クローニングイメージの作成方法については「6.3.1.4 クローニングイメージの作成」を参照してください。

- 163 -

ポイント

仮想環境に導入したスレーブサーバについては、バックアップを行う必要はありません。

注意

・物理環境にスレーブサーバを導入し、かつクローニング機能を利用しない場合は、ご利用のバックアップソフトウェアを使用し、シ

ステムイメージをバックアップしてください。

15.2 リストア

本製品を使用しているシステムにおいて、ハードウェアの故障といった障害が発生し、サーバを再度構築しなくてはならない場合、リス

トア機能を使用して復旧を行ってください。

ポイント

・マスタサーバ、開発実行環境サーバ、および連携サーバでは、バックアップからリストアを行う bdpp_restore コマンドを使用して行

います。bdpp_restore コマンドの詳細については、「A.13 bdpp_restore」を参照してください。

・スレーブサーバでは、クローニング機能を使用してリストアを行います。ただし、物理環境でクローニング機能を利用しない場合

は、ご利用のバックアップソフトウェアを使用し、システムイメージをリストアしてください。

15.2.1 リストア方法

各サーバのリストア方法について説明します。

・マスタサーバ、開発実行環境サーバ、連携サーバのリストア

・スレーブサーバのリストア

15.2.1.1 マスタサーバ、開発実行環境サーバ、連携サーバのリストア

ここでは、マスタサーバ(プライマリ・セカンダリ)、開発実行環境サーバ、および連携サーバのリストア方法について説明します。

スレーブサーバ以外の各サーバのリストアは、対象のサーバ上で bdpp_restore コマンドを実行することによって行います。

注意

・開発実行環境サーバ

bdpp_restore コマンドは、開発実行環境サーバで開発した MapReduce アプリケーションなどのリストアは行いません。

・連携サーバ

bdpp_restore コマンドは、連携サーバ上の業務システムや業務データのリストアは行いません。

リストアを行う前の準備

リストアを行う前に、対象のサーバで以下の準備作業を行う必要があります。

- 164 -

バックアップの配置

リストアの際に使用するバックアップを、リストアを行うサーバの任意のディレクトリに配置します。

バックアップがアーカイブ化されている場合は、展開します。

例

バックアップを tar 形式でアーカイブ化していた場合

/var/backup 配下に配置したバックアップ(FJSVbdpp-backup-master1-20121010.tar)を、tar コマンドを使用して展開する方法を記述

します。

# cd /var/backup <Enter>

# tar xvf FJSVbdpp-backup-master1-20121010.tar <Enter>

システム構築の準備

「第5章システム構築の準備」を参照して、対象のサーバに対して必要な設定を行ってください。

なお、バックアップに含まれている hosts ファイルを使用するため、「5.7 ホスト名の設定」の作業を行う必要はありません。対象の

サーバに配置されている hosts ファイルを、バックアップ格納ディレクトリ配下(FJSVbdpp-backup/SYS)にある hosts ファイルと置き換

えてください。

例

hosts ファイルの置き換え

/var/backup ディレクトリの配下に配置されているバックアップ格納ディレクトリ配下の hosts ファイルを cp コマンドを使用して対象

サーバに配置されている hosts ファイルと置き換える方法を記述します。

# cp -p /var/backup/FJSVbdpp-backup/SYS/hosts /etc <Enter>

hadoop グループおよび mapred ユーザーの登録(リストア対象が連携サーバの場合のみ)

「6.5.2.2 hadoop グループおよび mapred ユーザーの登録」を参照して、hadoop グループおよび mapred ユーザーを連携サーバに

登録してください。この作業は、連携サーバのリストアを行う場合のみ行ってください。

リストア手順

リストア手順について説明します。なお、事前に「リストアを行う前の準備」を行っておいてください。

Hadoop の停止(リストア対象がマスタサーバであり、かつ、マスタサーバが二重化構成の場合のみ)

1. リストア対象ではないマスタサーバに root 権限でログインします。

2. bdpp_stop コマンドを使用して Hadoop を停止します。

注意

マスタサーバが二重化構成の場合は、Hadoop が起動中である可能性があります。Hadoop が起動中である場合は停止してくださ

い。

リストアの実施

1. リストアを行うサーバに root 権限でログインします。

2. バックアップ格納ディレクトリ配下(FJSVbdpp-backup/SYS)にある、構成ファイル bdpp.conf を任意のディレクトリに配置しま

す。

- 165 -

3. 対象のサーバの機能をインストールします。

- マスタサーバの場合

「6.1.1.2 マスタサーバ機能のインストール」を参照して、マスタサーバ機能のインストールを行ってください。そのあとリス

トアを行うマスタサーバに対してのみ、HA クラスタのセットアップを行います。セットアップの手順については、「6.1.2 HAクラスタのセットアップ」を参照してください。

- 開発実行環境サーバの場合

「6.4.1.2 開発実行環境サーバ機能のインストール」を参照して、開発実行環境サーバ機能のインストールを行ってくださ

い。

- 連携サーバの場合

「6.5.1.2 連携サーバ機能のインストール」を参照して、連携サーバ機能のインストールを行ってください。

4. 対象のサーバで bdpp_restore コマンドを実行します。

例

バックアップ格納ディレクトリが /var/backup ディレクトリの配下に配置されていた場合

# /opt/FJSVbdpp/bin/bdpp_restore -d /var/backup <Enter>

注意

・バックアップ格納ディレクトリとその配下の構成は、バックアップ作成時の構成と同一にしてください。

・バックアップにクローニングイメージが含まれる場合、マスタサーバ(プライマリ)でリストアを実行するとクローニングイメージが展開

(コピー)されます。このとき、クローニングイメージのファイルサイズ × イメージ数に比例して、ファイルのコピー（ディスク I/O）に時

間がかかるため、リストア処理が長期化する場合があります。

・リストアを行うサーバのディスク容量が不足していないかどうか確認してからリストア処理を実行してください。各サーバに必要なディ

スク容量については、「表15.3 サーバごとに必要なディスク容量」を参照してください。

・「12.1 ジョブ実行ユーザーの追加」の方法でジョブ実行ユーザーの追加を行っていた場合は、リストア対象のサーバに対して、追

加したジョブ実行ユーザーの設定を再度行う必要があります。設定方法は「12.1 ジョブ実行ユーザーの追加」を参照してください。

・本製品および本製品に含まれるソフトウェアの修正を適用していた場合は、「ソフトウェア修正情報提供統合サイト」である「アップ

デートサイト」から入手して適用してください。

・ bdpp_restore コマンドの実行に失敗した場合は、出力されたメッセージの意味や対処方法を参考にして、または、必要に応じてバッ

クアップログ(/var/opt/FJSVbdpp/log/bdpp_restore.log)を参照して、失敗した原因を取り除き、再度コマンドを実施してください。

15.2.1.2 スレーブサーバのリストア

ここでは、スレーブサーバのリストア方法について説明します。

スレーブサーバのリストアは、クローニング機能を使用します。

ポイント

・物理環境のスレーブサーバをリストアする場合

あらかじめ作成しておいたクローニングイメージを使用してクローニングを行います。

・仮想環境のスレーブサーバをリストアする場合

導入済みのスレーブサーバ（仮想マシン）からクローニングを行います。

- 166 -

注意

・物理環境にスレーブサーバを導入し、かつクローニング機能を利用しない場合は、ご利用のバックアップソフトウェアを使用し、シ

ステムイメージをリストアしてください。

リストアを行う前の準備

クローニングを行う前に、以下の準備作業を行う必要があります。

クローニングイメージの用意（物理環境の場合）

リストアの際に使用するクローニングイメージが、マスタサーバ(プライマリ)のクローニングイメージの格納ディレクトリに配置されてい

ることを確認してください。

使用するクローニングイメージが用意できていない場合は、「6.3.1.4 クローニングイメージの作成」を参照し、導入済みのスレーブ

サーバからクローニングイメージの作成を行ってください。

クローン元のスレーブサーバの確認（仮想環境の場合）

クローン元のスレーブサーバには、ネットワークパラメーターおよび iSCSI 名の自動設定の登録が行われている必要があります。そ

のため、リストア対象のスレーブサーバを追加した際に使用したクローン元のスレーブサーバを確認してください。

クローン元のスレーブサーバが存在しない場合やクローン元のスレーブサーバ自体がリストア対象である場合は、既存のスレーブ

サーバをクローン元として使用できるように、「6.3.2.2 ネットワークパラメーター・iSCSI 名の自動設定の登録」を実施してください。

リストア手順

クローニング機能を使用してリストア対象のスレーブサーバを再構築します。

・物理環境の場合は、「6.3.1.6 クローニング」の手順以降を実施してください。

・仮想環境の場合は、「6.3.2.3 クローニング」の手順以降を実施してください。

注意

物理環境のスレーブサーバをリストアする場合

リストアに使用したクローニングイメージが、現在稼働しているスレーブサーバよりも古い構成の際に採取したイメージである場合は、ク

ローニング後に、以下のファイルをマスタサーバ(プライマリ)から取得して、リストア対象のスレーブサーバに配置する必要があります。

・ DFS ファイルシステム構成情報 client.conf.fsid

・スレーブサーバ定義ファイル /etc/opt/FJSVbdpp/conf/slaves

・ Hadoop 設定パラメーター /etc/hadoop/mapred-site.xml

- 167 -

第16章異常時の操作

本章では、本製品を使用したシステムにおいて異常が発生した場合の対処について説明します。

本製品で想定される異常は以下のとおりです。

異常内容想定される事象

システムの異常（物理マシン） (*1) ・システムがパニックした場合

・強制電源切断などでシステムが停止した場合

・システムがハングアップした場合

システムの異常（仮想マシン）・仮想マシンがパニックした場合

・仮想マシンがハングアップした場合

業務 LAN ネットワークの異常 (*2) ・ NIC 故障、ケーブル故障などハードウェアに異常が発生した場

合

・業務 LAN の伝送路に異常が発生した場合 (*3)

クラスタインタコネクト(CIP)の異常 (*2) ・ NIC 故障、ケーブル故障などハードウェアに異常が発生した場

合

・マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)間における

死活監視（ハードビート）で異常を検出した場合

iSCSI ネットワークの異常 (*2) ・ NIC 故障、ケーブル故障などハードウェアに異常が発生した場

合

・ iSCSI-LAN の伝送路に異常が発生した場合

JobTracker の異常・ JobTracker プロセスが異常終了した場合

・ bdpp_stop コマンド以外の方法(*4)で、JobTracker プロセスを停

止した場合

*1：物理環境のサーバ、または、仮想環境におけるホストマシンの異常を指します。

*2：LAN を冗長化している場合は、その両方で異常が発生した場合を指します。

*3：冗長化するための機能によって異常の検出方法が異なります。

*4：Apache Hadoop の機能を直接利用して、JobTracker を停止する方法を指します。

これらの異常が発生した場合、サーバごとの影響および対処について説明します。

・マスタサーバ異常時の操作

・スレーブサーバ異常時の操作

・開発実行環境サーバ異常時の操作

・連携サーバ異常時の操作

その他、ファイルシステムに異常が発生した場合の操作方法について説明します。

また、参考情報として異常発生の確認方法について説明します。

・ファイルシステム異常時の操作

・異常の確認方法

- 168 -

参照

・ネットワーク冗長化ソフトウェア（物理環境での冗長化）における業務 LAN の異常検出については、「PRIMECLUSTER GlobalLink Services 説明書 4.3 （伝送路二重化機能編）」の「2.4 NIC切替方式の監視機能」を参照してください。

また、必要に応じて「ネットワーク二重化の状態確認」を参照してください。

・ NIC チーミング機能（仮想環境での冗長化）における異常検出については、ご使用の仮想化ソフトウェアのマニュアルを参照して

ください。

16.1 マスタサーバ異常時の操作

ここでは、マスタサーバに異常が発生した場合の操作について、マスタサーバの構成ごとに説明します。

16.1.1 マスタサーバが二重化構成の場合

マスタサーバ(プライマリ)で異常が発生した場合、マスタサーバを導入した環境に応じて以下のとおりマスタサーバ(セカンダリ)へ切替

えが発生します。

異常内容導入環境

物理

環境

仮想環境

(同一ホストマシン)仮想環境

(異なるホストマシン)

KVM VMware KVM VMware

システムの異常（物理マシン） ○ ×(*1) ×(*1) ×(*2) ○

システムの異常（仮想マシン）－ ○ ○ ○ ○

業務 LAN ネットワークの異常 ○ ○ ○ ○ ○

クラスタインタコネクト(CIP)の異常 △ △ △(*2) △ △(*2)

iSCSI ネットワークの異常 ○ ○ ○ ○ ○

JobTracker の異常 ○ ○ ○ ○ ○

○：マスタサーバ(セカンダリ)へ切り替わります。

△：マスタサーバ(プライマリ)で業務を継続します（切替えは不要）。

×：マスタサーバ(セカンダリ)へ切り替わりません。

*1：物理マシン(ホストマシン)の異常であるため、マスタサーバ(セカンダリ)に切り替わっても業務は継続できません。

*2：別途、マスタサーバ(セカンダリ)の強制停止が必要です。

注意

・マスタサーバ(セカンダリ)で異常が発生した場合は、マスタサーバ(プライマリ)への切替えは発生しません。マスタサーバ(プライマ

リ)で再度ジョブの実行を行う必要はなく、業務を継続できます。

この場合、システムログなどを参照してマスタサーバ(セカンダリ)で発生した異常の原因を調査し、取り除いてください。マスタサー

バ(セカンダリ)の復旧が完了した後、マスタサーバ(セカンダリ)を再起動してください。

・マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)を同一ホストマシン上の仮想マシンに導入している場合、ホストマシンで異常

が発生した場合は業務が停止します。

この場合、ホストマシンのシステムログなどを参照して異常の原因を取り除いてください。ホストマシンの復旧が完了した後、「8.1 起動」を参照して本製品を導入したシステムを起動し直してください。

- 169 -

参考

仮想環境のホストマシンにシステムの異常が発生した場合、マスタサーバ(セカンダリ)へ切り替わりません（一部を除く）。この動作の詳

細については、「PRIMECLUSTER 導入運用手引書 4.3」の「2.2.1 仮想マシン機能」における以下の方式の記事を参照してください。

・ 1つの管理 OS 上のゲスト OS 間でクラスタシステムを構築する場合

・管理 OS 異常切替機能を使用せず、複数の管理 OS 上のゲスト OS 間でクラスタシステムを構築する場合

以降、マスタサーバ(プライマリ)で異常が発生した後の対処方法について説明します。

図16.1 二重化構成における異常発生から業務再開までの流れ

(1) クラスタ状態の確認

マスタサーバ(プライマリ)で異常が発生した場合、マスタサーバ(セカンダリ)へ切替えが行われたかどうかを確認します。

- 170 -

なお、切替えによって状態遷移が行われるため、異常発生から5分経過した後に確認してください。

1. 「マスタサーバの HA クラスタの状態確認」を参照して、マスタサーバ(セカンダリ)へ切り替わっているかを確認します。

切替えが行われている場合は、マスタサーバ(プライマリ)の状態を確認してください。

- マスタサーバ(プライマリ)が「Faulted」状態（または、システムが起動していない場合）

マスタサーバ(プライマリ)が復旧するまでの間、マスタサーバ(セカンダリ)で運用を継続できます。手順「(4) 分析業務の

再開(ジョブ再実行)」に進みます。

- マスタサーバ(プライマリ)が「Offline」状態

マスタサーバ(プライマリ)へ切り戻せる状態です。手順「(7) 切戻しコマンド or 再起動」に進みます。

2. 切替えが行われていない場合、「マスタサーバ間の通信状態の確認」を参照して、マスタサーバ(プライマリ)とマスタサーバ

(セカンダリ)間の通信状態を確認します。

- 両方のマスタサーバにおいて相手側が「LEFTCLUSTER」状態

クラスタパーティションが発生しています。手順「(2) クラスタパーティションの解消」に進みます。

- マスタサーバ(セカンダリ)において相手側が「LEFTCLUSTER」状態

手動でマスタサーバ(セカンダリ)へ切替えを行う必要があります。手順「(3) 手動切替え」に進みます。

(2) クラスタパーティションの解消

マスタサーバ(プライマリ)で業務を継続可能ですが、クラスタパーティションを解消する必要があります。

1. クラスタインタコネクト(CIP)の故障を取り除きます。

2. マスタサーバ(セカンダリ)を再起動します。

物理環境または仮想環境（KVM）にマスタサーバを導入している場合：


仮想環境（VMware）にマスタサーバを導入している場合（システムを強制停止する必要あり）：

# reboot -f <Enter>

3. 「マスタサーバ間の通信状態の確認」を参照して、マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)間の通信状態を確認

し、通信状態が回復したこと（両方のマスタサーバにおいていずれも「UP（起動中）」の状態であること）を確認します。

この対処により通常の稼働状態に戻ります（以降の手順は不要）。

(3) 手動切替え

マスタサーバ(プライマリ)でシステムの異常が発生しているため、マスタサーバ(セカンダリ)へ切り替える必要があります。

1. すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバで DFS をアンマウントします。

例

DFS の論理ファイルシステム名が pdfs1 である場合


2. マスタサーバ(セカンダリ)のシステムを強制停止し、再起動します。

# reboot -f <Enter>

3. マスタサーバ(セカンダリ)で pdfsfrmd デーモンを強制起動します。

# pdfsfrmstart -f <Enter>

4. マスタサーバ(セカンダリ)で DFS が "run" 状態であることを確認します。

- 171 -

例

DFS 管理サーバ(MDS)がマスタサーバ(セカンダリ)へ切り替えられた状態：

# pdfsrscinfo -m <Enter>


FSID MDS/AC STATE S-STATE RID-1 RID-2 RID-N hostname

1 MDS(P) stop - 0 0 0 master1

1 AC stop - 0 0 0 master1

1 MDS(S) run - 0 0 0 master2 ← マスタサーバ(セカンダリ)が "run" 状態

1 AC run - 0 0 0 master2

注意

マスタサーバで起動時に DFS のマウントが自動的に行われない設定となっている場合は、手動で DFS のマウントを行って

ください。

5. すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバで DFS をマウントします。

例



6. マスタサーバ(セカンダリ)で bdpp_start コマンドを実行し、Hadoop を強制起動します。

# /opt/FJSVbdpp/bin/bdpp_start -f <Enter>

7. 「マスタサーバの HA クラスタの状態確認」を参照して、マスタサーバ(セカンダリ)へ切り替わっているかを確認します。

参照

－ pdfsfrmstart、pdfsrscinfo の各コマンドの詳細については、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイ

ド」の「コマンドリファレンス」で該当するコマンドを参照してください。

－ bdpp_start コマンドの詳細は、「A.14 bdpp_start」を参照してください。

(4) 分析業務の再開(ジョブ再実行)

ジョブの実行中にマスタサーバ(プライマリ)で異常が発生し、マスタサーバ(セカンダリ)への切替えが起こった場合、実行していた

ジョブは中断されてしまいます。ジョブの実行状況を確認し、切り替わったマスタサーバ(セカンダリ)で、必要に応じて再度ジョブを

実行してください。

注意

Hadoop の起動・停止を行う場合

マスタサーバ(プライマリ)が異常な状態、もしくは起動していない場合のみ、マスタサーバ(セカンダリ)だけで Hadoop の起動および

停止が可能です。マスタサーバ(プライマリ)が復旧した後は、すみやかにマスタサーバ(プライマリ)へ切り戻してください。

マスタサーバ(プライマリ)が正常な状態において、マスタサーバ(セカンダリ)で Hadoop を起動しないでください。

- 172 -

参照

－マスタサーバの状態については、「マスタサーバの HA クラスタの状態確認」を参照してください。

－ Hadoop の起動・停止については、「A.14 bdpp_start」「A.16 bdpp_stop」を参照してください。

(5) サーバの復旧

マスタサーバ(プライマリ)のシステムログなどを参照して異常の原因を調査し、取り除いてください。

また、マスタサーバにサーバの再構築が必要となるような重度の障害が発生した場合は、本製品のリストア機能を使用して復旧作

業を行ってください。リストア機能を使用することで、システム構成や、マスタサーバの定義情報を復元することができます。

マスタサーバのリストアの手順については、「15.2.1.1 マスタサーバ、開発実行環境サーバ、連携サーバのリストア」を参照してくだ

さい。

ポイント

リストアを行うためには、事前に正常稼働時のマスタサーバのバックアップを採取している必要があります。

マスタサーバのバックアップ手順については、「15.1.2.1 マスタサーバ、開発実行環境サーバ、連携サーバのバックアップ」を参照


(6) サーバ再稼働

マスタサーバ(プライマリ)の復旧が完了した後、復旧を行ったマスタサーバ(プライマリ)の再起動を行ってください。

(7) 切戻しコマンド or 再起動

マスタサーバ(プライマリ)の復旧・再稼働が完了したあとは、マスタサーバ(セカンダリ)からマスタサーバ(プライマリ)へ切戻しを行っ

てください。切戻しは、マスタサーバ(セカンダリ)で切戻しコマンドを実行する、またはシステムを再起動することで行うことができま

す。

なお、マスタサーバ(セカンダリ)で分析業務を行っていた場合は、一度休止してから(ジョブを停止してから)切戻しを行ってくださ

い。

コマンドで切戻しを行う手順は以下のとおりです。

1. マスタサーバ(セカンダリ)で DFS をアンマウントします。

これにより、DFS 管理サーバ(MDS)が切り戻されます。

例

DFS のマウントポイントが /mnt/pdfs の場合：

# pdfsumount /mnt/pdfs <Enter>

2. マスタサーバ(セカンダリ)で DFS をマウントします。

例

DFS のマウントポイントが /mnt/pdfs の場合：

# pdfsmount /mnt/pdfs <Enter>

3. マスタサーバ(プライマリ)で DFS が "run" 状態であることを確認します。

例

DFS 管理サーバ(MDS)がマスタサーバ(プライマリ)へ切り戻された状態：

- 173 -

# pdfsrscinfo -m <Enter>


FSID MDS/AC STATE S-STATE RID-1 RID-2 RID-N hostname

1 MDS(P) run - 0 0 0 master1 ← マスタサーバ(プライマリ)が "run" 状態


1 MDS(S) wait - 0 0 0 master2


4. マスタサーバ(セカンダリ)で hvswitch コマンドを実行して、マスタサーバ(セカンダリ)からマスタサーバ(プライマリ)へ切り戻し

ます。

# hvswitch app1 <Enter>

app1 は、固定の文字列です。

5. 「マスタサーバの HA クラスタの状態確認」を参照して、マスタサーバ(プライマリ)へ切り戻されているかを確認します。

参照

－ pdfsumount、pdfsmount、pdfsrscinfo の各コマンドの詳細については、「Primesoft Distributed File System for Hadoop V1 ユー

ザーズガイド」の「コマンドリファレンス」で該当するコマンドを参照してください。

－ hvswitch コマンドの詳細は、「PRIMECLUSTER 活用ガイド <コマンドリファレンス編>」－「第7章」－「hvswitch」を参照してくだ

さい。

注意

「13.1 スレーブサーバの追加」を行うためのマスタサーバの機能は、切替えの対象とはなりません。マスタサーバ(プライマリ)に異常が

発生し、マスタサーバ(セカンダリ)に切り替わった場合は、マスタサーバ(プライマリ)で異常の原因を取り除いた後、マスタサーバ(プラ

イマリ)へ切戻しを行ってから、再度「13.1 スレーブサーバの追加」を実施してください。

参考

マスタサーバが二重化構成であり、マスタサーバ(プライマリ)もしくはマスタサーバ(セカンダリ)のどちらかが起動しなかった場合は、以

下のとおり運用を開始します。

・マスタサーバ(プライマリ)が起動していない場合のシステム起動

マスタサーバ(プライマリ)が異常により動作しない状況で、システムをマスタサーバ(セカンダリ)だけで起動した場合、bdpp_start コマンドによる Hadoop の起動が可能です。

Hadoop の起動については、「A.14 bdpp_start」を参照してください。

・マスタサーバ(セカンダリ)が起動していない場合のシステム起動

マスタサーバ(セカンダリ)が異常により動作しない状況で、システムをマスタサーバ(プライマリ)だけで起動した場合、bdpp_start コマンドによる Hadoop の起動が可能です。


16.1.2 マスタサーバが二重化構成でない場合

マスタサーバで以下に示す異常が発生した場合、実行中であったジョブは中断されます。

マスタサーバの復旧を行うまで業務が長時間停止してしまう可能性があります。

・システムの異常（物理マシン）

- 174 -

・システムの異常（仮想マシン）

・業務 LAN ネットワークの異常

・クラスタインタコネクト(CIP)の異常

・ iSCSI ネットワークの異常

・ JobTracker の異常

以降は、マスタサーバで異常が発生した後の対処方法について説明します。

図16.2 非二重化構成における異常発生から業務再開までの流れ


マスタサーバのシステムログなどを参照して異常の原因を取り除いてください。

マスタサーバに、サーバの再構築が必要となるような重度の障害が発生した場合は、対象のマスタサーバで復旧作業を行ってくだ

さい。

本製品のリストア機能を使用することで正常稼働時のシステム構成や、マスタサーバの定義情報を再構築、および再設定すること

ができます。

マスタサーバのリストアの手順については、「15.2.1.1 マスタサーバ、開発実行環境サーバ、連携サーバのリストア」を参照してくだ

さい。

ポイント

リストアを行うためには、事前に正常稼働時のマスタサーバのバックアップを採取している必要があります。

- 175 -

マスタサーバのバックアップ手順については、「15.1.2.1 マスタサーバ、開発実行環境サーバ、連携サーバのバックアップ」を参照



復旧を行ったマスタサーバの再起動を行ってください。マスタサーバ再起動時に DFS クライアント(スレーブサーバ、開発実行環境

サーバ、および連携サーバ)で DFS のアンマウントおよび再マウントを行う必要があります。

マスタサーバの再起動は、以下の手順で行ってください。

1. すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバで DFS をアンマウントします。

例



2. マスタサーバの再起動を行います。

マスタサーバで起動時に DFS のマウントが自動的に行われない設定となっている場合は、マスタサーバの再起動後、手動

で DFS のマウントを行ってください。

3. すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバで DFS をマウントします。

例



(3) JobTracker 起動

復旧を行ったマスタサーバの Hadoop を起動させてください。

Hadoopの起動の際は、bdpp_start コマンドを使用してください。


マスタサーバの復旧が完了したあとは、必要に応じてジョブの実行を行い、業務を再開してください。

16.2 スレーブサーバ異常時の操作

ここでは、スレーブサーバに異常が発生した際の動作について、説明します。

スレーブサーバで以下に示す異常が発生した場合、他のスレーブサーバが実行中のジョブを代替し、処理が継続されます。

・システムの異常


- 176 -


図16.3 スレーブサーバにおける異常発生から業務再開までの流れ


対象のスレーブサーバのシステムログなどを参照して異常の原因を調査し、取り除いてください。

システムログの参照やスレーブサーバの再起動だけでは解決できない重度の障害が発生した場合は、対象のスレーブサーバの

復旧作業を行ってください。

スレーブサーバのリストア手順については、「15.2.1.2 スレーブサーバのリストア」を参照してください。

ポイント

リストアを行うためには、事前に正常稼働時のスレーブサーバのバックアップを採取している必要があります。

スレーブサーバのバックアップ手順については、「15.1.2.2 スレーブサーバのバックアップ」を参照してください。


スレーブサーバの復旧が完了した後、復旧を行ったスレーブサーバの再起動を行ってください。

(3) TaskTracker 起動

スレーブサーバの復旧・再稼働が完了したあとは、マスタサーバから bdpp_start コマンドを実行し、異常となったスレーブサーバ上

の Hadoop を再起動してください。


- 177 -

注意

一部のスレーブサーバのHadoopを再起動するために、bdpp_start コマンドを実行した場合、"bdpp:WARN:001" メッセージが出力

されますが、スレーブサーバの Hadoop の再起動には問題ありません。


スレーブサーバの復旧が完了したあとは、必要に応じてジョブの実行を行い、業務を再開してください。

16.3 開発実行環境サーバ異常時の操作

ここでは、開発実行環境サーバに異常が発生した際の動作について説明します。

開発実行環境サーバで以下に示す異常が発生した場合、MapReduce アプリケーションが停止し、実行中のジョブが中断されてしまう

可能性があります。




開発実行環境サーバに異常が発生した場合は、開発実行環境サーバのシステムログなどを確認して、異常の原因を取り除いてくださ

い。

開発実行環境サーバに、サーバの再構築が必要となるような重度の障害が発生した場合は、開発実行環境サーバでリストアを行い、

サーバを復旧させてください。

開発実行環境サーバのリストア手順については、「15.2.1.1 マスタサーバ、開発実行環境サーバ、連携サーバのリストア」を参照してく

ださい。

ポイント

リストアを行うためには、事前に正常稼働時に開発実行環境サーバのバックアップを採取している必要があります。

開発実行環境サーバのバックアップ手順については、「15.1.2.1 マスタサーバ、開発実行環境サーバ、連携サーバのバックアップ」を


16.4 連携サーバ異常時の操作

ここでは、連携サーバに異常が発生した際の動作について説明します。

連携サーバで以下に示す異常が発生した場合、DFS へのアクセスができなくなる可能性があります。



連携サーバに異常が発生した場合は、連携サーバのシステムログなどを確認して、異常の原因を取り除いてください。

連携サーバに、サーバの再構築が必要となるような重度の障害が発生した場合は、連携サーバでリストアを行い、サーバを復旧させ

てください。

連携サーバのリストア手順については、「15.2.1.1 マスタサーバ、開発実行環境サーバ、連携サーバのリストア」を参照してください。

ポイント

リストアを行うためには、事前に正常稼働時に連携サーバのバックアップを採取している必要があります。

- 178 -

連携サーバのバックアップ手順については、「15.1.2.1 マスタサーバ、開発実行環境サーバ、連携サーバのバックアップ」を参照してく

ださい。

16.5 ファイルシステム異常時の操作

ファイルシステムに異常が発生し、ファイルシステムが壊れてしまった場合は、ファイルシステムの再作成を行ってください。

ここでは、パーティション構成を変更せずに、使用中のDFSを再作成する場合の手順を説明します。

これは、ファイルシステムを修復する目的で、バックアップからすべてのファイルをリストアするために実施します。

参照

パーティション構成を変更する場合は、使用中の DFS を削除後、新しいパーティション構成で作成してください。

・ DFS の削除と作成手順については、「14.2 ストレージシステムの削除」を参照してください。

注意

ファイルシステムを再作成すると、旧ファイルシステムのデータはすべて削除されます。そのため、必要なデータは再作成前にバック

アップしてください。

以下の環境を例に、DFS を再作成する手順を示します。



特に指示がない場合は、マスタサーバ(プライマリ)で実行してください。


すべてのスレーブサーバ、開発実行環境サーバ、および連携サーバでアンマウントします。


マスタサーバでアンマウントします。


2. ファイルシステムを再作成する pdfsmkfs のコマンド行を取得します。

# pdfsmkfs -m /dev/disk/by-id/scsi-1FUJITSU_300000370106 > _mkfs_param_ <Enter>

3. pdfsmkfs のコマンド行に、再作成するための固有オプション force を追加指定します。

編集前：

# cat _mkfs_param_ <Enter>

pdfsmkfs -o free=10,・・・中略・・・,node=master1,master2 /dev/disk/by-id/scsi-1FUJITSU_300000370106

編集後：

# cat _mkfs_param_ <Enter>

pdfsmkfs -o force,free=10,・・・中略・・・,node=master1,master2 /dev/disk/by-id/scsi-1FUJITSU_300000370106

4. DFS を再作成します。

# sh _mkfs_param_ <Enter>

- 179 -

5. pdfsmkfs のコマンド行を削除します。

# rm _mkfs_param_ <Enter>

6. DFS をマウントして運用を再開します。

マスタサーバからマウントします。


DFS を使用するすべてのスレーブサーバ、開発実行環境サーバ、および連携サーバでマウントします。


16.6 異常の確認方法

マスタサーバ(プライマリ)に異常が発生して、マスタサーバ(セカンダリ)に切り替えられた場合(二重化構成時)や、

二重化されたネットワークの片側に異常が発生して、もう一方に切り替えられた場合は、システムログ(/var/log/messages)に出力される

メッセージを確認してください。

また、HA クラスタおよびネットワーク二重化の状態は、次に示すコマンドで確認できます。

マスタサーバの HA クラスタの状態確認

マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)のそれぞれのサーバで、hvdisp コマンドを実行することで状態を確認すること

ができます。

hvdisp コマンドの詳細については、「PRIMECLUSTER 活用ガイド <コマンドリファレンス編>」－「第7章」－「hvdisp」を参照してくだ

さい。

次の例は、マスタサーバ(プライマリ)に異常が発生し、マスタサーバ(セカンダリ)に切り替わった場合の状態を表示したものです。

マスタサーバ(プライマリ)の app1 が Faulted であるため、マスタサーバ(プライマリ)で異常を取り除く必要があります。

マスタサーバ(プライマリ)の HA クラスタの状態表示(例)

# hvdisp -a <Enter>

Local System: primaryRMS

Configuration: /opt/SMAW/SMAWRrms/build/bdpp.us

Resource Type HostName State StateDetails

-----------------------------------------------------------------------------

primaryRMS SysNode Online

secondaryRMS SysNode Online

app1 userApp Faulted Failed Over

Machine001_app1 andOp primaryRMS

Machine000_app1 andOp secondryRMS Offline

ManageProgram000_Cmd_APP1 gRes Offline

Ipaddress000_Gls_APP1 gRes Offline

マスタサーバ(セカンダリ) の HA クラスタの状態表示(例)

# hvdisp -a <Enter>

Local System: secondaryRMS


- 180 -


-----------------------------------------------------------------------------



app1 userApp Online

app1 userApp primaryRMS Online

Machine001_app1 andOp secondaryRMS Online

Machine000_app1 andOp primaryRMS

ManageProgram000_Cmd_APP1 gRes Online

Ipaddress000_Gls_APP1 gRes Online

次の例は、マスタサーバ(プライマリ)の異常を取り除き、復旧した状態を表示したものです。

マスタサーバ(プライマリ)の app1 が Offline であるため、マスタサーバ(プライマリ)へ切り戻すことができます。

マスタサーバ(プライマリ)の HA クラスタの状態表示(例)

# hvdisp -a <Enter>

Local System: primaryRMS



-----------------------------------------------------------------------------



app1 userApp Offline

app1 userApp secondaryRMS Online

Machine001_app1 andOp secondaryRMS

Machine000_app1 andOp primaryRMS Offline

ManageProgram000_Cmd_APP1 gRes Offline

Ipaddress000_Gls_APP1 gRes Offline

マスタサーバ間の通信状態の確認

マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)のそれぞれのサーバで、cftool コマンドを実行することで状態を確認することが

できます。

cftool コマンドの詳細については、「PRIMECLUSTER 活用ガイド <コマンドリファレンス編>」－「第2章」－「cftool」を参照してくだ

さい。

次の例は、クラスタインタコネクト(CIP)に異常が発生し、相手ノードの状態を判断できない状態を表示したものです。この場合、クラ

スタパーティションが発生しているとみなします。

マスタサーバ(プライマリ)の通信状態表示(例)

# cftool -n <Enter>


primary 1 UP Linux EM64T

secondary 2 LEFTCLUSTER Linux EM64T

マスタサーバ(セカンダリ)の通信状態表示(例)

# cftool -n <Enter>


primary 1 LEFTCLUSTER Linux EM64T

secondary 2 UP Linux EM64T

ネットワーク二重化の状態確認

dsphanet コマンドにより、状態が確認できます。マスタサーバおよびスレーブサーバで状態を確認することができます。

- 181 -

dsphanet コマンドの詳細については、「PRIMECLUSTER Global Link Services 説明書 4.3 （伝送路二重化機能編）」－「第7章コマンドリファレンス」－「7.4 dsphanetコマンド」を参照してください。

マスタサーバ(プライマリ) のネットワーク二重化の状態表示(例)

# /opt/FJSVhanet/usr/sbin/dsphanet <Enter>

[IPv4,Patrol / Virtual NIC]

Name Status Mode CL Device

+----------+--------+----+----+------------------------------------------------+

sha0 Active d ON eth5(ON),eth9(OFF)

sha1 Active p OFF sha0(ON)

[IPv6]


+----------+--------+----+----+------------------------------------------------+

スレーブサーバのネットワーク二重化の状態表示(例)

# /opt/FJSVhanet/usr/sbin/dsphanet <Enter>

[IPv4,Patrol / Virtual NIC]


+----------+--------+----+----+------------------------------------------------+

sha0 Active e OFF eth5(ON),eth9(OFF)

sha1 Active p OFF sha0(ON)

[IPv6]


+----------+--------+----+----+------------------------------------------------+

- 182 -

第17章システムの設計・開発・運用における前提知識や役立つ情報

本章では、本製品を使用してシステムを設計・開発・運用する際の前提知識や、役に立つ情報について記載します。

17.1 動作の概要

本製品の動作の概要を説明します。

17.1.1 各サーバの役割

本製品は、複数のサーバ上で動作する複数のサービス・モジュールが協調することで動作します。各サーバが提供するサービスや、

必要なモジュールは以下のとおりです。

サービス

サーバサービス役割

マスタサーバ

(プライマリ)

P-DFS(*1) プライマリMDS(*2) DFSのメタデータやAC(*3)を管理します。

Hadoop JobTracker(運用系) Hadoopジョブの実行依頼を受け付け、各スレーブサーバの

TaskTrackerに処理を分散して依頼します。

マスタサーバ

(セカンダリ)

P-DFS(*1) セカンダリMDS(*2) プライマリMDSのダウンを検知し、新たなプライマリMDSとして処

理を引き継ぎます。

Hadoop JobTracker(待機系) マスタサーバ(プライマリ)のJobTrackerがダウンした場合に

PRIMECLUSTERから起動され、処理を引き継ぎます。

スレーブサーバ Hadoop TaskTracker JobTrackerから依頼された処理を実行するために、利用者が指

定したMapReduceアプリケーションを子プロセスとして起動しま

す。

モジュール

サーバモジュール役割

マスタサーバ

(プライマリ/セカンダリ)

P-DFS(*1) AC(*3) DFSの管理に必要な機能と、DFSにアクセスする機能を提供しま

す。

スレーブサーバ P-DFS(*1) AC(*3) DFSにアクセスする機能を提供します。

連携サーバ

開発実行環境サーバ P-DFS(*1) AC(*3) DFSにアクセスする機能を提供します。

Hadoop JobClient Hadoopジョブの実行をJobTrackerに依頼します。

(*1) Primesoft Distributed File System

(*2) P-DFSメタデータサーバ

(*3) P-DFSアクセスクライアント

参考

ACは、各サーバのOSに組み込まれたカーネルモジュールです。/etc/fstabにファイルタイプとして"pdfs"が指定されているファイルシス

テムにアクセスする際に内部的に動作するもので、利用者が意識する必要はありません。ファイルの入出力を行う場合、ACはメタデー

タをMDSから取得した後、実データにアクセスします。取得したメタデータはACがキャッシュします。

- 183 -

17.1.2 各機能を構成するプロセスの詳細

前項の機能はさらに複数のデーモンプロセスから構成されます。

P-DFS MDS(マスターサーバ)

・ pdfsprmd

各プロセスの起動・停止・ダウン監視を行います。

・ pdfspncd

pdfsprmdのダウン監視を行います。

・ pdfshnsd

AC(スレーブサーバ)のダウンイベントの受信、ACのメンバーシップ情報の取得、ACのサーバ状態の取得を行います。

- 184 -

・ pdfsd

サービスの起動・停止、MDSダウン時の自動リカバリー等、MDSとACを制御します。マウントされたP-DFSファイルシステム数だけ

存在します。

・ pdfsfrmd

コマンドやpdfsdからの要求を受け付け、コマンドとpdfsd間、コマンドとpdfsprmd間、および各サーバ間の通信経路を確保します。

また、P-DFSファイルシステムの構成の管理、管理パーティションの入出力機能を提供します。

・ pdfsmg

P-DFSファイルシステムのメタデータを管理します。狭義では本プロセスをMDSと呼ぶことがあります。

Hadoop JobTracker(マスターサーバ)

・ org.apache.hadoop.mapred.JobTrackerクラスのjavaプロセス

hadoopコマンドからの処理依頼や、JobClientからのHadoopジョブの実行依頼を受け付けます。Hadoopジョブを、複数のTaskTrackerの複数の子プロセスに分散して実行します。

Hadoop TaskTracker(スレーブサーバ)

・ org.apache.hadoop.mapred.TaskTrackerクラスのjavaプロセス

JobTrackerからの処理依頼を受け付けます。実際の処理は子プロセス(org.apache.hadoop.mapred.Child)で処理し、処理結果を受

け取ってJobTrackerに通知します。

・ org.apache.hadoop.mapred.Childクラスのjavaプロセス

JobClientに指定したアプリケーションを使用してHadoopジョブの実処理を行い、処理終了後に停止します。P-DFSのACは、主に

本プロセスの延長で動作しHadoopジョブが対象とするデータの入出力を行います。

Hadoop JobClient(開発実行環境サーバ)

・ Hadoopジョブの実行依頼時に指定したMapReduceアプリケーションのjavaプロセス

入力データの分散処理計画を作成し、処理論理を記述したアプリケーションとともにJobTrackerに処理を依頼します。

17.2 設計

本製品を導入する際に必要な設計作業の中からポイントとなる事項を説明します。

17.2.1 DFS領域の割り当て

DFS領域の用途

DFS領域として、以下の3種類のパーティションをストレージ上に用意します。

・管理パーティション

DFSを運用するために必要な情報を保持するパーティションです。P-DFSのシステム全体で1つです。

・代表パーティション

ファイルシステムのデータのうち、主にメタデータとアップデートログを保持するパーティションです。ファイルデータを保持すること

もできます。ファイルシステム毎に1つです。

・ファイルデータパーティション

ファイルの実データを保持するパーティションです。ファイルシステム毎に複数保持することができます。

性能を考慮し、代表パーティションにはファイルデータを保持しないことを推奨します。

- 185 -

DFS領域の割り当て指針

DFS領域をストレージに割り当てる際は、以下のような点を考慮してください。処理後にデータ量が削減されず、大量のデータを入出

力する(入力データ量≦出力データ量)ような入出力負荷の高いHadoopジョブを実行する場合には、特に留意してください。

・ストレージ接続構成

HadoopジョブからのDFSへのファイルデータの入出力量は、スレーブサーバのCPUコア数に比例します。また、ほぼすべてのコア

を使用して同じアプリケーションが並列に動作します。そのため、ストレージ装置の能力よりも接続経路が性能ボトルネックとなるこ

とがないよう、1つのCPUコアあたり1GBps程度の帯域が確保できる接続構成とすることを推奨します。

・ RAID構成

RAID構成は入出力性能と可用性を考慮して、RAID1、またはRAID0+1の構成を推奨します。RAID5/6は使用しないでください。

・論理ボリューム構成

P-DFSは、ファイルデータパーティションに割り当てられた各ボリュームの負荷を考慮して入出力を行います。そのため、ファイル

データパーティションには、大容量の論理ボリュームを少数割り当てるよりも小容量の論理ボリュームを多数割り当てることを推奨し

ます。

・ブロックサイズ

P-DFSは、ファイルシステム作成時のブロックサイズ単位でファイルデータを管理します。

Hadoopジョブに対してブロックサイズよりも大きなサイズのファイルを少数指定して利用する場合には、ブロックサイズを大きめに設

定することを推奨します。

ブロックサイズよりも小さなサイズのファイルを多数指定して利用する場合には、ブロックサイズを小さめに設定します。この場合、

ファイルデータパーティションの使用量を削減することができる一方で、管理するブロック数が増えることによりメタデータを管理す

る代表パーティションの必要容量は増加します。

17.2.2 MapReduce作業領域の割り当て

Hadoopジョブは、MapReduceアルゴリズムにしたがってMapとReduceの2フェーズで処理されます。その際、MapフェーズとReduceフェー

ズの間のデータ授受は、MapReduce作業領域に格納されたファイルを介して行われます。MapReduce作業領域はDFS上ではなく、他

のサーバとは共用しない各スレーブサーバ上のローカルディスクに配置されます。

「17.2.1 DFS領域の割り当て」で述べたような入出力負荷の高いHadoopジョブを実行する場合、DFS領域と同様に各スレーブサーバ

上のMapReduce作業領域の入出力も高負荷となります。

そのため、MapReduce作業領域には複数のローカルディスクを割り当てることを推奨します。ディスク装置の性能にもよりますが、CPUコア2～3あたり1つのローカルディスクをMapReduce作業領域に割り当てます。また、格納されるのはHadoopジョブ実行後に削除され

る作業データであるため、可用性のためのRAID構成等は必ずしも必要ではありません。

MapReduce作業領域は、以下のプロパティで指定します。

・ mapred.local.dir

MapReduce作業領域として使用するディレクトリを指定します。カンマで区切って複数のディクレトリを指定することができます。複

数指定する場合には異なるローカルディスクに配置されたディレクトリを指定してください。指定したディレクトリのアクセス権は以下

のとおり設定してください。

所有者:グループ : mapred:hadoop

アクセス権 : 755

参考

本製品でのデフォルトの指定値は以下のとおりです。

mapred.local.dir=/var/lib/hadoop/mapred/local (mapred-site.xml)

- 186 -

参照

Hadoopジョブの動作の詳細は、「17.5.1 Hadoopジョブとタスク」で説明します。

17.2.3 データの圧縮

Hadoopは、以下のファイルを圧縮することができます。

・ Hadoopジョブの入出力となるDFS上のファイル

・ MapReduce作業領域に入出力される作業ファイル

これらのファイルを圧縮することでDFSやMapReduce作業領域のディスク容量を節約したり、入出力量を削減することで入出力負荷を

低減したりすることができます。一方で圧縮によりCPU負荷は増加しますので、Hadoopジョブの処理特性により圧縮の有無を選択しま

す。

DFS上のファイルの圧縮

DFS上のファイルを圧縮する方法には以下の二つがあります。P-DFSの機能による圧縮を推奨します。

・ P-DFSの機能による圧縮

・ Hadoopの機能による圧縮

P-DFSの機能による圧縮はファイルシステム内部で圧縮・伸張を行っており、利用者やアプリケーションから圧縮ファイル・非圧縮ファ

イルを意識することなく扱うことができます。また、圧縮ファイルをHadoopジョブの入力にした場合でも分散処理を行うことができます。

参照

P-DFSの機能による圧縮の詳細は、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」を参照してください。

圧縮機能の利用方法については、「10.1 入出力データの準備」を参照してください。

一方、Hadoopの機能による圧縮はソフトウェアにより圧縮・伸張を行っているため、利用者やアプリケーションは圧縮ファイルであること

を意識する必要があります。たとえばHadoopジョブの処理結果を圧縮ファイルとして出力した場合、以降そのファイルを参照するアプ

リケーション等で伸長処理が必要です。また、後述する圧縮コーデックによっては圧縮ファイルをHadoopジョブの入力にした場合に効

率的な分散処理が行えず、1つの圧縮ファイルが1つプロセスで実行されることがあります。

Hadoopの機能による圧縮は、以下のプロパティで指定します。

・ mapred.compress.output

Hadoopジョブの出力ファイルを圧縮する否かをbool値で指定します。

参考


mapred.compress.output=false (mapred-site.xml)

- 187 -

作業ファイルの圧縮

作業ファイルの圧縮は、ソフトウェアにより圧縮・伸張を行っています。DFS上のファイルの圧縮と異なりHadoopが内部的に圧縮・伸長

を行うため、利用者やアプリケーションから意識する必要はありません。

作業ファイルを圧縮の有無は、以下のプロパティで指定します。

・ mapred.compress.map.output

作業ファイルを圧縮するか否かをbool値で指定します。

参考


mapred.compress.map.output=true (mapred-site.xml)

圧縮アルゴリズム

P-DFSの機能による圧縮は、Red Hat(R) Enterprise Linux(R)に標準で搭載されDEFLATEアルゴリズムを使用したzlib形式により圧縮・

伸長を行います。

ソフトウェアによる圧縮では、圧縮アルゴリズムを複数の圧縮コーデックから選択することができます。

・ org.apache.hadoop.io.compress.DefaultCodec

DEFLATEアルゴリズムを使用したzlib形式により圧縮・伸長を行います。

圧縮ファイルを分散して処理することはできません。

・ org.apache.hadoop.io.compress.GzipCodec

DEFLATEアルゴリズムを使用したgzip形式により圧縮・伸長を行います。

圧縮ファイルを分散して処理することはできません。

圧縮ファイルをgzipコマンドにより参照することができます。

・ org.apache.hadoop.io.compress.BZip2Codec

bzip2アルゴリズムを使用したbzip2形式により圧縮・伸長を行います。

圧縮ファイルを分散して処理することができますが、圧縮・伸長処理の性能は劣ります。

圧縮ファイルをbzip2コマンドにより参照することができます。

・ org.apache.hadoop.io.compress.SnappyCodec(未サポート)

Google社が開発した、Snappyアルゴリズムを使用したSnappy形式により圧縮・伸長を行います。

圧縮ファイルを分散して処理することはできませんが、圧縮・伸長処理は高速です。

使用する場合は、別途利用者がインターネットからSnappy用のネイティブライブラリ(.so)を入手しインストールする必要があります。

本製品では未サポートです。

圧縮コーデックは、以下のプロパティで指定します。

- 188 -

・ mapred.output.compression.codec

Hadoopジョブの出力ファイルを圧縮する場合に使用する圧縮コーデックのクラス名を指定します。

・ mapred.map.output.compression.codec

作業ファイルを圧縮する場合に使用する圧縮コーデックのクラス名を指定します。

参考


mapred.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec (mapred-site.xml)

mapred.map.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec (mapred-site.xml)

17.2.4 タスクスケジューラによるサーバ稼働率の設計

Hadoopが提供しているタスクスケジューラ機能により、Hadoopジョブ毎に使用するサーバリソース量を制限したりHadoopジョブを同時

に複数実行したりすることができます。これにより、業務内容や時間帯に応じたサーバ有効利用への効果が期待できます。

参照

タスクスケジューラの詳細は、「17.5.2 Hadoopタスクスケジューラ」を参照してください。

17.3 起動・停止、異常時の動作

デーモンプロセスの起動・停止、異常時に振る舞いについて説明します。

17.3.1 各デーモンプロセスの起動・停止

「17.1 動作の概要」で説明したとおり、本製品では複数のデーモンプロセスが稼働しています。それらのうち、利用者が起動・停止する

必要があるのはHadoopのデーモンプロセスのみです。P-DFSのデーモンプロセスはサーバ起動時に自動的に起動され、以降も起動・

停止の必要はありません。

Hadoopのデーモンプロセスの起動・停止が必要なのは、/etc/hadoop/mapred-site.xmlへの変更を本製品に反映する場合です。mapred-site.xmlの指定値を変更する場合には、以下の手順で行います。

1. bdpp_stopコマンドにより、Hadoopの全デーモンプロセスを停止

2. /etc/hadoop/mapred-site.xmlを編集し、“全サーバに”配布

3. bdpp_startコマンドにより、Hadoopの全デーモンプロセスを起動し、2の結果を反映

bdppコマンドによる起動・停止は全デーモンプロセスが対象になります。サーバのメンテナンス等で各スレーブサーバ上のTaskTrackerを個別に起動・停止する場合には、スレーブサーバにrootでログインし以下のコマンドを実行します。

# /etc/init.d/hadoop-tasktracker start

# /etc/init.d/hadoop-tasktracker stop

TaskTrackerの停止中に依頼されたHadoopジョブは、起動している残りのTaskTrackerだけで実行されます。

JobTrackerを個別に起動・停止することはできません。bdppコマンドによりTaskTrackerも含めて停止・起動してください。

- 189 -

17.3.2 異常発生箇所の特定

Hadoopジョブの実行中に異常が発生した時は以下の順で異常箇所を特定し、発生している問題に対処します。

1. マスターサーバの/var/log/messagesに異常が記録されていないか。

2. JobTrakerログに異常が記録されていないか

3. ジョブヒストリログに異常が記録されていないか

4. スレーブサーバの/var/log/messagesに異常が記録されていないか

5. TaskTrackerログに異常が記録されていないか

6. タスクログに異常が記録されていないか

参照

ログファイルの詳細は、「17.4.3 ログファイルの一覧」を参照してください。

1. マスターサーバの/var/log/messagesに異常が記録されていないか

本製品の動作のベースとなる、以下のような異常が記録されていないか確認します。

・ハードウェアの異常

・ OSの異常

・ PRIMECLUSTERの異常

・ PRIMECLUSTER GLSの異常

・ P-DFSの異常

・ JobTrackerのjavaプロセスの異常(→2.へ)

2. JobTrackerログに異常が記録されていないか

JobTracker が検出する、以下のような異常がJobTrackerログ(デーモンプロセス関連のログ)に記録されていないかを確認します。

・ JobTracker自体の異常

・ JobTrackerが検出したTaskTrackerの異常(→4.へ)

・ Hadoopジョブの異常(→3.へ)

3. ジョブヒストリログに異常が記録されていないか

Hadoopジョブが検出する、以下のような異常がジョブヒストリログ(Hadoopジョブ関連のログ)に記録されていないかを確認します。

・ Hadoopジョブ自体の異常

・ Hadoopジョブの延長で各スレーブサーバのTaskTrackerから起動される処理(タスク)の異常(→4.へ)

4. スレーブサーバの/var/log/messagesに異常が記録されていないか

本製品の動作のベースとなる、以下のような異常が記録されていないか確認します。

・ハードウェアの異常

・ OSの異常

・ PRIMECLUSTER GLSの異常

・ P-DFSの異常

・ TaskTrackerのjavaプロセスの異常(→5.へ)

- 190 -

5. TaskTrackerログに異常が記録されていないか

TaskTracker が検出する、以下のような異常がTaskTrackerログ(デーモンプロセス関連のログ)に記録されていないかを確認します。

・ TaskTracker自体の異常

・ Hadoopジョブの延長で各スレーブサーバのTaskTrackerから起動される処理(タスク)の異常(→6.へ)

6. タスクログに異常が記録されていないか

TaskTracker が検出する、以下のような異常がタスクログ(Hadoopジョブ関連のログ)に記録されていないかを確認します。

・ Hadoopジョブの延長で各スレーブサーバのTaskTrackerから起動される処理(タスク)の異常

・タスクの延長で実行されるアプリケーションの異常

17.3.3 JobTrackerプロセス異常時の動作

マスターサーバ(プライマリ)上のJobTrackerプロセスが停止した場合、PRIMECLUSTERによりマスターサーバ(セカンダリ)上に新しい

JobTrackerプロセスが起動されます。同時にセカンダリMDSが新しいプライマリMDSとして処理を引き継ぎます。

異常発生前に実行を依頼し、異常発生時点で実行中または実行待ちであったHadoopジョブはすべてキャンセルされます。マスター

サーバ(セカンダリ)の起動後、必要に応じて再実行してください。

17.3.4 TaskTrackerプロセス異常時の動作

TaskTrackerプロセスが停止した場合やプロセスは停止していないがJobTrackerプロセスへのハートビート応答がない場合、JobTrackerは当該TaskTrackerに処理を依頼しなくなります。この場合、処理能力が縮退した状態となりますが運用は継続することができます。

以下のコマンドを実行することで、JobTrackerが稼働中と認識しているTaskTrackerの一覧が表示されます。これにより縮退状態か否か

を確認することができます。

# hadoop job -list-active-trackers

縮退状態は、当該TaskTrackerを停止して問題を解決した後でbdpp_startコマンドを実行し、停止しているTaskTrackerのみを起動する

ことで解消します。

注意

終的にすべてのTaskTrackerが停止した(上記コマンド実行時にTaskTrackerが1件も出力されない)場合、Hadoopジョブは以下の状

態となります。

実行中のHadoopジョブ : TaskTrackerが起動されるまで処理中のまま待機します

依頼済みのHadoopジョブ : TaskTrackerが起動されるまで処理の実行を待機します

新規のHadoopジョブの実行依頼 : JobTrackerに対する実行依頼が可能です

17.3.5 MDS異常時の動作

マスターサーバ(プライマリ)上のMDSの各プロセス(pdfspncdを除く)が停止した場合、同時にマスターサーバ(プライマリ)も停止される

ため、マスターサーバ(セカンダリ)がJobTrackerも含めて処理を引き継ぎます。

異常発生前に実行を依頼し、異常発生時点で実行中または実行待ちであったHadoopジョブはすべてキャンセルされます。マスター

サーバ(セカンダリ)の起動後、必要に応じて再実行してください。

17.3.6 AC異常時の動作

ACの異常時には、ext4ファイルシステムのような一般のファイルシステム異常と同様に、P-DFSにアクセスするアプリケーションに対し

てエラー番号(errno)とともに異常が通知されます。HadoopからはIOExceptionがスローされます。

- 191 -

17.4 運用

本製品を運用するうえでポイントとなる事項を説明します。

17.4.1 デーモンプロセスの監視

本製品のデーモンプロセスのうち、別途稼働監視が必要なプロセスとそのコマンド文字列の正規表現は以下のとおりです。

・ pdfspncd(マスターサーバ)

^/usr/lib/fs/pdfs/pdfspncd$

・ org.apache.hadoop.mapred.TaskTrackerクラスのjavaプロセス(スレーブサーバ)

^/usr/lib/jre-fj/bin/java -Dproc_tasktracker.*org.apache.hadoop.mapred.TaskTracker$

その他のプロセスは相互に監視、またはPRIMECLUSTERによって監視され、停止時にはマスターサーバを切り替えることにより復旧

されます。

17.4.2 メッセージの監視

本製品のデーモンプロセスがログファイルに出力するメッセージのうち、監視が必要なメッセージとそのメッセージ文字列は以下のとお

りです。

監視対象メッセージ

・ P-DFS

P-DFSに異常が発生した場合、マスターサーバの

－ /var/log/messages

に以下のメッセージが出力されます。

PANIC: pdfs: メッセージ番号: 詳細メッセージ

PANIC: pdfs_mds:メッセージ番号: 詳細メッセージ

ERROR: pdfs_mds:メッセージ番号: 詳細メッセージ

ERROR: pdfs_mount:メッセージ番号:詳細メッセージ

ERROR: pdfsd: メッセージ番号: 詳細メッセージ

ERROR: pdfsprmd:メッセージ番号: 詳細メッセージ

ERROR: pdfsfrmd:メッセージ番号: 詳細メッセージ

ERROR: pdfspncd:メッセージ番号:詳細メッセージ

pdfspanicnode:PANIC:詳細メッセージ

・ Hadoop JobTracker

JobTrackerに異常が発生した場合や、その配下のTaskTracker、Hadoopジョブの異常を検出した場合、マスターサーバの

－ /var/log/hadoop/mapred/hadoop-mapred-jobtracker-<ホスト名>.log


YYYY-MM-DD hh:mm:ss,msec ERROR 詳細メッセージ

- 192 -

・ Hadoop TaskTracker

TaskTrackerに異常が発生した場合や、その配下のタスクの異常を検出した場合、スレーブーサーバの

－ /var/log/hadoop/mapred/hadoop-mapred-tasktracker-<ホスト名>.log


YYYY-MM-DD hh:mm:ss,msec ERROR 詳細メッセージ

17.4.3 ログファイルの一覧

監視対象のログファイルを含め、本製品からは以下のディレクトリにログファイルが出力されます。

デーモンプロセス関連

・システムログ

内容 P-DFSを含むシステム全般のログ

サーバ全サーバ

ディレクトリ名 /var/log/

ファイル名 messages*

作成・管理 OS起動毎に世代管理

・ JobTrackerログ

内容 JobTrackerのログ

サーバマスターサーバ

ディレクトリ名 /var/log/hadoop/mapred/

ファイル名 hadoop-mapred-jobtracker-<ホスト名>.log*

作成・管理 1日毎に世代管理

・ JobTracker起動ログ

内容 JobTrackerプロセス起動時のログ



ファイル名 hadoop-mapred-jobtracker-<ホスト名>.out*

作成・管理 JobTracker起動毎に世代管理

・ TaskTrackerログ

内容 TaskTrackerのログ

サーバスレーブサーバ


ファイル名 hadoop-mapred-tasktracker-<ホスト名>.log*

- 193 -

作成・管理一日毎に世代管理

・ TaskTracker起動ログ

内容 TaskTrackerプロセス起動時のログ



ファイル名 hadoop-mapred-tasktracker-<ホスト名>.out*

作成・管理 TaskTracker起動毎に世代管理

Hadoopジョブ関連

・ジョブヒストリログ

内容ジョブの実行の詳細とジョブの設定に関するログ

サーバ ※DFS上に配置

ディレクトリ名 /mapred/history/done/version-1/<マスターサーバのホスト名>_<JobTracker起動タイムスタンプ>/YYYY/MM/DD/000000/

ファイル名 - <ジョブID>_<ジョブ起動タイムスタンプ>_<ジョブ起動ユーザ>_<ジョブ名> ※実行詳細

- <ジョブID>_conf.xml ※ジョブ設定

作成・管理ジョブ毎に作成

・ジョブサマリーログ

内容ジョブの実行のサマリーログ



ファイル名 hadoop-mapreduce.jobsummary.log*

作成・管理ジョブが実行された日毎に世代管理

・ジョブ監査ログ

内容ジョブの実行の監査ログ



ファイル名 mapred-audit.log*

作成・管理ジョブが実行された日毎に世代管理

・タスクログ

内容タスクの実行ログ

サーバスレーブサーバ

ディレクトリ名 /var/log/hadoop/mapred/userlogs/<ジョブID>/<タスク試行ID>/

- 194 -

(/var/lib/hadoop/mapred/local/userlogs/<ジョブID>/<タスク試行ID>/へのシンボリックリンク)

ファイル名 - syslog ※タスクの実行ログ

- stdout ※タスクの標準出力

- stderr ※タスクの標準エラー出力

- log.index ※上記ファイル群の情報

作成・管理タスク毎に作成

参照

トラブルシューティング時に使用するログについては、第18章トラブルシューティングを参照してください。

17.4.4 ストレージ装置の機能を利用したバックアップ

ストレージ装置のボリュームコピー機能などを利用して物理的なバックアップ・リストアをする場合には、DFSへのアクセスを抑止した状

態で行う必要があります。手順を以下に示します。

バックアップ

バックアップは、書き込みを抑止した状態で行います。

1. pdfslockfsコマンドを利用して書込みを一時停止します。

# pdfslockfs -w /mnt/pdfs

2. 全パーティションをストレージ装置のボリュームコピー機能などを利用してバックアップします。

(管理パーティション・代表パーティション・全ファイルデータパーティションをバックアップ)

※ 詳細は各製品のマニュアルを参照してください。

3. pdfslockfsコマンドを利用して書込み処理を再開します。

# pdfslockfs -u /mnt/pdfs

注意

－ pdfslockfsコマンド実行時にDFSのマウントおよびアンマウントを行わないでください。

－ pdfslockfsコマンド実行時は、バックアップに備えてDFSをマウントしている全サーバのファイルキャッシュをディスクに書き戻

します。そのため、実行終了までに数分程度かかる場合があります。

参照

pdfslocfsコマンドの詳細は、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」を参照してください。

リストア

リストアは、アンマウントした状態で行います。

- 195 -

1. マスターサーバを除くすべてのサーバでDFSをアンマウントします。

# umount /mnt/pdfs

2. マスターサーバ(プライマリ)でアンマウントされたことを確認します。

# pdfsmntstat /mnt/pdfs

3. マスターサーバ(プライマリ)でDFSをアンマウントします。

# pdfsumntgl /mnt/pdfs

4. 全パーティションをストレージ装置のボリュームコピー機能などを利用してリストアします。

(管理パーティション・代表パーティション・全ファイルデータパーティションをリストア)

※ 詳細は各製品のマニュアルを参照してください。

5. マスターサーバ(プライマリ)でDFSをマウントします。

# pdfsmntgl /mnt/pdfs

6. マスターサーバを除くすべてのサーバでDFSをマウントします。

# mount /mnt/pdfs

参照

pdfsmntgl、pdfsmntstat、pdfsumntglコマンドの詳細は、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」を参照し

てください。

17.5 ジョブの実行

Hadoopジョブを実行する上でポイントとなる事項を説明します。

17.5.1 Hadoopジョブとタスク

Hadoopジョブは、入力データ、出力ディレクトリ、およびデータ処理するためのMapReduceアプリケーションを指定して実行します。ジョ

ブはタスクと呼ばれる内部的な単位に細分化され各スレーブサーバで並列に処理されます。タスク内のデータ処理はタスクの延長で

起動されるMapReduceアプリケーションにより行います。

タスクには、MapタスクとReduceタスクの2種類があります。各Mapタスクには入力データを一定のサイズで分割(本製品のデフォルトの

設定では256MB)したデータが渡されます。したがって、処理されるMapタスク数は入力データのサイズに依存します。Mapタスクから

出力されたデータは指定したReduceタスク数で分割されてReduceタスクに渡されます。

各Mapタスクから出力したデータはMapタスクが動作したスレーブサーバのローカルファイルシステム上のMapReduce作業領域に作業

ファイルとして格納された後、各スレーブサーバのReduceタスクに渡されます。そのため、MapReduce作業領域に必要な容量は、

MapReduceアプリケーションの論理としてMapタスクからどれだけのデータ量を出力するかに依存します。実行するMapReduceアプリ

ケーションが作業ファイルを格納するのに十分な容量を確保してください。なお、「17.2.3 データの圧縮」で述べたように、Mapタスクの

出力を圧縮することで容量の削減が見込めます。

- 196 -

Mapタスクが出力したデータは各データに設定されたKeyの値を元にReduceタスクに渡されます。MapタスクがデータをKeyの順にソー

トして作業ファイルに出力した後、Reduceタスクは以下の3フェーズで動作します。

1. shuffleフェーズ

Reduceタスクが、自身が処理対象とするKeyのデータを各TaskTrackerに要求し取得します。

2. sortフェーズ

shuffleフェーズで取得した、自身が処理対象とするデータ全体をソートします。

3. reduceフェーズ

ソートされた順に、MapReduceアプリケーションのReducerに渡して処理します。

参考

Mapタスクが出力したデータのうち個々のReduceタスクに処理対象として渡されるデータは、Partitionerと呼ばれる機能により決定され

ます。デフォルトの設定ではKeyから生成したハッシュ値とReduceタスク数との剰余から対象のReduceタスクを決定するHashPartitionerクラスが使用されます。これは、MapReduceアプリケーションのJobConfに設定することで、自作のPartitionerクラス等に変更することもで

きます。詳細は「http://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html」を参照してください。

各タスクのMapReduceアプリケーションに記述された処理は内部的にはタスク試行(attempt)に対応づけされ、スレーブサーバ上で

org.apache.hadoop.mapred.Childクラスのjavaプロセスとして実行されます。タスク試行に成功した場合は『成功タスク』となりますが、タ

スク試行が失敗してもただちに『失敗タスク』にはなりません。タスク試行を他スロットでリトライすることでタスクは継続されます。リトライ

の結果、終的にタスク試行が4回(本製品のデフォルトの設定)失敗したタスクは『失敗タスク』となりジョブは異常終了します。すべて

のタスクが成功した場合のみジョブは正常終了します。

タスク試行は各タスクごとにスレーブサーバ上で並列に処理されますが、その瞬間大の並列度は事前に定義したスロット呼ばれる数

に制限されます。スロット数はMapスロットとReduceスロットをそれぞれ事前に定義します。たとえば本製品のデフォルトの設定では各ス

レーブサーバのMap/Reduceの各スロット数は「CPUコア数 - 1」と定義しており、それにスレーブサーバの台数を乗じたものが総スロット

数になります。

- 197 -

参考

Hadoopジョブ実行中、同じスレーブサーバ(TaskTracker)でタスク試行が40回以上失敗した場合、そのTaskTrackerへのタスク試行の

割り当ては中断されます。ただし、割り当てが中断されるTaskTrackerの大数はすべてのTaskTrackerの数の1/4の範囲内です。

タスク試行の割り当ては次のHadoopジョブの実行時に再開されます。

ジョブ・タスクに関連する設定は、以下のプロパティで指定します。

プロパティ名説明デフォルト値設定ファイル

mapred.tasktracker.map.tasks.maximum

スレーブサーバ毎のMap、およびReduceスロッ

ト数を指定します。

スレーブサーバのCPUコア

数－1mapred-site.xml

mapred.tasktracker.reduce.tasks.maximum

スレーブサーバのCPUコア

数－1mapred-site.xml

mapred.max.tracker.failures 当該スレーブサーバへのタスク試行の割り当

てを中断する契機となる、タスク試行失敗の回

数を指定します。

40 mapred-site.xml

pdfs.fs.local.block.size 各Mapタスクが入力するデータサイズの上限

をバイト数で指定します。

268435456※256MB

pdfs-site.xml

mapred.reduce.tasks Hadoopジョブで使用するReduceタスク数を指

定します。

mapred.tasktracker.reduce.tasks.maximum×スレーブ

サーバ台数

mapred-site.xml

mapred.map.max.attempts ひとつのMap、およびReduceタスクにおけるタ

スク試行回数を指定します。本プロパティに指

定された回数、タスク試行に失敗した場合は

タスク失敗となります。

4 mapred-site.xml

mapred.reduce.max.attempts 4 mapred-site.xml

- 198 -

17.5.2 Hadoopタスクスケジューラ

Hadoopは、タスクスケジューラにより、Hadoopジョブの処理時のMapReduceスロットの使用量を制御することができます。タスクスケジュー

ラは以下の3つから選択します。

・ org.apache.hadoop.mapred.JobQueueTaskScheduler【FIFOスケジューラ】

依頼された順にすべてのスロットを使用して一つずつHadoopジョブを実行します。

・ org.apache.hadoop.mapred.CapacityTaskScheduler【Capacityスケジューラ】

スロットの割当率を指定したキューを複数定義し、それらのキューを選択してHadoopジョブを投入することで複数同時にHadoopジョ

ブを実行することができます。

・ org.apache.hadoop.mapred.FairScheduler【Fairスケジューラ】

利用可能なスロットを制限するためにHadoopジョブを実行するユーザ毎にプールが与えられます。ユーザは与えられたプールに

割り当てられたスロットの範囲でHadoopジョブを実行することができます。各プールに割り当てられるスロットはプールの数に応じて

均等になるよう動的に変更されます。このため複数ユーザが同時にHadoopジョブを実行することができます。

タスクスケジューラは、以下のプロパティで指定します。


mapred.jobtracker.taskScheduler 使用するタスクスケジューラのクラス名を指

定します。

org.apache.hadoop.mapred.CapacityTaskScheduler

mapred-site.xml

FIFOスケジューラ

Hadoopジョブを依頼された順に、すべてのスロットを用いて実行することができます。先行のHadoopジョブのMapタスクがすべて終了

(Mapスロットをすべて解放)した時点で、後続のジョブのMapタスクが開始されます。Reduceタスクも同様です。

上図は、3台のスレーブサーバにMap/Reduceスロットを計3つずつ定義している場合に、2つのHadoopジョブを時間をおいて実行した

例です。

時刻 t0: (Hadoopジョブ1) 実行を依頼

すべてのMapスロットを使用して、Mapタスクが開始

- 199 -

時刻 t1: (Hadoopジョブ2) 実行を依頼

Hadoopジョブ1でMapスロット使用中のため、Mapタスクはスロットの解放待ち

時刻 t2: (Hadoopジョブ1) Mapタスクが終了

すべてのReduceスロットを使用して、Reduceタスクが開始

(Hadoopジョブ2) Mapスロットを2つ使用して、Mapタスクが開始

時刻 t3: (Hadoopジョブ1) Reduceタスクが終了し、ジョブ全体が終了

時刻 t4: (Hadoopジョブ2) Mapタスクが終了

2つのReduceスロットを使用して、Reduceタスクが開始


参照

Hadoopジョブの実行については、以下を参照してください。


Capacityスケジューラ

事前に定義したキューを指定してHadoopジョブの実行を依頼します。キューには、すべてのスロットを使用可能な場合を100%とした時

に、そのキューで大限使用することができる割合を定義します。

上図は、3台のスレーブサーバにMap/Reduceスロットを計3つずつ定義している場合に、2つのHadoopジョブを時間をおいて実行した

例です。

時刻 t0: (Hadoopジョブ1) キューAを指定して実行を依頼

キューAで使用可能な2つのMapスロット(67%)を使用して、Mapタスクが部分的に開始

時刻 t1: (Hadoopジョブ2) キューBを指定して実行を依頼

キューBで使用可能な1つのMapスロット(33%)を使用して、Mapタスクが部分的に開始

時刻 t2: (Hadoopジョブ1) 先行のMapタスクが終了

スロットの解放を待っていた残りのMapタスクが開始

- 200 -


スロットの解放を待っていた残りのMapタスクが開始

時刻 t4: (Hadoopジョブ1) 残りのMapタスクが終了

キューAで使用可能な2つのReduceスロット(67%)を使用して、Reduceタスクが部分的に開始

時刻 t5: (Hadoopジョブ1) 先行のReduceタスクが終了

スロットの解放を待っていた残りのReduceタスクが開始

(Hadoopジョブ2) Mapタスクが終了

キューBで使用可能な1つのReduceスロット(33%)を使用して、Reduceタスクが部分的に開始

時刻 t6: (Hadoopジョブ1) 残りのReduceタスクが終了し、ジョブ全体が終了

(Hadoopジョブ2) 先行のReduceタスクが終了

スロットの解放を待っていた残りのReduceタスクが開始


なお、上図ではキューAとスレーブサーバ1、2のスロットがキューBとスレーブサーバ3のスロットがそれぞれ対応づいているように見え

ますが、実際にはキューとスレーブサーバやスロットに対応づけはありません。キューに定義された割合をもとに、いずれかのスレーブ

サーバのいずれかのスロットを使用してHadoopジョブが実行されます。

Capacityスケジューラの設定は、以下のプロパティで指定します。


mapred.queue.names キュー名を定義します。カンマで区切って複

数指定することができます。

default mapred-site.xml

mapred.capacity-scheduler.queue.<キュー名>.capacity

<キュー名>のキューで大限使用可能なス

ロットの割合を100以下の整数で指定しま

す。

mapred.queue.namesに指定したキューごと

に、総和が100以下になるように指定します。

100 mapred-site.xml

mapred.job.queue.name Hadoopジョブ実行時に使用するキュー名を

指定します。Hadoopジョブ起動時に指定す

ることで、使用するキューを選択します。

default mapred-site.xml

参考

本製品でのデフォルトの指定値では、1つのキュー(default)に100%のスロットを割り当てているため、動作はFIFOスケジューラと同等に

なります。

参照

Capacityスケージューラの詳細やHadoopジョブの実行については、以下を参照してください。

・ http://hadoop.apache.org/docs/r1.2.1/capacity_scheduler.html


- 201 -

Fairスケジューラ

Hadoopジョブを実行するユーザごとにプールが提供されます。、プールには、全スロットに対してその時点でそのユーザが使用可能

なスロット数が割り当てられます。ユーザが1人の場合にはプールに対してすべてのスロットが配分されますが、異なるユーザが同時に

Hadoopジョブを実行した場合にはプール内のスロット数はすべてのユーザ(プール)で均等になるように配分されます。また、同じユー

ザが同時に複数のHadoopジョブを実行した場合、プールに配分されたスロット数の範囲内でさらに各Hadoopジョブに均等化されて配

分されます。

上図は、3台のスレーブサーバにMap/Reduceスロットを計3つずつ定義している場合に、ユーザXとユーザYが時間をおいてHadoopジョブを実行した例です。

時刻 t0: (Hadoopジョブ1) ユーザXが実行を依頼

プールXに配分されたすべてのMapスロットを使用してMapタスクが開始

時刻 t1: (Hadoopジョブ2) ユーザYが実行を依頼

プール間のスロット均等化のために、Hadoopジョブ1のMapタスクを停止することで

確保(Preemtion)したMapスロットがプールYに配分され、Mapタスクが部分的に開始

時刻 t2: (Hadoopジョブ1) Mapタスクが部分的に終了

プールXに配分された1つのMapスロットを使用して、t1で停止された残りのMapタスクが開始

(Hadoopジョブ2) プールXで不要となりプールYに配分されたMapスロットを利用し

残りのMapタスクが開始


時刻 t4: (Hadoopジョブ2) 残りのMapタスクが終了

プールYに配分された2つのReduceスロットを使用して、Reduceタスクが開始

- 202 -

(Hadoopジョブ1) 残りのMapタスクが終了

プールXに配分された1つのReduceスロットを使用して、Reduceタスクが部分的に開始


(Hadoopジョブ1) プールYで不要となりプールXに配分されたReduceスロットを利用し

残りのReduceタスクが開始


Fairスケジューラの設定は、以下のプロパティで指定します。


mapred.fairscheduler.preemption スロットを配分するために他の実行中のタス

クを停止するか、タスクの完了を待って配分

するかをbool値で指定します。

false※タスクの完了を待つ

mapred-site.xml

参照

Fairスケジューラの詳細やHadoopジョブの実行については以下を参照してください。

・ http://hadoop.apache.org/docs/r1.2.1/fair_scheduler.html


17.5.3 Hadoopジョブの起動・停止の詳細

Hadoopジョブの実行はJobClientを介してJobTrackerに依頼します。もっとも一般的なJobClientの利用方法は、hadoop jarコマンドを実

行することです。

これによりJobTrackerにHadoopジョブの実行が依頼され、(スロットに空きがあれば)即時に実行が開始されます。その後、JobClientは定期的にJobTrackerにHadoopジョブの進行状況を問い合わせ、上記のコマンドを実行した端末に状況を通知します。ここでJobClientが接続しているのはJobTrackerであり、Hadoopジョブを直接制御してはいないことに注意してください。たとえば上記のhadoop jarコマ

ンドをCtrl+Cなどにより停止しても、通常はJobTrackerから切断されるだけでHadoopジョブは停止しません。

Hadoopジョブを確実に停止するには、hadoop job コマンドの-killオプションにジョブIDを指定して実行します。ジョブIDはJobClientの端末に表示される他、hadoop jobコマンドの-listオプションでも確認することができます。

参考

・ジョブIDは以下の形式にとなっています。

job_YYYYMMDDhhmm_NNNN

YYYYMMDDhhmm = JobTrackerの起動時刻

NNNN = JobTrackerの起動以降に依頼されたHadoopジョブの通番

・ bdpp_submitjobコマンドをCtrl+Cなどにより停止した場合には、Hadoopジョブも停止します。

- 203 -

参照

Hadoopジョブの起動・停止の方法については、「第10章ジョブの実行・停止」を参照してください。

17.5.4 Hadoopジョブのデバッグ

Hadoopジョブは、実行には成功していても非効率な処理による性能遅延やマシンリソースの過剰な消費が発生している場合がありま

す。そのため以下ような観点でデバッグを行います。

1. タスクが各TaskTrackerに均等に割り当たっているか

2. 失敗したタスク試行がないか

3. Mapタスクが遅延していないか

4. Reduceタスクの処理時間が均等か

5. 作業ファイルが過剰に作成されていないか

上記の確認には、bdpp_prtjobhistツールの利用をおすすめします。

参照

bdpp_prtjobhistツールの使用方法については、「G.1 ジョブヒストリログ可視化ツール」を参照してください。

タスクが各TaskTrackerに均等に割り当たっているか

TaskTrackerにタスクが均等に割り当たっていない場合、処理時間が遅延します。

bdpp_prtjobhistで出力したxlsxファイルの2シート目以降の『タイムチャート』を参照し、当該ジョブに含まれるタスクが、すべてのスレー

ブサーバに均等に割り当たっているかを確認します。タスクが割り当たっていないスレーブサーバが存在する場合には、TaskTrackerプロセスが起動されているか、TaskTrackerがJobTrackerに稼働中と認識されているかを確認してください。

また、特に入力データ量が少なく処理時間の短いジョブでは、総タスク数を総スロット数で割った剰余分のタスクが任意のTaskTrackerに割り当たることでタスク試行の終了が他のTaskTrackerと比較して遅れて見える場合があります。これは、同時に総スロット数以上のタ

スクは試行できないためです。これを解決するには以下の対策を実施します。

・ Mapタスクの場合、Hadoopジョブに適切なpdfs.fs.local.block.size(pdfs-site.xml)を指定することで剰余分のMapタスクが発生しない

ようにMapタスク数を調整します。

・ Reduceタスクの場合、Hadoopジョブに適切なmapred.reduce.tasks(mapred-site.xml)を指定することで剰余分のタスクが発生しない

ようにReduceタスク数を調整します。

参考

・ TaskTrackerプロセスが起動されているかを確認するにはbdpp_statコマンドを使用します。詳細は「A.15 bdpp_stat」を参照してくだ

さい。

・ TaskTrackerがJobTrackerに稼働中と認識されているかを確認するにはhadoop jobコマンドを使用します。詳細は「17.3.4 TaskTrackerプロセス異常時の動作」を参照してください。

・ pdfs.fs.local.block.size、mapred.reduce.tasksの詳細は、「17.5.1 Hadoopジョブとタスク」を参照してください。

- 204 -

失敗したタスク試行はないか

Hadoopジョブとしては成功していても内部的にタスク試行がリトライされている場合、本来の処理時間よりも遅延していることになりま

す。

bdpp_prtjobhistで出力したxlsxファイルの1シート目の『FAILED_MAPS』『FAILED_REDUCES』が0以外になっていないかを確認しま

す。0以外の場合には2シート目以降を参照し失敗したタスク試行IDを特定し、失敗の原因を解消してください。

参考

・タスク試行IDは以下の形式となっています。

attempt_YYYYMMDDhhmm_NNNN_X_OOOOOO_P

YYYYMMDDhhmm = JobTrackerの起動時刻

NNNN = JobTrackerの起動以降に依頼されたHadoopジョブの通番

X = [m|r] m:Mapタスク|r:Reduceタスク

OOOOOO = Hadoopジョブ内でのタスクの通番

P = タスク内でのタスク試行の通番

上記タスク試行は、タスクID “task_YYYYMMDDhhmm_NNNN_X_OOOOOO” のタスクに対応しています。

・タスク試行の失敗原因は、タスクログ、TaskTrackerログ、およびシステムログの内容などから特定します。各ログファイルの出力ディ

レクトリは「17.4.3 ログファイルの一覧」を参照してください。また、OSのsarコマンド等でスレーブサーバの稼働状況を監視している

場合には、それも参考となります。

Mapタスクが遅延していないか

一部のMapタスクが他と比較して著しく処理遅延している場合、スレーブサーバ、TaskTracker、およびMapReduceアプリケーションに

問題が発生している可能性があります。

bdpp_prtjobhistで出力したxlsxファイルの2シート目以降の『タイムチャート』およびMapタスクの『total-time』を参照し、他と比較して処

理が遅延しているMapタスクがないかを確認します。遅延している場合はタスク試行IDを特定し、遅延の原因を解消します。

参考

タスク試行の遅延原因は、タスクログ、TaskTrackerログ、およびシステムログの内容などから特定します。各ログファイルの出力ディレク

トリは「17.4.3 ログファイルの一覧」を参照してください。また、OSのsarコマンド等でスレーブサーバの稼働状況を監視している場合に

は、それも参考となります。

Reduceタスクの処理時間が均等か

一部のReduceタスクが他と比較して著しく処理遅延している場合、Mapタスクで設定したKeyの分布に偏りがあり該当するReduceタスク

に処理データ量が偏っている可能性があります。または、スレーブサーバ、TaskTracker、およびMapReduceアプリケーションに問題が

発生している可能性もあります。

bdpp_prtjobhistで出力したxlsxファイルの2シート目以降の『タイムチャート』およびReduceタスクの『total-time』、『shuffle-time』、『sort-time』よび『reduce-time』を参照し、他と比較して処理が遅延しているReduceタスクがないかを確認します。

- 205 -

処理データ量の偏りは、出力ファイルのサイズの差がヒントになります。サイズが偏っている場合にはMapReduceアプリケーションのMapタスクで設定するKeyを変更するか、Keyの分布に合ったPartitionerを作成してください。Reduceタスクの出力ファイル名は以下の形式

となっており、Hadoopジョブに指定した出力ディレクトリ内の出力ファイルとタスク試行を対応づけることができます。

part-r-OOOOO

“OOOOO”の部分は、Reduceタスク試行IDのHadoopジョブ内でのタスクの通番部分に対応します。(Reduceタスク試行IDの通番と桁数

は異なります)

処理データ量に偏りがない場合は、遅延しているタスク試行IDを特定し遅延の原因を解消します。

注意

・ Reduceタスク数がReduceスロット数よりも多い場合、各スロットで異なるReduceタスクのタスク試行が順番に複数回実行されます。こ

の場合、各Reduceスロットの先頭Reduceタスク試行のshuffle-timeが遅延しているように見えますが異常ではありません。これは、先

頭のReduceタスク試行のshuffle-timeには、shuffleフェーズがMapタスクの終了を待ちあわせるための時間が含まれているためで

す。

この場合、Mapタスクの終了から先頭のReduceタスク試行のshuffleフェーズが終了するまでの時間が、2回目降のReduceタスクの

shuffle-timeと同等以下であることを確認してください。

・各スレーブサーバでのReduceタスクの起動時刻は概ね3秒間隔となります。これは、TaskTrackerがJobTrackerに対して3秒おきに

タスク割り当てを1つずつ要求するためです。たとえば、Reduceスロット数が3の場合、3つめのReduceタスクは、初のReduceタス

クの起動から約6秒後となります。非常に処理時間の短いHadoopジョブでは、この時刻差が全体時間に影響する場合があります。

そのような場合、mapreduce.tasktracker.outofband.heartbeat(mapred-site.xml)にtrueを指定します。これにより、タスクが割り当てられ

ていないスロットを持つTaskTrackerは即時にタスク割り当てをJobTrackerに要求するため、起動の時刻差を短縮することができま

す。本製品のデフォルトの設定はfalseです。

参考

・タスク試行の遅延原因は、タスクログ、TaskTrackerログ、およびシステムログの内容などから特定します。各ログファイルの出力ディ

レクトリは「17.4.3 ログファイルの一覧」を参照してください。また、OSのsarコマンド等でスレーブサーバの稼働状況を監視している

場合には、それも参考となります。

作業ファイルが過剰に作成されていないか

作業ファイルは、Mapタスクがメモリ上でソート処理できなくなった段階で書き出されます。Mapタスクに十分なメモリが割り当てられてい

る場合、作業ファイルに書き出されるデータ数はMapタスクが出力したデータ数と同等になりますが、Mapタスクが出力するデータ量や

個々のデータのサイズに依存して必要以上のデータ数を書き出してしまう場合があります。

bdpp_prtjobhistで出力したxlsxファイルの1シート目の『Map output records』と『Spilled Records』が同等かを確認します。同等でない場

合には、以下のプロパティを変更し同等となるよう調整します。

・ io.sort.mb(mapred-site.xml)

Mapタスクに割り当てるソート用メモリ量をmapred.child.java.opts -Xmx(mapred-site.xml)の範囲内で調整します。デフォルトの設定

ではmapred.child.java.opts -Xmxの50%の量をio.sort.mbとして使用します。増加させた分Mapタスクの実データ処理で利用可能

なJava Heapは減少します。

・ io.sort.record.percent(mapred-site.xml)

io.sort.mbに指定されたメモリのうち、管理領域として使用する割合を指定します。本製品のデフォルトの設定は0.05(5%)です。Mapタスクが出力するデータサイズが小さい場合、相対的に管理領域の消費が大きくなります。管理領域が不足した場合、io.sort.mbに余裕があるにも関わらず作業ファイルが作成されます。適値は以下のように算出します。

- 206 -

16 / (16 + 『Map output bytes』/『Map output records』)

・ pdfs.fs.local.block.size(pdfs-site.xml)

Mapタスクが入力するデータ量(数)を調整し、結果としてMapタスクが出力するデータ量(数)がio.sort.mbの80%以内となるよう調整

します。

17.5.5 Hadoopジョブのプロパティ設定

Hadoopジョブのプロパティは複数の箇所で指定することができます。同じプロパティを複数の箇所で指定した場合には、以下の優先

順位が適用されます。

1. MapReduceアプリケーション内でAPIにより設定された値

2. JobClientに指定された値(例: hadoop jar BDPPApp.jar -Dmapred.reduce.tasks=10 in out)

3. 開発実行環境サーバの/etc/hadoop配下のプロパティファイルで指定された値

4. マスター・スレーブサーバの/etc/hadoop配下のプロパティファイルで指定された値

5. Hadoopが内部で保持しているデフォルトの値

上記の1、2、3のようにしてアプリケーションを実行する側からシステムのデフォルトのプロパティ値の上書きを防ぐためには、4のプロパ

ティファイルの各プロパティに“<final>true</final>”を追加してください。

例

<property>

<name>mapred.local.dir</name>

<value>/var/lib/hadoop/mapred/local</value>

<final>true</final>

</property>

17.6 アプリケーションの開発

MapReduceアプリケーションを開発する上でポイントとなる事項を説明します。

17.6.1 MapReduceアプリケーションの概要

MapReduceアプリケーションはjarファイルとして作成します。一般的には、

・ org.apache.hadoop.util.Tool

インターフェースにしたがってクラスを実装します。Hadoopからそのクラスのmain()メソッドが呼び出されることでJobClientが起動されま

す。

main()メソッドでは、コマンドラインオプションとして指定されたプロパティ(-Dで指定)を取り込むために

・ org.apache.hadoop.util.ToolRunner

を介して、run()メソッドを実行します。

run()メソッドでは、はじめにHadoopジョブの実行に必要な設定やスレーブサーバで実処理を行う部品(クラス)群を指定した

・ org.apache.hadoop.mapred.JobConf

オブジェクトを作成します。その後、同オブジェクトの内容にしたがってJobClientからJobTrackerにHadoopジョブの実行が依頼されま

す。

- 207 -

例

MapReduceアプリケーション(抜粋)

public class BDPPApp extends Configured implements Tool {

public int run(String[] args) throws Exception {

Configuration defconf = getConf(); // Hadoopジョブのデフォルトのプロパティ

JobConf conf = new JobConf(defconf, BDPPApp.class); // Hadoopジョブの定義

// アプリケーション固有のコマンドラインオプションの取り込み

Path infile = new Path(args[1]); // 入力パス

Path outdir = new Path(args[2]); // 出力パス

// ジョブで使用するプロパティや部品群(クラス)の設定

conf.setJobName("bdpp-app"); // Hadoopジョブ名の設定

conf.setInputPath(infile); // 入力パスの設定

conf.setOutputPath(outdir); // 出力パスの設定

conf.setMapperClass(BDPPMapper.class); // Map処理を行うクラスの設定

conf.setReducerClass(BDPPReducer.class); // Reduce処理を行うクラスの設定

JobClient.runJob(conf); // JobTrackerへのHadoopジョブの実行依頼と、終了の待ち合わせ

}

public static void main(String[] args) throws Exception {

// コマンドラインで指定されたプロパティの取り込みと、BDPPApp.run()の呼び出し

int ret = ToolRunner.run(new Configuration(), new BDPPApp(), args);

System.exit(ret);

}

}

さらに、スレーブサーバで実処理を行う部品(クラス)としてMap処理用クラス(Mapper)と、必要に応じてReduce処理用クラス(Reducer)を用意します。

Mapper/Reducerクラスは入出力や回収の方法を規定する

・ org.apache.hadoop.mapred.MapReduceBase

クラスを継承して

・ org.apache.hadoop.mapred.Mapper

・ org.apache.hadoop.mapred.Reducer

インターフェースを実装します。

Mapperは1件のKey-ValueデータをHadoopから入力し、1件または複数件のKey-ValueデータをHadoopに出力するように作成します。

Mapperが出力したKey-ValueデータはHadoopによってソートされ、同一のKeyを持つデータが同じReducerに渡るよう制御されます。

Reducerは1件のKeyとValueの集合(Iterator)をHadoopから入力し、1件または複数件のKey-ValueデータをHadoopに出力するように作

成します。

KeyとValueを使用した実際のデータ処理(入力データから出力データを作成する処理)については、通常のJavaアプリケーションと同

様に記述します。

例

Mapperクラス(抜粋)

- 208 -

public class BDPPMapper<K, V> extends MapReduceBase implements Mapper<K, V, K, V> {

public void map(K key, V value, OutputCollector<K, V> output, Reporter reporter)

throws IOException { // Hadoopからkeyとvalueを入力

// keyとvalueからkeyMとvalueMを生成する処理

// 例 : keyとvalue内の先頭データを連結したものをkeyMに設定

// value内の集計対象部分のみをvalueMに設定

output.collect(keyM, valueM); // HadoopにkeyMとvalueMを出力

}

}

Reducerクラス(抜粋)

public class BDPPReducer<K, V> extends MapReduceBase implements Reducer<K, V, K, V> {

public void reduce(K key, Iterator<V> values, OutputCollector<K, V> output, Reporter reporter)

throws IOException { // Hadoopからkeyとvaluesを入力

while (values.hasNext()) {

// keyとvaluesからkeyRとvalueRを生成する処理

// 例 : values.next()の合計値をvalueRに設定

}

output.collect(keyR, valueR); // HadoopにkeyRとvalueRを出力

}

}

参照

MapReduceアプリケーションやAPIの詳細については、以下を参照してください。


・ http://hadoop.apache.org/docs/r1.2.1/api/

17.6.2 MapReduceアプリケーション作成時の注意点

MapReduceアプリケーションを作成する場合には以下のような点に注意してください。

Mapタスクから出力するKeyの選択

Mapタスクが出力するKeyにもとづいて各Reduceタスクに割り当てるデータ量が決定されます。そのため、分布に偏りがあるKeyを使用

すると各Reduceタスクのデータ量も偏り、も多くデータが割り当たったReduceタスクがHadoopジョブの処理時間を左右することがあり

ます。

Mapタスクが出力するKeyは、Reduceへのデータの割り当て量の均等化を考慮して決定してください。

Mapタスクから出力するValueの削減

Mapタスクが出力するデータ量は、作業ファイルのI/OコストやReduceタスクの全フェーズの処理コストに影響を与えます。

Reduceタスクの処理に必要のないデータは可能な限りMapタスクで取り除き、出力しないようにしてください。

- 209 -

プログラムの軽量化

MapReduceアプリケーションのmapメソッドやreduceメソッドはデータ1件につき1回呼び出されます。これらのメソッド内の処理はすべて、

データ件数と同じ回数、数万回、数億回と実行されることになります。そのため、通常のJavaアプリケーションで特に問題なく使用して

いる汎用的なJavaクラスやメソッドが性能に多大な影響を与えることがあります。

mapメソッドやreduceメソッドは可能な限り軽量に実装するようにしてください。

Hadoopジョブの実行に予想外の処理時間を要している場合、1つのタスク試行にかかった時間と処理件数から1件あたりの平均処理

時間を求めて、その妥当性を評価してください。通常、その処理時間のほとんどはmapメソッドやreduceメソッドの実行時間が占めてい

ます。

17.6.3 MapReduceアプリケーションのテスト

MapReduceアプリケーションのプログラム単体テストはプログラムの実行トレースをコードに追加し、標準出力や標準エラー出力するこ

とで行います。各タスクの標準出力や標準エラー出力はタスクログで確認することができます。

参照

タスクログの詳細は、「17.4.3 ログファイルの一覧」を参照してください。

17.7 FAQ出力頻度の高いメッセージやよくある質問、Tipsについて記載します。

17.7.1 Hadoopのメッセージとその対処

出力頻度の高いHadoopのメッセージとその対処について説明します。Hadoopのメッセージは、JobClientの端末または「17.4.3 ログファ

イルの一覧」で示したログファイルに出力されます。

参照

P-DFS関連のメッセージについては、「Primesoft Distributed File System for Hadoop V1 ユーザーズガイド」を参照してください。

ERROR security.UserGroupInformation: PriviledgedActionException as:<ジョブ実行ユーザ>cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory <出力ディレクトリ名>already exists 【メッセージの意味】

Hadoopジョブに指定した出力ディレクトリがすでに存在しています。

【対処方法】

指定する出力ディレクトリを変更するか、既存のディレクトリを削除してください。

WARN No appenders could be found for logger 【メッセージの意味】

Hadoopがorg.apache.hadoop.mapred.Childのjavaプロセスを回収する際に、ログの書き込みを依頼する側のスレッドよりも先に、依

頼を受けてログを書き込む側のスレッドが終了した場合に出力されます。

- 210 -

【対処方法】

無視してください。プロセス終了時であるため問題ありません。

java.io.IOException: org.apache.hadoop.security.authorize.AuthorizationException: MapReduce userauthorization fail. 【メッセージの意味】

Hadoopジョブを、UIDが500以下のユーザで実行した場合に出力されます。

【対処方法】

Hadoopジョブは、UIDが501以上のユーザで実行してください。

INFO org.apache.hadoop.mapred.TaskInProgress: Error from <タスク試行ID>: <タスク試行ID> failed toreport status for 600 seconds. Killing! 【メッセージの意味】

org.apache.hadoop.mapred.Childのjavaプロセスが600秒(10分)の間、データの読み書きやカウンターの更新などの活動が見られな

かった場合に出力され、MapReduceアプリケーションがハングアップしたとみなしてタスク試行が強制停止されます。

【対処方法】

Hadoopジョブに指定したMapReduceアプリケーションの処理を見なおしてください。

INFO org.apache.hadoop.mapred.TaskInProgress: TaskInProgress <タスクID> has failed 4 times. 【メッセージの意味】

タスクの試行が4回失敗したため、タスクが失敗しました。

【対処方法】

Hadoopジョブに指定したMapReduceアプリケーションの処理を見なおしてください。または、Hadoopジョブ実行中にスレーブサー

バに異常が発生していなかったかを確認してください。

WARN org.apache.hadoop.mapred.TaskRunner: <タスク試行ID> : Child Error java.io.IOException: Taskprocess exit with nonzero status of 126 【メッセージの意味】

Hadoopの既知の問題により、タスク試行プロセスが起動できなかった場合に出力されます。

【対処方法】

無視してください。タスク試行プロセスは、即時に再実行されます。

ERROR org.mortbay.log: Error for /mapOutput java.lang.OutOfMemoryError: Java heap space 【メッセージの意味】

TaskTrackerのJava Heapが不足した場合に出力されます。

【対処方法】

スレーブサーバで、/etc/hadoop/hadoop-env.shのHADOOP_TASKTRACKER_OPTSの-Xmxオプションの値を増やした後、全ス

レーブサーバにコピーし、本製品を再起動してください。

org.apache.hadoop.mapred.JobClient.*のjava.lang.OutOfMemoryError: Java heap space

- 211 -

【メッセージの意味】

JobClientのJava Heapが不足した場合に出力されます。

【対処方法】

開発実行環境サーバで/etc/hadoop/hadoop-env.shのHADOOP_CLIENT_OPTSの末尾に-Xmxオプションを指定し、Java Heapの

サイズを増やしてアプリケーションを再実行してください。

org.apache.hadoop.mapred.Child.mainのjava.lang.OutOfMemoryErro r: Java heap space 【メッセージの意味】

タスク試行プロセスのJava Heapが不足した場合に出力されます。

【対処方法】

スレーブサーバで/etc/hadoop/mapred-site.xmlのmapred.child.java.opts -Xmxオプションの値を増やした後、全スレーブサーバにコ

ピーし本製品を再起動してください。

java.io.IOException: Split metadata size exceeded 10000000 【メッセージの意味】

JobTrackerのタスク管理領域サイズの制限を超えた場合に出力されます。

【対処方法】

マスターサーバで/etc/hadoop/mapred-site.xmlにmapreduce.jobtracker.split.metainfo.maxsizeプロパティを追加し、10000000以上の

値を指定して本製品を再起動してください。

17.7.2 よくある質問やTipsよくある質問やTipsです。

MapReduceアプリケーションで処理件数等をJobClient側に出力したい。

org.apache.hadoop.mapred.Countersを使用してユーザ定義カウンタを管理します。

・ Map/Reduceクラス内等でカウンタを設定し、JobClientに返却します。

static enum BDPPMapCounters {inputrec, outputrec}; // カウンターを定義

public void map(K key, V value, OutputCollector<K, V> output, Reporter reporter)

throws IOException {

reporter.incrCounter(BDPPMapCounters.inputrec, 1) // inputrecを1加算

// データ処理

output.collect(keyM, valueM); // HadoopにkeyMとvalueMを出力

reporter.incrCounter(BDPPMapCounters.outputrec, 1) // inputrecを1加算

}

・ Hadoopジョブ終了時に、カウンタを取得します。

jc = JobClient.runJob(conf); // JobTrackerへのHadoopジョブの実行依頼と、終了の待ち合わせ

jc.getCounters() // Hadoopジョブで計上したカウンタを取得

・カウンタ値をコマンドで確認します。

hadoop job -status <ジョブID>

- 212 -

・カウンタ定義数の大値を変更します。

カウンタは大数が規定されています。これにはHadoop自身が使用するカウンタの数も含まれています。大値を超えた場合は

以下のメッセージが出力されます。

Error: Exceeded limits on number of counters - Counters=120 Limit=120

カウンタの大値は、以下のプロパティで指定します。

－ mapreduce.job.counters.max

－定義可能なカウンタの大数

参考


mapreduce.job.counters.max=120 (mapred-site.xml)

テスト時などに、タスクログをJobClient側に出力したい。

JobClientのsetTaskOutputFilterメソッドで設定の変更が可能です。

・タスクの標準出力/標準エラー出力をJobClient側に出力します。

JobConf conf = new JobConf(defconf, BDPPApp.class);

conf. setTaskOutputFilter(conf, JobClient.TaskStatusFilter.ALL); // すべてのタスクのログを出力

・出力するタスクの種類を選択できます。通常はFAILEDが設定されています。

JobClient.TaskStatusFilter.ALL = すべてのタスク

JobClient.TaskStatusFilter.FAILED = 異常終了したタスクのみ

JobClient.TaskStatusFilter.KILLED = 強制終了されたタスクのみ

JobClient.TaskStatusFilter.SUCCEEDED = 正常終了したタスクのみ

JobClient.TaskStatusFilter.NONE = 出力せず

コマンドの復帰値として、Hadoopジョブの結果を受け取りたい。

hadoopコマンドを組み合わせたシェルスクリプトからHadoopジョブを実行します。

・以下のような論理を実装したシェルスクリプトを作成します。

1. “hadoop jar”コマンドによりHadoopジョブを実行依頼

2. “hadoop jar”コマンドが出力した“Running job: <ジョブID>”を含む行からジョブIDを取得

3. “hadoop job -list all”コマンドの出力から2.のジョブIDを含む行を抽出

4. 抽出した行の2列目(State)の数値から以下のように判断し復帰値を設定

1 = 実行中

2 = 正常終了

3 = 異常終了

4 = 実行待機中

5 = 強制終了

Hadoopジョブの受け付けを一時的に中断したい

mapred.queue.<キュー名>.stateプロパティを変更することで受け付けを中断・再開します。

- 213 -

・ Hadoopジョブの受け付けを中断

1. マスターサーバの/etc/hadoop/mapred-site.xmlの以下のプロパティを設定

mapred.queue.<キュー名>.state=STOPPED

2. 1.の設定を反映

hadoop mradmin -refreshQueues

3. 受け付け中断状態となったことを“Queue State”が“stopped”になっていることで確認

hadoop queue -list

注意

受け付け済みのHadoopジョブは実行は継続されます。

・ Hadoopジョブの受け付けを再開

1. マスターサーバの/etc/hadoop/mapred-site.xmlの以下のプロパティを設定

mapred.queue.<キュー名>.state=RUNNING

2. 1.の設定を反映

hadoop mradmin -refreshQueues

3. 受け付け再開されたことを“Queue State”が“running”になっていることで確認

hadoop queue -list

- 214 -

第18章トラブルシューティング

本章では、本製品でトラブルが発生した際の調査方法について説明します。

本製品を使用しているシステムで問題が発生した場合、当社技術員が発生した問題の原因を切り分けるために必要な調査資料を採

取してください。

本製品には、以下の調査資料があります。

本製品のログ

ここでは、本製品のログについて説明します。

本製品のログは、処理ごとに出力されます。

処理ごとのログは次の表のとおりです。

なお、Apache Hadoop 自体のログについては、Apache Hadoop が提供する情報を参照してください。

表18.1 ログの種類および格納場所

ログの種類ログファイルおよび格納場所

インストール／アンインストールのログ・ /var/tmp/bdpp_install.log

セットアップ／アンセットアップのログ・ /var/opt/FJSVbdpp/log/bdpp_setup.log

起動、停止処理のログ・ /var/opt/FJSVbdpp/log/bdpp_hadoop.log

・ /var/opt/FJSVbdpp/log/bdpp_pcl_hadoop.log

スレーブサーバの追加・削除処理のログ・ /var/opt/FJSVbdpp/log/bdpp_ROR.log

コマンドログ・ /var/opt/FJSVbdpp/log/{コマンド名}.log

/var/opt/FJSVbdpp配下のログは、1日ごとに末尾に日付が付加されたバックアップファイルが作成され、2週間保持されます。

調査資料採取ツール

ここでは、本製品の調査資料採取ツールについて説明します。

次の表に示すツールを実行し、出力結果を調査資料として採取してください。

表18.2 調査資料採取ツールの種類および格納場所

調査資料採取ツールの種類調査資料採取ツールおよび格納場所

導入構成の表示ツール・ /opt/FJSVbdpp/bin/sys/bdpp_show_config.sh

導入状態の表示ツール・ /opt/FJSVbdpp/bin/sys/bdpp_show_status.sh

各機能ごとの調査資料

さらに、本製品のログに出力されているメッセージ、またはシステムログ(/var/log/messages)に出力されているメッセージのうち、「E.3.2 その他のメッセージ」に関連するトラブルの調査資料については、本製品が組み込んでいる機能ごとに調査資料を採取する必


－ HA クラスタでトラブルが発生した場合

－クローニングでトラブルが発生した場合

－ DFS、共用ディスクでトラブルが発生した場合

－ Hadoopでトラブルが発生した場合

- 215 -

18.1 HA クラスタでトラブルが発生した場合

HAクラスタのセットアップや切替えでトラブルが発生した際の調査資料の採取方法について説明します。

詳細は、「PRIMECLUSTER 活用ガイド<トラブルシューティング編>」を参照してください。

18.1.1 調査資料の採取

HA クラスタシステムに障害が発生した場合は、調査に必要な以下の情報を、マスタサーバ(プライマリ)およびマスタサーバ(セカンダ

リ)から収集します。

1. HA クラスタの調査情報

－ fjsnap コマンドを使用して、エラー調査に必要な情報を収集します。

「fjsnap コマンドの実行」を参照してください。

－システムの調査情報を収集します。

「pclsnapコマンドの実行」を参照してください。

2. クラッシュダンプ

障害が発生したサーバでクラッシュダンプの採取が可能な場合、サーバの再起動を行う前に手動でクラッシュダンプを採取して

ください。

OS に依存する障害の場合、クラッシュダンプが有用となります。

例）予期せぬリソース故障により切替えが発生した場合

クラスタアプリケーションの切替えが完了した後、リソース故障が発生したノードでクラッシュダンプを採取します。

クラッシュダンプの詳細については、「クラッシュダンプ」を参照してください。

3. 障害が再現可能な場合には、障害を再現させる操作方法などの手順をまとめた資料(形式は不問)

参考

障害情報を当社技術員に報告する際は、エラー調査に必要な情報を正確に収集する必要があります。収集した情報は、問題の確認

および障害再現の実行のために使用されます。よって、情報が正確でないと、問題の再現および診断に時間がかかってしまうか、そ

れらが不可能となる場合があります。

調査用資料は、マスタサーバ(プライマリ)およびマスタサーバ(セカンダリ)から速やかに収集してください。特に、fjsnap コマンドが収集

する情報は、障害の発生後に時間が長く経過すると、必要な情報が失われてしまうことがあるので注意してください。

fjsnap コマンドの実行

1. マスタサーバ(プライマリ)およびマスタサーバ(セカンダリ)に、root 権限でログインします。

2. 各サーバで fjsnap コマンドを実行します。

# /usr/sbin/fjsnap -a output <Enter>

output には、fjsnap コマンドを使用して収集したエラー情報の出力先となる出力ファイル名を指定します。

参照

fjsnap コマンドの詳細については、FJSVsnap パッケージに含まれている README ファイルを参照してください。

- 216 -

参考

fjsnap コマンドの実行タイミングについて

エラーメッセージが出力された場合などの通常運用時のトラブルは、トラブル発生時に即座に fjsnap コマンドを実行してくださ

い。

システムハング等のため fjsnap コマンドが実行できない場合は、クラッシュダンプを採取してください。その後、シングルユー

ザーモードで起動し、fjsnap コマンドを実行してください。クラッシュダンプの採取については、「クラッシュダンプ」を参照してく

ださい。

トラブル発生後に、ノードが自動的に再起動してしまった（シングルユーザーモードで起動できなかった）場合や、誤ってマルチ

ユーザーモードで起動してしまった場合にも、fjsnap コマンドを実行してください。

fjsnap コマンドがエラーになる、または fjsnap コマンドが復帰しない等により調査情報が採取できない場合は、クラッシュダンプ

を採取してください。

pclsnapコマンドの実行

1. マスタサーバ(プライマリ)およびマスタサーバ(セカンダリ)に、root 権限でログインします。

2. 各サーバで pclsnap コマンドを実行します。

# /opt/FJSVpclsnap/bin/pclsnap -a output または -h output <Enter>

-a オプションはすべての詳細情報を収集するため、データが大きくなります。-h オプションを指定すると、クラスタ制御情報の

みが収集されます。

output には、pclsnap コマンドを使用して収集したエラー情報の出力先となる出力媒体の特殊なファイル名または出力ファイ

ル名 (/dev/st0 など) を指定します。

ディレクトリを含む出力ファイル名にカレントディレクトリからの相対パスを指定する場合、パスは "./" から始めてください。

参照

pclsnap コマンドの詳細については、FJSVpclsnap パッケージに含まれている README ファイルを参照してください。

参考

pclsnap コマンドの実行タイミングについて

エラーメッセージが出力された場合などの通常運用時のトラブルは、トラブル発生時に即座に pclsnap コマンドを実行してくだ

さい。

システムハング等のため pclsnap コマンドが実行できない場合は、クラッシュダンプを採取してください。その後、シングルユー

ザーモードで起動し、pclsnap コマンドを実行してください。クラッシュダンプの採取については、「クラッシュダンプ」を参照して

ください。

トラブル発生後に、ノードが自動的に再起動してしまった（シングルユーザーモードで起動できなかった）場合や、誤ってマルチ

ユーザーモードで起動してしまった場合にも、pclsnap コマンドを実行してください。

pclsnap コマンドがエラーになる、または pclsnap コマンドが復帰しない等により調査情報が採取できない場合は、クラッシュダン

プを採取してください。

参考

pclsnap コマンドの実行に必要なディレクトリの空き容量について

pclsnap コマンドの実行に必要なディレクトリの空き容量の目安を、以下の表に示します。

- 217 -

ディレクトリの種類デフォルトディレクトリ空き容量(目安) (MB)

出力ディレクトリコマンド実行時のカレントディレクトリ 300

一時ディレクトリ /tmp 500

注意

システム環境によっては、上記目安値(300MB, 500MB)では空き容量不足となる場合があります。

ディレクトリの空き容量不足を原因として情報採取が正常に行われなかった場合、pclsnap コマンドは終了時にエラーメッセージま

たは警告メッセージを出力します。この場合、以下に示す対処方法に従って、再度コマンドを実行してください。

出力ディレクトリの空き容量不足への対処

pclsnap コマンドを実行して、出力ファイルの生成に失敗した場合、次のエラーメッセージが出力されます。

ERROR: failed to generate the output file "xxx".

DIAG: ...

対処方法：

出力ディレクトリを空き容量の大きなディレクトリに変更して、再度コマンドを実行してください。

例：

出力ディレクトリを /var/crash にする場合

# /opt/FJSVpclsnap/bin/pclsnap -a /var/crash/output <Enter>

一時ディレクトリの空き容量不足への対処

pclsnap コマンドを実行すると、次の警告メッセージが出力されることがあります。

WARNING: The output file "xxx" may not contain some data files.

DIAG: ...

この警告メッセージが出力された場合、pclsnap コマンドの出力ファイルは生成されますが、一部の採取対象情報が出力ファイ

ルに含まれていない可能性があります。

対処方法：

一時ディレクトリを空き容量の大きなディレクトリに変更して、再度コマンドを実行してください。

例：

一時ディレクトリを /var/crash に変更する場合

# /opt/FJSVpclsnap/bin/pclsnap -a -T/var/crash output <Enter>

一時ディレクトリを変更しても同様の警告メッセージが出力される場合、次の原因が考えられます。

(1) システム状態に起因して、特定の情報採取コマンドがタイムアウトする

(2) 採取対象ファイルが、一時ディレクトリの空き領域と比較して大きい

(1) の場合は、pclsnap コマンドの出力ファイルに含まれる pclsnap.elog ファイルにタイムアウト発生のログが記録されています。

pclsnap コマンドの出力ファイルとともに、可能であればクラッシュダンプを採取してください。

(2) の場合は、次の (a) (b) などが一時ディレクトリの空き容量よりも大きくなっていないか、確認してください。

(a) ログファイルのサイズ

- 218 -

・ /var/log/messages

・ /var/opt/SMAW*/log/ 配下のログファイル (SMAWsf/log/rcsd.log など)

(b) コアファイルの合計サイズ

・ GFS のコアファイル：/var/opt/FJSVsfcfs/cores/*

・ GDS のコアファイル：/var/opt/FJSVsdx/*core/*

これらが一時ディレクトリの空き容量よりも大きい場合には、該当ファイルを出力ディレクトリおよび一時ディレクトリとは別のパー

ティションに移動して、再度 pclsnap コマンドを実行してください。なお、移動したファイルは削除せずに保存しておいてくださ

い。

クラッシュダンプ

Linux Kernel Crash Dump(LKCD)、Netdump、あるいは diskdump がインストールされた環境では、調査資料としてクラッシュダンプ

を採取することができます。

クラッシュダンプの採取タイミング

- カーネルで Oops が発生した場合

- カーネルでパニックが発生した場合

- システム管理者がコンソールで＜Alt＞+＜SysRq＞+＜C＞キーを押した場合

- 本体の NMI ボタンを押した場合

クラッシュダンプの採取方法は以下のとおりです。

1. システムパニック時のクラッシュダンプ採取方法

クラッシュダンプの保存ディレクトリ配下に、切替え発生時刻以降のクラッシュダンプが存在するか否かを確認してくださ

い。切替え発生時刻以降のクラッシュダンプが存在する場合、クラッシュダンプを収集してください。切替え発生時刻以

降のクラッシュダンプが存在しない場合、可能な限り手動でクラッシュダンプを採取してください。

2. 手動によるクラッシュダンプの採取方法

以下のいずれかの方法でクラッシュダンプを採取し、クラッシュダンプの保存ディレクトリ配下にあるクラッシュダンプを収

集してください。

・本体装置の NMI ボタンを押下する

・コンソールで＜Alt＞+＜SysRq＞+＜C＞キーを押下する

クラッシュダンプの保存ディレクトリ

クラッシュダンプは異常が発生したノード(LKCD、diskdumpの場合)、あるいは Netdump サーバ上 (Netdump の場合) にファイ

ルとして保存されます。

保存先ディレクトリは/var/crash です。

18.2 クローニングでトラブルが発生した場合

スレーブサーバの追加・削除時のクローニングイメージの作成や、クローニングでトラブルが発生した際の調査資料の採取方法につい

て説明します。

詳細は、「ServerView Resource Orchestrator V3.1.2 トラブルシューティング集」を参照してください。

18.2.1 調査資料の種類

本製品を使用しているシステムで問題が発生した場合、当社技術員が調査するための調査資料を採取してください。

調査資料は2種類存在し、以下に記載する用途に応じて、資料を採取してください。

- 219 -

1. 初期調査資料の採取

発生した問題の原因について、初期切分けを行うために必要な資料を採取し、当社技術員に連絡してください。

採取する資料は、サイズが小さく、電子メールなどで簡単に送付できるサイズになります。

詳細は、「18.2.2 初期調査資料の採取」を参照してください。

2. 詳細調査資料の採取

初期調査資料だけで原因を特定できる場合もありますが、発生した問題の内容に応じて、さらに多くの調査資料が必要になる

場合があります。

このため、初期調査資料だけで原因を特定できなかった場合に備え、初期調査資料を採取したあと、原因を特定するための詳

細な調査で必要になる資料も採取します。

詳細調査資料は、発生した問題の原因を特定するために必要な多数の資料を採取するため、発生した問題の切分け用として

採取する初期調査資料よりもサイズが大きくなります。

当社技術員から依頼があった場合、採取した詳細調査資料を送付してください。

詳細は、「18.2.3 詳細調査資料の採取」を参照してください。

注意

問題が発生した場合、すみやかに調査資料を採取してください。時間の経過と共に、調査に必要な情報が失われてしまう可能性があ

ります。

18.2.2 初期調査資料の採取

ここでは、発生した問題の原因を切り分けるために必要な調査資料の採取方法について説明します。

採取方法の特徴を踏まえ、問題が発生した環境やシステムの状態に応じて、適切な方法で資料を採取してください。

1. マスタサーバからの資料の採取

マスタサーバ上で調査資料の採取コマンド(rcxadm mgrctl snap -all コマンド)を実行する方法です。

ネットワークを利用して各管理対象サーバの調査資料を一括採取できるため、各管理対象サーバ上でコマンドを実行するよりも

簡単に資料を採取できます。

「マスタサーバから資料の採取(rcxadm mgrctl snap -all コマンド)」を参照し、資料を採取してください。

rcxadm mgrctl snap -all コマンドを実行するためには、約65MBに加え、サーバの登録台数 × 約30MBの空き容量が必要です。

2. 各サーバからの資料の採取

各サーバ上で調査資料の採取コマンド(rcxadm mgrctl snap コマンド、rcxadm agtctl snap コマンド)を実行する方法です。

「各サーバからの資料の採取(rcxadm mgrctl snap コマンド、rcxadm agtctl snap コマンド)」を参照し、資料を採取してください。

rcxadm mgrctl snap コマンドを実行するためには、約65MBの空き容量が必要です。

rcxadm agtctl snap コマンドを実行するためには、約30MBの空き容量が必要です。

マスタサーバから資料の採取(rcxadm mgrctl snap -all コマンド)

マスタサーバ上で調査資料の採取コマンド(rcxadm mgrctl snap -all コマンド)を実行することで、各管理対象サーバの調査資料を

一括して採取できます。

調査資料の採取コマンド(rcxadm mgrctl snap -all コマンド)を実行して資料を採取する方法を以下に示します。

1. マスタサーバに root 権限でログインします。

2. rcxadm mgrctl snap -all コマンドを実行します。

# /opt/FJSVrcvmr/bin/rcxadm mgrctl snap [-dir directory] -all <Enter>

3. 採取した調査資料を当社技術員に送付します。

- 220 -

注意

－マスタサーバから資料を採取する場合、管理サーバ上でマネージャーが動作している必要があります。マネージャーが動作で

きない場合、各サーバ上で資料を採取してください。

－マスタサーバから資料を採取する方法では、以下の場合、管理対象サーバの調査資料は採取されません。

- 通信経路が確立できない場合

- 停止している管理対象サーバがある場合

どちらの場合も、ほかの管理対象サーバに対する調査資料の採取処理は継続されます。

実行結果はコマンドの実行ログで確認してください。

詳細は、「ServerView Resource Orchestrator Express/Virtual Edition V3.1.2 リファレンスガイド (コマンド編)」の「5.11 rcxadmmgrctl」を参照してください。

採取に失敗した管理対象サーバについては、マスタサーバ上でrcxadm mgrctl snap -all コマンドを再実行するか、失敗した管理対

象サーバ上でrcxadm agtctl snap コマンドを実行して資料を採取してください。

各サーバからの資料の採取(rcxadm mgrctl snap コマンド、rcxadm agtctl snap コマンド)

マスタサーバから一括で管理対象サーバの調査資料を採取できるrcxadm mgrctl snap -all コマンドとは別に、実行したサーバの情

報だけを採取できるrcxadm mgrctl snap コマンドとrcxadm agtctl snap コマンドがあります。

調査資料の採取コマンド(rcxadm mgrctl snap コマンドまたはrcxadm agtctl snap コマンド)を実行して資料を採取する方法を以下に

示します。

1. 資料を採取するサーバに root 権限でログインします。

2. rcxadm mgrctl snap コマンドまたはrcxadm agtctl snap コマンドを実行します。

資料を採取するサーバに応じて実行するコマンドが異なるため注意してください。

【マスタサーバの場合】

# /opt/FJSVrcvmr/bin/rcxadm mgrctl snap [-dir directory] <Enter>

【スレーブサーバの場合】

# /opt/FJSVrcxat/bin/rcxadm agtctl snap [-dir directory] <Enter>


詳細は、「ServerView Resource Orchestrator Express/Virtual Edition V3.1.2 リファレンスガイド (コマンド編)」の「5.2 rcxadm agtctl」または「5.11 rcxadm mgrctl」を参照してください。

18.2.3 詳細調査資料の採取

ここでは、問題の原因を特定するために必要な詳細調査資料の採取方法について説明します。

初期調査資料だけで問題の原因を特定できなかった場合、さらに詳細な調査資料が必要です。

問題の原因を特定するための調査資料は、各サーバ上で調査資料の採取コマンド(rcxadm mgrctl snap -full コマンド、rcxadm agtctlsnap -full コマンド)を実行して資料を採取します。

本機能を実行するためには、約80MBの空き容量が必要です。

資料を採取するサーバ上で、以下の手順で資料を採取します。


- 221 -

2. rcxadm mgrctl snap -full コマンドまたはrcxadm agtctl snap -fullコマンドを実行します。

資料を採取するサーバに応じて実行するコマンドが異なるため注意してください。

【マスタサーバの場合】

# /opt/FJSVrcvmr/bin/rcxadm mgrctl snap -full [-dir directory] <Enter>

【スレーブサーバの場合】

# /opt/FJSVrcxat/bin/rcxadm agtctl snap -full [-dir directory] <Enter>


詳細は、「ServerView Resource Orchestrator Express/Virtual Edition V3.1.2 リファレンスガイド (コマンド編)」の「5.2 rcxadm agtctl」また

は「5.11 rcxadm mgrctl」を参照してください。

18.3 DFS、共用ディスクでトラブルが発生した場合

DFS のセットアップ、共用ディスクでトラブルが発生した際の調査資料の採取方法について説明します。

詳細は、「Primesoft Distributed File System for Hadoop V1.0 ユーザーズガイド」の「4.6.2 DFSの調査資料採取」を参照してください。

18.3.1 DFSの調査資料採取

出力されたメッセージの対処として、当社技術員への調査を依頼する場合は、root 権限でログインして、以下の資料を採取してくださ

い。

資料を採取する際は、できるだけ事象が発生している状態で採取してください。

事象が収束した後やシステム再起動後に採取された資料では、システム状況が変化して調査できない場合があります。

1. 資料採取ツール(pdfssnap.sh, fjsnapコマンド)の出力結果

pdfssnap.sh および fjsnap コマンドを使用して調査資料を採取してください。可能な限り DFS を共用する、すべてのサーバで採

取してください。

－「pdfssnap.sh の実行」を参照してください。

－「fjsnap コマンドの実行」を参照してください。

2. クラッシュダンプ

サーバがパニックした場合など、トラブル調査資料としてクラッシュダンプファイルも採取してください。詳細は「クラッシュダンプ

の採取」を参照してください。

3. pdfsck コマンドの実行結果

DFS で不整合が発生して、復旧が必要な場合に採取してください。詳細は「pdfsck コマンドの実行結果」を参照してください。

4. デーモンのコアイメージの採取

DFS のエラーメッセージの対処で、各デーモンにおけるコアイメージが必要となった場合に採取してください。詳細は「デーモン

のコアイメージの採取」を参照してください。

なお、調査資料を至急送付する必要がある場合は、初期調査用の資料として以下を採取してください。

a. 資料採取ツール(pdfssnap.sh)の出力結果

b. /var/log/messages*

初期調査用の資料を採取したあとで、必ずほかの資料も採取してください。

- 222 -

pdfssnap.sh の実行


2. pdfssnap.sh を実行します。

# /etc/opt/FJSVpdfs/bin/pdfssnap.sh <Enter>

注意

pdfssnap.sh では、コマンドを実行したディレクトリ配下に調査資料が採取されます。そのため、コマンドを実行するファイルシステム

に100MB 程度の空き領域が必要となります。

fjsnap コマンドの実行


2. fjsnap コマンドを実行します。

# /opt/FJSVsnap/bin/fjsnap -a {任意のファイル名} <Enter>

クラッシュダンプの採取

通常は、パニック後のサーバ起動時に "/var/crash/パニックした時刻" 配下に保存されています。パニックが発生したすべてのサー

バで採取してください。

pdfsck コマンドの実行結果

# pdfsck -N -o nolog {代表パーティションのブロック特殊ファイル} <Enter>

デーモンのコアイメージの採取

コアイメージの採取は、すべての DFS 管理サーバで行ってください。

以下に pdfsfrmd デーモンのコアイメージの採取を例として手順を示します。

1. プロセス ID の特定

ps コマンドにより、プロセス ID を特定します。pdfsfrmd デーモン以外が対象の場合は、grep コマンドの引数を変えてくださ

い。

# /bin/ps -e | /bin/grep pdfsfrmd <Enter>

5639 ? 00:00:25 pdfsfrmd

出力の先頭が pdfsfrmd デーモンのプロセス ID です。pdfsfrmd デーモンが動作していない場合は、出力されません。動作

していない場合は、ほかのサーバで採取してください。

参考

MDS のコアイメージを採取する際は、grep コマンドの引数に pdfsmg を指定してください。

参照

ps コマンドおよび grep コマンドの詳細は、オンラインマニュアルページを参照してください。

- 223 -

2. コアイメージの取得

gcore コマンドにより、pdfsfrmd のコアイメージをファイル /var/tmp/pdfsfrmd_node1.5639 へ採取します。その後、tar コマンド

でファイルを圧縮します。

# /usr/bin/gcore -o /var/tmp/pdfsfrmd_node1 5639 <Enter>

gcore: /var/tmp/pdfsfrmd_node1.5639 dumped

# /bin/tar czvf /var/tmp/pdfsfrmd_node1.5639.tar.gz /var/tmp/pdfsfrmd_node1.5639 <Enter>

# /bin/ls -l /var/tmp/pdfsfrmd_node1.5639.tar.gz <Enter>

-rw-rw-r-- 1 root other 1075577 6月 12日 16:30 /var/tmp/

pdfsfrmd_node1.5639.tar.gz

参照

tar コマンドの詳細は、オンラインマニュアルページを参照してください。

18.4 Hadoopでトラブルが発生した場合

/opt/FJSVbdpp/products/HADOOP/bin/HADOOP-collect.sh を実行し、カレントディレクトリに出力される collectinfo.tar.gz を採取してく

ださい。

形式

HADOOP-collect.sh --servers servername[,servername]

オプション

--servers servername[,servername]

カンマで区切って、マスタサーバ(プライマリ)、マスタサーバ(セカンダリ)、スレーブサーバ、および開発実行環境サーバの各ホ

スト名(業務 LAN に接続する NIC に対応するホスト名)を指定します。空白は含めないでください。

必要な権限・実行環境

権限

root 権限

実行環境

マスタサーバ

例

# /opt/FJSVbdpp/products/HADOOP/bin/HADOOP-collect.sh --

servers=master1,master2,slave1,slave2,slave3,slave4,slave5,develop <Enter>

18.5 外部プログラム並列実行機能でトラブルが発生した場合

外部プログラム並列実行機能ではエラーが発生した場合、以下にエラーメッセージを出力します。

・ Hadoopジョブを実行したコンソール

外部プログラム並列実行コマンド「bdpp_submitjob」を実行したコンソールに出力されるログです。Hadoopや外部プログラム並列実

行機能のエラーメッセージが出力されます。エラーメッセージが出力された場合、そのエラーメッセージに対処してください。

タスクが失敗している（FAILEDが出力されている）場合、失敗した原因を確認するために、MapReduceのタスクログを確認してくだ

さい。

- 224 -

・ MapReduceのタスクログ

スレーブサーバで実行されるタスクが出力するログファイルです。出力先は、Hadoopの設定ファイルの一つである「/etc/hadoop/hadoop-env.sh」に定義され、ジョブID、タスクIDごとに作成されています。タスクログには、以下の3つのファイルがあります。

－ stdout

タスクから標準出力に出力されたデータが格納されています。

－ stderr

タスクから標準エラー出力に出力されたデータが格納されています。

－ syslog

Hadoopや外部プログラム並列実行機能が出力したメッセージが出力されます。

タスクが失敗している場合、失敗しているタスクIDのタスクログ（syslog）を確認し、エラーメッセージに対処してください。

・外部プログラムが出力する情報

外部プログラムが標準出力と標準エラー出力にデータを出力した場合は、以下のディレクトリ配下にファイルが格納されます。

{Hadoop出力データファイル格納基準ディレクトリ}/currentdir/part-{m|r}-{nnnnn}/

{Hadoop出力データファイル格納基準ディレクトリ}：MapReduce設定ファイルで指定するパスです

{m|r}：Mapタスクとして実行する外部プログラムの出力の場合「m」、

Reduceタスクとして実行する外部プログラムの出力の場合「r」です

{nnnnn}：JobTrackerが生成したタスク試行IDです

－ stdout

外部プログラムから標準出力に出力されたデータが格納されています

－ stderr

外部プログラムから標準エラー出力に出力されたデータが格納されています。

コンソールおよびタスクログに出力されたエラー内容について、以下の対処を行ってください。

識別子エラー内容対処

LB0001: MapReduce設定ファイルの主キー情報の指定に誤りがあります。

主キー情報の設定値が指定されていません。

主キー情報の指定は必須です。MapReduce設定ファイ

ルに主キー情報を指定してください。

LB0006: MapReduce設定ファイルのCSVデータのソート処理におけるキー

の空白の扱いの指定に誤りがあります。設定値='$1'MapReduce設定ファイルの、

extjoiner.comparator.csv.paddingに指定した値を確認し

てください。

LB0101: MapReduce設定ファイルのキー情報（キー属性）の指定に誤りが

あります。設定値='$1'主キーまたは副キーの設定値に誤りがあります。エラー

メッセージに誤った設定値が出力されていますので、

MapReduce設定ファイルを確認してください。

LB0102: MapReduce設定ファイルのキー情報（ASCIIコードの並び順）の

指定に誤りがあります。空文字が指定されました。

ASCIIコードの並び順が指定されていません。


LB0103: MapReduce設定ファイルのキー情報（ASCIIコードの並び順）の

指定に誤りがあります。設定値='$1'ASCIIコードの並び順の設定値に誤りがあります。エ

ラーメッセージに誤った設定値が出力されていますの

で、MapReduce設定ファイルを確認してください。


主キー情報が指定されていません。



LB0105: MapReduce設定ファイルのキー情報の指定に誤りがあります。キー情報の設定値は、キー属性,オフセット,長さ,並び

順（省略可）の形式で指定します。MapReduce設定ファ

イルのキー情報の指定を確認してください。

LB0106: MapReduce設定ファイルのキー情報（キー属性）の指定に誤りが

あります。空文字が指定されました。

キー属性が指定されていません。MapReduce設定ファ

イルを確認してください。

- 225 -


LB0107: MapReduce設定ファイルのキー情報（オフセット）の指定に誤りが


オフセットが指定されていません。MapReduce設定ファ


LB0108: MapReduce設定ファイルのキー情報（オフセット）の指定に誤りが

あります。設定値='$1'オフセットの設定値に誤りがあります。オフセットの設定

値は、0～32759が指定できます。エラーメッセージに

誤った設定値が出力されていますので、MapReduce設定ファイルを確認してください。

LB0109: MapReduce設定ファイルのキー情報（長さ）の指定に誤りがありま

す。空文字が指定されました。

長さが指定されていません。MapReduce設定ファイルを



す。設定値='$1'長さの設定値に誤りがあります。長さの設定値は、1～

32760が指定できます。エラーメッセージに誤った設定

値が出力されていますので、MapReduce設定ファイル

を確認してください。


す。オフセットからの長さが大レコード長を超えています。

長さの設定値に誤りがあります。長さの設定値は、オフ

セットに加算して大レコード長を超えることはできませ

ん。MapReduce設定ファイルを確認してください。

LB0112: MapReduce設定ファイルのキー情報（並び順）の指定に誤りがあ

ります。空文字が指定されました。

並び順が指定されていません。MapReduce設定ファイ

ルを確認してください。

LB0113: MapReduce設定ファイルのキー情報（並び順）の指定に誤りがあ

ります。設定値='$1'並び順の設定値に誤りがあります。エラーメッセージに

誤った設定値が出力されていますので、MapReduce設定ファイルを確認してください。

LB0117: MapReduce設定ファイルのキー情報（主キー）の指定に誤りがあ

ります。各Hadoop入力データファイルの主キーの設定値は、オフ

セットを除き同じでなければなりません。

主キーを複数指定する場合は、それぞれのキー属性

および長さを統一してください。

LB0118: MapReduce設定ファイルのキー情報の指定に誤りがあります。

CSV形式のキーとCSV形式ではないキーが混在しています。

CSV形式のキーとCSV形式ではないキーを混在するこ

とはできません。MapReduce設定ファイルを確認してく

ださい。

LB0119: MapReduce設定ファイルのCSVキー情報(カラム目[:開始オフセッ

ト-長さ])の指定に誤りがあります。空文字が指定されました。

CSV形式のキー指定について、MapReduce設定ファイ


LB0120: MapReduce設定ファイルのCSVキー情報(カラム目[:開始オフセッ

ト-長さ])の指定に誤りがあります。設定値='$1'CSV形式のキー指定について、MapReduce設定ファイ


LB0121: MapReduce設定ファイルのCSVキー情報(カラム目)の指定に誤

りがあります。空文字が指定されました。



LB0122: MapReduce設定ファイルのCSVキー情報(カラム目)の指定に誤

りがあります。設定値='$1'CSV形式のキー指定について、MapReduce設定ファイ


LB0123: MapReduce設定ファイルのCSVキー情報(開始オフセット[-長さ])の指定に誤りがあります。空文字が指定されました。



LB0124: MapReduce設定ファイルのCSVキー情報(開始オフセット[-長さ])の指定に誤りがあります。設定値='$1'



LB0125: MapReduce設定ファイルのCSVキー情報(開始オフセット)の指定

に誤りがあります。空文字が指定されました。



LB0126: MapReduce設定ファイルのCSVキー情報(開始オフセット)の指定

に誤りがあります。設定値='$1'CSV形式のキー指定について、MapReduce設定ファイ


LB0127: MapReduce設定ファイルのCSVキー情報(長さ)の指定に誤りが




LB0128: MapReduce設定ファイルのCSVキー情報(長さ)の指定に誤りが

あります。設定値='$1'CSV形式のキー指定について、MapReduce設定ファイ



主キー情報の設定値が指定されていません。



- 226 -


LB0202: MapReduce設定ファイルに指定された主キー一覧ファイルが見

つかりません。FILE='$1'MapReduce設定ファイルの、extjoiner.mainkeylistに指

定した主キー一ファイル名を確認してください。

LB0207: 主キー一覧ファイルの主キーの合計の長さが、MapReduce設定

ファイルに指定された主キーの合計の長さと一致していません。

主キー一覧ファイルの主キーの長さを、MapReduce設

定ファイルに指定された主キーの合計の長さと一致さ

せてください。

LB0211: レコード長情報ファイルが正しくありません。オフセット情報が読

み込めませんでした。

レコード長情報ファイルが正しくありません。Hadoop入

力データファイルから作成されたレコード長情報ファイ

ルか確認してください。

LB0212: MapReduce設定ファイルのCSVデータの振り分け処理における

主キーの空白の扱いの指定に誤りがあります。設定値='$1'MapReduce設定ファイルの、

extjoiner.partitioner.csv.paddingに指定した値を確認し

てください。

LB0218: キー分布を考慮した振り分けを行うための主キー一覧ファイルが

見つかりません。FILE='$1'MapReduce設定ファイルの、extjoiner.mainkeylistが正

しく設定されているか確認してください。

LB0219: キー分布を考慮した振り分けを行うための主キー一覧ファイルの

読み込みに失敗しました。FILE='$1'主キー一覧ファイルが読み込み可能な属性になってい

るか確認してください。

LB0221: 主キー一覧ファイルに同一主キーが複数存在します。key=$1 主キー一覧ファイルに同一のキーが定義されていない

か見直してください。

LB0222: 主キーの変換に失敗しました。技術員（SE）に連絡してください。

IO0001: MapReduce設定ファイルのCSVデータの浮動フィールドの指定

に誤りがあります。設定値='$1'MapReduce設定ファイルの、extjoiner.csv.floatfieldに指

定した値を確認してください。

IO0002: MapReduce設定ファイルのCSVデータのセパレータの指定に誤

りがあります。設定値='$1'MapReduce設定ファイルの、extjoiner.csv.separatorに指

定した値を確認してください。

EX0001: 内部エラー: 捕捉されなかった例外を検出しました。技術員（SE）に連絡してください。

EX0002: 不正なプロパティ名です。入力ファイル番号は'$1'までです:extjoiner.input.'$1'.filename

Hadoop入力データファイル名の個数に誤りがあります。


EX0003: ジョブの実行に失敗しました。同時に出力されている他のメッセージか、タスクログを

確認してエラーメッセージに対処してください。

EX0004: コマンドの実行ステータスがretryexitstatus（'$1'）を超えました: タスクのパートID='$2' 実行ステータス='$3'

MapReduceアプリケーションの復帰値が指定したしきい

値を超えました。タスクは再実行されます。MapReduceアプリケーションまたはMapReduce設定ファイルを確認


EX0007: タスク用一時ディレクトリが作れませんでした。Hadoopの設定を見

直してください。一時ディレクトリ:'$1'タスクが正しく動作できない状態です。Hadoopの設定

を見直してください。

Hadoopに付属のサンプルなど、簡単なMapReduceアプ

リケーションが動作するか確認してください。

問題が解決しない場合、技術員（SE）に連絡してくださ

い。

EX0009: 名前付きパイプが作成できませんでした。Hadoopの設定を見直

してください。名前付きパイプ:'$1'

EX0010: 名前付きパイプが作成できませんでした。Hadoopの設定を見直

してください。名前付きパイプ:'$1'

EX0011: 名前付きパイプ作成コマンドmkfifoの実行に失敗しました:'$1'

EX0013: コマンドの起動に失敗しました MapReduceアプリケーションが実行できませんでした。

MapReduceアプリケーションが実行可能か確認してくだ

さい。

EX0014: ユーザーによりジョブがkillされました。コマンドへの入力を強制

終了しようとしていました

外部プログラムの実行中に割り込みを検出しました。ジョ

ブを利用者が中断した場合、本メッセージが出力され

る場合がありますが、中断には影響ありません。EX0015: ユーザーによりジョブがkillされました。コマンドへの入力を閉じよ

うとしていました

EX0016: コマンドへの入力が途中で閉じてしまいました。コマンドが入力

ファイルを後まで読み込まなかったかもしれません:外部プログラムが入力ファイルを開かなかった、または

ファイルを後まで読み込みませんでした。外部プログ

- 227 -


EX0017: ラムが実行可能か確認してください。実行可能であれ

ば外部プログラムを確認してください。コマンドへの入力が途中で閉じてしまいました。コマンドが入力

ファイルを後まで読み込まなかったかもしれません:

EX0024: プロパティの値が適正なディレクトリ名ではありません:mapred.output.dir

mapred.output.dirに指定されたディレクトリに誤りがあり

ます。MapReduce設定ファイルを確認してください。

EX0025: 環境変数名または環境変数の値が不適切でした指定された環境変数名か環境変数値に誤りがありま

す。設定や変更が許可されない変数名を指定するな

ど、システム依存のエラーが発生しました。MapReduce設定ファイルを確認してください。

EX0030: ユーザーによりジョブがkillされました。タスクの開始を待っていま

した。



る場合がありますが、中断には影響ありません。EX0033: ユーザーによりジョブがkillされました。名前付きパイプの作成中

でした

EX0035: Hadoop出力データファイル名に','または'='が含まれています:nn='$1' filename='$2'

Hadoop出力データファイル名には','または'='を使用で

きません。MapReduce設定ファイルを確認してください。

EX0038: mapred.reduce.tasksに1以上が指定されていますが、実行すべき

コマンドが指定されていません。

extjoiner.reduce.streamprocessorにReduceアプリケー

ションを指定してください。Reduceアプリケーションを省

略する場合は、mapred.reduce.tasksプロパティに0を指

定してください。

EX0039: 出力ディレクトリが存在しています:'$1' すでに出力ディレクトリが存在します。出力ディレクトリ

を削除してから再度ジョブを実行してください。

EX0045: コマンドからの出力をHadoopに引き渡すのに失敗しました Hadoopの設定を見直してください。

Hadoopに付属のサンプルなど、簡単なMapReduceアプ

リケーションが動作するか確認してください。

問題が解決しない場合、技術員（SE）に連絡してくださ

い。

EX0046: ユーザーによりジョブがkillされました。コマンド実行の終了を待っ

ていました



る場合がありますが、中断には影響ありません。EX0047: ユーザーによりジョブがkillされました。名前付きパイプの読み込

みを終了しようとしていました

EX0048: ユーザーによりジョブがkillされました。名前付きパイプの書き込


EX0049: ユーザーによりジョブがkillされました。コマンド実行の終了を待っ

ていました

EX0050: ユーザーによりジョブがkillされました。名前付きパイプの読み込


EX0052: プロパティの値が数値ではありません: property='$1' value='$2' 数値を指定するプロパティに対して、数値以外が設定

されています。出力された情報を参考にMapReduce設

定ファイルを確認してください。

EX0054: プロパティの値が適正なクラス名ではありません。property='$1'value='$2'

ファイル編成の指定に誤りがあります。出力された情報

を参考にMapReduce設定ファイルを確認してください。

EX0056: ジョブ削除に失敗しました。詳細は下記の例外情報を参照してく

ださい job id='$1'Hadoopの設定を確認の上、手動でHadoopジョブを削

除してください。

EX0058: プロパティの値が範囲外です。'$1'-'$2'の範囲内にしてください:property='$3' value='$4'

プロパティに指定可能な範囲を超えています。出力さ

れた情報を参考にMapReduce設定ファイルを確認して

ください。

- 228 -


EX0065: ユーザーによりジョブがkillされました。コマンドへの入力を閉じよ

うとしていました



る場合がありますが、中断には影響ありません。EX0066: ユーザーによりジョブがkillされました。コマンドへの入力を強制

終了しようとしていました

EX0070: 行順ファイルの文字コードが不正です: property='$1' value='$2' 文字コードの指定に誤りがあります。出力された情報を

参考にMapReduce設定ファイルを確認してください。

EX0071: レコード順固定長ファイルのレコード長が指定されていません:property='$1'

レコード順固定長ファイルを使用する場合、レコード長

の指定は必須です。MapReduce設定ファイルを確認し

てください。

EX0073: レコード順可変長ファイルのレコード長情報ファイルが指定され

ていません: property='$1'レコード順可変長ファイルを使用する場合、レコード長

情報ファイルの指定は必須です。MapReduce設定ファ


EX0074: レコード順可変長ファイルのレコード長情報ファイルが不正です:property='$1' value='$2'

レコード長情報ファイルにアクセスできません。レコード

長情報ファイルのパス及びMapReduce設定ファイルを


EX0075: コマンド実行の開始に失敗しました。詳細は例外情報を参照して

ください。

コマンド実行開始時にRuntimeExceptionを検出しまし

た。技術員（SE）に連絡してください。

EX0076: カレントワーキングディレクトリのファイルの回収にも失敗しまし

た。詳細は例外情報を参照してください。

ファイルの回収の中にIOExceptionが起きました。技

術員（SE）に連絡してください。

EX0077: カレントワーキングディレクトリ名の取得に失敗しました。Hadoopの設定(mapred.working.dir)を見直してください

Hadoopの設定(mapred.working.dir)を確認し、利用可

能なパスが設定されているか確認してください。

EX0083: コマンドの入力ファイルへの書き込みに失敗しました。入力ファイルの書き込み時にIOExceptionが発生しまし

た。外部プログラムが入力ファイルを後まで読み込ま

ずに終了するとこのメッセージが出力される場合があり

ます。意図せずにこのエラーが発生し続ける場合は、

技術員（SE）に連絡してください。

EX0084: ユーザーによりジョブがkillされました。コマンドへの入力を書き

出そうとしていました



る場合がありますが、中断には影響ありません。

EX0086: reduceで処理すべきデータがありませんでした Reduceタスクに入力されたレコードが0件です。

EX0087: mapで処理すべきデータがありませんでした Mapタスクに入力されたレコードが0件です。

EX0088: 必須プロパティの値が指定されていません。出力ディレクトリ名を

指定してください: mapred.output.dirmapred.output.dirプロパティは必須です。MapReduce設定ファイルを確認してください。

EX0089: 必須プロパティの値が指定されていません。プロパティ名: '$1' 必須プロパティが省略されています。出力された情報

を参考にMapReduce設定ファイルを確認してください。

EX0090: Hadoop入力データファイルが一つも指定されていません。プロパ

ティ名: extjoiner.input.NN.filenameHadoop入力データファイルの指定は必須プロパティで

す。MapReduce設定ファイルを確認してください。

EX0091: Hadoop入力データファイルの指定に問題がありました。'$1' Hadoop入力データファイルに指定したパスに誤りがあ

ります。パスおよびMapReduce設定ファイルを確認して

ください。

EX0095: 必須プロパティの値が不正でした。出力ディレクトリが作成できま

せん。'$1' '$2'='$3'Hadoop出力データファイルに指定したパスに誤りがあ

ります。パスおよびMapReduce設定ファイルを確認して

ください。

EX0097: バッファ用の一時ファイルが作れませんでした。外部プログラムの入力作成中に必要となる一時ファイ

ルの作成に失敗しました。技術員（SE）に連絡してくだ

さい。

EX0098: 環境変数の設定が不正です。プロパティ名： '$1' 値： '$2' 指定された環境変数名か環境変数値に誤りがありま

す。環境変数名と環境変数値は'='で区切られている必

- 229 -


要があります。MapReduce設定ファイルを確認してくだ

さい。

EX0100: Hadoop入力データファイル名に','または'；'が含まれています:nn='$1' filename='$2'

MapReduce設定ファイルの、extjoiner.input.nn.filenameに指定した値を確認してください。

EX0102: Counterファイルの読み込みに失敗しましたユーザー定義カウンタの更新時にIOExceptionが起き

ました。技術員（SE）に連絡してください。

EX0103: ユーザー定義カウンタの更新に失敗しました。カウンタ値が変換

できません。'$1'ユーザー定義カウンタの書式が不正です。カウンタ値

には数値を指定してください。

EX0104: ユーザー定義カウンタの更新に失敗しました。フォーマットが正

しくありません。'$1'ユーザー定義カウンタの書式が不正です。グループ

名,カウンタ名,カウンタ値の書式で記載してください。

EX0105: Map複数出力を指定した場合、extjoiner.input.01の指定は必須

です

Map複数出力機能を利用する場合、extjoiner.input.01の指定は必須です。入力ファイルを指定してください。

EX0106: Map複数出力を指定した場合、extjoiner.input.01以外にHadoop入力ファイルを指定することはできません

Map複数出力機能を利用する場合、extjoiner.input.01以外の入力ファイルは指定できません。MapReduce設

定ファイルを確認してください。

EX0107: Map複数出力を指定した場合、Reduceタスク数には0を指定して

ください

Map複数出力機能を利用する場合、Reduceタスク数は

0を指定する必要があります。

EX0108: Map複数出力を指定した場合、map.streamprocessor.01の指定は

必須です

Map複数出力機能を利用する場合、

map.streamprocessor.01の指定は必須です。Mapアプリ

ケーションを指定してください。

EX0109: Map複数出力を指定した場合、map.streamprocessor.01以外に

Mapアプリを指定することはできません

Map複数出力機能を利用する場合、

map.streamprocessor.01以外のMapアプリケーションは

指定できません。MapReduce設定ファイルを確認してく

ださい。

EX0111: mapred.reduce.tasks が0のため、extjoiner.input.sortの指定は無

視されます。

Map出力データファイル自動ソート機能を利用する場

合、Reduceタスク数は1以上を指定する必要がありま

す。

EX0112: mapred.reduce.tasks が0のため、extjoiner.reduce.streamprocessorの指定は無視されます。

Reduceタスク数に0が指定されている場合、Reduceアプ

リケーションの指定は無視されます。

EX0113: 物理順ファイルのレコード長情報ファイルが指定されていませ

ん: property='$1'物理順ファイルを使用する場合、レコード長情報ファイ

ルの指定は必須です。MapReduce設定ファイルを確認


EX0114: 物理順ファイルのレコード長情報ファイルが不正です:property='$1' value='$2'

レコード長情報ファイルにアクセスできません。レコード

長情報ファイルのパス及びMapReduce設定ファイルを


EX0115: ディレクトリに書込み権限がありません。出力ディレクトリが作成で

きません。

MapReduce設定ファイルの、mapred.output.dirに指定し

たパスのアクセス件を確認してください。

EX0116: 出力ディレクトリの親ディレクトリが作成できません。出力ディレク

トリが作成できません。

EX0117: 出力ディレクトリの親ディレクトリに書込み権限がありません。出力

ディレクトリが作成できません。

EX0118: 出力ディレクトリの親ディレクトリ名が取得できません。出力ディレ

クトリが作成できません。

EX0119: map,reduceアプリケーションが指定されていません。 Map出力データファイル自動ソートの指定を行っていな

い場合、map,reduceアプリケーション両方を省略するこ

とはできません。

EX0120: ユーザー定義カウンタの書式にエラーがあります。正しく集計さ

れませんでした。

カウンタ情報設定ファイルに書き込まれたカウンタ情報

の書式を確認してください。

- 230 -


EX0121: プロパティの値に矛盾があります。'$1'='$2' '$3'='$4' 表示されたメッセージを参考に、設定名と設置値に矛

盾がないか確認してください。

EX0122: 主キー一覧ファイル作成シェルのreduceに渡されたパラメタが不

正です。

主キー一覧ファイル作成シェルの引数を確認してくだ

さい。

EX0124: reducerの入力ファイルのclose処理に失敗しました。ジョブの実行に成功する場合は、本メッセージが出力さ

れても問題はありません。ジョブの実行に失敗する場合

は、技術員（SE）に連絡してください。

EX0126: reducerの出力ファイルのclose処理に失敗しました。 Reduceアプリケーションが使用するディスクの空き容量

が不足している可能性があります。スレーブサーバの

ディスク容量を確認してください。

EX0128: 主キーの変換に失敗しました。技術員（SE）に連絡してください。

EX0129: MapReduce設定ファイルのキー情報の指定に誤りがあります。 MapReduce設定ファイルの、キー情報の指定を確認し

てください。

EX0130: MapReduce設定ファイルのキー情報（キー属性）の指定に誤りが


MapReduce設定ファイルの、キー情報（キー属性）を確

認してください。

EX0131: 主キー一覧ファイルのフォーマットに不正な行が含まれていま

す。Line:$1 $2出力される情報を参考に、フォーマット、または文字コー

ドを修正してください。

EX0132: 主キー一覧ファイルが見つかりません。 MapReduce設定ファイルのextjoiner.mainkeylistが正し

く設定されているか確認してください。

EX0133: 主キー一覧ファイルの読み込みに失敗しました。 MapReduce設定ファイルのextjoiner.mainkeylistに指定

されているファイル名へのアクセス権限が正しく設定さ

れているか確認してください。

EX0134: 主キーの振分けの適化情報の作成に失敗しました。カレントディレクトリにファイル作成の権限があるか確認


EX0135: Reduceタスク数の適化に失敗しました。技術員（SE）に連絡してください。

EX0137: 実行環境の情報を取得できないため、Reduceタスク数の適化

を行えませんでした。

技術員（SE）に連絡してください。

EX0140: 一意振り分けにおけるキーの上限数を超えたため、ジョブの実行

に失敗しました。

必要に応じて、一意振り分けにおけるキーの上限数を

引き上げてください。

EX0142: MapReduce設定ファイルのCSVデータの振り分け処理における

主キーの空白の扱いの指定に誤りがあります。設定値='$1'MapReduce設定ファイルの、

extjoiner.partitioner.csv.paddingに指定した値を確認し

てください。

EX0143: 主キー一覧ファイルに主キーが定義されていません。 Shuffle&sortを使用する場合、主キーは指定必須です。


内部矛盾が発生しました。（CODE=NNNN）技術員（SE）に連絡してください。

上記以外のメッセージ技術員（SE）に連絡してください。

18.5.1 ログの出力例と内容の確認方法

外部プログラム並列実行機能を利用した際に出力されるログについて、ジョブ成功時とジョブ失敗時を例に説明します。

ジョブを実行したとき、入力データやプログラム、MapReduce設定ファイルに問題がない場合は、Reduceタスクが100%まで進捗したあ

と、ジョブの情報が出力され、外部プログラム並列実行コマンドが正常終了します。ジョブの情報はHadoopが出力する情報で、Map/Reduceタスクの入出力レコード件数や、タスクの復帰値が出力されます。

ジョブを実行したとき、入力データやプログラム、MapReduce設定ファイルに問題がある場合は、ジョブはエラーで終了します。ただし、

タスクでエラーが発生した場合は、Hadoopによりリトライ（デフォルトは3回）され、エラーが繰り返されるとジョブはエラーで終了します。

- 231 -

18.5.1.1 ジョブ成功時の例

以下は、Hadoopジョブの実行が成功した例です。Mapタスク、Reduceタスクが100%まで進捗し、エラーメッセージが出力されることな

く、外部プログラム並列実行コマンドが終了しています。

[bdppuser1@develop sample2]$ /opt/FJSVbdpp/bin/bdpp_submitjob -conf ./conf/configuration.conf -files ./lib/sample2.jar

14/08/19 19:55:57 INFO util.NativeCodeLoader: Loaded the native-hadoop library

14/08/19 19:55:58 WARN snappy.LoadSnappy: Snappy native library not loaded

14/08/19 19:55:58 INFO mapred.FileInputFormat: Total input paths to process : 1

14/08/19 19:55:58 INFO mapred.JobClient: Running job: job_201408191146_0023

14/08/19 19:55:59 INFO mapred.JobClient: map 0% reduce 0%





14/08/19 19:56:33 INFO mapred.JobClient: Job complete: job_201408191146_0023

14/08/19 19:56:33 INFO mapred.JobClient: Counters: 36

14/08/19 19:56:33 INFO mapred.JobClient: Job Counters

14/08/19 19:56:33 INFO mapred.JobClient: Launched reduce tasks=4

14/08/19 19:56:33 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=20388

14/08/19 19:56:33 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0

14/08/19 19:56:33 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0

14/08/19 19:56:33 INFO mapred.JobClient: Launched map tasks=2

14/08/19 19:56:33 INFO mapred.JobClient: Data-local map tasks=2

14/08/19 19:56:33 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=52354

14/08/19 19:56:33 INFO mapred.JobClient: File Input Format Counters

14/08/19 19:56:33 INFO mapred.JobClient: Bytes Read=0

14/08/19 19:56:33 INFO mapred.JobClient: File Output Format Counters

14/08/19 19:56:33 INFO mapred.JobClient: Bytes Written=8894

14/08/19 19:56:33 INFO mapred.JobClient: FileSystemCounters

14/08/19 19:56:33 INFO mapred.JobClient: FILE_BYTES_READ=180602

14/08/19 19:56:33 INFO mapred.JobClient: PDFS_BYTES_READ=385698

14/08/19 19:56:33 INFO mapred.JobClient: FILE_BYTES_WRITTEN=711086

14/08/19 19:56:33 INFO mapred.JobClient: PDFS_BYTES_WRITTEN=9332

14/08/19 19:56:33 INFO mapred.JobClient: Extjoiner.ExitStatus

14/08/19 19:56:33 INFO mapred.JobClient: map.00=0

14/08/19 19:56:33 INFO mapred.JobClient: reduce.01=0





14/08/19 19:56:33 INFO mapred.JobClient: Map-Reduce Framework

14/08/19 19:56:33 INFO mapred.JobClient: Map output materialized bytes=185782

14/08/19 19:56:33 INFO mapred.JobClient: Map input records=10000

14/08/19 19:56:33 INFO mapred.JobClient: Reduce shuffle bytes=185782

14/08/19 19:56:33 INFO mapred.JobClient: Spilled Records=18078

14/08/19 19:56:33 INFO mapred.JobClient: Map output bytes=358578

14/08/19 19:56:33 INFO mapred.JobClient: Total committed heap usage (bytes)=688914432

14/08/19 19:56:33 INFO mapred.JobClient: CPU time spent (ms)=9650

14/08/19 19:56:33 INFO mapred.JobClient: Map input bytes=256625

14/08/19 19:56:33 INFO mapred.JobClient: SPLIT_RAW_BYTES=506

14/08/19 19:56:33 INFO mapred.JobClient: Combine input records=0

14/08/19 19:56:33 INFO mapred.JobClient: Reduce input records=9039

14/08/19 19:56:33 INFO mapred.JobClient: Reduce input groups=1000

14/08/19 19:56:33 INFO mapred.JobClient: Combine output records=0

14/08/19 19:56:33 INFO mapred.JobClient: Physical memory (bytes) snapshot=977354752

14/08/19 19:56:33 INFO mapred.JobClient: Reduce output records=1000

14/08/19 19:56:33 INFO mapred.JobClient: Virtual memory (bytes) snapshot=8344576000

14/08/19 19:56:33 INFO mapred.JobClient: Map output records=9039

[bdppuser1@develop sample2]$

- 232 -

18.5.1.2 ジョブ失敗時の例（実行する外部プログラムが見つからない例）

以下は、存在しないプログラムをReduceアプリケーションしてMapReduce設定ファイルに指定したことにより、Hadoopジョブの実行が失

敗した例です

途中までReduceタスクが進捗します（例では66%まで）が、その後タイムアウトが発生し、Reduceタスクが失敗しています。その後Hadoopによりリトライされますが、同じ結果が繰り返されジョブがエラーで終了しています。

[bdppuser1@bdpp-dev sample2]$ /opt/FJSVbdpp/bin/bdpp_submitjob -conf ./conf/configuration.conf -files ./lib/sample2.jar










14/08/19 19:01:42 INFO mapred.JobClient: Task Id : attempt_201408191146_0017_r_000000_0, Status : FAILED

Task attempt_201408191146_0017_r_000000_0 failed to report status for 10 seconds. Killing!























14/08/19 19:03:05 INFO mapred.JobClient: Failed reduce tasks=1






















- 233 -





EX0003:ジョブの実行に失敗しました。

[bdppuser1@bdpp-dev sample2]$

この例では、「attempt_201408191146_0017_r_000000_2」のタスクでエラーが起きていることがわかります。

このため、エラー内容はタスクログを確認する必要があります。

スレーブサーバのタスクログを確認します。

$ more /var/log/hadoop/mapred/userlogs/job_201408191146_0017/attempt_201408191146_0017_r_000000_2/syslog

ログには、タスク実行に伴いHadoopが出力する情報が含まれるため、様々な情報が出力されています。この中から、エラー(ERROR)や例外(Exception)が出力されている箇所を探します。

2014-08-19 19:03:04,279 INFO com.fujitsu.labs.extjoiner.MidFileCommandBuilder: コマンドの起動に失敗しました

java.io.IOException: Cannot run program "Aggregate": java.io.IOException: error=2, No such file or directory

at java.lang.ProcessBuilder.start(ProcessBuilder.java:460)

at com.fujitsu.labs.extjoiner.MidFileCommandBuilder.startCommand(MidFileCommandBuilder.java:841)

at com.fujitsu.labs.extjoiner.MidFileCommandBuilder.onConfigure(MidFileCommandBuilder.java:475)

at com.fujitsu.labs.extjoiner.ExtJoinerReduce.configure(ExtJoinerReduce.java:122)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:597)

at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:88)

at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:64)

at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)

at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:485)

at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:420)

at org.apache.hadoop.mapred.Child$4.run(Child.java:255)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:396)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)

at org.apache.hadoop.mapred.Child.main(Child.java:249)

Caused by: java.io.IOException: java.io.IOException: error=2, No such file or directory

at java.lang.UNIXProcess.<init>(UNIXProcess.java:148)

at java.lang.ProcessImpl.start(ProcessImpl.java:65)

at java.lang.ProcessBuilder.start(ProcessBuilder.java:453)

... 17 more

2014-08-19 19:03:04,280 ERROR com.fujitsu.labs.extjoiner.MidFileCommandBuilder: コマンド実行の開始に失敗しました。詳細は

例外情報を参照してください。

java.lang.RuntimeException: コマンドの起動に失敗しました

メッセージから、「Aggregate」という外部プログラムが見つからないためエラーになっていることがわかります。

18.5.1.3 ジョブ失敗時の例（外部プログラムで実行時エラーが起きている例）

以下は、ReduceタスクとしてJava言語で実装した外部プログラムを実行した際、実行時エラーが発生しHadoopジョブの実行が失敗した

例です。

Reduceタスクは100%まで進捗しますが、ジョブはエラーで終了します。

[bdppuser1@develop sample2]$ /opt/FJSVbdpp/bin/bdpp_submitjob -conf ./conf/configuration.conf -files ./lib/sample2.jar







- 234 -

















14/08/19 19:49:37 INFO mapred.JobClient: File Output Format Counters

14/08/19 19:49:37 INFO mapred.JobClient: Bytes Written=0
















14/08/19 19:49:37 INFO mapred.JobClient: Reduce shuffle bytes=185782








14/08/19 19:49:37 INFO mapred.JobClient: Reduce input records=9039

14/08/19 19:49:37 INFO mapred.JobClient: Reduce input groups=1000



14/08/19 19:49:37 INFO mapred.JobClient: Reduce output records=0



EX0003:ジョブの実行に失敗しました。

[bdppuser1@develop sample2]$

ログから、Reduceタスクが復帰値1を返していることがわかります。

発生したエラーを確認するために、外部プログラムが出力した情報を参照します。

[bdppuser1@develop sample2]$ hadoop dfs -copyToLocal sample2_output ./sample2_output


[bdppuser1@develop sample2]$ tail sample2_output/currentdir/part-r-00000/stderr

ログ抜粋

Exception in thread "main" java.lang.NoClassDefFoundError: Join

Caused by: java.lang.ClassNotFoundException: Join

at java.net.URLClassLoader$1.run(URLClassLoader.java:202)

- 235 -

at java.security.AccessController.doPrivileged(Native Method)

at java.net.URLClassLoader.findClass(URLClassLoader.java:190)

at java.lang.ClassLoader.loadClass(ClassLoader.java:306)

at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)

at java.lang.ClassLoader.loadClass(ClassLoader.java:247)

Could not find the main class: Join. Program will exit.

上記から、実行しようとしたクラスが見つからなかったためにエラーとなっていることがわかります。

- 236 -

付録A コマンド

本付録では、本製品が提供するコマンドについて説明します。

コマンド一覧

コマンド名機能実行環境


サーバ

開発実行

環境

サーバ

連携

サーバプライ

マリ

セカン

ダリ

bdpp_addserver (*1) クローニングイメージの採

取および配備対象のス

レーブサーバの登録

○(*3)

(*5)

× × × ×

bdpp_backup (*1) 構成情報のバックアップ ○ ○ × ○ ○

bdpp_changeimagedir (*1) クローニングイメージ格納

ディレクトリの変更

○(*3)

(*5)

× × × ×

bdpp_changeslaves (*1) スレーブサーバ定義ファ

イルの反映

○ ○(*4) × × ×

bdpp_deployimage (*1) クローニングイメージの配

備

○(*3)

(*5)

× × × ×

bdpp_getimage (*1) クローニングイメージの採

取

○(*3)

(*5)

× × × ×

bdpp_lanctl (*2) ネットワークパラメーターの

自動設定の登録（V1.0.0互換）

○(*3)

(*5)

× × × ×

bdpp_listimage クローニングイメージの登

録状況表示

○(*3)

(*5)

× × × ×

bdpp_listserver スレーブサーバの登録状

況の表示

○(*3)

(*5)

× × × ×

bdpp_prepareserver (*2) ネットワークパラメーター

および iSCSI 名の自動設

定の登録

○(*5) × × × ×

bdpp_removeimage (*1) クローニングイメージの削

除

○(*3)

(*5)

× × × ×

bdpp_removeserver (*1) スレーブサーバの削除 ○(*3)

(*5)

× × × ×

bdpp_restore (*1) 構成情報のリストア ○ ○ × ○ ○

bdpp_start (*1) Hadoop の起動 ○ ○(*4) × × ×

bdpp_stat Hadoop の状態表示 ○ ○(*4) × × ×

bdpp_stop Hadoop の停止 ○ ○(*4) × × ×

bdpp_submitjob 外部プログラムの並列実

行

× × × ○ ×

bdpp_mkmlist 主キー一覧ファイルの作

成

× × × ○ ×

○：使用できます。

- 237 -

×：使用できません。

*1：これらのコマンドを同時に実行することはできません。また、同一コマンドを複数同時に実行できません。

*2：同一コマンドを複数同時に実行できません。

*3：仮想環境に導入したマスタサーバでは、これらのコマンドは利用しません。

*4：マスタサーバを二重化構成としている場合に、フェールオーバーによってマスタサーバ(セカンダリ)で運用を実施する際に利用

可能なコマンドです。マスタサーバ(プライマリ)で運用中の場合は、コマンドは利用しないでください。

*5：物理環境にマスタサーバを導入し、かつクローニング機能を利用しない環境では、これらのコマンドは利用しません。

ポイント

コマンドは、以下のディレクトリに配置されています。

・ /opt/FJSVbdpp/bin

A.1 bdpp_addserver名前

/opt/FJSVbdpp/bin/bdpp_addserver －クローニングイメージの採取および配備対象のスレーブサーバの登録

形式

bdpp_addserver clone.confファイルの格納ディレクトリ

機能説明

クローニングイメージを採取するおよび配備するスレーブサーバを登録します。

引数

clone.conf ファイルの格納ディレクトリ

clone.conf ファイルが格納されたディレクトリ名、または clone.conf ファイルの絶対パス名を指定します。


権限

root 権限

実行環境

マスタサーバ

終了ステータス

以下のステータスが返されます。

0

正常に処理されました。

0以外

エラーが発生しました。

- 238 -

A.2 bdpp_backup名前

/opt/FJSVbdpp/bin/bdpp_backup －構成情報のバックアップ

形式

bdpp_backup -d directory [-q]

機能説明

本製品に関連する構成情報をバックアップします。

オプション

-d directory

バックアップファイルの格納ディレクトリを絶対パスで指定します。

-q

このオプションを指定する場合は、クローニングイメージをバックアップしません。

このオプションは、物理環境に導入したマスタサーバ（プライマリ）のみで指定できます。

クローニング機能を利用しない場合は、このオプションの指定有無に関わらず、クローニングイメージをバックアップしません。


権限

root 権限

実行環境

マスタサーバ、開発実行環境サーバ、連携サーバ



0


0以外


注意

・ Hadoop が起動中の場合は、バックアップできません。bdpp_stop コマンドで Hadoop を停止した状態でバックアップしてください。

・既にバックアップファイルが格納されているディレクトリを指定することはできません。

・バックアップ処理中にエラーが発生した場合、指定した格納ディレクトリにバックアップファイルが不完全な状態で残存する場合が

あります。この場合、格納ディレクトリ配下に作成される FJSVbdpp-backup ディレクトリ配下すべてを削除してください。

- 239 -

A.3 bdpp_changeimagedir名前

/opt/FJSVbdpp/bin/bdpp_changeimagedir －クローニングイメージ格納ディレクトリの変更

形式

bdpp_changeimagedir クローニングイメージ格納ディレクトリ

機能説明

クローニングイメージ格納ディレクトリを変更します。

注意

本コマンドを実行した場合、クローニングイメージファイルがコピーされるため、時間がかかることがあります。

引数

クローニングイメージ格納ディレクトリ

変更先のクローニングイメージ格納ディレクトリ名を指定します。

注意

指定するディレクトリは、以下の条件を満たす必要があります。

－クローニングイメージファイル格納フォルダーまでのパスが100文字以内であること

－ディレクトリ名に全角文字と以下の記号を含まないこと

"""、"|"、":"、"*"、"?"、"."、"<"、">"、","、"%"、"&"、"^"、"="、"!"、";"、"#"、"'"、"+"、"["、"]"、"{"、"}"、"\"

－指定先が以下のディレクトリ配下ではないこと

- /opt/FJSVrcvmr

- /etc/opt/FJSVrcvmr

- /var/opt/FJSVrcvmr

－指定ディレクトリが空であること

クローニングイメージファイル格納先として新規ファイルシステムを作成した場合、"lost+found" という名前のディレクトリが作成

されるため、空にはなりません。

－作成したファイルシステムの配下にディレクトリを作成し、そのディレクトリを指定してください。

－権限に問題がないこと

安全のため、クローニングイメージファイル格納ディレクトリのすべての親ディレクトリのアクセス権は、以下のどれかに設定して

ください。

- システム管理者だけが書込みできる

- スティッキービットを設定し、ほかのユーザーがファイルの名前を変更、削除できないようにする

このような設定がされていなかった場合、クローニングイメージファイル格納フォルダーの変更処理が失敗することがあります。

- 240 -


権限

root 権限

実行環境

マスタサーバ



0


0以外


A.4 bdpp_changeslaves名前

/opt/FJSVbdpp/bin/bdpp_changeslaves －スレーブサーバ定義ファイルの反映

形式

bdpp_changeslaves

機能説明

スレーブサーバ定義ファイル(slaves)で変更されたスレーブサーバ情報を反映します。

オプション

ありません


権限

root 権限

実行環境

マスタサーバ



0


0以外


- 241 -

A.5 bdpp_deployimage名前

/opt/FJSVbdpp/bin/bdpp_deployimage －クローニングイメージの配備

形式

bdpp_deployimage servername [,...] imagename

機能説明

サーバシステムのイメージを他のサーバに配備します。

注意

－本コマンドを実行した場合、クローニングイメージファイルをサーバに配付するため、時間がかかることがあります。

－クローニングイメージの配備は同時に4つの処理まで実行できます。5つ以上の処理が要求された場合、実行中の処理が完了

するまで待機状態になります。

引数

servername [,...]

クローニングイメージを配付するサーバ名(/etc/sysconfig/network ファイルの HOSTNAME パラメーターに指定するホスト名)を指定します。

カンマ(",")を区切り文字として、配付するサーバを複数指定できます。

ポイント

サーバ名には、bdpp_listserver コマンドで表示されるサーバ名を指定してください。bdpp_listserver コマンドの詳細は、「A.9bdpp_listserver」を参照してください。

imagename

配付するクローニングイメージ名を指定します。


権限

root 権限

実行環境

マスタサーバ



0


- 242 -

0以外


A.6 bdpp_getimage名前

/opt/FJSVbdpp/bin/bdpp_getimage －クローニングイメージの採取

形式

bdpp_getimage servername imagename

機能説明

スレーブサーバのクローニングのためのサーバシステムのイメージを採取します。

注意

本コマンドを実行した場合、クローニングイメージファイルを採取するため、時間がかかることがあります。

引数

servername

採取対象のサーバ名(/etc/sysconfig/network ファイルの HOSTNAME パラメーターに指定するホスト名)を指定します。

ポイント


imagename

採取するクローニングイメージを識別する名前を指定します。

クローニングイメージの名前は、先頭文字が英字の32文字以内の文字列を指定します。使用可能文字は半角英数字とアンダー

スコア("_")です。

採取済のクローニングイメージの名前とは別の識別名を指定してください。同名を指定した場合はコマンドがエラー復帰しま

す。


権限

root 権限

実行環境

マスタサーバ



- 243 -

0


0以外


A.7 bdpp_lanctl名前

/opt/FJSVbdpp/bin/bdpp_lanctl －ネットワークパラメーターの自動設定の登録

形式

bdpp_lanctl ipaddr file1 file2

機能説明

クローニングイメージの採取および配付におけるネットワークパラメーターの自動設定を有効にします。

引数

ipaddr

クローニングイメージを採取するスレーブサーバの管理 LAN の IP アドレスを指定します。

file1

クローニングイメージを採取するスレーブサーバに合わせて作成した管理 LAN 情報の定義ファイル(FJSVrcx.conf)を絶対パス

名で指定します。

file2

ネットワークパラメーター自動設定用の定義ファイル ipaddr.conf を絶対パス名で指定します。


権限

root 権限

実行環境

マスタサーバ



0


0以外


- 244 -

参考

本コマンドは、旧版（V1.0.0）の下位互換性のために提供しています。通常は利用しません。

A.8 bdpp_listimage名前

/opt/FJSVbdpp/bin/bdpp_listimage －クローニングイメージの登録状況表示

形式

bdpp_listimage

機能説明

クローニングイメージの登録状況を確認します。

以下の項目を一覧表示します。

項目名内容

NAME クローニングイメージのイメージ名

VERSION 固定で、"1" を表示します。

CREATIONDATE クローニングイメージを採取した日時

COMMENT 固定で、"-" を表示します。

オプション

ありません


権限

root 権限

実行環境

マスタサーバ



0


0以外


- 245 -

使用例


IMAGEDIRECTORY

--------------

imagedir: /data/imagedir

NAME VERSION CREATIONDATE COMMENT

---- ------- ------------ -------

RX200img 1 2012/04/20-22:39:59 -

RX300img 1 2012/04/20-22:41:13 -

A.9 bdpp_listserver名前

/opt/FJSVbdpp/bin/bdpp_listserver －スレーブサーバの登録状況の表示

形式

bdpp_listserver

機能説明

クローニングイメージの採取および配備対象のスレーブサーバの登録状況を表示します。


項目名内容

PHYSICAL_SERVER 物理サーバ名

SERVER サーバ(物理 OS / VM ホスト)名

ADMIN_IP 管理LANのIPアドレス

STATUS サーバの状態

以下のどれかが表示されます。

・ normal

・ warning

・ unknown

・ stop

・ error

・ fatal

サーバの状態については、「ServerView Resource Orchestrator Express/Virtual Edition V3.1.2 運用ガイド」の「11.2 リソース状態」を参照してくださ

い。

MAINTENANCE 保守モードの状態

・保守モードに設定されている場合

"ON" が表示されます。

・保守モードが解除されている場合

"OFF" が表示されます。

- 246 -

オプション

ありません


権限

root 権限

実行環境

マスタサーバ



0


0以外


使用例



--------------- ------ -------- ------ -----------


slave2 - 192.168.1.22 stop -

slave3 - 192.168.1.23 stop -

slave4 - 192.168.1.24 stop -

slave5 - 192.168.1.25 stop -

A.10 bdpp_prepareserver名前

/opt/FJSVbdpp/bin/bdpp_prepareserver －ネットワークパラメーターおよび iSCSI 名の自動設定の登録

形式

bdpp_prepareserver -m ipaddr -o file -i file -f file [-v]

機能説明

クローニングにおけるネットワークパラメーターおよび iSCSI 名の自動設定を有効にします。

オプション

-m ipaddr

クローニングイメージを採取するスレーブサーバの管理 LAN の IP アドレスを指定します。

仮想環境へスレーブサーバを追加する場合は、クローン元のスレーブサーバの管理 LAN の IP アドレスを指定します。

- 247 -

-o file

ネットワークパラメーター自動設定用の定義ファイル FJSVrcx.conf を指定します。

クローニングイメージを採取するスレーブサーバの管理 LAN 情報を定義します。

仮想環境へスレーブサーバを追加する場合は、クローン元のスレーブサーバの管理 LAN 情報を定義します。

-i file

ネットワークパラメーター自動設定用の定義ファイル ipaddr.conf を指定します。

クローニングの対象となるすべてのスレーブサーバにおける業務 LAN、iSCSI-LAN 情報を定義します。仮想環境へスレーブ

サーバを追加する場合は、管理 LAN 情報も定義します。

-f file

iSCSI イニシエーター名の自動設定用の定義ファイル initiator.conf を指定します。

ETERNUS DX ディスクアレイに定義されたサーバごとの iSCSI 名を定義します。

各サーバとストレージシステム間のインターフェースにFibre Channelを使用する場合は、本オプションを省略してください。

-v

仮想環境へスレーブサーバを追加する場合に指定します。

物理環境へスレーブサーバを追加する場合は、本オプションを省略してください。


権限

root 権限

実行環境

マスタサーバ



0


0以外


A.11 bdpp_removeimage名前

/opt/FJSVbdpp/bin/bdpp_removeimage －クローニングイメージの削除

形式

bdpp_removeimage imagename

- 248 -

機能説明

bdpp_getimage コマンドで採取したクローニングイメージを削除します。

引数

imagename

クローニングイメージ名を指定します。


権限

root 権限

実行環境

マスタサーバ



0


0以外


A.12 bdpp_removeserver名前

/opt/FJSVbdpp/bin/bdpp_removeserver －スレーブサーバの削除

形式

bdpp_removeserver servername

機能説明

bdpp_addserver コマンドで登録したクローニング採取および配備対象のスレーブサーバを削除します。

引数

servername

削除対象のサーバ名(/etc/sysconfig/network ファイルの HOSTNAME パラメーターに指定するホスト名)を指定します。

ポイント


- 249 -


権限

root 権限

実行環境

マスタサーバ



0


0以外


A.13 bdpp_restore名前

/opt/FJSVbdpp/bin/bdpp_restore －構成情報のリストア

形式

bdpp_restore -d directory

機能説明

本製品に関連する構成情報をリストアします。

オプション

-d directory

バックアップファイルの格納ディレクトリを絶対パスで指定します。


権限

root 権限

実行環境

マスタサーバ、開発実行環境サーバ、連携サーバ



0


0以外


- 250 -

注意

各サーバのハードウェア構成およびソフトウェア構成は、bdpp_backup コマンドによってバックアップした時点から変更されていない必


A.14 bdpp_start名前

/opt/FJSVbdpp/bin/bdpp_start － Hadoop の起動

形式

bdpp_start [-f]

機能説明

本製品の Hadoop を起動します。

マスタサーバの Hadoop の JobTracker、接続対象となるすべてのスレーブサーバの Hadoop の TaskTracker をそれぞれ起動しま

す。

オプション

-f

Hadoop を強制起動します。

二重化構成のマスタサーバで異常が発生し、JobTracker が自動的に起動されない場合など、強制的に起動させる必要がある

場合のみ本オプションを指定してください。

参照

強制起動が必要となる状況については、「16.1.1 マスタサーバが二重化構成の場合」を参照してください。


権限

root 権限

実行環境

マスタサーバ



0


0以外


- 251 -

注意

bdpp_start コマンドと bdpp_stop コマンドが同時に実行された場合、マスタサーバの Hadoop の JobTracker、またはスレーブサーバ

の Hadoop の TaskTracker の起動状態に不整合を生じることがあります。

この場合、bdpp_stat -all コマンドにより状態を確認した上で、再度 bdpp_start コマンドを実行することで、下表に示すようにマスタサー

バの Hadoop の JobTracker、およびスレーブサーバの Hadoop の TaskTracker をすべて起動させることができます。

表A.1 bdpp_stat -all コマンドの状態と bdpp_start コマンドの実行結果

マスタサーバの

JobTrackerスレーブサーバの

TaskTrackerbdpp_start の実行結果

起動されていない起動されていない・マスタサーバの JobTracker、およびすべてのスレーブサー

バの TaskTracker を起動する

一部のスレーブサーバで起

動されている

・マスタサーバの JobTracker、およびスレーブサーバのうち未

起動の TaskTracker を起動する

すべてのスレーブサーバで

起動されている

・マスタサーバの JobTracker のみ起動する

起動されている起動されていない・ "bdpp: WARN : 001: bdpp Hadoop is already started." メッ

セージの出力

・すべてのスレーブサーバの TaskTracker を起動する

一部のスレーブサーバで起

動されている

・ "bdpp: WARN : 001: bdpp Hadoop is already started." メッ

セージの出力

・スレーブサーバのうち未起動の TaskTracker を起動する

すべてのスレーブサーバで

起動されている

・ "bdpp: WARN : 001: bdpp Hadoop is already started." メッ

セージの出力のみ

A.15 bdpp_stat名前

/opt/FJSVbdpp/bin/bdpp_stat － Hadoop の状態表示

形式

bdpp_stat [-all]

機能説明

本製品の Hadoop の起動または停止状態を確認します。

オプション

-all

マスタサーバ上の JobTracker およびスレーブサーバ上の TaskTracker プロセスを表示します。


- 252 -

内容

プロセスが起動しているホスト名

プロセスを起動したユーザー名（mapred 固定）

プロセスが起動しているサーバ上のプロセス ID

プロセス名(jobtracker または tasktracker)

省略時

マスタサーバ上の JobTracker の状態を表示します。


権限

root 権限

実行環境

マスタサーバ



0

Hadoop は起動されています。

0以外

Hadoop は起動されていません。

使用例

-all を指定した場合









省略した場合

# /opt/FJSVbdpp/bin/bdpp_stat <Enter>


A.16 bdpp_stop名前

/opt/FJSVbdpp/bin/bdpp_stop － Hadoop の停止

形式

bdpp_stop

- 253 -

機能説明

本製品の Hadoop を停止します。

マスタサーバの Hadoop の JobTracker、接続対象となるすべてのスレーブサーバの Hadoop の TaskTracker をそれぞれ停止しま

す。

オプション

ありません


権限

root 権限

実行環境

マスタサーバ



0


0以外


注意

bdpp_start コマンドと bdpp_stop コマンドが同時に実行された場合、マスタサーバの JobTracker、またはスレーブサーバの TaskTrackerの起動状態に不整合を生じることがあります。

この場合は、bdpp_start コマンドの注意を確認し、Hadoop の JobTracker および TaskTracker を再起動した上で、必要に応じて停止し

てください。

A.17 bdpp_submitjob名前

/opt/FJSVbdpp/bin/bdpp_submitjob －外部プログラムの並列実行

形式

bdpp_submitjob -conf MapReduce設定ファイルのパス [汎用Hadoopコマンドラインオプション]

機能説明

外部プログラムを並列実行するためのHadoopジョブを実行します。

- 254 -

オプション

-conf MapReduce設定ファイルのパス

MapReduce設定ファイルのパスを指定してください。

引数

汎用Hadoopコマンドラインオプション

タスクのタイムアウト時間などの汎用Hadoopコマンドラインオプションを指定します。本引数は省略可能な引数です。


権限

ジョブ実行ユーザー権限

実行環境



以下のステータスが返されます。ただし、外部プログラムが復帰値を返す場合は、その大値を返します。

0


0以外


A.18 bdpp_mkmlist名前

/opt/FJSVbdpp/bin/bdpp_mkmlist －主キー一覧ファイルの作成

形式

bdpp_mkmlist -conf MapReduce設定ファイルのパス [汎用Hadoopコマンドラインオプション]

機能説明

主キー一覧ファイルを作成するHadoopジョブを実行します。ジョブが成功すると、MapReduce設定ファイルの「extjoiner.mainkeylist」プロパティで指定したパスに、主キー一覧ファイルが作成されます。

また、本コマンドを実行すると、主キーの出現数の標準偏差が表示されます。合わせて表示されるメッセージを参考に、振り分け機

能を有効にするか決めることができます。

オプション

-conf MapReduce設定ファイルのパス

MapReduce設定ファイルのパスを指定してください。

- 255 -

引数

汎用Hadoopコマンドラインオプション

タスクのタイムアウト時間などの汎用Hadoopコマンドラインオプションを指定します。本引数は省略可能な引数です。


権限

ジョブ実行ユーザー権限

実行環境




0


0以外


- 256 -

付録B 定義ファイル

本付録では、本製品のシステム構築時およびクローニングで使用するシステム構成情報の定義ファイルについて説明します。

定義ファイル一覧

定義ファイルファイル概要説明

bdpp.conf 構成ファイル本製品のインストール、セットアップに必要な情報を定義す

るファイルです。

slaves スレーブサーバ定義ファイルマスタサーバの接続対象となるスレーブサーバを定義する

ファイルです。

clone.conf クローニングサーバ定義ファ

イル

スマートセットアップのための、クローニングによるスレーブ

サーバを追加・削除する際に定義するファイルです。

FJSVrcx.conf ネットワークパラメーター自動

設定定義ファイル

クローニング後にネットワークパラメーターを自動設定する

ための定義ファイルです。

ipaddr.conf ネットワークパラメーター自動

設定定義ファイル

クローニング後にネットワークパラメーターを自動設定する

ための定義ファイルです。

initiator.conf iSCSI イニシエーター設定定

義ファイル

ETERNUS DX ディスクアレイに定義されたサーバごとの

iSCSI 名を自動設定するための定義ファイルです。

各定義ファイルを使用する環境は以下のとおりです。

定義ファイル使用環境


サーバ

開発実行

環境

サーバ

連携


bdpp.conf (*1) ○ ○ ○ ○ ○

slaves (*2) ○ ○ ○ ○ ×

clone.conf ○(*3)(*4) × × × ×

FJSVrcx.conf ○(*4) × × × ×

ipaddr.conf ○(*4) × × × ×

initiator.conf ○(*4) × × × ×

○：使用します。

×：使用しません。

*1：構成ファイル bdpp.conf はサーバ毎に別途作成します。

*2：スレーブサーバ定義ファイル slaves は各サーバ間で定義内容を一致させておく必要があります。定義内容を変更する場合は、

必ずマスタサーバ(プライマリ)上の定義ファイルを更新し、他のサーバにはマスタサーバ(プライマリ)上のファイルをコピーするよう

にしてください。

*3：仮想環境に導入したマスタサーバでは、このファイルは利用しません。

*4：物理環境にマスタサーバを導入し、かつクローニング機能を利用しない場合は、このファイルは利用しません。

B.1 bdpp.conf構成ファイル bdpp.conf の設定内容について説明します。

ファイルの格納場所

/etc/opt/FJSVbdpp/conf/bdpp.conf

- 257 -

ファイルの内容

本製品のインストールおよびセットアップに必要な情報を定義します。

サーバ機能ごとにファイルを作成する必要があります。

書式

以下の形式の行で構成されます。

<パラメーター>=<指定値>

各サーバで定義するパラメーターについては以下を参照してください。

－マスタサーバの定義内容

－スレーブサーバの定義内容

－開発実行環境サーバの定義内容

－連携サーバの定義内容

注意

指定値が "選択" となっているパラメーターについて

"<パラメーター>=" までを記述し、値を省略してください。

BDPP_PCL_PRIMARY_CONNECT2=

指定値が "省略可" となっているパラメーターについて

パラメーター行自体を省略できます。

ポイント

bdpp.conf のひな形が、本製品の提供媒体(DVD-ROM)の /DISK1/config_template 配下にサーバの種別単位に格納されています。

該当のひな形をシステムの作業ディレクトリにコピーしてからパラメーターを編集して作成してください。

注意

インストール時は、任意のディレクトリに構成ファイルを作成してください。インストール前に環境変数 BDPP_CONF_PATH に作成した

構成ファイルの格納ディレクトリを指定する必要があります。


マスタサーバの構成ファイルに設定するパラメーターを以下に示します。

項

番パラメーター

必須／

選択

指定値

（設定例）説明

1 BDPP_CLUSTER_NAME 必須 cluster クラスタに設定する仮想ホスト名を

指定します。

2 BDPP_CLUSTER_IP 必須 10.10.10.1 クラスタに設定する仮想 IP アドレ

スを指定します。

3 BDPP_PRIMARY_NAME 必須 master1 マスタサーバ(プライマリ)の代表ホ

スト名(業務 LAN に接続する NICに対応するホスト名)を指定しま

す。

- 258 -

項


必須／

選択

指定値


4 BDPP_PRIMARY_IP 必須 10.10.10.11 マスタサーバ(プライマリ)の業務

LAN に接続する代表 IP アドレス

を指定します。

(図中の業務 LAN1 に接続する

IP アドレス)

5 BDPP_PRIMARY_ADM_IP 必須 192.168.1.1 マスタサーバ(プライマリ)の管理

LAN に接続する IP アドレスを指

定します。

(図中の管理 LAN に接続する IPアドレス)

6 BDPP_SECONDARY_NAME 選択 master2 マスタサーバ(セカンダリ)の代表

ホスト名(業務 LAN に接続する

NIC に対応するホスト名)を指定し

ます。

マスタサーバを二重化しない場合

は、値を省略してください。

7 BDPP_SECONDARY_IP 選択 10.10.10.12 マスタサーバ(セカンダリ)の業務

LANに接続する代表IPアドレスを

指定します。

(図中の業務LAN1に接続するIPアドレス)



8 BDPP_SECONDARY_ADM_IP 選択 192.168.1.2 マスタサーバ(セカンダリ)の管理

LAN に接続する IP アドレスを指

定します。

(図中の管理 LAN に接続する IPアドレス)



9 BDPP_PCL_CLUSTER_GROUP 必須 bdppcluster クラスタに設定するクラスタグルー

プ名を指定します。

クラスタグループ名は、先頭文字

を英字とし、半角英数字で構成さ

れた31文字以下の英数字で指定


10 BDPP_PCL_PRIMARY_iRMC_IP 選択 192.168.1.11 マスタサーバ(プライマリ)のリモー

トマネジメントコントローラーのIPア

ドレスを指定します。

仮想環境にマスタサーバを構築

する場合は、値を省略してくださ

い。

11 BDPP_PCL_PRIMARY_iRMC_ACCOUNT 選択 root マスタサーバ(プライマリ)のリモー

トマネジメントコントローラーのアカ

ウントを指定します。

- 259 -

項


必須／

選択

指定値




い。

12 BDPP_PCL_PRIMARY_iRMC_PASS 選択 password マスタサーバ(プライマリ)のリモー

トマネジメントコントローラーのパス

ワードを指定します。



い。

13 BDPP_PCL_SECONDARY_iRMC_IP 選択 192.168.1.12 マスタサーバ(セカンダリ)のリモー

トマネジメントコントローラーのIPア

ドレスを指定します。





い。

14 BDPP_PCL_SECONDARY_iRMC_ACCOUNT 選択 root マスタサーバ(セカンダリ)のリモー

トマネジメントコントローラーのアカ

ウントを指定します。





い。

15 BDPP_PCL_SECONDARY_iRMC_PASS 選択 password マスタサーバ(セカンダリ)のリモー

トマネジメントコントローラーのパス

ワードを指定します。





い。

16 BDPP_PCL_PRIMARY_CIP 必須 192.168.2.11 マスタサーバ(プライマリ)の CIP(クラスタインタコネクトプロトコル)に使用する IP アドレス(*1)を指定し

ます。

17 BDPP_PCL_SECONDARY_CIP 選択 192.168.2.12 マスタサーバ(セカンダリ)の CIP(クラスタインタコネクトプロトコル)に使用する IP アドレス(*1)を指定し

ます。



18 BDPP_PCL_PRIMARY_CONNECT1 必須 eth5 クラスタ間の接続に使用するマス

タサーバ(プライマリ)側の NIC 名(NIC5)を指定します。

クラスタインタコネクトに使用する

ネットワークインターフェースは、

- 260 -

項


必須／

選択

指定値


システム起動時に活性化するよう

設定してください。ただし、IP アド

レスを割当ててはいけません。

19 BDPP_PCL_PRIMARY_CONNECT2 選択 eth6 クラスタ間の接続に使用するマス

タサーバ(プライマリ)側の NIC 名(NIC6)を指定します。

クラスタインタコネクトに使用する

ネットワークインターフェースは、

システム起動時に活性化するよう

設定してください。ただし、 IP アド

レスを割当ててはいけません。

クラスタインタコネクトをシングル構

成とする場合は、値を省略してく

ださい。

20 BDPP_PCL_SECONDARY_CONNECT1 選択 eth5 クラスタ間の接続に使用するマス

タサーバ(セカンダリ)側のNIC 名(NIC5)を指定します。



21 BDPP_PCL_SECONDARY_CONNECT2 選択 eth6 クラスタ間の接続に使用するマス

タサーバ(セカンダリ)側の NIC 名(NIC6)を指定します。

クラスタインタコネクトをシングル構

成とする場合は、値を省略してく

ださい。



22 BDPP_GLS_PRIMARY_CONNECT1 必須 eth1 スレーブサーバ間の接続に使用

するマスタサーバ(プライマリ)のNIC 名(NIC1)を指定します。


NIC)

23 BDPP_GLS_PRIMARY_CONNECT2 選択 eth2 スレーブサーバ間の接続に使用

するマスタサーバ(プライマリ)のNIC 名(NIC2)を指定します。


NIC)

業務 LAN をシングル構成とする

場合は、値を省略してください。



い。

24 BDPP_GLS_SECONDARY_CONNECT1 選択 eth1 スレーブサーバ間の接続に使用

するマスタサーバ(セカンダリ)のNIC名(NIC1)を指定します。


NIC)

- 261 -

項


必須／

選択

指定値




25 BDPP_GLS_SECONDARY_CONNECT2 選択 eth2 スレーブサーバ間の接続に使用

するマスタサーバ(セカンダリ)のNIC 名(NIC2)を指定します。


NIC)







い。

26 BDPP_GLS_POLLING1_IP 必須 10.10.10.100 監視先 HUB ホストの IP アドレス


(図中の業務 LAN1 上の監視先

HUB ホスト)

27 BDPP_GLS_POLLING2_IP 選択 10.10.10.101 監視先 HUB ホストの IP アドレス


(図中の業務 LAN2 上の監視先

HUB ホスト)





い。

28 BDPP_GLS_NETMASK 省略

可

255.255.0.0 業務 LAN の IP アドレスに対する

ネットマスクを指定します。

省略した場合は、"255.255.255.0"がネットマスクとして設定されま

す。

29 BDPP_DISKARRAY_iSCSI1_IP 選択 10.10.11.11 DFSの管理パーティションが構成

されたETERNUS DX ディスクアレ

イの iSCSI-CA ポートの IP アドレ

スを指定します。

iSCSI-LAN以外の接続の場合


30 BDPP_DISKARRAY_iSCSI2_IP 選択 10.10.12.11 ETERNUS DX ディスクアレイとの

接続を二重化している場合、接続

する ETERNUS DX ディスクアレ

イの iSCSI-CA ポートのもう一方

の IP アドレスを指定します。

iSCSI LAN をシングル構成とする


- 262 -

項


必須／

選択

指定値




い。

iSCSI-LAN以外の接続の場合


31 BDPP_ROR_INSTALL 省略

可

NO 物理環境でクローニング機能を利

用しない場合のみ、NO(noも可)を指定します。



い。

32 BDPP_ROR_ADMIN_IP 選択 192.168.1.1 ServerView ResourceOrchestrator Virtual Edition のイ

ンストール時に指定するマスタ

サーバ(プライマリ)の管理 LANの IP アドレスを指定します。


する場合、または

BDPP_ROR_INSTALLにNOを

指定する場合は、値を省略してく

ださい。

33 BDPP_ROR_ADMIN_ACCOUNT 選択 root ServerView ResourceOrchestrator Virtual Edition のイ


サーバ(プライマリ)のアカウントを

指定します。





ださい。

34 BDPP_ROR_ADMIN_PASS 選択 password ServerView ResourceOrchestrator Virtual Edition のイ


サーバ(プライマリ)のパスワードを

指定します。





ださい。

35 BDPP_PDFS_FILESYSTEM 必須 YES ファイルシステムとして、DFS を使

用する場合に YES(yesも可)を指

定します。

36 BDPP_PDFS_MOUNTPOINT 選択 /mnt/pdfs DFS のマウントポイントを指定しま

す。

本パラメーターは、

BDPP_PDFS_FILESYSTEM にYES を指定した場合、必須となり

ます。

- 263 -

項


必須／

選択

指定値


37 BDPP_HADOOP_DEFAULT_USERS 選択 bdppuser1,1500 MapReduce の実行およびファイ

ルシステム(DFS)へのアクセス権

を持つユーザーID を登録する場

合にユーザー名およびユーザー

ID を指定します。

複数のユーザーID を登録可能で

す(*2)。

38 BDPP_HADOOP_DEFAULT_GROUP 選択 bdppgroup,1500

MapReduce の実行およびファイ

ルシステム(DFS)へのアクセスす

るためのユーザーグループ名お

よびグループID を登録する場合

に指定します。

39 BDPP_HADOOP_TOP_DIR 選択 /hadoop ファイルシステム(DFS)上の

Hadoop で利用するデータを格納

するための上位ディレクトリ名を

指定します。

ここで指定されたディレクトリ配下

に Hadoop で利用するデータの格

納や Hadoop で処理された結果

データが格納されます。

40 BDPP_KVMHOST_IP 省略

可

192.168.1.100 シャットダウンエージェントの設定

に使用する KVM ホストマシンの

管理 LAN の IP アドレスを指定し

ます(*3)。

仮想環境（KVM）にマスタサーバ

を構築する場合のみ、指定してく

ださい。

41 BDPP_KVMHOST_ACCOUNT 省略

可

pcluser シャットダウンエージェントの設定

に使用する KVM ホストマシン上

のユーザーアカウントを指定しま

す。



ださい。

42 BDPP_KVMHOST_PASS 省略

可

password シャットダウンエージェントの設定

に使用する KVM ホストマシン上

のユーザーパスワードを指定しま

す。



ださい。

*1：インタコネクトのプライベート IP インターフェースは、プライベートネットワーク用に用意された IP アドレスを使用することにより、構

成が可能です。

*2：ユーザーID を複数登録する場合には、以下のように" "(空白)区切りでユーザー名とユーザーID を複数指定します。

bdppuser1,1500 bdppuser2,1501 bdppuser3,1502

*3：マスタサーバが二重化構成であり、かつ、マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)を導入する仮想マシンが異なるホス

トマシン上に存在する場合は、以下のように","(カンマ)区切りで2台のホストマシンの IP アドレスを指定します。

- 264 -

192.168.1.100,192.168.1.101

図B.1 マスタサーバのネットワーク構成と bdpp.conf パラメーター

*1：CIP(クラスタインタコネクトプロトコル)

*2：HUB 監視機能に利用する HUB ホスト

HUB 監視とは、近隣の HUB に対して ping を一定間隔で実行し、伝送路に異常を検出した場合に使用するインターフェースを切り

替える機能。


スレーブサーバの構成ファイルに設定するパラメーターを以下に示します。

項

番

パラメーター必須／

選択

指定値

（設定例）

説明

1 BDPP_CLUSTER_NAME 必須 cluster ＜マスタサーバと同じ値を設定します＞

2 BDPP_CLUSTER_IP 必須 10.10.10.1 ＜マスタサーバと同じ値を設定します＞

3 BDPP_PRIMARY_NAME 必須 master1 ＜マスタサーバと同じ値を設定します＞

4 BDPP_SECONDARY_NAME 選択 master2 ＜マスタサーバと同じ値を設定します＞

5 BDPP_SERVER_NAME 必須 slave1 スレーブサーバの代表ホスト名(業務 LANに接続する NIC に対応するホスト名)を指定します。

- 265 -

項

番


選択

指定値

（設定例）

説明

6 BDPP_SERVER_IP 必須 10.10.10.21 スレーブサーバの業務 LAN に接続する

代表 IP アドレスを指定します。

7 BDPP_GLS_SERVER_CONNECT1 必須 eth1 スレーブサーバ間の接続に使用するス

レーブサーバの NIC 名(NIC1)を指定し

ます。

(図中の業務 LAN1 に接続する NIC)

8 BDPP_GLS_SERVER_CONNECT2 選択 eth2 スレーブサーバ間の接続に使用するス

レーブリサーバの NIC 名(NIC2)を指定

します。

(図中の業務 LAN2 に接続する NIC)

業務 LAN をシングル構成とする場合は、

値を省略してください。

仮想環境にスレーブサーバを構築する


9 BDPP_GLS_SERVER_POLLING1_IP 必須 10.10.10.100 監視先 HUB ホストの IP アドレスを指定

します。

(図中の業務 LAN1 上の監視先 HUB ホスト)

10 BDPP_GLS_SERVER_POLLING2_IP 選択 10.10.10.101 監視先 HUB ホストの IP アドレスを指定

します。

(図中の業務 LAN2 上の監視先 HUB ホスト)

業務 LAN をシングル構成とする場合は、

値を省略してください。

仮想環境にスレーブサーバを構築する


11 BDPP_GLS_NETMASK 省略

可

255.255.0.0 業務 LAN の IP アドレスに対するネット

マスクを指定します。

省略した場合は、"255.255.255.0" がネッ

トマスクとして設定されます。

12 BDPP_ROR_INSTALL 省略

可

NO ＜マスタサーバと同じ値を設定します＞

13 BDPP_ROR_ADMIN_IP 選択 192.168.1.1 ＜マスタサーバと同じ値を設定します＞

14 BDPP_PDFS_FILESYSTEM 必須 YES ＜マスタサーバと同じ値を設定します＞

15 BDPP_PDFS_MOUNTPOINT 選択 /mnt/pdfs ＜マスタサーバと同じ値を設定します＞

16 BDPP_HADOOP_DEFAULT_USERS 選択 bdppuser1,1500 ＜マスタサーバと同じ値を設定します＞

17 BDPP_HADOOP_DEFAULT_GROUP 選択 bdppgroup,1500 ＜マスタサーバと同じ値を設定します＞

18 BDPP_HADOOP_TOP_DIR 選択 /hadoop ＜マスタサーバと同じ値を設定します＞

- 266 -

図B.2 スレーブサーバのネットワーク構成と bdpp.conf パラメーター


開発実行環境サーバの構成ファイルに設定するパラメーターを以下に示します。

項

番


選択

指定値

（設定例）

説明

1 BDPP_CLUSTER_NAME 必須 cluster ＜マスタサーバと同じ値を設定します＞

2 BDPP_CLUSTER_IP 必須 10.10.10.1 ＜マスタサーバと同じ値を設定します＞

3 BDPP_PRIMARY_NAME 必須 master1 ＜マスタサーバと同じ値を設定します＞

4 BDPP_SECONDARY_NAME 選択 master2 ＜マスタサーバと同じ値を設定します＞

5 BDPP_SERVER_NAME 必須 develop 開発実行環境サーバの代表ホスト名(業務 LAN に接続する NIC に対応するホ

スト名)を指定します。

6 BDPP_SERVER_IP 必須 10.10.10.30 開発実行環境サーバの代表 IP アドレス






- 267 -

項

番


選択

指定値

（設定例）

説明


図B.3 開発実行環境サーバのネットワーク構成と bdpp.conf パラメーター


連携サーバの構成ファイルに設定するパラメーターを以下に示します。

項

番


選択

指定値

（設定例）

説明

1 BDPP_SERVER_NAME 必須 collaborate 連携サーバの代表ホスト名(業務 LANに接続する NIC に対応するホスト名)を指定します。

2 BDPP_SERVER_IP 必須 10.10.10.31 連携サーバの代表 IP アドレスを指定し

ます。






- 268 -

図B.4 連携サーバのネットワーク構成と bdpp.conf パラメーター

定義例

構成ファイル bdpp.conf の定義例を示します。

ここでは、以下のシステム構成における各サーバの定義例となります。

・マスタサーバを二重化構成にする

・業務 LAN を二重化する

・クラスタインタコネクト(CIP)を二重化する

・ iSCSI を二重化する


BDPP_CLUSTER_NAME=cluster

BDPP_CLUSTER_IP=10.10.10.1

BDPP_PRIMARY_NAME=master1

BDPP_PRIMARY_IP=10.10.10.11

BDPP_PRIMARY_ADM_IP=192.168.1.1

BDPP_SECONDARY_NAME=master2

BDPP_SECONDARY_IP=10.10.10.12

BDPP_SECONDARY_ADM_IP=192.168.1.2

BDPP_PCL_CLUSTER_GROUP=bdppcluster

BDPP_PCL_PRIMARY_iRMC_IP=192.168.1.11

BDPP_PCL_PRIMARY_iRMC_ACCOUNT=irmc

BDPP_PCL_PRIMARY_iRMC_PASS=password

BDPP_PCL_SECONDARY_iRMC_IP=192.168.1.12

BDPP_PCL_SECONDARY_iRMC_ACCOUNT=irmc

BDPP_PCL_SECONDARY_iRMC_PASS=password

BDPP_PCL_PRIMARY_CIP=192.168.2.11

BDPP_PCL_SECONDARY_CIP=192.168.2.12

BDPP_PCL_PRIMARY_CONNECT1=eth5

BDPP_PCL_PRIMARY_CONNECT2=eth6

BDPP_PCL_SECONDARY_CONNECT1=eth5

- 269 -

BDPP_PCL_SECONDARY_CONNECT2=eth6

BDPP_GLS_PRIMARY_CONNECT1=eth1

BDPP_GLS_PRIMARY_CONNECT2=eth2

BDPP_GLS_SECONDARY_CONNECT1=eth1

BDPP_GLS_SECONDARY_CONNECT2=eth2

BDPP_GLS_POLLING1_IP=10.10.10.100

BDPP_GLS_POLLING2_IP=10.10.10.101

BDPP_DISKARRAY_iSCSI1_IP=10.10.11.11

BDPP_DISKARRAY_iSCSI2_IP=10.10.12.11

BDPP_ROR_ADMIN_IP=192.168.1.1

BDPP_ROR_ADMIN_ACCOUNT=admin

BDPP_ROR_ADMIN_PASS=password

BDPP_PDFS_FILESYSTEM=YES

BDPP_PDFS_MOUNTPOINT=/mnt/pdfs

BDPP_HADOOP_DEFAULT_USERS=bdppuser1,1500

BDPP_HADOOP_DEFAULT_GROUP=bdppgroup,1500

BDPP_HADOOP_TOP_DIR=/hadoop






BDPP_SERVER_NAME=slave1

BDPP_SERVER_IP=10.10.10.21

BDPP_GLS_SERVER_CONNECT1=eth1

BDPP_GLS_SERVER_CONNECT2=eth2

BDPP_GLS_SERVER_POLLING1_IP=10.10.10.100

BDPP_GLS_SERVER_POLLING2_IP=10.10.10.101

BDPP_ROR_ADMIN_IP=192.168.1.1











BDPP_SERVER_NAME=develop








BDPP_SERVER_NAME=collaborate





- 270 -



B.2 slavesスレーブサーバ定義ファイル slaves の設定内容について説明します。


/etc/opt/FJSVbdpp/conf/slaves


接続対象となるスレーブサーバを定義します。

書式

スレーブサーバのホスト名(業務 LAN に接続する NIC に対応するホスト名)を指定します。

複数ある場合は、ホスト名をカンマ(",")で区切って記載します。

<スレーブサーバ1>[,<スレーブサーバ2>][, ...]

定義例


B.3 clone.confクローニングサーバ定義ファイル clone.conf の設定内容について説明します。


任意のディレクトリ


クローニングイメージを採取するスレーブサーバ、およびスマートセットアップを利用して追加するスレーブサーバを定義します。

書式

1行ごとに定義する項目をカンマ(",")区切りで記述します。

各行は、以下の形式で記述します。

ファイル形式の定義

ファイルの先頭の1行は、必ず以下の内容で始めてください。

RCXCSV,V3.4

コメント

以下の内容の行はコメントとみなしてスキップされます。

- 行頭の文字がコメント記号("#")で始まる文字列の行

- 空白(" ")、タブ記号、改行だけの行

- カンマ(",")だけの行

- 認識できないリソース定義

例

コメント行

- 271 -

#開発環境の定義

リソース定義

Sever セクションおよび ServerAgent セクションを定義します。

【セクション名】

[Server]を指定します。

【セクションヘッダー】

セクションヘッダーおよび指定値には、以下を指定します。

セクションヘッダー指定値(設定例) 内容

operation new リソースの操作内容として、以下を指定します。

登録：new

変更：change

ハイフン("-")：何もしない

chassis_name －この情報は、省略してください。

slot_no －この情報は、省略してください。

server_name slave1 スレーブサーバのサーバ名(/etc/sysconfig/networkファイルの HOSTNAME パラメーターに指定する

ホスト名)を指定します。

サーバ名は、先頭文字を英字とし、半角英数字と

ハイフン("-")で構成された15文字以内の文字列を

指定してください。

ip_address 192.168.1.21 スレーブサーバの管理 LAN に接続する NIC に割

り振った IP アドレスを指定します。

mac_address A0-A0-A0-A0-A0-A0

管理 LAN に接続する NIC の MAC アドレスを指

定します。

ハイフン("-")またはコロン(":")で区切られた形式

("xx-xx-xx-xx-xx-xx"または"xx:xx:xx:xx:xx:xx")で入力します。

second_mac_address －この情報は、省略してください。

snmp_community_name public サーバに設定されている SNMP コミュニティー名

(参照権)を指定します。

半角英数字、アンダースコア("_")およびハイフン

("-")で構成された32文字以内の文字列を指定しま

す。

ipmi_ip_address 192.168.1.121 サーバを管理するリモートマネジメントコントローラー

の IP アドレスを指定します。

ipmi_user_name admin サーバを管理するリモートマネジメントコントローラー

の Administrator 権限以上を持つユーザー名を指

定します。

半角英数字および記号が ASCII 文字(0x20～0x7e)で構成された16文字以内の文字列を指定します。

ipmi_passwd admin サーバを管理するリモートマネジメントコントローラー

のパスワードを指定します。

半角英数字および記号が ASCII 文字(0x20～0x7e)で構成された16文字以内の文字列を指定します。

- 272 -


パスワードが設定されていない場合は指定する必


注意

すでに17文字以上のパスワードをリモートマネジメ

ントコントローラーに設定している場合、新規ユー

ザーを追加するか、16文字以内に再設定してくだ

さい。

ipmi_passwd_enc plain 以下のどちらかを指定します。

・ ipmi_passwd の文字列が平文の場合： "plain"

・暗号化されている場合： "encrypted"

admin_lan1_nic_number －この情報は、省略してください。

admin_lan2_nic_number －この情報は、省略してください。

admin_lan_nic_redundancy OFF この情報は、OFF を指定してください。

【セクション名】

[ServerAgent]を指定します。

【セクションヘッダー】

セクションヘッダーおよび指定値には、以下を指定します。


operation new リソースの操作内容として、以下を指定します。

登録：new

変更：change

ハイフン("-")：何もしない

server_name slave1 クローニングイメージを採取するスレーブサーバの

サーバ名(/etc/sysconfig/network ファイルの

HOSTNAME パラメーターに指定するホスト名)を指定します。

サーバ名は、先頭文字を英字とし、半角英数字と

ハイフン("-")で構成された15文字以下の英数字で

指定してください。

定義例

RCXCSV,V3.4

[Server]

operation,chassis_name,slot_no,server_name,ip_address,mac_address,second_mac_address,snmp_community_name,ipmi_ip_addr

ess,ipmi_user_name,ipmi_passwd,ipmi_passwd_enc,admin_lan1_nic_number,admin_lan2_nic_number,admin_lan_nic_redundancy

new,,,slave1,192.168.1.21,A0:A0:A0:A0:A0:A1,,public,192.168.1.121,admin,admin,plain,,,OFF





[ServerAgent]


new,slave1

- 273 -

B.4 FJSVrcx.confネットワークパラメーター自動設定定義ファイル FJSVrcx.conf の設定内容について説明します。




クローニング後に自動設定するネットワークパラメーターを定義します。

書式


<パラメーター>=<指定値>

パラメーターおよび指定値には、以下を指定します。

パラメーター指定値(設定例) 内容

admin_LAN 192.168.1.21 クローニングイメージを採取するスレーブサーバの管理 LAN の IP アドレスを指定します。

仮想環境でクローニングを行う場合は、クローン元のスレーブサーバ

の管理 LAN の IP アドレスを指定します。

hostname slave1 クローニングイメージを採取するスレーブサーバのサーバ名(/etc/sysconfig/network ファイルの HOSTNAME パラメーターに指定するホ

スト名)を指定します。

仮想環境でクローニングを行う場合は、クローン元のスレーブサーバ

のサーバ名を指定します。

定義例

admin_LAN=192.168.1.21

hostname=slave1

B.5 ipaddr.confネットワークパラメーター自動設定定義ファイル ipaddr.conf の設定内容について説明します。




スマートセットアップによってスレーブサーバを追加する際に、クローニングの対象となるスレーブサーバにおける業務 LAN、iSCSI-LAN を定義します。

また、仮想環境へスレーブサーバを追加する場合には、管理 LAN 情報も定義します。

注意

各サーバとストレージシステム間のインターフェースにFibre Channelを使用している場合は、iSCSI-LANの定義は不要です。

書式

以下のエントリーで構成されます。

－ 1つ以上のノードエントリー

- 274 -

－ノードエントリー配下に1つ以上のインターフェースエントリー(冗長化無/有)

各エントリーは以下の形式の行で構成されます。

<キーワード>="<指定値>"

ノードエントリー

以下の表に示す定義キーワードに対応する設定値を記述してください。

注意

ここでは、将来追加する可能性があるサーバ名も含めて、サーバ1台ごとに1エントリーずつすべて記述してください。

定義内容キーワード設定値説明

スレーブサーバ名 NODE_NAME スレーブサーバ名

スレーブサーバのサーバ名（/etc/sysconfig/network ファイルの

HOSTNAME パラメーターに指定す

るホスト名）を設定します。

インターフェースエントリー(冗長化無)


インターフェース名ごとに各定義キーワードの末尾に 0～99 の数字を付けて定義してください。

注意

- 各定義キーワードの末尾に付ける数字は、必ず 0 から昇順の値を使用してください。

- iSCSI-LAN を冗長化する場合、冗長化有インターフェースではなく、冗長化無インターフェースのエントリーを2つ定義して

ください。


インターフェース名 IF_NAME ethX X は 0 以上の整数です。

IP アドレス IF_IPADxxx.xxx.xxx.xxx 形式のIP

アドレス-

サブネットマスク IF_MASKxxx.xxx.xxx.xxx 形式のサ

ブネットマスク-

インターフェースエントリー(冗長化有)


インターフェース名ごとに各定義キーワードの末尾に 0～99 の数字を付けて定義してください。

同一ノードエントリー内でインターフェース名が重複しないインターフェースエントリー(冗長化無)と混在して定義できます。

注意

- 各定義キーワードの末尾に付ける数字は、必ず0から昇順の値を使用してください。

- 冗長化無のインターフェースと混在する場合、冗長化無インターフェースと併せて昇順に値を設定してください。

- 物理環境へスレーブサーバを追加し、かつ業務 LAN を冗長化する場合のみ、冗長化有インターフェースを定義します。

仮想環境へスレーブサーバを追加する場合、冗長化有インターフェースを定義することはできません。

- 275 -


仮想インターフェース

名VIF_NAME sha0 -

仮想インターフェース

に設定する IP アドレ

ス

VIF_IPADxxx.xxx.xxx.xxx 形式の IP

アドレス-

サブネットマスク VIF_MASKxxx.xxx.xxx.xxx 形式のサ

ブネットマスク-

プライマリインター

フェース名PRI_NAME インターフェース名(ethX)

X は 0 以上の整数です。

ペアになるインターフェース名のう

ち、プライマリのインターフェース名

を設定します。

セカンダリインター

フェース名SCD_NAME インターフェース名(ethY)

Y は 0 以上の整数です。

ペアになるインターフェース名のう

ち、セカンダリのインターフェース名

を設定します。

監視先 IP アドレス POL_ADDRxxx.xxx.xxx.xxx 形式の IP

アドレス

監視先 HUB ホストの IP アドレスをカ

ンマ(",")区切りで指定します。

イメージ採取対象スレーブサーバの

構成ファイル bdpp.conf における

BDPP_GLS_SERVER_POLLING1_IP および

BDPP_GLS_SERVER_POLLING2_IP を指定します。

待機パトロール用の仮

想インターフェース名PAT_NAME sha1 -

HUB-HUB 間監視の

有無POL_HUBS OFF

HUB-HUB 間監視は行わないため、

OFF を指定します。

参照

待機パトロールや HUB-HUB 間監視などの詳細は、「PRIMECLUSTER Global Link Services 説明書 4.3 （伝送路二重化機能

編）」の「2.4 NIC切替方式の監視機能」を参照してください。

定義例

次の構成における定義例（物理環境でクローニングを行う場合）：

・業務 LAN に接続する NIC ：eth1、eth2 （冗長化する）

・ iSCSI-LAN に接続する NIC ：eth3、eth4 （冗長化する）

NODE_NAME="slave1" ← クローニングイメージを採取するスレーブサーバ

VIF_NAME0="sha0"

VIF_IPAD0="10.10.10.21"

VIF_MASK0="255.255.255.0"

PRI_NAME0="eth1"

SCD_NAME0="eth2"

POL_ADDR0="10.10.10.100,10.10.10.101"

PAT_NAME0="sha1"

POL_HUBS0="OFF"

IF_NAME1="eth3"

IF_IPAD1="10.10.11.21"

- 276 -

IF_MASK1="255.255.255.0"

IF_NAME2="eth4"

IF_IPAD2="10.10.12.21"

IF_MASK2="255.255.255.0"

NODE_NAME="slave2" ← クローニングイメージの配付対象のスレーブサーバ

VIF_NAME0="sha0"

VIF_IPAD0="10.10.10.22"

VIF_MASK0="255.255.255.0"

PRI_NAME0="eth1"

SCD_NAME0="eth2"

POL_ADDR0="10.10.10.100,10.10.10.101"

PAT_NAME0="sha1"

POL_HUBS0="OFF"

IF_NAME1="eth3"

IF_IPAD1="10.10.11.22"

IF_MASK1="255.255.255.0"

IF_NAME2="eth4"

IF_IPAD2="10.10.12.22"

IF_MASK2="255.255.255.0"

NODE_NAME="slave3" ← クローニングイメージの配付対象のスレーブサーバ

VIF_NAME0="sha0"

VIF_IPAD0="10.10.10.23"

VIF_MASK0="255.255.255.0"

PRI_NAME0="eth1"

SCD_NAME0="eth2"

POL_ADDR0="10.10.10.100,10.10.10.101"

PAT_NAME0="sha1"

POL_HUBS0="OFF"

IF_NAME1="eth3"

IF_IPAD1="10.10.11.23"

IF_MASK1="255.255.255.0"

IF_NAME2="eth4"

IF_IPAD2="10.10.12.23"

IF_MASK2="255.255.255.0"

：

B.6 initiator.confiSCSI イニシエーター設定定義ファイル initiator.conf の設定内容について説明します。




ETERNUS DX ディスクアレイに定義されたサーバごとの iSCSI 名を定義します。

書式


<サーバ名>,<イニシエーター名>

サーバ名

スレーブサーバのサーバ名(/etc/sysconfig/network ファイルの HOSTNAME パラメーターに指定するホスト名)を指定します。

イニシエーター名

該当するサーバに対応する ETERNUS DX ディスクアレイに定義された iSCSI 名を指定します。

- 277 -

定義例

slave1,iqn.1994-05.com.redhat:875816c7c4ba

slave2,iqn.1994-05.com.redhat:875816c7c4bb

slave3,iqn.1994-05.com.redhat:875816c7c4bc

slave4,iqn.1994-05.com.redhat:875816c7c4bd

slave5,iqn.1994-05.com.redhat:875816c7c4be

- 278 -

付録C Hadoop 設定パラメーター

本付録では、本製品で提供する Hadoop に関する設定パラメーターについて説明します。

本製品のセットアップ時に、Hadoop から DFS を使用するためのパラメーターや Hadoop ジョブの並列分散処理の適化を行うパラ

メーターが自動的に設定されます。

ここでは、オープンソフトウェア Apache Hadoop で提供される設定ファイル（pdfs-site.xml を除く）において初期値から変更されるパラ

メーターと OS の設定ファイルに追加するパラメーターを示します。

設定ファイル一覧

設定ファイル説明配置ディレクトリ

hadoop-env.sh Hadoop で使用する環境変数を定義する設定ファイルです。 /etc/hadoop

core-site.xml Hadoop の共通的な設定ファイルです。 /etc/hadoop

mapred-site.xml MapReduce に関する設定ファイルです。 /etc/hadoop

pdfs-site.xml DFS に関する設定ファイルです。 /etc/hadoop

sysctl.conf カーネルパラメーターを記述する OS の設定ファイルです。 /etc

limits.conf システムのリソースを制限する OS の設定ファイルです。 /etc/security

注意

・設定ファイルの各パラメーターの詳細については、本書では説明しません。必要に応じて、Apache Hadoop プロジェクトの Webページ等を参照してください。

・構成設定をチューニングする場合は、スレーブサーバ数の変更に伴う設定変更（「13.1.7 Hadoop 設定パラメーターの変更」を参

照）を除き、セットアップ直後に変更することを推奨します。

なお、運用を開始した以降で Hadoop 設定パラメーターを変更する必要が生じた場合には、マスタサーバ、スレーブサーバおよび

開発実行環境サーバ毎に設定を見直してください。

C.1 hadoop-env.shhadoop-env.sh ファイルに設定する環境変数について説明します。

環境変数初期値／設定値

HADOOP_CLASSPATH

Hadoop を動作させる JVM の CLASSPATH

【初期値】

なし

【設定値】

$HADOOP_CLASSPATH:/opt/FJSVpdfs/lib/pdfs.jar

HADOOP_JOBTRACKER_OPTS

JobTracker を動作させる JVM 固有の起動オプ

ション

【初期値】

-Dcom.sun.management.jmxremote$HADOOP_JOBTRACKER_OPTS

【設定値】

-Xmx$$m -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=60001 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Djava.rmi.server.hostname=localhost -Dhadoop.security.logger=INFO,DRFAS -

- 279 -


Dmapred.audit.logger=INFO,MRAUDIT -Dhadoop.mapreduce.jobsummary.logger=INFO,JSA$HADOOP_JOBTRACKER_OPTS

$$ = 実装メモリ量(MB) ÷ 3

HADOOP_OPTS

Hadoop を動作させる JVM の起動オプション

【初期値】

なし

【設定値】

-Djava.net.preferIPv4Stack=true $HADOOP_OPTS

HADOOP_SSH_OPTS

Hadoop が ssh を使用する場合に ssh に指定す

るオプション

【初期値】

なし

【設定値】

-o StrictHostKeyChecking=no -o BatchMode=yes

HADOOP_TASKTRACKER_OPTS

TaskTracker を動作させる JVM 固有の起動オ

プション

【初期値】

なし

【設定値】

-Xmx$$m -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=60002 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Djava.rmi.server.hostname=localhost -Dhadoop.security.logger=ERROR,console -Dmapred.audit.logger=ERROR,console$HADOOP_TASKTRACKER_OPTS

$$ = 次のいずれか小さい方の値

・ 512

・実装メモリ量(MB) ÷ 6

HADOOP_USER_CLASSPATH_FIRST

HADOOP_CLASSPATH の指定を既存の

CLASSPATH の先頭に追加

【初期値】

なし

【設定値】

true

JAVA_HOME

Hadoop が利用する JVM のパス

【初期値】

なし

【設定値】

JVM のインストールディレクトリ

注意

いくつかのパラメタ（JVM 固有の起動オプション）の設定値が複数行で表示されている場合がありますが、指定値に改行が含まれる訳

ではありません。

- 280 -

C.2 core-site.xmlcore-site.xml ファイルで設定するプロパティについて説明します。

プロパティ初期値／設定値

fs.default.name

デフォルトで使用するファイルシステムへのアク

セスを提供する URI

【初期値】

file:///

【設定値】

pdfs:///

fs.pdfs.impl

ファイルシステムクラスを、任意の Scheme に割

り当て

【初期値】

なし

【設定値】

com.fujitsu.pdfs.fs.PdfsDirectFileSystem

io.file.buffer.size

ディスクやネットワークからのデータ読込み、書

込み時に利用するバッファのサイズ（単位：バイ

ト）

【初期値】

4096 (4KB)

【設定値】

131072 (128KB)

ipc.server.listen.queue.size

他サーバからの同時接続依頼を処理可能な数

【初期値】

128

【設定値】

1024 (*1)

*1 「C.5 sysctl.conf」の net.core.somaxconn と同じ値に設定します。

C.3 mapred-site.xmlmapred-site.xml ファイルで設定するプロパティについて説明します。


io.sort.factor

ディスクに書き出した各 map 処理結果(segment)をマージする個数

【初期値】

10

【設定値】

50

io.sort.mb

Map タスクの出力結果を保持するメモリ量（単

位：MB）

【初期値】

100

【設定値】

次のいずれか小さい方の値

・ 2047

・ mapred.child.java.opts の -Xmx × 0.5

mapred.child.java.opts

Map/Reduce タスクを実行する JVM に指定する

起動オプション

【初期値】

-Xmx200m

【設定値】

- 281 -


-server -Xmx$$m -Djava.net.preferIPv4Stack=TRUE

$$ = ( 実装メモリ量(MB) － 2048 ) ÷( mapred.tasktracker.map.tasks.maximum ＋mapred.tasktracker.reduce.tasks.maximum )

mapred.child.ulimit

Map/Reduce タスクのプロセス(アドレス)空間の

大サイズ（単位：KB）

【初期値】

なし

【設定値】

0（無制限）

mapred.compress.map.output

Map タスクの出力結果を圧縮するか否か

【初期値】

false

【設定値】

true

mapred.local.dir

MapReduce ジョブの中間ファイル格納ディレクト

リ

【初期値】

${hadoop.tmp.dir}/mapred/local

【設定値】

/var/lib/hadoop/mapred/local

mapred.max.tracker.failures

Map/Reduce タスク失敗時の同一 TaskTracker内での大リトライ数

【初期値】

4

【設定値】

40

mapred.reduce.parallel.copies

Reduce タスクを実行する TaskTracker が他の

TaskTracker の Map 結果を取得する多重度

【初期値】

5

【設定値】

20

mapred.reduce.tasks

MapReduce ジョブ内で大限動作させる Reduceタスクの数

【初期値】

1

【設定値】

mapred.tasktracker.reduce.tasks.maximum × スレーブサーバ数

mapred.task.tracker.http.address

TaskTracker の HTTP サーバのポート番号

【初期値】

0.0.0.0:50060

【設定値】

0.0.0.0:50060 （再設定します）

mapred.tasktracker.map.tasks.maximum

1つの TaskTracker で同時に実行する Map タス

ク数

【初期値】

2

【設定値】

次のいずれか大きい方の値

・ CPU のコア数－ 1

・共用ディスク装置へのデータ転送路数

mapred.tasktracker.reduce.tasks.maximum 【初期値】

- 282 -


1つの TaskTracker で同時に実行する Reduceタスク数

2

【設定値】


・ CPU のコア数 - 1

・共用ディスク装置へのデータ転送路数

mapred.userlog.limit.kb

タスクが出力する userlog の大値

【初期値】

0

【設定値】

1024

mapred.userlog.retain.hours

ジョブ完了以降、userlog を保持しておく時間（単

位：時間）

【初期値】

24 (1日)

【設定値】

168 (1週間) (*1)

mapreduce.history.server.embedded

ジョブヒストリ専用の JVM を起動するか、

JobTracker の JVM で動作させるか

【初期値】

なし

【設定値】

true

mapreduce.tasktracker.group

TaskTracker プロセスが所属するグループ

【初期値】

なし

【設定値】

hadoop

mapreduce.tasktracker.outofband.heartbeat

タスク完了時にJobtrackerへの生存通知を前倒

しするか否か

【初期値】

false

【設定値】

false （再設定します）

*1 HADOOP_LOG_DIR の許容量の範囲で指定します。

C.4 pdfs-site.xmlpdfs-site.xml ファイルで設定するプロパティについて説明します。

プロパティ設定値

pdfs.fs.local.basedir

DFS のマウントディレクトリのパス

構成ファイル bdpp.conf の BDPP_PDFS_MOUNTPOINT とBDPP_HADOOP_TOP_DIR を連結したパス

例

構成ファイル bdpp.conf が以下の設定の場合、/mnt/pdfs/hadoop にな

ります。

- 283 -

プロパティ設定値



pdfs.fs.local.homedir

DFS 用 FileSystem クラス上でのユーザー用の

ホームディレクトリパス

/user

pdfs.security.authorization

DFS 独自の MapReduce ジョブユーザー認証を

使用するか否か

true

pdfs.fs.local.buffer.size

Read／Write 時のデフォルトバッファサイズ（単

位：バイト）

524288 (512KB) (*1)

pdfs.fs.local.block.size

MapReduce ジョブで各 Map タスクに分割する

データサイズ（単位：バイト）

268435456 (256MB)

pdfs.fs.local.posix.umask

ファイルまたはディレクトリ作成時に設定するアク

セス権にプロセスの umask 値を反映するか否か

true (*2)

pdfs.fs.local.cache.location

キャッシュローカル MapReduce 機能を使用する

か否か

true

pdfs.fs.local.cache.minsize

キャッシュローカル MapReduce 機能の対象から

除外するファイルのサイズ（単位：バイト）

1048576 (1MB)

pdfs.fs.local.cache.procs

キャッシュローカル MapReduce 機能により、メモ

リキャッシュ情報を取得する際の多重実行数

40

*1 設定値と「C.2 core-site.xml」の io.file.buffer.size 値の大きい方が使用されます。

*2 true：umask 値を使用する(POSIX 互換)／false：umask 値を使用しない(HDFS 互換)

参考

キャッシュローカル MapReduce 機能について

pdfs.fs.local.cache.location を有効(true)にすることで、MapReduce ジョブ起動時に対象ファイルのメモリキャッシュ保持ノード情報を取

得し、キャッシュを持っているノードに Map タスクが優先的に割り当てられるようになり Map フェーズ処理が高速になります。

なお、メモリキャッシュ保持ノード情報の取得にはコストがかかるため、pdfs.fs.local.cache.minsize に指定したサイズ未満のファイルは

情報を取得しないようにすることができます。

C.5 sysctl.confsysctl.conf ファイルで設定するパラメーターについて説明します。

- 284 -

パラメーター名設定値

net.ipv4.ip_local_reserved_ports

ポート自動割当の対象外とするポート

8020,9000,10101,10102,50010,50020,50030,50060,50070,50075,50090,50470,50475,60001,60002 (*1)

net.core.somaxconn

ソケットが受け付けた接続要求を格納するキューの

大長

1024 (*2)

*1 本製品で使用する全ポートを指定します。

*2 「C.2 core-site.xml」の ipc.server.listen.queue.size と同じ値に設定します。

C.6 limits.conflimits.conf ファイルで設定するパラメーターについて説明します。

パラメーター名設定値

nofile

open 可能なファイル数

32768

nproc

起動可能なプロセス(スレッド)数

32000

例

以下に示すグループ単位で設定します。

・ hadoop グループ

・構成ファイル bdpp.conf の BDPP_HADOOP_DEFAULT_GROUP に指定したグループ

@hadoop - nofile 32768

@bdppgroup - nofile 32768

C.7 HDFS に関する設定（参考情報）

その他、設定を変更するパラメーターについて説明します。

以下に示すプロパティは、本製品では使用しません。ここでは、参考情報として掲載します。

hadoop-env.sh


HADOOP_DATANODE_OPTS

DataNode を動作させる JVM 固有の起動オプ

ション

【初期値】

-Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS

【設定値】

-Xmx$$m -Dhadoop.security.logger=ERROR,DRFAS$HADOOP_DATANODE_OPTS

$$ = 次のいずれか小さい方の値

- 285 -


・ 512

・実装メモリ量(MB) ÷ 12

HADOOP_NAMENODE_OPTS

NameNode を動作させる JVM 固有の起動オプ

ション

【初期値】

-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS

【設定値】

-Xmx$$m -Dhadoop.security.logger=INFO,DRFAS -Dhdfs.audit.logger=INFO,DRFAAUDIT$HADOOP_NAMENODE_OPTS


HADOOP_SECONDARYNAMENODE_OPTS

SecondaryNameNode を動作させる JVM 固有の

起動オプション

【初期値】

-Dcom.sun.management.jmxremote$HADOOP_SECONDARYNAMENODE_OPTS

【設定値】

-Xmx$$m -Dhadoop.security.logger=INFO,DRFAS -Dhdfs.audit.logger=INFO,DRFAAUDIT$HADOOP_SECONDARYNAMENODE_OPTS


core-site.xml


fs.checkpoint.dir

SecondaryNameNode の HDFS 管理情報の格納

ディレクトリ

【初期値】

${hadoop.tmp.dir}/dfs/namesecondary

【設定値】

/var/lib/hadoop/hdfs/namesecondary

fs.checkpoint.period

NameNode の変更履歴を SecondaryNameNodeに反映する(冗長化処理を行う)間隔（単位：秒）

【初期値】

3600 (60分)

【設定値】

1800 (30分)

hdfs-site.xml

この設定ファイルは、本製品では使用しません。


dfs.block.size

HDFS ファイルのブロックをローカルファイルに

格納する際のローカルファイルのサイズ（単位：

バイト）

【初期値】

67108864 (64MB)

【設定値】

134217728 (128MB)

dfs.datanode.du.reserved 【初期値】

- 286 -


HDFS のデータ以外で使用するために予約して

おく dfs.data.dir を配置した DISK の容量（単位：

バイト）

0

【設定値】

dfs.data.dir が配置されているディスクの空き容量の40%（バイト）

dfs.datanode.handler.count

DataNode 内で処理を行うスレッドの数

【初期値】

3

【設定値】


・ 3

・ CPU のコア数

dfs.datanode.ipc.address

DataNode 間でデータを送受信するためのアドレ

ス

【初期値】

0.0.0.0:50020

【設定値】

0.0.0.0:50020 （再設定します）

dfs.datanode.max.xcievers

DataNode への接続数の大

【初期値】

256

【設定値】

4096

dfs.permissions.supergroup

HDFS のスーパーグループ名

【初期値】

supergroup

【設定値】

hadoop

dfs.support.append

HDFS の追記機能を使用するか否か

【初期値】

false

【設定値】

true

- 287 -

付録D ポート一覧

本付録では、本製品で使用するポートについて説明します。

注意

ポート欄に記載されているポート番号は固定であり、変更できません。

Hadoop（MapReduce）で使用するポート一覧

MapReduce の処理において使用するポートです。

LAN種別

送信元送信先プロト

コルサーバサービスポートサーバサービスポート

業務

LANスレーブ

サーバ

Hadoop(TaskTracker)

不定マスタサーバHadoop

(JobTracker)9000 tcp

開発実行環境

サーバ

Hadoop(Client)

不定マスタサーバ

開発実行環境

サーバ

Hadoop(Client)

不定マスタサーバHadoop

(JobTracker)50030 tcp

スレーブ

サーバ

Hadoop(TaskTracker)

不定スレーブ

サーバ

Hadoop(TaskTracker)

50060 tcp

独自分散ファイルシステム(DFS)で使用するポート一覧

ETERNUS DX ディスクアレイへの iSCSI 接続で使用するポートです。Fibre Channel接続の場合、本ポートは使用しません。

LAN種別



iSCSILAN

マスタサーバ－不定

ETERNUS DXディスクアレイ

iscsi-target 3260 tcp

スレーブ

サーバ－不定

開発実行環境

サーバ－不定

連携サーバ－不定

MDS-AC間で使用するポートです。

LAN種別



業務

LANスレーブ

サーバ－不定

マスタサーバ pdfsmg 29000 tcp開発実行環境

サーバ－不定

連携サーバ－不定

- 288 -

マスタサーバ二重化で使用するポート一覧

マスタサーバ二重化の機能で使用するポートです。

LAN種別



管理

LAN マスタサーバ－不定マスタサーバ

(*1)

－ 9382 udp

－不定－ 623 udp

CIPLAN

マスタサーバ－不定マスタサーバ

(*2)－ 9331 tcp


(*1)(*2)－ 9379 tcp


(*2)－ 9378 tcp


(*1)(*2)－ 9377 tcp


(*2)

－ 9376 tcp

－不定－ 9375 tcp

マスタサーバ

－不定

マスタサーバ

(*1)

－ 9383 tcp

－不定－ 9384 tcp

－ 9786 － 9786 tcp

－ 8000 － 8000 udp

*1：マスタサーバを二重化構成とする場合に、マスタサーバ(プライマリ)とマスタサーバ(セカンダリ)間の通信で使用します。

*2：マスタサーバ内のプロセス間通信で使用します。マスタサーバを二重化構成としない場合においても使用します。

スマートセットアップで使用するポート一覧

物理環境へスレーブサーバを追加（クローニング）する場合に使用するポートです。

仮想環境へスレーブサーバを追加する場合には使用しません。

LAN種別



管理

LANマスタサーバ

(プライマリ)－ 4972

スレーブ

サーバ－ 4973 udp

スレーブ

サーバ

－ 4973

マスタサーバ

(プライマリ)

－ 4972 udp

bootpc 68 bootpc 67 udp

－不定 pxe 4011 udp

－不定 tftp 69 udp

マスタサーバ

(プライマリ)－不定

マスタサーバ

(プライマリ)－ 4971 tcp

スレーブ

サーバ

－4974~4989

マスタサーバ

(プライマリ)

－4974~4989

udp

－不定－4974~4989

tcp

udp

- 289 -

ポイント

スレーブサーバの追加方法はサーバ構成に応じて異なります。詳細は、「6.3 2台目以降のスレーブサーバの追加」を参照してくださ

い。

Hadoop（HBase、ZooKeeper）で使用するポート一覧（参考情報）

HBase、および ZooKeeper の処理において使用するポートです。

LAN種別



業務

LANスレーブ

サーバ

HBbase(RegionServer)

不定

マスタサーバ

HBase(Hmaster)

(BackupHmaster)60000 tcp

開発実行環境

サーバ

HBase(Client)

不定

開発実行環境

サーバ

HBase(Client)

不定マスタサーバ

HBase(Hmaster)

(BackupHmaster)60010 tcp

マスタサーバ

HBase

(Hmaster)

(BackupHmaster)

不定

スレーブ

サーバ

HBase

(RegionServer)60020 tcp

スレーブサーバHBase

(RegionServer)不定

開発実行環境

サーバ

HBase

(Client)不定

開発実行環境

サーバ

HBase

(Client)不定

スレーブ

サーバ

HBase

(RegionServer)60030 tcp

マスタサーバ

HBase

(Hmaster)

(BackupHmaster)

不定

スレーブ

サーバZooKeeper 2081 tcpスレーブ

サーバ

HBase

(RegionServer)不定

開発実行環境

サーバ

HBase

(Client)不定

スレーブ

サーバZooKeeper 不定

スレーブ

サーバZooKeeper 2888 tcp

スレーブ

サーバZooKeeper 不定

スレーブ

サーバZooKeeper 3888 tcp

HDFS で使用するポート一覧（参考情報）

HDFS ファイルシステムにおいて使用するポートです。

ファイルシステムに DFS を使用する場合（構成ファイル bdpp.conf の BDPP_PDFS_FILESYSTEM パラメーターに YES を指定した場

合）には使用しません。

- 290 -

LAN種別



業務

LANスレーブ

サーバ

Hadoop(DataNode)

不定

マスタサーバHadoop

(NameNode)8020 tcp

開発実行環境

サーバ

Hadoop(Client)

不定

開発実行環境

サーバ

Hadoop(Client)

不定スレーブ

サーバ

Hadoop(DataNode)

50010 tcp

スレーブ

サーバ

Hadoop(DataNode)

不定スレーブ

サーバ

Hadoop(DataNode)

50020 tcp開発実行環境

サーバ

Hadoop(Client)

不定

マスタサーバ

Hadoop(SecondaryNameNode)

不定


(NameNode)50070 tcp

開発実行環境

サーバ

Hadoop(Client)

不定

スレーブ

サーバ

Hadoop(DataNode)

不定スレーブ

サーバ

Hadoop(DataNode)


サーバ

Hadoop(Client)

不定


(NameNode)不定マスタサーバ


50090 tcp

マスタサーバ


不定


(NameNode)50470 tcp

開発実行環境

サーバ

Hadoop(Client)

不定

スレーブ

サーバ

Hadoop(DataNode)

不定スレーブ

サーバ

Hadoop(DataNode)


サーバ

Hadoop(Client)

不定

参照

構成ファイルの詳細については、「B.1 bdpp.conf」を参照してください。

- 291 -

付録E メッセージ

本付録では、本製品で出力または表示されるメッセージについて説明します。

参照

・各種ツールが出力するメッセージについては、付録G ツールを参照してください。

・出力頻度の高いHadoopのメッセージについては、17.7.1 Hadoopのメッセージとその対処を参照してください。

E.1 インストール時のメッセージ

ここでは、本製品のインストール時に出力または表示するメッセージについて説明します。

bdpp_inst: ERROR: 001: Configuration file bdpp.conf does not exist. 【メッセージの意味】

構成ファイル bdpp.conf が存在しません。

【対処方法】

bdpp.conf を作成し、bdpp.conf のパスを環境変数 BDPP_CONF_PATH に指定してください。

bdpp_inst: ERROR: 002: bdpp.conf parameter error. ($INFO1: $INFO2) 【メッセージの意味】

構成ファイル bdpp.conf 内の $INFO1(行番号、または意味コード)：$INFO2 (パラメーターおよび指定値)に示すパラメーターに誤

りがあります。

$INFO1 に表示される意味コードには、以下のものがあります。

・ NOT$INFO2 に示す必須パラメーターが指定されていない場合に表示されます。

・ IMPROPER$INFO2 に示すパラメーターと他のパラメーターの組合せが不適切である場合に表示されます。

例えば、BDPP_SECONDARY_NAME パラメーターが指定されていていないにも関わらず、BDPP_SECONDARY_ADM_IPパラメーターが指定された場合などに表示されます。

【対処方法】

構成ファイル bdpp.conf のパラメーターおよび指定値を「B.1 bdpp.conf」を参照して確認し、正しい内容に修正してから、再度

bdpp_inst を実行してください。

bdpp_inst: ERROR: 003: The LAN Manager module is not exist at /tmp. 【メッセージの意味】

システムの作業用ディレクトリ(/tmp)に "Microsoft LAN Manager モジュール" が存在しません。

【対処方法】

「5.18 Microsoft LAN Manager モジュールの展開」に示す "Microsoft LAN Manager モジュール" をシステムの作業用ディレクトリ

(/tmp)に配置してから、インストーラーを再実行してください。

なお、"Microsoft LAN Manager モジュール" は、サブディレクトリを作成せずに /tmp の直下となるように配置してください。

bdpp_inst: ERROR: 004: This server's IP does not match primary IP ($BDPP_PRIMARY_IP) nor secondaryIP ($BDPP_SECONDARY_IP).

- 292 -


マスタサーバ機能をインストールしようとしているサーバの IP アドレスが、構成ファイル bdpp.conf に指定されたパラメーター

(BDPP_PRIMARY_IP または BDPP_SECONDARY_IP)の値と一致しません。

【対処方法】

以下に示す、いずれかの内容を確認して対処を行ってください。

・構成ファイル bdpp.conf に指定した BDPP_PRIMARY_IP または BDPP_SECONDARY_IP が業務 LAN の接続用に割り当て

られた IP アドレスと一致していないことが考えられます。

業務 LAN の接続用に割り当てられた IP アドレスが指定されているかを確認し、正しい値を指定してから、再度インストールを

実施してください。

・業務 LAN のネットワークインターフェースが活性化されているかを確認し、活性化されていない場合は、業務 LAN のネット

ワークインターフェースを活性化してから、再度インストールを実施してください。

例

# /etc/init.d/netowork restart <Enter>

bdpp_inst: ERROR: 005: The value is not specified for BDPP_PDFS_MOUNTPOINT. 【メッセージの意味】

構成ファイル bdpp.conf に指定した BDPP_PDFS_FILESYSTEM で DFS ファイルシステムを使用しようとしているにも関わらず、

BDPP_PDFS_MOUNTPOINT にマウントポイントが指定されていません。

【対処方法】

BDPP_PDFS_MOUNTPOINT に PDFS のマウントポイントを指定してください。

bdpp_inst: WARN : 006: Since file systems other than ext3 are contained, cloning cannot be performed. 【メッセージの意味】

スレーブサーバ機能をインストールしようとするシステムのファイルシステムに ext3 以外のファイルシステムが含まれているため、ク

ローニングを行なうことができません。

【対処方法】

あとに続くメッセージ "Is installation continued? [y/n]" に "Y" または "N" を入力して、インストールを継続または中断してください。

なお、"Y" を指定した場合は、スレーブサーバ機能をインストールすることはできますが、クローニングによるスレーブサーバのス

ケールアウトができなくなるため、クローニングを利用する場合には、インストール対象のシステムのファイルシステムを ext3 で再構

築してから、再度インストールを実施してください。

bdpp_inst: ERROR: 010: Installation failed. ($PROCESS) 【メッセージの意味】

$PROCESS に示すインストール処理で失敗しました。

【対処方法】

・ $PROCESS が "groupadd" または、"useradd" の場合

groupadd コマンドまたは、 useradd コマンドの処理に失敗しています。 bdpp.conf ファイルに指定されている

BDPP_HADOOP_DEFAULT_GROUP または、BDPP_HADOOP_DEFAULT_USERS の指定値が、すでにシステムに登録さ

れていないかを確認し、登録されている場合は削除してから、再度インストールを実施してください。

・ $PROCESS が "PDFS" の場合

ディレクトリ /opt/FJSVpdfs、/etc/opt/FJSVpdfs、/var/opt/FJSVpdfs、または /etc/pdfs が残ったままとなっていることが考えられま

す。バックアップが必要な場合はバックアップした後、該当のディレクトリを削除してから、インストーラーを再実行してください。

- 293 -

・ $PROCESS が "Serverview Resource Orchestrator" の場合

管理 LAN の IP アドレスの値が誤っていることが考えられます。IP アドレスの設定を確認し、誤っている場合は修正してから、

再度インストールを実施してください。

・ $PROCESS が上記以外の場合

インストールログ /var/tmp/bdpp_install.log を参照して、エラー原因を取り除いてから再度インストールを実施してください。

bdpp_inst: ERROR: 011: Uninstallation failed. ($PROCESS) 【メッセージの意味】

$PROCESS に示すアンインストーラー処理でアンインストールに失敗しました。

【対処方法】

インストールログ /var/tmp/bdpp_install.log を参照して、エラー原因を取り除いてから再度アンインストールを実施してください。

bdpp_inst: ERROR: 012: FJSVbdpp already installed. 【メッセージの意味】

すでにBDPPがインストールされています。

【対処方法】

BDPPをアンインストールしてから再度インストールを実施してください。

bdpp_inst: ERROR: 101: Administrator privilege is required. 【メッセージの意味】

実行する利用者に root 権限がありません。

【対処方法】

root 権限で再実行してください。

bdpp_inst: ERROR: 102: $PKG package is not installed. 【メッセージの意味】

$PKG に示す必須パッケージがインストールされていません。

【対処方法】

$PKG に示す必須パッケージをインストールしてください。

注意

上記メッセージ以外のエラーメッセージが出力または表示された場合、当社技術員に連絡してください。

E.2 セットアップ時のメッセージ

ここでは、本製品のセットアップ時に出力または表示するメッセージについて説明します。

bdpp_setup: ERROR: 001: Setup of the cluster failed. 【メッセージの意味】

クラスタのセットアップに失敗しました。

- 294 -

【対処方法】

・ cluster_setup2 で、セットアップに失敗する場合

クラスタインタコネクトの NIC 設定が "ONBOOT=YES" になっていないことが考えられます。

"/etc/sysconfig/network-scripts" の "ifcfg-ethX" (*)の設定で "ONBOOT=YES" になっているかを確認し、"NO" の場合は "YES"に変更した後、ネットワークインターフェースを再起動してから、cluster_setup2 を再実行してください。

*: ethX は、クラスタインタコネクトで使用するネットワークインターフェースです。X は数字を指定します。

・上記以外の場合

本メッセージの前に出力されるメッセージを確認し、対処を行った上で再度クラスタのセットアップを実施してください。

bdpp_setup: ERROR: 002: Removal of the cluster failed. 【メッセージの意味】

クラスタのアンセットアップに失敗しました。

【対処方法】

本メッセージの前に出力されるメッセージを確認し、対処を行った上で再度クラスタのアンセットアップを実施してください。

bdpp_setup: ERROR: 003: Setup failed. ($PROCESS) 【メッセージの意味】

$PROCESS に示すセットアップ処理でセットアップに失敗しました。

【対処方法】

・ $PROCESS が "PRIMECLUSTER GLS" の場合

インストール後に再起動が行われていないことが考えられます。システムを再起動してから、再度セットアップを実施してくださ

い。

・ $PROCESS が上記以外の場合

セットアップログ /var/opt/FJSVbdpp/log/bdpp_setup.log を参照して、エラー原因を取り除いてから再度セットアップを実施してく

ださい。

bdpp_setup: ERROR: 004: Removal failed. ($PROCESS) 【メッセージの意味】

$PROCESS に示すアンセットアップ処理でアンセットアップに失敗しました。

【対処方法】

セットアップログ /var/opt/FJSVbdpp/log/bdpp_setup.log を参照して、エラー原因を取り除いてから再度アンセットアップを実施してく

ださい。

bdpp_setup: ERROR: 005: The slaves file is not in "/etc/opt/FJSVbdpp/conf". 【メッセージの意味】

/etc/opt/FJSVbdpp/conf 配下にスレーブサーバ定義ファイル slaves がありません。

【対処方法】

スレーブサーバ定義ファイル slaves を作成し、/etc/opt/FJSVbdpp/conf 配下に格納してください。

bdpp_setup: ERROR: 006: DFS is set up but it is not mounted. 【メッセージの意味】

DFS がマウントされていません。

- 295 -

【対処方法】

DFS をマウントしてください。

bdpp_setup: ERROR: 007: The mount point specified for fstab does not correspond with the value ofBDPP_PDFS_MOUNTPOINT. 【メッセージの意味】

fstab に指定されたマウントポイントと BDPP_PDFS_MOUNTPOINT の値が一致しません。

【対処方法】

fstab に指定したマウントポイントが構成ファイル bdpp.conf の BDPP_PDFS_MOUNTPOINT に指定されているかを確認し、正しい

値となるように修正してください。

bdpp_setup: ERROR: 008: It is not connectable with Cluster interconnect. 【メッセージの意味】

マスタサーバの HA クラスタ(プライマリ－セカンダリ)間の接続ができません。

【対処方法】


・クラスタインタコネクトに使用する LAN の接続状態を確認して、正常に通信できるように対処してから、cluster_unsetup を実行

したのちに、再度 cluster_setup および cluster_setup2 を実行してください。

・「6.1.2 HA クラスタのセットアップ」を確認して、クラスタインタコネクトの設定および活性化を行ってから、cluster_unsetup を実行

したのちに、再度 cluster_setup および cluster_setup2 を実行してください。

bdpp_setup: ERROR: 009: It is not connectable with an ETERNUS DX disk array. 【メッセージの意味】

ETERNUS DX ディスクアレイに接続できません。

【対処方法】


・ /etc/opt/FJSVbdpp/conf ディレクトリの bdpp.conf ファイルの BDPP_DISKARRAY_iSCSI1_IP または

BDPP_DISKARRAY_iSCSI2_IP パラメーターに指定された IP アドレスに誤りがないかを確認して、誤りがあった場合は正し

い IP アドレスに修正してから、bdpp_unsetup を実行したのちに、再度 bdpp_setup を実行してください。

・ ETERNUS DX ディスクアレイとの接続に使用する LAN の接続状態を確認して、正常に通信できるように対処してから、再度

bdpp_setup を実行してください。

・「ETERNUS DX ディスクアレイユーザーズガイドサーバ接続編」を確認して、ターゲットである ETERNUS DX ディスクアレイ

との接続・ログインを行ってから、bdpp_unsetup を実行したのちに、再度 bdpp_setup を実行してください。

bdpp_setup: WARN : 010: Setup or Removal has already been executed. 【メッセージの意味】

セットアップまたはアンセットアップ処理が、すでに実行されています。

bdpp_setup: ERROR: 101: Administrator privilege is required. 【メッセージの意味】


【対処方法】


- 296 -

注意

上記メッセージ以外のエラーメッセージが出力または表示された場合、当社技術員に連絡してください。

E.3 運用中に出力されるメッセージ

ここでは、本製品の運用中に出力または表示するメッセージについて説明します。

E.3.1 コマンド実行時のメッセージ

コマンド実行時に出力または表示するメッセージについて説明します。

bdpp: WARN : 001: bdpp Hadoop is already started. 【メッセージの意味】

Hadoop は、すでに起動されています。

bdpp: WARN : 002: bdpp Hadoop is already stopped. 【メッセージの意味】

Hadoop は、すでに停止しています。

bdpp: INFO : 003: bdpp Hadoop JobTracker is alive. 【メッセージの意味】

Hadoop のプロセス(JobTracker)は、起動中です。

bdpp: INFO : 004: bdpp Hadoop JobTracker is not alive. 【メッセージの意味】

Hadoop のプロセス(JobTracker)は、起動していません。

bdpp: ERROR: 005: bdpp Hadoop start failed ($PROCESS). 【メッセージの意味】

$PROCESS に示す Hadoop のプロセスの起動に失敗しました。

【対処方法】

・ファイアーウォール機能によって、必要な通信(ポート)が遮断されている可能性があります。「付録D ポート一覧」を参照して、

本製品で使用するポートの接続を許可してから、もう一度コマンドを実行してください。

・ ssh デーモンが起動されていない、または ssh の通信に失敗していることが考えられます。ssh の設定を見直してから、もう一度

コマンドを実行してください。

・マスタサーバで ssh がパスワードなしで通信できるように設定されていないことが考えられます。マスタサーバ(プライマリ)とマス

タサーバ(セカンダリ)でそれぞれ公開鍵を作成し、自身に対してパスワードなしで通信できるように、また相互にパスワードなし

で通信できるように設定してから、もう一度コマンドを実行してください。

上記に該当しない場合には、ログ(/var/opt/FJSVbdpp/log/bdpp_hadoop.log)を参照し、Apache Hadoop のエラー内容および ApacheHadoop の関連ログを確認して対処を行ってから、もう一度コマンドを実行してください。

bdpp: ERROR: 006: bdpp Hadoop stop failed ($PROCESS).

- 297 -


$PROCESS に示す Hadoop のプロセスの停止に失敗しました。

【対処方法】

ログ(/var/opt/FJSVbdpp/log/bdpp_hadoop.log)を参照し、Apache Hadoop のエラー内容および Apache Hadoop の関連ログを確認し

て対処を行ってから、もう一度コマンドを実行してください。

bdpp: ERROR: 010: clone.conf does not exist. 【メッセージの意味】

クローニングサーバ定義ファイル clone.conf が存在しません。

【対処方法】

クローニングサーバ定義ファイル clone.conf の存在するディレクトリを指定してください。クローニングサーバ定義ファイル clone.confがない場合は、作成してください。

bdpp: ERROR: 011: Failed to get the information from slave server. 【メッセージの意味】

クローニング採取対象のスレーブサーバが登録できませんでした。

【対処方法】

クローニングサーバ定義ファイル clone.conf の設定内容に誤りがないか確認してください。

bdpp: ERROR: 012: Failed to get the list of slave servers. 【メッセージの意味】

サーバの情報が取得できませんでした。

【対処方法】

bdpp_addserver コマンドの実行結果を再確認し、もう一度コマンドを実行してください。

bdpp: ERROR: 013: server name and image name are needed to get the cloning image. 【メッセージの意味】

必要なパラメーターが指定されていません。

【対処方法】

コマンドの使用方法を確認してください。

bdpp: ERROR: 014: Failed to remove the slave server. 【メッセージの意味】

クローニング採取対象のスレーブサーバが削除できませんでした。

【対処方法】

ログ(/var/opt/FJSVbdpp/log/bdpp_ROR.log)およびシスログを参照して、メッセージプレフィックス "FJSVrcx:" の対処を行ってから、

もう一度コマンドを実行してください。

bdpp: ERROR: 015: Failed to create the slave server image. 【メッセージの意味】

クローニングイメージが採取できませんでした。

- 298 -

【対処方法】



・スレーブサーバのシステム BIOS の設定において、ブート順序の設定が管理 LAN で使用するネットワークインターフェースか

らのブートが初に設定されていないことが考えられます。スレーブサーバのシステム BIOS の設定を確認し、管理 LAN で使

用するネットワークインターフェースからのブートを初となるように設定してから、もう一度コマンドを実行してください。

上記に該当しない場合には、ログ(/var/opt/FJSVbdpp/log/bdpp_ROR.log)およびシスログを参照して、メッセージプレフィックス

"FJSVrcx:" の対処を行ってから、もう一度コマンドを実行してください。

注意

clone.conf の定義誤り(MAC アドレスなど)やクローニングイメージの採取中のタイムアウトなど、クローニングイメージの採取に失敗

した場合、クローニングイメージの採取を行ったスレーブサーバのネットワークインターフェースが、クローニング処理によって "DHCP"の設定に変更されたままで終了することがあります。

この場合、対象のスレーブサーバにログインして、ネットワークインターフェースの設定を手動で復旧した上で、「7.2.1 ネットワーク

二重化のアンセットアップ」および「6.2.3 ネットワーク二重化・Hadoop のセットアップ」を実施して再設定してください。

bdpp: ERROR: 016: Failed to get the list of server image. 【メッセージの意味】

クローニングイメージの情報が取得できませんでした。

【対処方法】

bdpp_getimage コマンドの実行結果を再確認し、もう一度コマンドを実行してください。

bdpp: ERROR: 017: Failed to remove the cloning image. 【メッセージの意味】

クローニングイメージを削除できませんでした。

【対処方法】



bdpp: ERROR: 018: Failed to deploy the slave server image. 【メッセージの意味】

クローニングイメージを配備できませんでした。

【対処方法】



・スレーブサーバのシステム BIOS の設定において、ブート順序の設定が管理 LAN で使用するネットワークインターフェースか

らのブートが初に設定されていないことが考えられます。スレーブサーバのシステム BIOS の設定を確認し、管理 LAN で使

用するネットワークインターフェースからのブートを初となるように設定してから、もう一度コマンドを実行してください。

・ログ (/var/opt/FJSVbdpp/log/bdpp_ROR.log) にメッセージ "FJSVnrmp:ERROR:64780:invalid file format(file=ipaddr.conf,detail=line X)" (X は、ipaddr.conf の行番号)が出力されている場合は、クローニングイメージを採取する際、ipaddr.conf ファイ

ルにクローニングイメージを採取するスレーブサーバの定義が含まれていないことが考えられます。

ipaddr.conf ファイルにクローニングイメージを採取するスレーブサーバの定義を含めた上で、「6.3.1.3 ネットワークパラメー

ター・iSCSI 名の自動設定の登録」を再実行してから、クローニングイメージを再度採取し、クローニングイメージを配備してくだ

さい。

- 299 -



bdpp: ERROR: 019: Failed to regist FJSVrcx.conf or ipaddr.conf in the slave server. 【メッセージの意味】

スレーブサーバに FJSVrcx.conf、または ipaddr.conf が登録できませんでした。

【対処方法】



・ FJSVrcx.conf、または ipaddr.conf ファイルが存在しない、または指定されたパスに誤りがあることが考えられます。

FJSVrcx.conf、または ipaddr.conf ファイルがない場合はファイルを作成し、パスに誤りがある場合はパスを再確認してから、も

う一度コマンドを実行してください。



bdpp: ERROR: 020: Failed to change the cloning image directory. 【メッセージの意味】

クローニングイメージの格納ディレクトリが変更できませんでした。

【対処方法】



bdpp: INFO : 021: Processing was completed normally. 【メッセージの意味】

コマンド処理が正常に終了しました。

【補足】

クローニング実行時には、クローニングイメージの配付対象のスレーブサーバ（仮想環境の場合はクローン先のスレーブサーバ）上

のシスログにも出力されます。

bdpp: ERROR: 022: Failed to set the initiator name in the slave server. 【メッセージの意味】

iSCSI のイニシエータ名の設定に失敗しました。

【対処方法】

設定ファイル clone.conf、ipaddr.conf、initiator.conf にクローニング時に指定したサーバ名の設定が存在するかどうかを確認してく

ださい。

存在しない場合は、設定ファイルを見直してからクローニングイメージの採取対象のスレーブサーバ（仮想環境の場合はクローン

元のスレーブサーバ）に対して再度 bdpp_prepareserver コマンドを実行し、クローニングを行ってください。

【補足】

本メッセージは、クローニングイメージの配付対象のスレーブサーバ（仮想環境の場合はクローン先のスレーブサーバ）上のシスロ

グに出力されます。

bdpp: ERROR: 031 : Parameters or options are invalid. 【メッセージの意味】

コマンドに指定された引数またはオプションに誤りがあるため、コマンドが実行できません。

- 300 -

【対処方法】

各コマンドのレファレンスを参照し、コマンドの使い方を確認してから、もう一度コマンドを実行してください。

bdpp: ERROR: 032: Command cannot be executed while ($PROCESS) is running. 【メッセージの意味】

Hadoopまたは関連コマンドが実行中のため、コマンド実行できません。

【対処方法】

・ $PROCESS が "Hadoop" の場合

bdpp_stop コマンドで Hadoop を停止してから、再度コマンドを実行してください。

・ $PROCESS が以下のコマンドの場合

－ bdpp_addserver

－ bdpp_backup

－ bdpp_changeimagedir

－ bdpp_changeslaves

－ bdpp_deployimage

－ bdpp_getimage

－ bdpp_lanctl

－ bdpp_prepareserver

－ bdpp_removeimage

－ bdpp_removeserver

－ bdpp_restore

－ bdpp_start

出力情報を参照して、関連コマンドの実行が完了してから、もう一度コマンドを実行してください。

bdpp: ERROR: 033: Command abnormally finished. 【メッセージの意味】

コマンド実行中に問題が発生し、処理が失敗しました。エラー原因に関するメッセージはログ（/var/opt/FJSVbdpp/log 配下のファイ

ル）に出力されます。

【対処方法】

・代表的なメッセージおよび対処方法：

－ログにメッセージ "No enough space." が出力されている場合は、指定されたバックアップ先、もしくはリストア対象となるサー

バのにおいて、ディスク容量が足りないため、コマンドが失敗しました。

「第15章バックアップ・リストア」を参照し、必要な容量を確保し、もう一度コマンドを実行してください。

－ログにメッセージ "$BACKUP_PATH: Already exits." （$BACKUP_PATH はコマンドに指定されているバックアップ先ディ

レクトリ）が出力されている場合は、指定されたディレクトリの配下にバックアップ格納ディレクトリ（FJSVbdpp-backup）または

同名ファイルがすでに存在するため、バックアップが失敗しました。必要に応じて、ディレクトリを削除するか、もしくはほか

のディレクトリを指定し、もう一度コマンドを実行してください。

－ログにメッセージ "Backup files are not found." が出力されている場合は、指定されたディレクトリの配下にバックアップファ

イルを見つかりませんので、リストアが実行できません。バックアップファイルを格納するディレクトリを正確に指定し、もう一

度コマンドを実行してください。

－ログにメッセージ "Disable command in virtual environment." が出力されている場合は、コマンドを実行された環境が仮想

環境であるため、実行されたコマンドは使用できません。

- 301 -

－ログにメッセージ "ROR is not installed." が出力されている場合は、コマンドを実行された環境がクローニング機能を利用

できない環境であるため、実行されたコマンドは使用できません。

・それ以外の場合：

ログを参照し、エラー原因を取り除いてから、もう一度コマンドを実行してください。

bdpp: ERROR: 101: Administrator privilege is required. 【メッセージの意味】


【対処方法】


E.3.2 その他のメッセージ

本製品のログ、またはシステムログ(/var/log/messages)に出力されるメッセージのうち、以下に示すメッセージプレフィックスのメッセージ

については機能毎の各マニュアルを参照してください。

プレフィックス機能参照するマニュアル

FJSVcluster

マスタサーバの切替え

「PRIMECLUSTER 活用ガイド <メッセージ集>」の「第4章

FJSVcluster形式のメッセージ」

CF「PRIMECLUSTER 活用ガイド <メッセージ集>」の「5.1 CFメッ

セージ」

SMAWsf「PRIMECLUSTER 活用ガイド <メッセージ集>」の「5.2 シャッ

トダウン機構メッセージ」

RMS「PRIMECLUSTER 活用ガイド <メッセージ集>」の「6.1 RMSメッセージ」

"SDX: " または "sfdsk: "「PRIMECLUSTER Global Disk Services 説明書」の「付録

E GDS のメッセージ」

"sfcfs" または "sfxfs"「PRIMECLUSTER Global File Services 説明書」の「付録 Aメッセージ一覧」

hanet「PRIMECLUSTER Global Link Services 説明書（伝送路二

重化機能編）」の「付録 A メッセージ一覧」

FJSVrcx: スマートセットアップ ServerView Resource Orchestrator V3.1.2 メッセージ集

- 302 -

付録F 必須パッケージ

本付録では、本製品が動作する基本ソフトウェアに必須となるパッケージについて説明しています。

本製品を使用する場合、以下の必須パッケージが必要です。事前に必要なパッケージをインストールしてください。

インストールする必須パッケージのアーキテクチャーを丸括弧"()"内に示しています。

インストールするアーキテクチャーの指定がないものは、OS と同じアーキテクチャーのパッケージをインストールしてください。

Red Hat(R) Enterprise Linux(R) 6.3 (for Intel64)Red Hat(R) Enterprise Linux(R) 6.4 (for Intel64)Red Hat(R) Enterprise Linux(R) 6.5 (for Intel64)

必須パッケージ導入環境


サーバ

開発実行

環境

サーバ

連携


alsa-lib(i686) ○ ○ ○ －－

alsa-lib ○ ○ ○ －－

apr(i686) ○ ○ －－－

apr-util(i686) ○ ○ －－－

at ○ ○ ○ －－

audit-libs(i686) ○ ○ ○ －－

autoconf ○ ○ ○ －－

bc ○ ○ ○ －－

bind ○ ○ ○ －－

bind-utils ○ ○ ○ －－

compat-expat1(i686) ○ ○ －－－

compat-libstdc++-33(i686) ○ ○ ○ －－

compat-libstdc++-33 ○ ○ ○ －－

compat-libtermcap(i686) ○ ○ －－－

compat-openldap(i686) ○ ○ －－－

compat-readline5(i686) ○ ○ －－－

cpp ○ ○ ○ －－

crash ○ ○ ○ ○ ○

cvs ○ ○ ○ －－

cyrus-sasl-lib(i686) ○ ○ －－－

db4(i686) ○ ○ －－－

device-mapper ○ ○ ○ －－

dhcp ○ ○ ○ －－

docbook-utils ○ ○ ○ －－

dump ○ ○ ○ －－

ebtables ○ ○ ○ －－

ed ○ ○ ○ －－

eject ○ ○ ○ －－

expat(i686) ○ ○ －－－

- 303 -



サーバ

開発実行

環境

サーバ

連携


fontconfig(i686) ○ ○ ○ －－

freetype ○ ○ ○ －－

gcc ○ ○ ○ －－

gdb ○ ○ ○ －－

ghostscript ○ ○ ○ －－

glibc(i686) ○ ○ ○ ○ ○

hdparm ○ ○ ○ －－

httpd ○ ○ ○ －－

indent ○ ○ ○ －－

ipmitool ○ ○ ○ －－

kernel-devel ○ ○ ○ ○ ○

kernel-headers ○ ○ ○ －－

kexec-tools ○ ○ ○ ○ ○

keyutils-libs(i686) ○ ○ ○ ○ ○

krb5-libs(i686) ○ ○ ○ ○ ○

libcom_err(i686) ○ ○ ○ ○ ○

libgcc(i686) ○ ○ ○ ○ ○

libICE(i686) ○ ○ ○ －－

libICE ○ ○ ○ －－

libjpeg/libjpeg-turbo ○(*2) ○(*2) ○(*2) －－

libpng ○ ○ ○ －－

libselinux(i686) ○ ○ ○ ○ ○

libSM(i686) ○ ○ ○ －－

libSM ○ ○ ○ －－

libstdc++(i686) ○ ○ ○ ○ ○

libtool-ltdl(i686) ○ ○ ○ －－

libuuid(i686) ○ ○ ○ －－

libX11(i686) ○ ○ ○ －－

libX11 ○ ○ ○ －－

libXau(i686) ○ ○ ○ －－

libXau ○ ○ ○ －－

libxcb(i686) ○ ○ ○ －－

libxcb ○ ○ ○ －－

libXext(i686) ○ ○ ○ －－

libXext ○ ○ ○ －－

libXft ○ ○ ○ －－

libXi(i686) ○ ○ ○ －－

- 304 -



サーバ

開発実行

環境

サーバ

連携


libXi ○ ○ ○ －－

libXmu ○ ○ ○ －－

libXp ○ ○ ○ －－

libXrender ○ ○ ○ －－

libXt(i686) ○ ○ ○ －－

libXt ○ ○ ○ －－

libXtst(i686) ○ ○ ○ －－

libXtst ○ ○ ○ －－

lsof ○ ○ ○ －－

lvm2 ○ ○ ○ －－

make ○ ○ ○ －－

man ○ ○ ○ －－

mlocate ○ ○ ○ －－

mtools ○ ○ ○ －－

mtr ○ ○ ○ －－

mt-st ○ ○ ○ －－

nc ○ ○ ○ －－

ncurses-libs(i686) ○ ○ ○(*1) －－

net-snmp ○ ○ ○ －－

net-snmp-utils ○ ○ ○ －－

nfs-utils ○ ○ ○ －－

nspr ○ －－－－

nss ○ －－－－

nss-softokn-freebl(i686) ○ ○ ○ ○ ○

nss-util ○ －－－－

ntp ○ ○ ○ ○ ○

OpenIPMI ○ ○ ○ －－

OpenIPMI-libs ○ ○ ○ －－

openldap ○(*3) －－－－

openmotif ○ ○ ○ －－

openmotif22 ○ ○ ○ －－

opensp(i686) ○ ○ ○ －－

openssh-clients ○ ○ ○ ○ ○

openssl(i686) ○ ○ ○ ○ ○

openssl098e(i686) ○ ○ －－－

pam-devel ○ ○ －－－

parted ○ ○ ○ －－

- 305 -



サーバ

開発実行

環境

サーバ

連携


patch ○ ○ ○ －－

pciutils ○ ○ ○ －－

perl ○ ○ ○ －－

perl-libwww-perl ○ ○ ○ －－

pinfo ○ ○ ○ －－

prelink ○ ○ ○ －－

psacct ○ ○ ○ －－

PyQt4 ○ ○ ○ －－

PyQt4-devel(i686) ○ ○ ○ －－

PyQt4-devel ○ ○ ○ －－

quota ○ ○ ○ －－

readline(i686) －－ ○(*1) －－

redhat-lsb ○ ○ ○ ○ ○

rsh ○ ○ ○ －－

ruby ○ ○ ○ －－

samba-common ○ ○ ○ －－

setuptool ○ ○ ○ －－

sqlite(i686) ○ － ○(*1) －－

strace ○ ○ ○ －－

subversion ○ ○ ○ －－

sysfsutils －－ ○(*1) －－

sysstat ○ ○ ○ ○ ○

system-config-kdump ○ ○ ○ ○ ○

tcpdump ○ ○ ○ －－

time ○ ○ ○ －－

tree ○ ○ ○ －－

unixODBC(i686) ○ ○ ○ －－

vconfig ○ ○ ○ －－

xinetd ○ ○ ○ －－

xorg-x11-apps ○ ○ ○ －－

xorg-x11-server-utils ○ ○ ○ －－

xterm ○ ○ ○ －－

zlib(i686) ○ ○ ○ ○ ○

○：インストールする必要があります。

*1：仮想環境に導入する場合、インストールは不要です。

*2：Red Hat Enterprise Linux 6.3以前は、libjpegパッケージを使用します。Red Hat Enterprise Linux 6.4以降は、libjpeg-turboパッケー

ジを使用します。

- 306 -

*3：マスタサーバと異なるサブネットに属するスレーブサーバを管理する場合に必要です。




サーバ

開発実行

環境

サーバ

連携


alsa-lib(i386) ○ ○ ○ －－

alsa-lib ○ ○ ○ －－

apr(i386) ○ ○ －－－

apr-util(i386) ○ ○ －－－

at ○ ○ ○ －－

attr ○ ○ ○ －－

audit-libs(i386) ○ ○ ○ －－

autoconf ○ ○ ○ －－

bc ○ ○ ○ －－

bind ○ ○ ○ －－

bind-utils ○ ○ ○ －－

compat-gcc-34-g77 ○ ○ ○ －－

compat-libstdc++-33(i386) ○ ○ ○ －－

compat-libstdc++-33 ○ ○ ○ －－

cpp ○ ○ ○ －－

crash ○ ○ ○ ○ ○

cups ○ ○ ○ －－

cvs ○ ○ ○ －－

dhcp ○ ○ ○ －－

docbook-utils ○ ○ ○ －－

dump ○ ○ ○ －－

eject ○ ○ ○ －－

gcc ○ ○ ○ －－

gcc-c++ ○ ○ ○ －－

gdb ○ ○ ○ －－

ghostscript ○ ○ ○ －－

glibc(i686) －－ ○ －－

glibc ○(*2) －－－－

groff ○ ○ ○ －－

httpd ○ ○ ○ －－

indent ○ ○ ○ －－

iptables ○ ○ ○ －－

kernel-devel ○ ○ ○ ○ ○

- 307 -



サーバ

開発実行

環境

サーバ

連携


kernel-headers ○ ○ ○ －－

kernel-xen ○ ○ ○ －－

kernel-xen-devel ○ ○ ○ －－

kexec-tools ○ ○ ○ ○ ○

krb5-workstation ○ ○ ○ －－

libgcc(i386) －－ ○ －－

libICE(i386) －－ ○ －－

libICE ○ ○ ○ －－

libselinux(i386) －－ ○ －－

libsepol －－ ○ －－

libSM(i386) －－ ○ －－

libSM ○ ○ ○ －－

libstdc++(i386) ○ ○ ○ ○ ○

libX11(i386) ○ ○ ○ －－

libX11 ○ ○ ○ －－

libXau(i386) ○ ○ ○ －－

libXau ○ ○ ○ －－

libXdmcp(i386) ○ ○ ○ －－

libXdmcp ○ ○ ○ －－

libXext(i386) ○ ○ ○ －－

libXext ○ ○ ○ －－

libXi(i386) ○ ○ ○ －－

libXi ○ ○ ○ －－

libxml2(i386) ○ ○ －－－

libXrender(i386) ○ ○ ○ －－

libXrender ○ ○ ○ －－

libxslt(i386) ○ ○ －－－

libXt(i386) －－ ○ －－

libXt ○ ○ ○ －－

libXtst(i386) ○ ○ ○ －－

libXtst ○ ○ ○ －－

lsof ○ ○ ○ －－

lv ○ ○ ○ －－

m4 ○ ○ ○ －－

mailx ○ ○ ○ －－

make ○ ○ ○ －－

man ○ ○ ○ －－

- 308 -



サーバ

開発実行

環境

サーバ

連携


mgetty ○ ○ ○ －－

mlocate ○ ○ ○ －－

mtools ○ ○ ○ －－

mtr ○ ○ ○ －－

mt-st ○ ○ ○ －－

nc ○ ○ ○ －－

net-snmp ○ ○ ○ －－

net-snmp-utils ○ ○ ○ －－

nfs-utils ○ ○ ○ －－

ntp ○ ○ ○ ○ ○

OpenIPMI ○ ○ －－－

OpenIPMI-libs ○ ○ ○ －－

OpenIPMI-tools ○ ○ －－－

opensp ○ ○ ○ －－

openssh ○ ○ ○ ○ ○

openssh-clients ○ ○ ○ ○ ○

pam-devel ○ ○ ○ －－

parted ○ ○ ○ －－

patch ○ ○ ○ －－

perl ○ ○ ○ －－

perl-libwww-perl ○ ○ ○ －－

pinfo ○ ○ ○ －－

postfix ○ ○ ○ －－

postgresql-libs(i386) ○ ○ －－－

procmail ○ ○ ○ －－

psacct ○ ○ ○ －－

pstack ○ ○ ○ －－

quota ○ ○ ○ －－

rcs ○ ○ ○ －－

rdist ○ ○ ○ －－

readline(i386) －－ ○(*1) －－

redhat-lsb ○ ○ ○ ○ ○

rsh ○ ○ ○ －－

ruby ○ ○ －－－

samba-common ○ ○ ○ －－

screen ○ ○ ○ －－

setarch ○ ○ ○ －－

- 309 -



サーバ

開発実行

環境

サーバ

連携


setuptool ○ ○ ○ －－

sox ○ ○ ○ －－

sqlite(i386) －－ ○(*1) －－

strace ○ ○ ○ －－

subversion ○ ○ ○ －－

symlinks ○ ○ ○ －－

sysstat ○ ○ ○ ○ ○

system-config-kdump ○ ○ ○ ○ ○

time ○ ○ ○ －－

tree ○ ○ ○ －－

tux ○ ○ ○ －－

vconfig ○ ○ ○ －－

xinetd ○ ○ ○ －－

xorg-x11-apps ○ ○ ○ －－

xorg-x11-server-utils ○ ○ ○ －－

xterm ○ ○ ○ －－

○：インストールする必要があります。

*1：仮想環境に導入する場合、インストールは不要です。

*2：マスタサーバと異なるサブネットに属するスレーブサーバを管理する場合に必要です。

- 310 -

付録G ツール

本製品に付属するツールについて説明します。

G.1 ジョブヒストリログ可視化ツール

ジョブヒストリログ可視化ツール(以降、本ツール)は、Hadoopが出力するジョブヒストリログを入力しジョブヒストリサマリファイル(以降、サ

マリファイル)と呼ばれる以下のような内容のExcelファイルを目視しやすい形式で出力します。

・各Hadoopジョブの詳細情報

・上記を元に作成した時刻ごとの実行タスク数のグラフや、全てのタスクの実行時間のタイムチャート

このExcelファイルを参照することでジョブのデバッグが容易になります。

ポイント

・ジョブヒストリログとは、Hadoopジョブの実行結果や実行したタスク数などの実行履歴が記載されたログファイルです。通常のテキス

トファイルですが、目視では確認しづらい形式になっています。

・ジョブヒストリログには以下の2種類があり、それぞれ格納先・保存期間が異なります。

－システム用ジョブヒストリログ

DFS上のシステム用の領域に格納され、保存期間は30日です。

－ユーザー用ジョブヒストリログ

Hadoopジョブの結果出力ディレクトリに格納され、保存期間は無期限です。

実行環境

本ツールを実行可能な環境は以下の通りです。

実行環境

マスタサーバスレーブサーバ開発実行環境サーバ連携サーバ

プライマリセカンダリ

○ ○ × ○ ×

○：使用できます。

×：使用できません。

必須パッケージ

本ツールの実行には、以下に示すRed Hat Enterprise Linux(RHEL)のパッケージをインストールする必要があります。

また、gnuplotパッケージのインストール後、"gnuplot"コマンドの格納先(<gnuplotインストールディレクトリ>/bin)を環境変数PATHに追

加してください。


・ gnuplot(*1)

- 311 -

・ cairo

・ expat

・ fontconfig

・ freetype

・ glib2

・ glibc

・ libgcc

・ libpng

・ libstdc++

・ libxcb

・ libX11

・ libXau

・ libXrender

・ ncurses-libs

・ pango

・ pixman

・ readline

・ zlib

*1:varsion4系(version 4.4 patchlevel 4以降)をインストールしてください。


・ gnuplot(*1)

・ cairo

・ expat

・ fontconfig

・ freetype

・ gd

・ glib2

・ glibc

・ libgcc

・ libjpeg

・ libpng

・ libstdc++

・ libX11

・ libXau

・ libXdmcp

- 312 -

・ libXpm

・ libXrender

・ ncurses

・ pango

・ readline

・ zlib

*1:varsion4系(version 4.4 patchlevel 4以降)をインストールしてください。

G.1.1 使用手順

本ツールを使用するには、ジョブヒストリログを格納したディレクトリを指定する手順と、ジョブIDを指定する手順の二つがあります。

ディレクトリを指定する手順

ディレクトリを指定する手順は以下のとおりです。

1. サマリファイルに出力するジョブヒストリログを格納したディレクトリを用意します。

2. 1.で作成したディレクトリとサマリファイルの名前を引数に指定して、本ツールを実行します。

3. 出力したサマリファイルを確認します。サマリファイルの内容については、「G.1.3 ジョブヒストリサマリファイル」を参照してくださ

い。

ジョブIDを指定する手順

以下の条件を満たしている場合、ジョブIDを指定することでジョブヒストリログの格納先を意識することなく本ツールを利用することがで

きます。

・ 30日以内に実行したジョブを対象とする場合

・本製品の独自分散ファイルシステム(DFS)を利用している場合

ジョブIDを指定する手順は以下のとおりです。

1. サマリファイルに出力するHadoopジョブのジョブIDとサマリファイルの名前を引数に指定し、本ツールを実行します。

2. 出力したサマリファイルを確認します。サマリファイルの内容については、「G.1.3 ジョブヒストリサマリファイル」を参照してくださ

い。

G.1.2 実行方法

本ツールは、コマンドラインから以下の形式で実行します。

名前

/opt/FJSVbdpp/tools/bin/bdpp_prtjobhist －ジョブヒストリログの可視化

形式

bdpp_prtjobhist {-i inputdirectory|-j jobid} -o outputfilename [-m xmxSize]

機能説明

ジョブヒストリログから情報抽出、および抽出した情報のグラフ、タイムチャート化を行い、ジョブヒストリサマリファイルを出力します。

- 313 -

オプション

-i inputdirectory

ジョブヒストリサマリファイルに出力するジョブヒストリログが1つ以上存在するディレクトリを指定してください。

"-j"オプションと同時に指定した場合は、エラーとして処理を終了します。

注意

以下の場合、ディレクトリ内のファイルが処理の対象とならない、またはエラーとなる場合があります。

- 入力ディレクトリに、Hadoopが出力したファイル以外が格納されている。

- ジョブヒストリログが不完全で、開始時刻から終了時刻までの全ての情報が記載されていない。

-j jobid

ジョブヒストリサマリファイルに出力するジョブのジョブIDを指定してください。

本オプションで指定されたジョブIDに該当するシステム用ジョブヒストリログを参照します。指定されたジョブIDのジョブヒストリロ

グが存在しない場合、エラーとして処理を終了します。

"-i"オプションと同時に指定した場合は、エラーとして処理を終了します。

-o outputfilename

出力結果となるジョブヒストリサマリファイルの名前を指定してください。

指定されたジョブヒストリサマリファイル名に拡張子".xlsx"を付与した名前で、Excel2007以降の標準形式のファイルを出力しま

す。

ジョブヒストリサマリファイルのパスには、半角英数と記号のみ指定可能です。

既に同名ファイルが存在する場合は、エラーとして処理を終了します。

例

aaa.xlsxを指定した場合、aaa.xlsx.xlsxというファイル名でジョブヒストリサマリファイルが出力されます。

-m xmxSize

本ツールのヒープメモリの大サイズを指定するオプションです。

キロバイトを指定する場合は、数値の後に文字"k"または"K"を追加します。メガバイトを指定する場合は、数値の後に文字"m"または"M"を追加します。

既定値は8000mバイトです。

本オプションは省略可能なオプションです。


権限

一般ユーザー権限

実行環境

開発実行環境サーバ、マスタサーバ

- 314 -



0


0以外


使用例

正常終了した場合

$ /opt/FJSVbdpp/tools/bin/bdpp_prtjobhist -i jobhistory-files -o /tmp/result <Enter>

[2014-10-11 10:37:28] Start Command: bdpp_prtjobhist.

(step 1) building original excel file...

parsing metrics jobhistory-files/job_201304121445_0005_1365746578611_bdppuser1_External

parsing metrics jobhistory-files/job_201304151352_0001_1366001613746_bdppuser1_External

(step 2) building timeline and history data...

Parsing 2 jobfiles...

Time:4155 Maps:1356 Reduces:53

Time:819 Maps:879 Reduces:9

(step 3) building timeline and history graphs...

(step 4) building excel file with images

[2014-10-11 10:58:49] End Command: bdpp_prtjobhist successfully.

異常終了した場合

$ /opt/FJSVbdpp/tools/bin/bdpp_prtjobhist -i /jobhistory-files -o /tmp/result <Enter>

[2014-10-11 10:37:28] Start Command: bdpp_prtjobhist.

エラー情報

[2014-10-11 10:58:49] End Command: bdpp_prtjobhist failed.

メッセージ

本ツールが出力するメッセージは以下のとおりです。

bdpp: ERROR: 800: System error occurred. 【メッセージの意味】

システム障害が発生しました。

【対処方法】

・ジョブヒストリサマリファイルに出力するジョブヒストリログが、編集などにより破壊されていないか確認してください。

・ジョブヒストリサマリファイルの出力先ディレクトリの容量が不足していないか確認してください。

・ヒープメモリ不足が発生していないか確認してください。不足している場合は、-mオプションでヒープメモリの大サイズに十分

な値を指定して再度コマンドを実行してください。

上記に該当しない場合は、標準出力のログを取得して当社技術員に連絡してください。

bdpp: ERROR: 801: Invalid parameter is specified. 【メッセージの意味】

指定されたパラメタは誤っています。

- 315 -

【対処方法】

ジョブヒストリログ可視化ツールの使用方法を確認してください。

bdpp: ERROR: 802: Specified directory does not exist. (dir=%1) 【可変情報】

%1：ディレクトリパス


指定されたディレクトリが存在しません。

【対処方法】

引数で指定したディレクトリのパスが誤っていないか確認してください。

bdpp: ERROR: 803: Job history file does not exist in the specified directory. 【メッセージの意味】

指定されたディレクトリ内にファイルが存在しません。

【対処方法】

ジョブヒストリサマリファイルに出力するジョブヒストリログを格納したディレクトリを指定してください。

bdpp: ERROR: 804: Specified output file already exists. 【メッセージの意味】

指定された出力ファイルは既に存在しています。

【対処方法】

ジョブヒストリサマリファイル名には、存在していないファイル名を指定してください。

ジョブヒストリサマリファイルは、指定されたファイル名に拡張子(.xlsx)を付与した形で出力します。

bdpp: ERROR: 805: Job history file for the specified job ID is not found. (id=%1) 【可変情報】

%1：ジョブID


指定されたジョブIDのジョブヒストリログが見つかりません。

【対処方法】

指定したジョブのシステム用ジョブヒストリログが存在しているか確認してください。

bdpp: ERROR: 806: Gnuplot package is not installed. 【メッセージの意味】

gnuplotパッケージがインストールされていません。

【対処方法】

gnuplotパッケージをインストールしてください。

bdpp: ERROR: 807: Configuration file does not exist. (file=%1) 【可変情報】

%1：ファイル名

- 316 -


設定ファイルが存在しません。

【対処方法】

Hadoopの設定ファイル格納用ディレクトリ(/etc/hadoop)に可変情報で示すファイルが格納されているか確認してください。

bdpp: ERROR: 808: Cannot find the mount directory of DFS. 【メッセージの意味】

DFSのマウントディレクトリのパスが取得できません。

【対処方法】

DFS設定ファイル(pdfs-site.xml)に、pdfs.fs.local.basedirプロパティが設定されているか確認してください。

bdpp: ERROR: 809: Cannot find the directory of the job history files. 【メッセージの意味】

ジョブヒストリログが格納されているディレクトリパスが取得できません。

【対処方法】

Hadoop設定ファイル(mapred-site.xml)に、mapred.job.tracker.history.completed.locationプロパティが設定されているか確認してく

ださい。

bdpp: ERROR: 810: Cannot create the output file. 【メッセージの意味】

出力ファイルを作成することができません。

【対処方法】

引数で指定した出力ファイルのパスに権限があるか確認してください。

ジョブヒストリサマリファイルの出力先ディレクトリの容量が不足していないか確認してください。

G.1.3 ジョブヒストリサマリファイル

出力情報の形式

ジョブヒストリサマリファイルは、Excelファイルとして以下の形式で出力されます。

Excelファイルの内容

1. 1シート目

シート名： jobs

内容：実行したジョブについて、開始時間、終了時間、MapReduce処理の情報が出力されます。

2. 2シート目以降(※Hadoopジョブの実行単位に作成されます)

シート名：ジョブID

内容：各スレーブサーバにおけるタスクごとの実行時間、Hadoopジョブ開始から終了までの実行中プロセス数、MapReduceの

ジョブの結果が出力されます。

- 317 -

1シート目の項目内容

1シート目は常に出力する固定部と、ジョブヒストリログの内容により、出力する項目が変化する可変部で構成されます。

固定部の各項目の説明

固定部は常に同じ項目名で出力されます。項目値の列は、Hadoopジョブの実行単位に作成されます。

下図は固定部の例です。

固定部の各項目の情報です。

項目名項目の内容項目値の形式

JobName ジョブ名を表します。文字列

JOBID ジョブIDを表します。文字列(*1)

STATUS ジョブの復帰値を表します。文字列

START_TIME ジョブが開始した時間を表します。以下の日時形式の文字列

Day Mon DD HH:MM:SS TZD YYYY(*2)

FINISH_TIME ジョブが完了した時間を表します。以下の日時形式の文字列

Day Mon DD HH:MM:SS TZD YYYY(*2)

TOTAL_TIME ジョブの実行にかかった時間(秒)を表します。 10進表記の数字列

(3桁カンマ区切り)

FINISHED_MAPS 正常終了したMap処理の数を表します。 10進表記の数字列


FINISHED_REDUCES 正常終了したReduce処理の数を表します。 10進表記の数字列

- 318 -



FAILED_MAPS 異常終了したMap処理の数を表します。 10進表記の数字列


FAILED_REDUCES 異常終了したReduce処理の数を表します。 10進表記の数字列


*1："job_"＋年(2桁の数字)＋月(2桁の数字(01～12))＋日(2桁の数字(01～31))＋時(2桁の数字(00～23))＋分(2桁の数字(00～

59))＋"_0001からの連番"からなる値を表します。

*2：各値は以下の通りです。

Day：曜日(Sun、Mon、Tue、Wed、Thu、Fri、Sat)を表します。

Mon：月(Jan、Feb、Mar、Apr、May、Jun、Jul、Aug、Sep、Oct、Nov、Dec)を表します。

DD：日を2桁の数字(01～31)で表します。

HH：時を2桁の数字(00～23)で表します。

MM：分を2桁の数字(00～59)で表します。

SS：秒を2桁の数字(00～59)で表します。

TZD：タイムゾーン(JST、GMTなど)を表します。

YYYY：年を4桁の数字(0000～9999)で表します。

可変部の各項目の説明

各項目は、ジョブヒストリログの仕様により、出力される項目です。そのため、項目数はジョブヒストリログの出力内容により増減し

ます。

項目値の列は、Hadoopジョブの実行単位に作成します。ただし、項目名部分は項目値の列(Hadoopジョブ)すべてにおいて共

有するため、項目名に対応する値を出力していないHadoopジョブの項目値は"0"になります。

下図は可変部の例です。

項目名1～項目名3および項目値は、以下のようにジョブヒストリログの"job"で始まる行でかつ、"FINISH_TIME="を含む行から取

得します。

＜ジョブヒストリログの構成＞

Job JOBID="job_201304121445_0005" FINISH_TIME="1365750734029" JOB_STATUS="SUCCESS"FINISHED_MAPS="1354" FINISHED_REDUCES="33" FAILED_MAPS="0" FAILED_REDUCES="20"項目名1="{(～)(項目名2)[(～)(項目名3)(項目値)]…}{(～)(項目値)[(～)(項目名3)(項目値)]…}…"項目名1="{(～)(項目名2)[(～)(項目名3)(項目値)]…}{(～)(項目値)[(～)(項目名3)(項目値)]…}…"項目名1="{(～)(項目名2)[(～)(項目名3)(項目値)]…}{(～)(項目値)[(～)(項目名3)(項目値)]…}…"

上記の例では、"～"は省略を表し、"…"は繰り返しを表します。

- 319 -

2シート目以降の項目内容

2シート目以降は処理時間の詳細表示部、実行プロセス数表示部、処理時間のまとめ表示部、グラフ、タイムチャート表示部の4つ

で構成されます。

(1) 処理時間の詳細表示部

TaskTracker(スレーブサーバ)ごとにMap処理とReduce処理で分け、それぞれタスク試行IDごとに処理時間を表示します。

下図は処理時間の詳細表示部の例です。

- 320 -

各項目の内容は以下の表の通りです。


tracker タスクを実行するTaskTracker(スレーブサーバ)名を表します。

文字列

type 処理のタイプを表します。 "maps"または"reduces"という文字列

task タスクを試行したIDを表します。文字列(*1)

start タスクが開始した時間を表します。以下の日時形式の文字列

MM/DD hh:mm:ss(*2)

finish タスクが終了した時間を表します。以下の日時形式の文字列

MM/DD hh:mm:ss(*2)

total-time タスクの実行にかかった時間(秒)を表します。 10進表記の数字列

shuffle-time Shuffle処理にかかった時間(秒)を表します。

異常終了しているタスクは"fail"と表します。

Map処理の行は、"-"という文字列

Reduce処理の行は、10進表記の数字列また

は"fail"という文字列

sort-time Sort処理にかかった時間(秒)を表します。

異常終了しているタスクは"fail"と表します。

Map処理の行は、"-"という文字列

Reduce処理の行は、10進表記の数字列また


reduce-time Reduce処理にかかった時間(秒)を表します。 Map処理の行は、"-"という文字列

- 321 -


異常終了しているタスクは"fail"と表します。 Reduce処理の行は、10進表記の数字列また


*1：数値の部分は"0"からの連番で、同一のタスクIDを実行するたびに増加します。

例：attempt_タスクID_数値

*2：各値は以下の通りです。

MM：月を2桁の数字(01～12)で表します。

DD：日を2桁の数字(01～31)で表します。

hh：時を2桁の数字(00～23)で表します。

mm：分を2桁の数字(00～59)で表します。

ss：秒を2桁の数字(00～59)で表します。

(2) 実行プロセス数表示部

ジョブの開始時間から終了時間までの間、時刻ごとに各処理の実行中のタスク数をカウントした値を表示します。

下図は実行プロセス数表示部の例です。



time ジョブが開始した時間から終了した時間までの

秒を表します。

10進表記の数字列

# maps 実行中のMap処理のタスク数を表します。 10進表記の数字列

# shuffles 実行中のShuffle処理のタスク数を表します。 10進表記の数字列

# sorts 実行中のSort処理のタスク数を表します。 10進表記の数字列

# reduces 実行中のReduce処理のタスク数を表します。 10進表記の数字列

(3) 処理時間のまとめ表示部

TaskTracker(スレーブサーバ)ごとにMap処理やReduce処理の件数をまとめて表示し、さらにMap処理、Reduce処理、Shuffle処理、Sort処理の処理時間の平均値、小値、大値を表示します。

- 322 -

下図は処理時間のまとめ表示部の例です。

総計表示部は、Map処理単位およびReduce処理単位で総計を(totals)として表示します。

TaskTracker(スレーブサーバ)単位表示部は、TaskTracker(スレーブサーバ)単位でタスクの状態ごとのタスク件数、処理時間をまと

めて表示します。


【総計表示部】

項目名項目の内容値の形式

tracker 各項目の総計を表します。 "(totals)"という文字列

status Map処理またはReduce処理の実行した際の復

帰値を表します。

1行目："MAP"という文字列

2行目："REDUCE"という文字列

count 復帰値に対応したタスク数を表します。 10進表記の数字列

average タスクの処理時間の平均値を表します。 10進表記の数字列

min タスクの処理時間の小値を表します。 10進表記の数字列

max タスクの処理時間の大値を表します。 10進表記の数字列

shuffle (avg) Shuffle処理の処理時間の平均値を表します。 10進表記の数字列

shuffle (min) Shuffle処理の処理時間の小値を表します。 10進表記の数字列

shuffle (max) Shuffle処理の処理時間の大値を表します。 10進表記の数字列

sort (avg) Sort処理の処理時間の平均値を表します。 10進表記の数字列

sort (min) Sort処理の処理時間の小値を表します。 10進表記の数字列

sort (max) Sort処理の処理時間の大値を表します。 10進表記の数字列

reduce (avg) Reduce処理の処理時間の平均値を表します。 10進表記の数字列

reduce (min) Reduce処理の処理時間の小値を表します。 10進表記の数字列

reduce (max) Reduce処理の処理時間の大値を表します。 10進表記の数字列

【TaskTracker(スレーブサーバ)単位表示部】

項目名項目の内容値の形式

tracker タスクを実行するTaskTracker(スレーブサーバ)名を表します。

文字列

- 323 -

status Map処理またはReduce処理の実行した際の復

帰値を表します。

TaskTracker(スレーブサーバ)ごとに以下の6行

を表示します。

Map処理

・"#MAP_OK"：正常終了したタスク

・"#MAP_KILL"：中止されたタスク

・"#MAP_FAIL"：異常終了したタスク

Reduce処理

・"#RED_OK"：正常終了したタスク

・"#RED_KILL"：中止されたタスク

・"#RED_FAIL"：異常終了したタスク

"#MAP_OK"または"#MAP_KILL"または

"#MAP_FAIL"または"#RED_OK"または

"#RED_KILL"または"#RED_FAIL"という文字列

count 復帰値に対応したタスク数を表します。 10進表記の数字列

average タスクの処理時間の平均値を表します。 10進表記の数字列

min タスクの処理時間の小値を表します。 10進表記の数字列

max タスクの処理時間の大値を表します。 10進表記の数字列

shuffle (avg) Shuffle処理の処理時間の平均値を表します。 10進表記の数字列

shuffle (min) Shuffle処理の処理時間の小値を表します。 10進表記の数字列

shuffle (max) Shuffle処理の処理時間の大値を表します。 10進表記の数字列

sort (avg) Sort処理の処理時間の平均値を表します。 10進表記の数字列

sort (min) Sort処理の処理時間の小値を表します。 10進表記の数字列

sort (max) Sort処理の処理時間の大値を表します。 10進表記の数字列

reduce (avg) Reduce処理の処理時間の平均値を表します。 10進表記の数字列

reduce (min) Reduce処理の処理時間の小値を表します。 10進表記の数字列

reduce (max) Reduce処理の処理時間の大値を表します。 10進表記の数字列

処理時間のまとめ表示部では、status列の値により、総計表示部とTaskTracker(スレーブサーバ)単位表示部の行ごとに表示する列

が決まります。

表示する列は以下の通りです。

trac

ker

stat

us

coun

t

aver

age

min

max

shuf

fle (

avg)

shuf

fle (

min

)

shuf

fle (

max

)

sort

(av

g)

sort

(m

in)

sort

(m

ax)

redu

ce (

avg)

redu

ce (

min

)

redu

ce (

max

)

(totals) MAP ○ ○ ○ ○ －－－－－－－－－

REDUCE ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○

TaskTracker(スレーブサーバ)単位

#MAP_OK

○ ○ ○ ○ －－－－－－－－－

#MAP_KILL

○ －－－－－－－－－－－－

- 324 -

trac

ker

stat

us

coun

t

aver

age

min

max

shuf

fle (

avg)

shuf

fle (

min

)

shuf

fle (

max

)

sort

(av

g)

sort

(m

in)

sort

(m

ax)

redu

ce (

avg)

redu

ce (

min

)

redu

ce (

max

)

#MAP_FAIL

○ －－－－－－－－－－－－

#RED_OK ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○

#RED_KILL

○ －－－－－－－－－－－－

#RED_FAIL

○ －－－－－－－－－－－－

○：表示する

－：表示しない

(4) グラフ、タイムチャート表示部

グラフ、タイムチャート表示部は、時刻ごとの実行タスク数のグラフと全てのタスクのタイムチャートで構成されます。

時刻ごとの実行タスク数のグラフ

時刻ごとの実行タスク数のグラフは、縦軸をタスク数、横軸を時刻とし、時刻ごとの多重で実行しているタスクの数を表しま

す。

下図は時刻ごとの実行タスク数のグラフの例です。

時刻ごとの実行タスク数のグラフにおいて、各色は以下を表します。

赤色： Map処理のタスク数です。

黒色： Shuffle処理のタスク数です。

水色： Sort処理のタスク数です。

灰色： Reduce処理のタスク数です。

- 325 -

全てのタスクのタイムチャート

全てのタスクのタイムチャートは、縦軸をTaskTracker(スレーブサーバ)ごとの実行中タスク数とし、横軸を時刻として、各タス

クの処理時間を表します。

下図は全てのタスクのタイムチャートの例です。

全てのタスクのタイムチャートにおいて、各色は以下を表します。

赤色： Map処理のタスクです。

濃い灰色： Shuffle処理のタスクです。

水色： Sort処理のタスクです。

灰色： Reduce処理のタスクです。

緑色：異常終了したタスクです。

- 326 -

付録H ユーザーアカウント

本付録では、本製品が作成するユーザーアカウントについて説明します。

BDPPが作成するユーザー一覧

インストール・セットアップ時に作成するユーザーアカウントです。

ユーザー情報サーバ種別

ユーザー名ユーザー

IDグループ

IDホームディレ

クトリ

マスターサーバスレーブ

サーバ

開発実行

環境

サーバ

連携


mapred 202 123 /tmp ○ ○ ○ ○ ○(*1)

hdfs 201 123 /tmp ○ ○ ○ ○ －

hbase 203 203 /tmp ○ ○ ○ ○ －

ジョブ実行ユーザー(*2) ○ ○ ○ ○ ○

rcxdb(*3) 不定不定 /home/rcxdb ○ －－ ○ －

*1：セットアップ時に手動で作成します。

*2：構成ファイルbdpp.confのBDPP_HADOOP_DEFAULT_USERSで指定された値でジョブ実行ユーザーを作成します。

*3：物理環境でクローニング機能を利用する場合に作成します。

BDPPが作成するグループ一覧

インストール・セットアップ時に作成するグループです。

グループ情報サーバ種別

グループ名グループ

ID

マスターサーバスレーブ

サーバ

開発実行

環境

サーバ

連携


hadoop 123 ○ ○ ○ ○ ○(*1)

hbase 203 ○ ○ ○ ○ －

ジョブ実行グループ(*2) ○ ○ ○ ○ ○

wvroot 不定 ○ ○ －－－

clroot 不定 ○ ○ －－－

cladmin 不定 ○ ○ －－－

clmon 不定 ○ ○ －－－

rcxdb(*3) 不定 ○ －－－－

*1：セットアップ時に手動で作成します。

*2：構成ファイルbdpp.confのBDPP_HADOOP_DEFAULT_GROUPで指定された値でジョブ実行グル―プを作成します。

*3：物理環境でクローニング機能を利用する場合に作成します。

- 327 -

用語集 Apache Hadoop

Apache Software Foundation(ASF) が開発したオープンソースの Hadoop ソフトウェアです。

DataNode

Hadoopで使用するファイルシステムであるHDFSにおいてクラスタを構成するノードの名称です。Hadoopで処理されるビッグデータ

はDataNode上にブロック単位で分散・複製され配置されます。

Hadoop

ビッグデータの効率的な分散・並列処理を行う技術の名称です。大きく分けて、分散ファイルシステムである HDFS と並列分散処

理技術である、MapReduceから成ります。

HDFS(Hadoop Distributed File System）

Hadoopで使用する分散ファイルシステムです。ビッグデータを複数のDataNodeと呼ばれるノードにブロック単位で分散・複製して

配置し、それをNameNodeと呼ばれるノードが管理します。

iSCSI-LAN

サーバとストレージシステム間の iSCSI 接続用のネットワークを指します。

MapReduce

Hadoop の中核となる並列分散処理技術です。分散された情報をそれぞれ並列処理し、その処理結果を集約します。構成は大き

く分けて、各クラスタごとの処理を受け持つTaskTrackerと、全体の処理を管理しTaskTrackerに処理を割り振るJobTrackerから成り

立っています。

NameNode

Hadoopで使用するファイルシステムであるHDFSを管理するノードの名称です。

PB(ペタバイト)

データの大きさの単位で、10の15乗バイトを示します。

TB(テラバイト)

データの大きさの単位で、10の12乗バイトを示します。

イメージ情報

仮想イメージの構成を表現した情報です。

システムテンプレートを作成する際に必要な情報で、仮想イメージ1つに対して、1つのイメージ情報を作成する必要があります。

クラスタインタコネクト(CIP) LAN

HA クラスタ構成のマスタサーバ（プライマリ・セカンダリ）間で死活監視を行うためのネットワークを指します。

クローニングマスタ

システムディスクの内容からサーバの固有情報 (システムノード名やIPアドレス) を取り除いた状態で採取したものです。配備のとき

に、仮想サーバのシステムディスクにコピーされます。

システム用ジョブヒストリログ

DFS上のシステム用の領域に出力されるジョブヒストリログです。

システム用ジョブヒストリログは、ファイル出力後30日間保存されます。30日間より過去のファイルはシステムによって削除されます。

システム用ジョブヒストリログは、デフォルトではDFS上の以下のディレクトリ配下に出力されます。

- 328 -

/mapred/history/done

ジョブヒストリログ

Hadoopジョブの実行結果や実行したタスク数などの実行履歴を記載したログファイルです。

ジョブヒストリログには、システム用ジョブヒストリログとユーザー用ジョブヒストリログの2種類のログがあります。


ブロック化されたデータファイルにアクセスするサーバです。複数のスレーブサーバが並列分散処理することによって、短時間に分

析処理を行います。

センシングデータ

各種センサーから送られてくるデータのことを指します。

ソーシャルメディア

インターネット上で、様々な人々が様々なコンテンツ(テキスト、音声、ビデオ、etc.)を交換・共有することで生まれるコミュニケーショ

ン社会を提供するサービスやアプリケーションを、旧来の情報媒体(新聞、テレビ、etc.)と対比してソーシャルメディアと呼んでいま

す。

マスタサーバ

データファイルをブロック化して一元管理するサーバです。分析処理のジョブ実行要求を受け付け、スレーブサーバに対して並列

分散処理を実行させます。

ユーザー用ジョブヒストリログ

Hadoopジョブの結果出力ディレクトリ配下に出力されるジョブヒストリログです。

システム用ジョブヒストリログのようにシステムによって削除されることはありません。

ユーザー用ジョブヒストリログは、デフォルトでは以下のディレクトリ配下に出力されます。

{Hadoopジョブ結果出力ディレクトリ}/_logs/history


並列分散を行うアプリケーション(MapReduce)の開発・実行を行うサーバです。

管理 LAN

主にスマートセットアップにおけるクローニング処理を行うためのネットワークを指します。

業務 LAN

マスタサーバ、スレーブサーバ間の並列分散処理を行うためのネットワークを指します。

単一障害点

その一か所に問題があると全体にとって致命的になる場所を単一障害点と呼びます。HDFSでは、DataNode全体を管理する

NameNodeに障害が起きると、HDFSが使用できなくなります。そのため、NameNodeはHDFSの単一障害点となります。

連携サーバ

Linux 標準のファイルアクセスインターフェースを使用してデータファイルにアクセスする既設のサーバです。

- 329 -

Documents

ユーザーズガイド - Fujitsusoftware.fujitsu.com/jp/manual/manualfiles/m150005/j2ul...・Apache Hadoop、Hadoop、HDFS、HBase、Hive、Pig、Mahout は Apache Software Foundation