IsilonOneFSバージョン 8.0.0 - 8.1.0

HDFS リファレンス ガイド

Copyright © 2017 Dell Inc. その関連会社。 All rights reserved. （不許複製・禁無断転載）

2017年 5月発行

掲載される情報は、発信現在で正確な情報であり、予告なく変更される場合があります。

本文書に記載される情報は、「現状有姿」の条件で提供されています。本文書に記載される情報に関する、どのような内容についても表明保証条項を設けず、特に、商品性や特定の目的に対する適応性に対する黙示的保証はいたしません。この資料に記載される、いかなる Dell ソフトウェアの使用、複製、頒布も、当該ソフトウェアライセンスが必要です。

Dell、EMC、および Dell または EMC が提供する製品及びサービスにかかる商標は Dell Inc.またはその関連会社の商標又は登録商標です。その他の商標は、各社の商標又は登録商標です。Published in the USA.

EMC ジャパン株式会社〒 151-0053 東京都渋谷区代々木 2-1-1 新宿マインズタワーwww.DellEMC.com/ja-jp/index.htmお問い合わせはwww.DellEMC.com/ja-jp/index.htm

2 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

HDFS と OneFSの連携方法の概要 5OneFS での Hadoop の実装方法.................................................................... 6OneFS がサポートする Hadoop ディストリビューション............................................ 7HDFS ファイルとディレクトリ................................................................................ 7Hadoop のユーザーおよびグループのアカウント......................................................7HDFS と SmartConnect.................................................................................8

OneFS with HDFSの構成 9HDFS ライセンスと SmartConnect Advanced ライセンスのアクティブ化................ 10HDFS サービスの設定.................................................................................... 10

HDFS サービス設定概要................................................................... 10HDFS サービスの有効化または無効化（Web UI）...............................11HDFS サービスの有効化または無効化（CLI）.....................................11HDFS サービス設定の構成（Web UI）.............................................. 11HDFS サービス設定の構成（CLI）....................................................12HDFS設定の表示（Web UI）.........................................................12HDFS設定の表示（CLI）............................................................... 12HDFS のログ レベルの変更（CLI）.................................................... 13HDFS のログ レベルの表示（CLI）.................................................... 13HDFS ルート ディレクトリの設定（Web UI）........................................ 13HDFS ルート ディレクトリの設定（CLI）.............................................. 13

HDFS認証方法の構成................................................................................. 14サポートされる HDFS認証方式..........................................................14HDFS認証方法の設定（Web UI）..................................................14HDFS認証方法の設定（CLI）........................................................15Hadoop クライアントの Kerberos認証の設定（CLI）..........................15

ローカル Hadoop ユーザーの作成..................................................................... 16ローカル Hadoop ユーザーの作成（Web UI）..................................... 16ローカル Hadoop ユーザーの作成（CLI）............................................16

WebHDFS REST API の有効化.....................................................................17WebHDFS の有効化または無効化（Web UI）.................................. 17WebHDFS の有効化または無効化（CLI）........................................ 17

安全な偽装の構成........................................................................................ 18プロキシ ユーザーの作成（Web UI）.................................................. 18プロキシ ユーザーの作成（CLI）........................................................ 19プロキシ ユーザーの変更（Web UI）.................................................. 19プロキシ ユーザーの変更（CLI）........................................................20プロキシ ユーザーの表示（Web UI）..................................................20プロキシ ユーザーの表示（CLI）........................................................20プロキシ ユーザー メンバーの一覧表示（CLI）..................................... 21プロキシ ユーザーの削除（Web UI）.................................................. 21プロキシ ユーザーの削除（CLI）........................................................ 21

仮想 HDFS ラックの構成................................................................................22仮想 HDFS ラックの作成（Web UI）................................................ 22仮想 HDFS ラックの作成（CLI）...................................................... 22仮想 HDFS ラックの変更（Web UI）................................................ 23

第 1章

第 2章

目次

OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド 3

仮想 HDFS ラックの変更（CLI）...................................................... 23仮想 HDFS ラックの表示（Web UI）................................................ 24仮想 HDFS ラックの表示（CLI）...................................................... 24仮想 HDFS ラックの削除（Web UI）................................................ 25仮想 HDFS ラックの削除（CLI）...................................................... 25

HDFS ワイヤ暗号化の構成............................................................................25HDFS ワイヤ暗号化の構成（Web UI）............................................ 26HDFS ワイヤ暗号化の構成（CLI）...................................................26

HDFS を使用する OneFSのコマンド リファレンス 27HDFS コマンド.............................................................................................. 28

isi hdfs log-level modify................................................................. 28isi hdfs log-level view.....................................................................28isi hdfs proxyusers create.............................................................. 28isi hdfs proxyusers modify............................................................. 30isi hdfs proxyusers delete.............................................................. 32isi hdfs proxyusers members list.................................................... 32isi hdfs proxyusers list................................................................... 33isi hdfs proxyusers view.................................................................34isi hdfs racks create.......................................................................35isi hdfs racks modify...................................................................... 35isi hdfs racks delete....................................................................... 37isi hdfs racks list............................................................................ 37isi hdfs racks view..........................................................................38isi hdfs ranger-plugin settings modify............................................ 38isi hdfs ranger-plugin settings view................................................39isi hdfs settings modify..................................................................39isi hdfs settings view..................................................................... 40

関連資料 43サード パーティ製の HDFS コンポーネント.......................................................... 44

Ambari........................................................................................... 44Apache Ranger のサポート............................................................... 46

Isilon での Hadoop の使用方法..................................................................... 47皆様からのご意見をお待ちしています................................................................49サポートの問い合わせ先................................................................................. 49

第 3章

第 4章

目次

4 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

第 1章

HDFS と OneFS の連携方法の概要

この章では、HDFS（Hadoop Distributed File System）を IsilonOneFS に実装する方法について説明します。

l OneFS での Hadoop の実装方法............................................................................6l OneFS がサポートする Hadoop ディストリビューション....................................................7l HDFS ファイルとディレクトリ........................................................................................7l Hadoop のユーザーおよびグループのアカウント............................................................. 7l HDFS と SmartConnect........................................................................................ 8

HDFS と OneFS の連携方法の概要 5

OneFSでの Hadoopの実装方法Isilon クラスタでの Hadoop の実装では、IsilonOneFS で Hadoop コンピューティング クライアントのファイル システムとしての機能を提供します。HDFS（Hadoop Distributed File System）はプロトコルとしてサポートされ、HDFS ストレージ レイヤー上のデータにアクセスするために Hadoop コンピューティング クライアントによって使用されます。Hadoop コンピューティング クライアントでは、HDFS プロトコルを介して任意のノードに接続して、Isilon クラスタに格納されているデータにアクセスできます。また、HDFS用に構成されたすべてのノードでは、次の図に示すような NameNode と DataNode の機能もあります。図 1 EMC Isilon Hadoop の導入

各ノードで、パフォーマンスが向上し、クラスタ容量が拡大します。Hadoop分析では、Isilon スケール アウト分散アーキテクチャがボトルネックを最小限に抑え、Big Data を迅速に提供し、パフォーマンスを最適化します。IsilonOneFSHadoopの実装が従来の Hadoop導入環境と異なる点OneFS を使用した Hadoop の実装は、通常の Hadoop の実装と次の点で異なります。l Hadoop コンピューティング レイヤーと HDFS ストレージ レイヤーが同じクラスタではなく、別個

のクラスタに配置されます。l データが Hadoop DFS内に格納される代わりに、ストレージ レイヤー機能の役割を OneFS（Isilon クラスタ上）が担います。Isilon クラスタのノードが NameNode と DataNode の両方として機能します。

l コンピューティング レイヤーが Isilon クラスタとは別個の Hadoop コンピューティング クラスタに確立されます。Hadoop MapReduce フレームワークとそのコンポーネントが Hadoop コンピューティング クラスタにのみインストールされます。

HDFS と OneFS の連携方法の概要

6 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

l ストレージ レイヤーの代わりに HDFS が OneFS に実装され、Isilon クラスタと Hadoop コンピューティング クラスタ間のネイティブで軽量なプロトコル レイヤーとして機能します。Hadoop コンピューティング クラスタのクライアントは、HDFS経由の接続を使用して Isilon クラスタのデータにアクセスします。

l HDFS に加えて、Hadoop コンピューティング クラスタのクライアントは、Isilon クラスタへの接続に、NFS、SMB、FTP、HTTPなど OneFS がサポートする任意のプロトコルを使用できます。IsilonOneFSは HDFS で提供される唯一の非標準実装であり、マルチ プロトコル アクセスが可能です。Isilonは、HDFS サービスにエンタープライズ クラスのデータ管理機能を備えており、ネイティブ HDFS にとって理想的な代替ストレージ システムになります。

l Hadoop コンピューティング クライアントは、単一の NameNode による経路設定によらず、Isilon クラスタ上の NameNode として機能するすべてのノードに接続できます。

OneFSがサポートする Hadoop ディストリビューションIsilon クラスタで最も一般的な Hadoop ディストリビューションを実行できます。

OneFS では、HDFS（Hadoop DFS）の多くのディストリビューションをサポートします。これらのディストリビューションは OneFS とは関係なく、独自のスケジュールで更新されます。OneFS でサポートされている Hadoop ディストリビューションの最新情報については、Isilon コミュニティ ネットワークの Hadoop Distributions and Products Supported by OneFS ページを参照してください。

HDFS ファイルとディレクトリHadoop コンピューティング クライアントにアクセス可能なデータを格納する OneFS アクセス ゾーンごとに、HDFS ルート ディレクトリを 1 つ構成する必要があります。Hadoop コンピューティング クライアントがクラスタに接続されると、ユーザーは指定のルート ディレクトリにあるすべてのファイルとサブディレクトリにアクセスできます。デフォルトの HDFS ディレクトリは/ifs です。次の点に注意してください。l クラスタの各 IP アドレス プールをアクセス ゾーンに関連づけます。Hadoop コンピューティング ク

ライアントが特定の IP アドレス プールを使用して Isilon クラスタに接続すると、クライアントは関連づけられたアクセス ゾーンの HDFS データにのみアクセスできます。この構成では、アクセス ゾーン内のデータを分離し、データへのクライアント アクセスを制限できます。

l NFS マウントや SMB共有とは異なり、HDFS経由でクラスタに接続するクライアントにはルート ディレクトリ内の個々のフォルダーにアクセスする権限は与えられません。複数の Hadoop ワークフローがあり、別個のデータが必要な場合、複数のアクセス ゾーンを作成して、各ゾーンに一意の HDFS ルート ディレクトリを作成できます。

l ルート ディレクトリの下にディレクトリやファイルを設定する際は、Hadoop のクライアントとアプリケーションがアクセスできるように、正しい権限があることを確認する必要があります。ディレクトリや権限は、Hadoop ディストリビューション、環境、要件、セキュリティ ポリシーによって異なります。

アクセス ゾーンの詳細については、OneFS のご使用バージョンの OneFS CLI管理ガイドまたはOneFS Web管理ガイドを参照してください。

HadoopのユーザーおよびグループのアカウントHadoop を実装する前に、HDFS経由で接続する際に必要なユーザー アカウントとグループ アカウントが Isilon クラスタ上に構成されている必要があります。

HDFS と OneFS の連携方法の概要

OneFS がサポートする Hadoop ディストリビューション 7

また、Hadoop ディストリビューションで必要なユーザー アカウントがゾーンごとに Isilon クラスタで構成されていることも確認する必要があります。必要なユーザー アカウントとそれに関連づけられている所有者やグループ設定は、ディストリビューション、要件、セキュリティ ポリシーによって異なります。UIDや GIDなど、Isilon クラスタ上のアカウントのプロファイルは、Hadoop コンピューティング クライアントのアカウントのプロファイルと一致する必要があります。OneFS では、ローカル Hadoop ユーザーまたはグループを名前で検索できる必要があります。ユーザーを検索できる Active Directoryや LDAPなどのディレクトリ サービスがない場合は、Hadoopのローカル ユーザーまたはグループを作成する必要があります。ディレクトリ サービスが使用可能な場合、ローカル ユーザー アカウントまたはユーザー グループは必要ありません。

HDFS と SmartConnectSmartConnect DNS ゾーンを設定して、Hadoop コンピューティング クライアントからの接続を管理できます。SmartConnectは、Isilon クラスタの DNS サーバがクライアントからの接続リクエストを管理する方法を指定するモジュールです。Isilon クラスタの IP アドレス プールごとに、FQDN（完全修飾ドメイン名）である SmartConnect DNS ゾーンを構成できます。SmartConnect の詳細については、OneFS のご使用バージョンの OneFS CLI管理ガイドまたはOneFS Web管理ガイドを参照してください。次の点に注意してください。l Hadoop コンピューティング クライアントは SmartConnect DNS ゾーン名を使用してクラスタに

接続でき、SmartConnect がプール内の IP アドレスとノード間で NameNode リクエストを均等に分配します。

l Hadoop コンピューティング クライアントによって、SmartConnect ゾーンに接続するための初回の DNS リクエストが作成されると、Hadoop クライアントは NameNode として動作する Isilonノードの IP アドレスにルーティングされます。その後の同じ Hadoop コンピューティング クライアントからのリクエストも、同じノードに送られます。別の Hadoop クライアントで SmartConnect ゾーンに対する DNS リクエストが作成されると、SmartConnect によってトラフィックのバランスが調整され、そのクライアント接続を以前の Hadoop コンピューティング クライアントで使用されたノードとは別のノードにルーティングします。

l Hadoop コンピューティング クライアントが接続する SmartConnect DNS ゾーンを指定する場合、Isilon クラスタが含まれる、権限のある DNS ゾーンへの委任ドメインとして、新しい NS（名前サーバ）レコードを追加する必要があります。

l Hadoop コンピューティング クラスタでは fs.defaultFS プロパティの値を、core-site.xml ファイル内の SmartConnect DNS ゾーン名に設定する必要があります。

HDFS と OneFS の連携方法の概要

8 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

第 2章

OneFS with HDFS の構成

次のセクションは、OneFS with HDFS を構成するために必要な実行手順です。

l HDFS ライセンスと SmartConnect Advanced ライセンスのアクティブ化........................10l HDFS サービスの設定............................................................................................10l HDFS認証方法の構成.........................................................................................14l ローカル Hadoop ユーザーの作成............................................................................ 16l WebHDFS REST API の有効化............................................................................ 17l 安全な偽装の構成................................................................................................18l 仮想 HDFS ラックの構成....................................................................................... 22l HDFS ワイヤ暗号化の構成................................................................................... 25

OneFS with HDFS の構成 9

HDFS ライセンスと SmartConnect Advanced ライセンスのアクティブ化

HDFS のよる OneFS を使用する前に、HDFS と SmartConnect Advanced のライセンスがアクティブであることを確認する必要があります。手順

1. HDFS と SmartConnect Advanced がインストールされていることを確認するには、次のコマンドを実行します。

isi license licenses listisi license licenses view HDFSisi license licenses view "SmartConnect Advanced"

2. モジュールのライセンスがない場合は、Isilon セールス担当者からライセンス キーを取得します。ライセンスをアクティブにするには、次のコマンドを入力します。

isi license activate --key <key>

HDFS サービスの設定Isilon クラスタに HDFS サービス設定を行い、HDFS ワークフローのパフォーマンスを向上させることができます。

HDFS サービス設定概要HDFS サービス設定は、HDFS ワークフローのパフォーマンスに影響します。

HDFS サービスの次の設定を行えます。設定 説明

ブロック長 Hadoop コンピューティング クライアントからの読み取り要求に対して HDFS サービスがデータを返す方法は、Isilon クラスタ上の HDFS ブロック長の設定によって決まります。クラスタの HDFS ブロック長を変更して、ブロック長を 4 KB から 1 GB まで増やすことができます。デフォルトのブロック長は 128 MB です。ブロック長を増やすと、Isilon クラスタ ノードが HDFS データをより大きなブロックで読み取りおよび書き込みでき、ほとんどの用途でパフォーマンスを最適化できます。

Hadoop クラスタにより、Hadoop コンピューティング クライアントが Isilon クラスタにファイル データのブロックを書き込む方法を決定する異なるブロック長が管理されます。最適なブロック長は、データの種類やデータの処理方法などの要素によって変わります。Hadoop

クラスタのブロック長は、hdfs-site.xml構成ファイルの dfs.block.size プロパティで構成できます。

チェックサム タイプ HDFS サービスにより Hadoop コンピューティング クライアントにチェックサム タイプが送信されますが、チェックサム タイプにかかわらずチェックサム データは送信されません。デフォルトのチェックサム タイプは［None］に設定されます。Hadoop ディストリビューションでクライアントへの［None］以外のチェックサム タイプを送信する必要がある場合は、チェックサム タイプを［CRC32］または［CRC32C］に設定できます。

OneFS with HDFS の構成

10 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

HDFS サービスの有効化または無効化（Web UI）HDFS サービスをアクセス ゾーン単位で有効化または無効化するには、OneFS Web UI（Web管理インターフェイス）を使用します。手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Settings］の順にクリックします。2. ［Current Access Zone］リストから、HDFS サービスを有効化または無効化するアクセス

ゾーンを選択します。3. ［HDFS Service Settings］領域で、［Enable HDFS service］チェックボックスをオン

またはオフにします。4. ［Save Changes］をクリックします。

HDFS サービスの有効化または無効化（CLI）HDFS サービスをアクセス ゾーン単位で有効化または無効化するには、OneFS CLI（コマンド ライン インターフェイス）を使用します。手順

1. isi hdfs settings modify コマンドを実行します。次のコマンドを実行すると、zone3 で HDFS サービスが有効になります。

isi hdfs settings modify --service=yes --zone=zone3

次のコマンドを実行すると、zone3 で HDFS サービスが無効になります。

isi hdfs settings modify --service=no --zone=zone3

HDFS サービス設定の構成（Web UI）OneFS Web管理インターフェイスを使用して、各アクセス ゾーンに HDFS サービス設定を構成します。手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Settings］の順にクリックします。2. ［Current Access Zone］リストから、サービス設定を構成するアクセス ゾーンを選択しま

す。3. ［HDFS Service Settings］領域で、目的の HDFS ブロック長を［Default Block

Size］リストから選択します。

Hadoop コンピューティング クライアントからの読み取り要求に対して HDFS サービスがデータを返す方法は、HDFS ブロック長によって決まります。

4. ［Default Checksum Type］リストからチェックサム タイプを選択します。

HDFS サービスは、チェックサム タイプにかかわらずチェックサム データを送信しません。

5. ［Save Changes］をクリックします。

OneFS with HDFS の構成

HDFS サービスの有効化または無効化（Web UI） 11

HDFS サービス設定の構成（CLI）OneFS コマンド ライン インターフェイスを使用して、各アクセス ゾーンに HDFS サービス設定を構成します。手順

1. isi hdfs settings modify コマンドを実行します。次のコマンドでは、zone3 アクセス ゾーンでブロック長を 256 KB に設定します。

isi hdfs settings modify --default-block-size=256K --zone=zone3

ブロック長はバイト数で設定する必要があります。サフィックスとして K、M、G を使用できます。

次のコマンドでは、zone3 アクセス ゾーンでチェックサム タイプを crc32 に設定します。

isi hdfs settings modify --default-checksum-type=crc32 --zone=zone3

HDFS設定の表示（Web UI）OneFS Web管理インターフェイスを使用して、アクセス ゾーンの HDFS設定を表示します手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Settings］の順にクリックします。2. ［Current Access Zones］リストから、HDFS設定を表示するアクセス ゾーンを選択しま

す。［Settings］タブに、次の領域での現在の HDFS オプションが表示されます。l ［HDFS サービス設定］l ［HDFS プロトコル設定］l ［Ambari サーバ設定］

HDFS設定の表示（CLI）コマンド ライン インターフェイスを使用してアクセス ゾーンの HDFS設定を表示します。手順

1. クラスタ内の任意のノードへの SSH（セキュア シェル）接続を開き、ログインします。2. isi hdfs settings view コマンドを実行します。

次のコマンドを実行すると、zone1 アクセス ゾーンの HDFS設定が表示されます。

isi hdfs settings view --zone=zone1

OneFS with HDFS の構成

12 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

HDFS のログ レベルの変更（CLI）Isilon クラスタ上の任意のノードに対し、HDFS サービス イベントのデフォルトのログ レベルを設定できます。この処理手順は、コマンド ライン インターフェイスを使用した場合にのみ使用できます。

手順1. クラスタ内のノードへの SSH（セキュア シェル）接続を開き、ログインします。2. isi hdfs log-level modify コマンドを実行します。

次のコマンドでは、ノード上で HDFS のログ レベルをトレースに設定します。

isi hdfs log-level modify --set=trace

HDFS のログ レベルの表示（CLI）Isilon クラスタ上のノードの HDFS サービス イベントのデフォルト ログ レベルを表示することができます。この処理手順は、OneFS コマンド ライン インターフェイスを使用した場合にのみ使用できます。

手順1. クラスタ内のノードへの SSH（セキュア シェル）接続を開き、ログインします。2. isi hdfs log-level view コマンドを実行します。

HDFS ルート ディレクトリの設定（Web UI）OneFS Web管理インターフェイスを使用して、アクセス ゾーンごとに、1 つの HDFS ルート ディレクトリを構成します。手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Settings］の順にクリックします。2. ［Current Access Zone］リストから、ルート ディレクトリを指定するアクセス ゾーンを選択

します。3. ［HDFS Protocol Settings］領域の［HDFS Root Directory］フィールドで、HDFS

ルート ディレクトリを使用するディレクトリを入力するか参照します。

ルート ディレクトリは/ifs内にある必要があります。4. ［Save Changes］をクリックします。

HDFS ルート ディレクトリの設定（CLI）コマンド ライン インターフェイスを使用して、アクセス ゾーンごとに、1 つの HDFS ルート ディレクトリを構成します。はじめにルート パスとして設定するディレクトリ構造は、すでに OneFS ファイル システムに存在している必要があります。手順l isi hdfs settings modify コマンドを実行します。

OneFS with HDFS の構成

HDFS のログ レベルの変更（CLI） 13

次のコマンドは、zone3 アクセス ゾーンに接続する Hadoop コンピューティング クライアントに/ifs/data/hadoop ディレクトリへのアクセス権限が付与されるように指定します。

isi hdfs settings modify --root-directory=/ifs/zone3/hadoop --zone=zone3

HDFS認証方法の構成HDFS認証方法は、アクセス ゾーンごとに構成できます。Hadoop コンピューティング クライアントがアクセス ゾーン経由で Isilon クラスタに接続されると、クライアントはそのアクセス ゾーンで指定された方法で認証を行う必要があります。

Hadoop 2.2以降を実行する Hadoop コンピューティング クライアントで Kerberos をとおしてアクセス ゾーンに接続する場合は、Hadoop クライアント上に HDFS認証プロパティを構成する必要があります。

サポートされる HDFS認証方式認証方法により、Hadoop コンピューティング クライアントとの接続を確立するために OneFS によって要求される証明書が決まります。HDFS認証方法は、各アクセス ゾーンを指定します。OneFSは HDFS の次の認証方式をサポートします。認証方法 説明

Simple only クライアント接続の確立にユーザー名のみ必要です。

Kerberos only クライアント接続の確立に Kerberos認証が必要です。

Isilon クラスタで Kerberos を認証プロバイダーとして構成し、Hadoop 2.2以降を実行しているクライアント上の core-site.xml ファイルを変更する必要があります。

All（デフォルト値）単純認証と Kerberos認証の両方を受け入れます。Kerberos設定およびファイル変更が完了していない場合、クライアント接続はデフォルトで単純認証になります。

単純認証による意図しないアクセスを防止するには、Kerberos を通じたクライアントアクセスを強制するように認証方式を［Kerberos only］に設定します。

HDFS認証方法の設定（Web UI）OneFS Web管理インターフェイスを使用して、各アクセス ゾーンの HDFS認証方法を構成します。はじめにKerberos を通じて Hadoop クライアントをアクセス ゾーンに接続する場合は、Kerberos認証プロバイダーが構成され、アクセス ゾーンに追加されている必要があります。

OneFS with HDFS の構成

14 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

手順1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Settings］の順にクリックします。2. ［Current Access Zone］リストから、認証方法を指定するアクセス ゾーンを選択します。3. ［HDFS Protocol Settings］領域で、［Authentication Type］リストから次の認証

方法のいずれかを選択します。l 単純認証と Kerberos認証の両方l 単純認証l Kerberos認証

4. ［Save Changes］をクリックします。

HDFS認証方法の設定（CLI）コマンド ライン インターフェイスを使用して、各アクセス ゾーンの HDFS認証方法を構成します。

はじめにKerberos を通じて Hadoop クライアントをアクセス ゾーンに接続する場合は、Kerberos認証プロバイダーが構成され、アクセス ゾーンに追加されている必要があります。手順

1. isi hdfs settings modify コマンドを実行します。次のコマンドは、zone3 に接続する Hadoop コンピューティング クライアントを単純認証方法で識別する必要があることを指定します。

isi hdfs settings modify --authentication-mode=simple_only --zone3

次のコマンドは、zone3 に接続する Hadoop コンピューティング クライアントを Kerberos認証方法で識別する必要があることを指定します。

isi zone zones modify zone3 --authentication-mode=kerberos_only

必要条件ユーザーが Kerberos を通じて認証できるようにするには、Hadoop 2.2以降を実行しているクライアント上の core-site.xml ファイルを変更する必要があります。

Hadoop クライアントの Kerberos認証の設定（CLI）Hadoop 2.2以降を実行している Hadoop コンピューティング クライアントを、Kerberos を使用してアクセス ゾーンに接続する場合は、Hadoop クライアント上の core-site.xml およびhdfs-site.xml ファイルを変更する必要があります。はじめにアクセス ゾーンで HDFS認証方法として Kerberos を設定する必要があり、Kerberos認証プロバイダーを構成してアクセス ゾーンに割り当てる必要があります。手順

1. Hadoop クライアント上の$HADOOP_CONF ディレクトリに移動します。2. core-site.xml ファイルをテキスト エディターで開きます。

OneFS with HDFS の構成

HDFS認証方法の設定（CLI） 15

3. 次の例に示すように、hadoop.security.token.service.use_ip プロパティの値を false に設定します。

<property> <name>hadoop.security.token.service.use_ip</name> <value>false</value> </property>

4. core-site.xml ファイルを保存して閉じます。5. hdfs-site.xml ファイルをテキスト エディターで開きます。6. 次の例に示すように、dfs.namenode.kerberos.principal.pattern プロパティの値を

Kerberos認証プロバイダーに構成されている Kerberos領域に設定します。

<property> <name>dfs.namenode.kerberos.principal.pattern</name> <value>hdfs/*@storage.company.com</value> </property>

7. hdfs-site.xml ファイルを保存して閉じます。

ローカル Hadoop ユーザーの作成OneFS では、ローカル Hadoop ユーザーを名前で検索できる必要があります。ユーザー検索を実行できるディレクトリ サービスがアクセス ゾーンにない場合は、そのアクセス ゾーンの Hadoop コンピューティング クライアント上のユーザーにマップされるローカル Hadoop ユーザーを作成する必要があります。ディレクトリ サービスが使用可能な場合、ローカル ユーザー アカウントは必要ありません。OneFS Web UI（Web管理インターフェイス）または CLI（コマンド ライン インターフェイス）のいずれかを使用して、ローカル Hadoop ユーザーを作成することができます。

ローカル Hadoop ユーザーの作成（Web UI）OneFS Web管理インターフェイスを使用して、ローカル Hadoop ユーザーを作成します。手順

1. ［Access］ > ［ Membership & Roles］ > ［Users］の順にクリックします。2. ［Current Access Zone］リストから、ローカル Hadoop ユーザーを作成するアクセス ゾー

ンを選択します。3. ［Providers］リストから、［LOCAL］を選択します。4. ［Create a User］をクリックし、Hadoop ユーザーの名前を［Username］フィールドに入

力します。5. ［Create User］をクリックします。

ローカル Hadoop ユーザーの作成（CLI）コマンド ライン インターフェイスを使用して、ローカル Hadoop ユーザーを作成します。手順

1. isi auth users create コマンドを実行します。

OneFS with HDFS の構成

16 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

次のコマンドでは、hadoop-user1 という名前のユーザーを作成し、そのユーザーを zone3 アクセス ゾーンのローカル認証プロバイダーに割り当てます。

isi auth users create --name=hadoop-user1 --provider=local --zone=zone3

WebHDFS REST APIの有効化OneFSはWebHDFS REST API のクライアント アプリケーション経由での HDFS データへのアクセスをサポートします。WebHDFSは、クライアント アプリケーションの作成時に使用する GET、PUT、POST、DELETEなどの HTTP オペレーションがベースの、RESTfulなプログラミング インターフェイスです。WebHDFS のクライアント アプリケーションを使用すると、HTTP および HTTPS経由で HDFS データにアクセスして、HDFS操作を実行できます。l WebHDFSはアクセス ゾーン単位で OneFS によってサポートされており、デフォルトで有効で

す。l WebHDFSは単純認証または Kerberos認証をサポートします。アクセス ゾーンの HDFS認

証方法が［All］に設定されている場合、OneFSはWebHDFS に単純認証を使用します。l 単純認証による不正なクライアント アクセスを防止するには、WebHDFS をサポートしない各

アクセス ゾーンでWebHDFS を無効にします。OneFS Web管理インターフェイスまたはコマンド ライン インターフェイスのいずれかを使用して、各アクセス ゾーンで、WebHDFS のクライアント アプリケーション経由の HDFS データへのアクセスがサポートされているかどうかを指定することができます。

WebHDFS の有効化または無効化（Web UI）OneFS Web管理インターフェイスを使用して、WebHDFS のクライアント アプリケーション経由でのHDFS データへのアクセス権を設定します。手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Settings］の順にクリックします。2. ［Current Access Zone］リストから、WebHDFS を有効化または無効化するアクセス ゾ

ーンを選択します。3. ［HDFS Protocol Settings］領域で、［Enable WebHDFS Access］チェックボックス

をオンまたはオフにします。4. ［Save Changes］をクリックします。

WebHDFS の有効化または無効化（CLI）コマンド ライン インターフェイスを使用して、WebHDFS のクライアント アプリケーション経由でのHDFS データへのアクセス権を設定します。手順

1. isi hdfs settings modify コマンドを実行します。次のコマンドを実行すると、zone3 のWebHDFS が有効になります。

isi hdfs settings modify --webhdfs-enabled=yes --zone=zone3

OneFS with HDFS の構成

WebHDFS REST API の有効化 17

次のコマンドを実行すると、zone3 のWebHDFS が無効になります。

isi hdfs settings modify --webhdfs-enabled=no --zone=zone3

安全な偽装の構成安全な偽装により、他のユーザーを偽装して Hadoop ジョブを実行できるプロキシ ユーザーを作成できます。Apache Oozieなどのアプリケーションを使用する場合に安全な偽装を構成して、Hadoop ジョブを自動的にスケジュール設定、管理、実行できます。たとえば、HadoopAdmin というユーザーを安全に偽装する Oozie プロキシ ユーザーを作成できます。これにより、Oozie ユーザーはHadoopAdmin ユーザーにより Hadoop ジョブが実行されることをリクエストできます。安全な偽装用のプロキシ ユーザーはゾーンごとに構成し、プロキシ ユーザーにメンバーとして割り当てるユーザーまたはユーザーのグループは同じアクセス ゾーンに属する必要があります。メンバーは、次の 1 つ以上の ID タイプにすることができます。l ユーザー名または UID で指定されたユーザーl グループ名または GID で指定されたユーザーのグループl SID で指定されたユーザー、グループ、マシン、アカウントl 名前で指定されたWell-known ユーザープロキシ ユーザーが有効な認証情報を提示しない場合、またはプロキシ ユーザー メンバーがクラスタに存在しない場合は、アクセスが拒否されます。プロキシ ユーザーは、アクセス ゾーンの HDFS ルート ディレクトリにあるファイルとサブディレクトリにのみアクセスできます。プロキシ ユーザーが偽装できるメンバーは、プロキシ ユーザーが必要とするデータへのアクセス権のみ持つユーザーに限定することをお勧めします。

名前には、次の無効な文字を含めることはできません。" / \ [ ] : ; | = , + * ? < >

プロキシ ユーザーの作成（Web UI）OneFS Web管理インターフェイスを使用して、プロキシ ユーザーを作成します。

はじめにプロキシ ユーザーまたはメンバーとして指定するユーザーを Isilon クラスタに追加します。プロキシ ユーザーとそのメンバーは、同じアクセス ゾーンに属する必要があります。手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Proxy Users］をクリックします。2. ［Current Access Zones］リストから、プロキシ ユーザーを追加するアクセス ゾーンを選択

します。3. ［Create a Proxy User］をクリックします。4. ［Name］フィールドで、新しいプロキシ ユーザーとして指定するユーザーを入力するかブラウ

ズします。ユーザーを参照する場合、現在のアクセス ゾーンに割り当てられている各認証プロバイダーを［Select a User］ダイアログ ボックスで検索することができます。

OneFS with HDFS の構成

18 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

5. ［Add a Member］をクリックします。［Select a User, Group, or Well-known SID］ダイアログ ボックスが表示されます。

6. ［Search for］領域で、検索対象のメンバーのタイプを選択します。メンバーには、個々のユーザーまたはグループを指定できます。名前または一般的な SIDで、ユーザーまたはグループを検索することができます。

7. (オプション) ［Search］をクリックすると、検索条件に基づいた検索結果が表示されます。8. ［Search Result］リストから対象のメンバーを選択し、［Select］をクリックします。［Select a User, Group, or Well-known SID］ダイアログ ボックスが閉じます。

9. ［Create a Proxy User］をクリックします。

プロキシ ユーザーの作成（CLI）コマンド ライン インターフェイスを使用してプロキシ ユーザーを作成します。

はじめにプロキシ ユーザーまたはメンバーとして指定するユーザーを Isilon クラスタに追加します。プロキシ ユーザーとそのメンバーは、同じアクセス ゾーンに属する必要があります。手順

1. isi hdfs proxyusers create コマンドを実行します。次のコマンドは、zone1内の hadoop-user23 を新しいプロキシ ユーザーとして指定します。

isi hdfs proxyusers create hadoop-user23 --zone=zone1

次のコマンドは、zone1 の hadoop-user23 を新しいプロキシ ユーザーとして指定し、グループ hadoop-users を、プロキシ ユーザーが偽装できるメンバーのリストに追加します。

isi hdfs proxyusers create hadoop-user23 --zone=zone1 --add-group=hadoop-users

次のコマンドは、zone1 の hadoop-user23 を新しいプロキシ ユーザーとして指定し、UID2155 を、プロキシ ユーザーが偽装できるメンバーのリストに追加します。

isi hdfs proxyusers create hadoop-user23 --zone=zone1 --add-UID=2155

プロキシ ユーザーの変更（Web UI）Isilon Web管理インターフェイス使用して、プロキシ ユーザーが安全に偽装するメンバーのリストを変更します。手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Proxy Users］をクリックします。2. ［Current Access Zones］リストから、プロキシ ユーザーを変更するアクセス ゾーンを選択

します。3. ［Proxy Users］リストから、変更するプロキシ ユーザーの横にあるチェックボックスを選択し

て［View/Edit］をクリックします。4. ［View Proxy User Details］ダイアログ ボックスで、［Edit Proxy User］をクリックしま

す。

OneFS with HDFS の構成

プロキシ ユーザーの作成（CLI） 19

5. メンバーを追加または削除し、［Save Changes］をクリックします。

プロキシ ユーザーの変更（CLI）コマンド ライン インターフェイスを使用して、プロキシ ユーザーが安全に偽装するメンバーのリストを変更します。手順

1. isi hdfs proxyusers modify コマンドを実行します。次のコマンドを実行すると、ユーザー ID が 2155 のユーザーが削除され、zone1 のプロキシユーザー hadoop-user23 のメンバーのリストに LOCAL という名前の well-known ユーザーが追加されます。

isi hdfs proxyusers modify hadoop-user23 --zone=zone1 --add-wellknown=LOCAL --remove-uid=2155

プロキシ ユーザーの表示（Web UI）OneFS Web管理インターフェイスを使用して、アクセス ゾーン内の全プロキシ ユーザーのリストを表示し、個々のプロキシ ユーザーの詳細を表示できます。手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Proxy Users］をクリックします。2. ［Current Access Zones］リストから、プロキシ ユーザーを表示するアクセス ゾーンを選択

します。［Proxy Users］リストには、アクセス ゾーンで構成されているすべてのプロキシ ユーザーが表示されます。

3. ［Proxy Users］リストから、表示するプロキシ ユーザーの横にあるチェックボックスを選択して［View/Edit］をクリックします。

［View Proxy User Details］ダイアログ ボックスが表示されます。4. プロキシ ユーザーの詳細の表示を終了したら、［Close］をクリックします。

プロキシ ユーザーの表示（CLI）コマンド ライン インターフェイスを使用して、アクセス ゾーン内の全プロキシ ユーザーのリストを表示し、個々のプロキシ ユーザーの詳細を表示できます。手順

1. クラスタ内の任意のノードへの SSH（セキュア シェル）接続を開き、ログインします。2. 特定のアクセス ゾーンに構成されているすべてのプロキシ ユーザーのリストを表示するには、

isi hdfs proxyusers list コマンドを実行します。次のコマンドを実行すると、zone1 に構成されているすべてのプロキシ ユーザーのリストが表示されます。

isi hdfs proxyusers list --zone=zone1

3. 特定のプロキシ ユーザーの詳細設定を表示するには、isi hdfs proxyusersview コマンドを実行します。

OneFS with HDFS の構成

20 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

次のコマンドを実行すると、zone1 の hadoop-user23 プロキシ ユーザーの詳細設定が表示されます。

isi hdfs proxyusers view hadoop-user23 --zone=zone1

プロキシ ユーザー メンバーの一覧表示（CLI）プロキシ ユーザーに割り当てられた、メンバーと呼ばれるユーザーおよびグループのリストを表示します。プロキシ ユーザーは、メンバー リスト内の任意のユーザーを安全に偽装できます。

この処理手順は、コマンド ライン インターフェイスを使用した場合にのみ使用できます。

手順1. isi hdfs proxyusers members list コマンドを実行します。次のコマンドを実行すると、zone1 のプロキシ ユーザー hadoop-user23 のメンバーであるユーザーおよびユーザーのグループの詳細リストが表示されます。

isi hdfs proxyusers members list hadoop-user23 --zone=zone1 -v

プロキシ ユーザーの削除（Web UI）OneFS Web管理インターフェイスを使用して、アクセス ゾーンからプロキシ ユーザーを削除します。

プロキシ ユーザーを削除すると、安全な偽装を実行できるユーザーのリストからそのユーザーが削除されます。そのユーザーがシステムから削除されるわけではありません。手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Proxy Users］をクリックします。2. ［Current Access Zones］リストから、プロキシ ユーザーを削除するアクセス ゾーンを選択

します。3. ［Proxy Users］リストから、削除するプロキシ ユーザーの横にあるチェックボックスを選択し

て［Delete］をクリックします。4. 確認ダイアログ ボックスで、［Delete］をクリックします。

プロキシ ユーザーの削除（CLI）コマンド ライン インターフェイスを使用してアクセス ゾーンからプロキシ ユーザーを削除します。

プロキシ ユーザーを削除すると、安全な偽装を実行できるユーザーのリストからそのユーザーが削除されます。そのユーザーがシステムから削除されるわけではありません。手順

1. isi hdfs proxyusers delete コマンドを実行します。次のコマンドを実行すると、zone1 アクセス ゾーンからプロキシ ユーザー hadoop-user23 が削除されます。

isi hdfs proxyusers delete hadoop-user23 --zone=zone1

OneFS with HDFS の構成

プロキシ ユーザー メンバーの一覧表示（CLI） 21

仮想 HDFS ラックの構成Isilon クラスタ上にノードの仮想 HDFS ラックを作成して、HDFS のデータにアクセスする際のパフォーマンスの最適化とレーテンシの削減を図ることができます。OneFS では Isilon クラスタ上で優先される HDFS ノードのグループと Hadoop コンピューティング クライアントの関連グループを、仮想 HDFS ラックとして指定できます。HDFS の仮想ラックを使用すると、ご使用のネットワーク トポロジーから判断してより迅速でビジー状態にないスイッチやより高速なノードに Hadoop コンピューティング クライアントを接続して、クライアントの接続性を改善できます。指定されたグループの Hadoop コンピューティング クライアントがクラスタに接続されると、OneFS が優先される HDFS ノードのグループから 2 つ以上の IP アドレスを返します。優先される HDFS ノードを IP アドレス プールで指定します。IPv6 ファミリーの IP アドレス プールは、仮想 HDFS ラックではサポートされません。

仮想 HDFS ラックの作成（Web UI）Isilon クラスタ上で、ノードの仮想 HDFS ラックを OneFS Web管理インターフェイスを使用して作成します。手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Virtual Racks］をクリックします。2. ［Current Access Zones］リストから、仮想 HDFS ラックを追加するアクセス ゾーンを選

択します。3. ［Create a Virtual Rack］をクリックします。4. ［Name］フィールドに、新しい仮想ラック名を入力します。

ラック名はスラッシュから始める必要があります（例：/hdfs-rack2）。5. ［Client IP Ranges］フィールドに、仮想 HDFS ラックに関連づける Hadoop コンピューティ

ング クライアントの IP アドレス範囲を指定します。

複数の IP範囲を関連づけることができます。

6. ［IP Pools］領域で、対象の IP アドレス プールを［Available Pools］表から選択して［Add］をクリックします。

7. ［Create Virtual Rack］をクリックします。

仮想 HDFS ラックの作成（CLI）コマンド ライン インターフェイスを使用して、Isilon クラスタ上にノードの仮想 HDFS ラックを作成します。手順

1. isi hdfs racks create コマンドを実行します。ラック名はスラッシュから始まります（例：/hdfs-rack2）。

次のコマンドを実行すると、zone5 アクセス ゾーンに/hdfs-rack2 という名前のラックが作成されます。

isi hdfs racks create /hdfs-rack2 --zone=zone5

OneFS with HDFS の構成

22 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

次のコマンドを実行すると、zone5 アクセス ゾーンに/hdfs-rack2 という名前のラックが作成され、ラックに関連づけられている Hadoop コンピューティング クライアントの IP アドレスの範囲として 120.135.26.10～120.135.26.20 が指定され、ラックに割り当てられる Isilonノードの IP アドレスプールとして subnet0:pool0 が指定されます。

isi hdfs racks create /hdfs-rack2 --zone=zone5 --client-ip-ranges=120.135.26.10-120.135.26.20 --ip-pools=subnet0:pool0

仮想 HDFS ラックの変更（Web UI）OneFS Web管理インターフェイスを使用して、仮想 HDFS ラックの設定を変更します。手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Virtual Racks］をクリックします。2. ［Current Access Zones］リストから、仮想 HDFS ラックを変更するアクセス ゾーンを選

択します。3. ［Virtual Racks］リストから、変更する仮想 HDFS ラックの横にあるチェックボックスを選択

して［View/Edit］をクリックします。4. ［View Virtual Rack Settings］ダイアログ ボックスから［Edit Virtual Rack］をクリック

します。5. 仮想ラックの設定を変更し、［Save Changes］をクリックします。

仮想 HDFS ラックの変更（CLI）コマンド ライン インターフェイスを使用して、仮想 HDFS ラックの設定を変更します。手順

1. isi hdfs racks modify コマンドを実行します。ラック名はスラッシュから始まります（例：/hdfs-rack2）。

次のコマンドは、zone3 アクセス ゾーンの/hdfs-rack2 という名前のラックを/hdfs-rack5 に変更します。

isi hdfs racks modify /hdfs-rack2 --new-name=/hdfs-rack5 --zone=zone3

次のコマンドは、zone3 アクセス ゾーンの/hdfs-rack2 に割り当てられた既存のHadoop コンピューティング クライアントの IP アドレスのリストに 120.135.26.30～120.135.26.40 を追加します。

isi hdfs racks modify /hdfs-rack2 --add-client-ip-ranges=120.135.26.30-120.135.26.40 --zone=zone3

クライアントの IP アドレスの既存の範囲のリストに新しい範囲を追加するほか、新しい範囲に置き換えることや、既存の範囲の一部または全範囲を削除することもできます。

OneFS with HDFS の構成

仮想 HDFS ラックの変更（Web UI） 23

次のコマンドは、既存の IP プールを zone3 アクセス ゾーンの/hdfs-rack2 に割り当てられた subnet1:pool1 と subnet2:pool2 に置き換えます。

isi hdfs racks modify /hdfs-rack2 --ip-pools=subnet1:pool1,subnet2:pool2 --zone=zone3

既存の IP プールのリストを新しい範囲に置き換えるほか、現在のプールのリストに IP プールを追加することや、指定のプールまたは全プールを削除することもできます。

仮想 HDFS ラックの表示（Web UI）OneFS Web管理インターフェイスを使用して、アクセス ゾーン内の全仮想 HDFS ラックのリストを表示し、個々の仮想ラックの詳細を表示できます。手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Virtual Racks］をクリックします。2. ［Current Access Zones］リストから、仮想 HDFS ラックを表示するアクセス ゾーンを選

択します。［Virtual Racks］リストには、アクセス ゾーンで構成されているすべての仮想 HDFS ラックが表示されます。

3. ［Virtual Racks］リストから、表示する仮想 HDFS ラックの横にあるチェックボックスを選択して［View/Edit］をクリックします。

［View Virtual Rack Settings］ダイアログ ボックスが表示されます。4. 仮想 HDFS ラックの詳細の表示を終了したら、［Close］をクリックします。

仮想 HDFS ラックの表示（CLI）コマンド ライン インターフェイスを使用して、アクセス ゾーン内の全仮想 HDFS ラックのリストを表示し、個々の仮想ラックの詳細を表示できます。手順

1. クラスタ内の任意のノードへの SSH（セキュア シェル）接続を開き、ログインします。2. アクセス ゾーン内に構成されている全仮想 HDFS ラックのリストを表示するには、isi

hdfs racks list コマンドを実行します。次のコマンドは、zone1 のアクセス ゾーンで構成されているすべての HDFS ラックをリストします。

isi hfds racks list --zone=zone1

次のコマンドを実行すると、zone1 のアクセス ゾーンに構成されている全仮想 HDFS ラックの設定詳細が表示されます。

isi hdfs racks list --zone=zone1 -v

3. 指定の仮想 HDFS ラックの設定詳細を表示するには、isi hdfs racks view コマンドを実行します。各ラック名はスラッシュから始まります（例：/hdfs-rack2）。

OneFS with HDFS の構成

24 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

次のコマンド例を実行すると、zone1 のアクセス ゾーンに構成されている、/hdfs-rack2 という名前の仮想 HDFS ラックの設定詳細が表示されます。

isi hdfs racks view /hdfs-rack2 --zone=zone1

仮想 HDFS ラックの削除（Web UI）OneFS Web管理インターフェイスを使用して、アクセス ゾーンから仮想 HDFS ラックを削除します。手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Virtual Racks］をクリックします。2. ［Current Access Zones］リストから、仮想 HDFS ラックを削除するアクセス ゾーンを選

択します。3. ［Virtual Racks］リストから、削除する仮想 HDFS ラックの横にあるチェックボックスを選択

して［Delete］をクリックします。4. 確認ダイアログ ボックスで、［Delete］をクリックします。

仮想 HDFS ラックの削除（CLI）コマンド ライン インターフェイスを使用して、アクセス ゾーンから仮想 HDFS ラックを削除します。手順

1. isi hdfs racks delete コマンドを実行します。ラック名はスラッシュから始まります（例：/hdfs-rack2）。

次のコマンドを実行すると、zone1 アクセス ゾーンから/hdfs-rack2 という名前の仮想HDFS ラックが削除されます。

isi hdfs racks delete /hdfs-rack2 --zone=zone1

2. プロンプトに、yes と入力します。

HDFS ワイヤ暗号化の構成OneFS Web管理インターフェイスまたはコマンド ライン インターフェイスのいずれかを使用してHDFS ワイヤ暗号化を構成できます。OneFS 8.0.1.0以降を使用する場合、HDFS クライアントと OneFS間で転送されるデータを転送中データの暗号化（HDFS ワイヤ暗号化とも呼ばれます）を使用して保護することができます。Kerberos対応の Hadoop環境では、すべての HDFS クライアント上および OneFS上でこの機能を有効にすることができます。ワイヤ暗号化は、HDFS クライアントと OneFS間のネゴシエーションを管理し、データの暗号化と復号化を行います。OneFSは、HDFS ワイヤ暗号化を使用して、OneFS と HDFS の間で転送されるデータを、規制条件を満たすように暗号化することができます。ワイヤ暗号化は、AES（Advanced EncryptionStandard）を使用してデータを暗号化します。128 ビット、192 ビット、256 ビットのキー長が利用できます。

OneFS でサポートされている HDFS ワイヤ暗号化は、Apache HDFS の透過的なデータの暗号化テクノロジーとは異なります 詳細については、Enhanced Hadoop security with OneFS 8.0.1and Hortonworks HDP を参照してください。

OneFS with HDFS の構成

仮想 HDFS ラックの削除（Web UI） 25

HDFS ワイヤ暗号化を有効にすると、HDFS プロトコルのスループットと I/Oパフォーマンスに大きな影響を与えます。

HDFS ワイヤ暗号化の構成（Web UI）OneFS Web管理インターフェイスを使用して、HDFS ワイヤ暗号化を構成できます。手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Settings］の順にクリックします。2. ［Data Transfer Cipher］リスト ボックスで、次のオプションのいずれかを選択します。

オプション 説明HDFS ワイヤ暗号化を有効化するには

［AES/CTR/NoPadding with 128 bit key］、［AES/CTR/NoPadding with 192 bit key］、［AES/CTR/NoPadding with 256 bit key］の中から、AES（高度暗号化標準）暗号を 1 つ選択します。

HDFS ワイヤ暗号化を無効化するには

［Do not encrypt data］をクリックします。

3. ［Save Settings］をクリックします。

HDFS ワイヤ暗号化の構成（CLI）コマンド ライン インターフェイスを使用して、HDFS ワイヤ暗号化を構成できます。

はじめにHDFS ワイヤ暗号化を構成する前に、「Ranger プラグインの設定」タスクを実行します。手順

1. HDFS ワイヤ暗号化を構成するには、isi hdfs settings modify --data-transfer-cipher ［encryption_argument］を実行します。

オプション 説明HDFS ワイヤ暗号化を有効化するには

［encryption_argument］を、aes_128_ctr、aes_192_ctr、aes_256_ctr［］のうちいずれかの AES（高度暗号化標準）暗号に設定します。

HDFS ワイヤ暗号化を無効化するには

［encryption_argument］を none に設定します。

isi hdfs settings modify --data-transfer-cipher aes_128_ctr

OneFS with HDFS の構成

26 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

第 3章

HDFS を使用する OneFS のコマンド リファレンス

OneFS コマンド ライン インターフェイスを使用して、HDFS サービスにアクセスおよび設定できます。これらのコマンドは、OneFSWeb管理インターフェイスと同じ動作を実行します。このセクションの以下のコマンドは、参照用に提供されています。

l HDFS コマンド...................................................................................................... 28

HDFS を使用する OneFS のコマンド リファレンス 27

HDFS コマンド次の OneFS コマンドの一覧は、Isilon と Hadoop システムの統合を管理するために役立ちます。

isi hdfs log-level modify

ノード上の HDFS サービスのログ レベルを変更します。

構文

isi hdfs log-level modify [--set {always|error|warning|info|verbose|debug|trace|default} ] [--verbose| -v]

オプション--set {always | error | warning | info | verbose | debug | trace |default}

クラスター上の HDFS サービスのデフォルトのロギング レベルを設定します。デフォルト値はdefault です。

--verbose | -v詳細を表示します。

isi hdfs log-level view

ノード上の HDFS サービスの現在のログ レベルを表示します。

構文

isi hdfs log-level view

オプションこのコマンドにはオプションはありません。

isi hdfs proxyusers create

別のユーザーまたはグループを安全に偽装できるプロキシ ユーザーを作成します。

構文

isi hdfs proxyusers create ［<proxyuser-name>］ [--zone ［<zone-name>］] [--add-group ［<group-name>］...] [--add-gid ［<group-identifier>］...] [--add-user ［<user-name>］...] [--add-uid ［<user-identifier>］...] [--add-sid ［<security-identifier>］...] [--add-wellknown ［<well-known-name>］...] [--verbose]

HDFS を使用する OneFS のコマンド リファレンス

28 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

オプション［<proxyuser-name>］

プロキシ ユーザーとして指定する、現在クラスターに構成されているユーザーのユーザー名を指定します。

--zone［<zone-name>］ユーザーが認証に使用するアクセス ゾーンを指定します。

--add-group［<group-name>］...

名前で指定したグループを、プロキシ ユーザー メンバーのリストに追加します。 プロキシ ユーザーは、グループ内の任意のユーザーを偽装できます。 グループ内のユーザーは、プロキシ ユーザーと同じアクセス ゾーンで認証する必要があります。 複数のグループ名をコンマ区切りリストで指定できます。

--add-gid［<group-identifier>］...

UNIX GID で指定したグループを、プロキシ ユーザー メンバーのリストに追加します。 プロキシユーザーは、グループ内の任意のユーザーを偽装できます。 グループ内のユーザーは、プロキシユーザーと同じアクセス ゾーンで認証する必要があります。 複数の UNIX GID をコンマ区切りリストで指定できます。

--add-user［<user-name>］...

名前で指定したユーザーを、プロキシ ユーザーが偽装できるメンバーのリストに追加します。 ユーザーは、プロキシ ユーザーと同じアクセス ゾーンで認証する必要があります。 複数のユーザー名をコンマ区切りリストで指定できます。

--add-uid［<user-identifier>］...

UNIX UID で指定したユーザーを、プロキシ ユーザーが偽装できるメンバーのリストに追加します。 ユーザーは、プロキシ ユーザーと同じアクセス ゾーンで認証する必要があります。 複数のUNIX UID をコンマ区切りリストで指定できます。

--add-sid［<security-identifier>］...

Windows SID で指定したユーザー、ユーザーのグループ、マシン、アカウントをプロキシ ユーザー メンバーのリストに追加します。 オブジェクトは、プロキシ ユーザーと同じアクセス ゾーンで認証する必要があります。 複数のWindows SID をコンマ区切りリストで指定できます。

--add-wellknown［<well-known-name>］...

名前で指定した well-known ユーザーを、プロキシ ユーザーが偽装できるメンバーのリストに追加します。 well-known ユーザーは、プロキシ ユーザーと同じアクセス ゾーンで認証する必要があります。 複数の well-known ユーザー名をコンマ区切りリストで指定できます。

{ --verbose | -v}

詳細を表示します。

例次のコマンドは、zone1内の hadoop-user23 を新しいプロキシ ユーザーとして指定します。

isi hdfs proxyusers create hadoop-user23 --zone=zone1

HDFS を使用する OneFS のコマンド リファレンス

isi hdfs proxyusers create 29

次のコマンドは、zone1 の hadoop-user23 を新しいプロキシ ユーザーとして指定し、hadoop-users という名前のユーザーのグループを、プロキシ ユーザーが偽装できるメンバーのリストに追加します。

isi hdfs proxyusers create hadoop-user23 --zone=zone1 \--add-group=hadoop-users

次のコマンドは、zone1 の hadoop-user23 を新しいプロキシ ユーザーとして指定し、UID 2155を、プロキシ ユーザーが偽装できるメンバーのリストに追加します。

isi hdfs proxyusers create hadoop-user23 --zone=zone1 --add-UID=2155

isi hdfs proxyusers modify

別のユーザーまたはグループを安全に偽装できるプロキシ ユーザーを変更します。

構文

isi hdfs proxyusers modify ［<proxyuser-name>］ [--zone ［<zone-name>］] [--add-group ［<group-name>］...] [--add-gid ［<group-identifier>］...] [--add-user ［<user-name>］...] [--add-uid ［<user-identifier>］...] [--add-sid ［<security-identifier>］...] [--add-wellknown ［<well-known-name>］...] [--remove-group ［<group-name>］...] [--remove-gid ［<group-identifier>］...] [--remove-user ［<user-name>］...] [--remove-uid ［<user-identifier>］...] [--remove-sid ［<security-identifier>］...] [--remove-wellknown ［<well-known-name>］...] [--verbose]

オプション［<proxyuser-name>］

変更するプロキシ ユーザーのユーザー名を指定します。

--zone［<zone-name>］プロキシ ユーザーが認証に使用するアクセス ゾーンを指定します。

--add-group［<group-name>］...

名前で指定したグループを、プロキシ ユーザー メンバーのリストに追加します。 プロキシ ユーザーは、グループ内の任意のユーザーを偽装できます。 グループ内のユーザーは、プロキシ ユーザーと同じアクセス ゾーンで認証する必要があります。 複数のグループ名をコンマ区切りリストで指定できます。

--add-gid［<group-identifier>］...

UNIX GID で指定したグループを、プロキシ ユーザー メンバーのリストに追加します。 プロキシユーザーは、グループ内の任意のユーザーを偽装できます。 グループ内のユーザーは、プロキシユーザーと同じアクセス ゾーンで認証する必要があります。 複数の UNIX GID をコンマ区切りリストで指定できます。

HDFS を使用する OneFS のコマンド リファレンス

30 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

--add-user［<user-name>］...

名前で指定したユーザーを、プロキシ ユーザーが偽装できるメンバーのリストに追加します。 ユーザーは、プロキシ ユーザーと同じアクセス ゾーンで認証する必要があります。 複数のユーザー名をコンマ区切りリストで指定できます。

--add-uid［<user-identifier>］...

UNIX UID で指定したユーザーを、プロキシ ユーザーが偽装できるメンバーのリストに追加します。 ユーザーは、プロキシ ユーザーと同じアクセス ゾーンで認証する必要があります。 複数のUNIX UID をコンマ区切りリストで指定できます。

--add-sid［<security-identifier>］...

Windows SID で指定したユーザー、ユーザーのグループ、マシン、アカウントをプロキシ ユーザー メンバーのリストに追加します。 オブジェクトは、プロキシ ユーザーと同じアクセス ゾーンで認証する必要があります。 複数のWindows SID をコンマ区切りリストで指定できます。

--add-wellknown［<well-known-name>］...

名前で指定した well-known ユーザーを、プロキシ ユーザーが偽装できるメンバーのリストに追加します。 well-known ユーザーは、プロキシ ユーザーと同じアクセス ゾーンで認証する必要があります。 複数の well-known ユーザー名をコンマ区切りリストで指定できます。

--remove-group［<group-name>］...

名前で指定したグループをプロキシ ユーザー メンバーのリストから削除して、プロキシ ユーザーがグループ内のユーザーを偽装できなくなるようにします。 複数のグループ名をコンマ区切りリストで指定できます。

--remove-gid［<group-identifier>］...

UNIX GID で指定したグループをプロキシ ユーザー メンバーのリストから削除して、プロキシ ユーザーがグループ内のユーザーを偽装できなくなるようにします。 複数の UNIX GID をコンマ区切りリストで指定できます。

--remove-user［<user-name>］...

名前で指定したユーザーを、プロキシ ユーザーが偽装できるメンバーのリストから削除します。複数のユーザー名をコンマ区切りリストで指定できます。

--remove-uid［<user-identifier>］...

UNIX UID で指定したユーザーを、プロキシ ユーザーが偽装できるメンバーのリストから削除します。 複数の UNIX UID をコンマ区切りリストで指定できます。

--remove-sid［<security-identifier>］...

Windows SID で指定したユーザー、ユーザーのグループ、マシン、アカウントをプロキシ ユーザー メンバーのリストから削除します。 複数のWindows SID をコンマ区切りリストで指定できます。

--remove-wellknown［<well-known-name>］...

名前で指定した well-known ユーザーを、プロキシ ユーザーが偽装できるメンバーのリストから削除します。 複数の well-known ユーザー名をコンマ区切りリストで指定できます。

{--verbose | -v}

詳細を表示します。

HDFS を使用する OneFS のコマンド リファレンス

isi hdfs proxyusers modify 31

例次のコマンドを実行すると、zone1 のプロキシ ユーザー hadoop-user23 のメンバーのリストに well-known ローカル ユーザーが追加され、UID が 2155 のユーザーがこのリストから削除されます。

isi hdfs proxyusers modify hadoop-user23 --zone=zone1 \--add-wellknown=local --remove-uid=2155

isi hdfs proxyusers delete

プロキシ ユーザーを削除します。

構文

isi hdfs proxyusers delete ［<proxyuser-name>］ [--zone ［<zone-name>］] [--force] [--verbose]

オプション［<proxyuser-name>］

削除するプロキシ ユーザーのユーザー名を指定します。

--zone［<zone-name>］プロキシ ユーザーが認証に使用するアクセス ゾーンを指定します。

{ --force | -f}

確認を行わずに、指定したプロキシ ユーザーを削除します。

{ --verbose | -v}

詳細を表示します。

例次のコマンドを実行すると、zone1 の hadoop-user23 がプロキシ ユーザーのリストから削除されます。

isi hdfs proxyusers delete hadoop-user23 --zone=zone1

isi hdfs proxyusers members list

プロキシ ユーザーによって偽装できる、メンバーと呼ばれるユーザーおよびユーザーのグループを表示します。

構文

isi hdfs proxyusers members list ［<proxyuser-name>］ [--zone ［<zone-name>］] [--format {table | json | csv | list}] [--no-header ] [--no-footer ] [--verbose]

HDFS を使用する OneFS のコマンド リファレンス

32 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

オプション［<proxyuser-name>］

プロキシ ユーザーの名前を指定します。

--zone［<zone-name>］プロキシ ユーザーが認証に使用するアクセス ゾーンを指定します。

--format table{json | csv | list | }

出力をテーブル（デフォルト）、JSON（JavaScript Object Notation）、CSV（コンマ区切り値）、リスト形式で表示します。

--no-headerヘッダーなしのテーブルと CSV の出力を表示します。

--no-footerフッターなしのテーブル出力を表示します。

{ --verbose | -v}

詳細を表示します。

例次のコマンドを実行すると、zone1 のプロキシ ユーザー hadoop-user23 のメンバーであるユーザーおよびグループの詳細リストが表示されます。

isi hdfs proxyusers members list hadoop-user23 --zone=zone1 -v

次の例のような出力が表示されます。

Type: userName: krb_user_005 ID: UID:1004--------------------------------------------------------------------------------Type: groupName: krb_users ID: SID:S-1-22-2-1003--------------------------------------------------------------------------------Type: wellknownName: LOCAL ID: SID:S-1-2-0

isi hdfs proxyusers list

アクセス ゾーンに構成されているすべてのプロキシ ユーザーを表示します。

構文

isi hdfs proxyusers list [--zone ［<zone-name>］] [--format {table | json | csv | list}] [--no-header ] [--no-footer ] [--verbose]

HDFS を使用する OneFS のコマンド リファレンス

isi hdfs proxyusers list 33

オプション--zone［<zone-name>］

アクセス ゾーンの名前を指定します。

--format table{json | csv | list | }

出力をテーブル（デフォルト）、JSON（JavaScript Object Notation）、CSV（コンマ区切り値）、リスト形式で表示します。

--no-headerヘッダーなしのテーブルと CSV の出力を表示します。

--no-footerフッターなしのテーブル出力を表示します。

{ --verbose | -v}

詳細を表示します。

例次のコマンドを実行すると、zone1 に構成されているすべてのプロキシ ユーザーのリストが表示されます。

isi hdfs proxyusers list --zone=zone1

次の例のような出力が表示されます。

Name-------------hadoop-user23hadoop-user25hadoop-user28-------------Total: 3

isi hdfs proxyusers view

特定のプロキシ ユーザーの詳細設定を表示します。

構文

isi hdfs proxyusers view ［<proxyuser-name>］ [--zone ［<zone-name>］]

オプション［<proxyuser-name>］

プロキシ ユーザーのユーザー名を指定します。

--zone［<zone-name>］プロキシ ユーザーが認証に使用するアクセス ゾーンを指定します。

HDFS を使用する OneFS のコマンド リファレンス

34 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

例次のコマンドを実行すると、zone1 の hadoop-user23 プロキシ ユーザーの詳細設定が表示されます。

isi hdfs proxyusers view hadoop-user23 --zone=zone1

次の例のような出力が表示されます。

Name： hadoop-user23Members: krb_users LOCAL krb_user_004

isi hdfs racks create

新しい仮想 HDFS ラックを作成します。

構文

isi hdfs racks create ［<rack-name>］ [--client-ip-ranges ［<low-ip-address>］-［<high-ip-address>］]... [--ip-pools ［<subnet>］:［<pool>］]... [--zone ［<string>］] [--verbose]

オプション［<rack-name>］

仮想 HDFS ラックの名前を指定します。ラック名は、/example-name のようにスラッシュで開始する必要があります。

--client-ip-ranges［<low-ip-address>］-［<high-ip-address>］...

仮想ラックに割り当てられた外部 Hadoop コンピューティング クライアントの IP アドレス範囲を指定します。

--ip-pools［<subnet>］:［<pool>］...

Isilon クラスター IP アドレスのプールを仮想ラックに割り当てます。

--zone［<string>］仮想ラックを含むアクセス ゾーンを指定します。

{--verbose | -v}

詳細を表示します。

isi hdfs racks modify

仮想 HDFS ラックを変更します。

構文

isi hdfs racks modify ［<rack-name>］ [--name ［<rack-name>］] [--client-ip-ranges ［<low-ip-address>］-［<high-ip-address>］]...

HDFS を使用する OneFS のコマンド リファレンス

isi hdfs racks create 35

[--add-client-ip-ranges ［<low-ip-address>］-［<high-ip-address>］]... [--remove-client-ip-ranges ［<low-ip-address>］-［<high-ip-address>］]... [--clear-client-ip-ranges] [--ip-pools ［<subnet>］:［<pool>］]... [--add-ip-pools ［<subnet>］:［<pool>］]... [--remove-ip-pools ［<subnet>］:［<pool>］]... [--clear-ip-pools] [--zone ［<string>］] [--verbose]

オプション［<rack-name>］

変更する仮想 HDFS ラックを指定します。各ラック名は、/example-name のようにスラッシュで開始します。

--name［<rack-name>］指定した仮想ラックに新しい名前を割り当てます。ラック名は、/example-name のようにスラッシュで開始する必要があります。

--client-ip-ranges［<low-ip-address>］-［<high-ip-address>］...

仮想ラックに割り当てられた外部 Hadoop コンピューティング クライアントの IP アドレス範囲を指定します。このオプションで割り当てられる値は、既存の IP アドレス範囲を上書きします。新しい範囲は--add-client-ip-ranges オプションを使用して追加できます。

--add-client-ip-ranges［<low-ip-address>］-［<high-ip-address>］...

外部 Hadoop コンピューティング クライアントの指定された IP アドレス範囲を仮想ラックに追加します。

--remove-client-ip-ranges［<low-ip-address>］-［<high-ip-address>］...

外部 Hadoop コンピューティング クライアントの指定された IP アドレス範囲を仮想ラックから削除します。範囲全体の削除のみ可能です。範囲のサブセットは削除できません。

--clear-client-ip-ranges外部 Hadoop コンピューティング クライアントのすべての IP アドレス範囲を仮想ラックから削除します。

--ip-pools［<subnet>］:［<pool>］...

Isilon ノード IP アドレスのプールを仮想ラックに割り当てます。このオプションで割り当てられる値は、既存の IP アドレス プールを上書きします。新しいプールは--add-ip-pools オプションを使用して追加できます。

--add-ip-pools［<subnet>］:［<pool>］...

Isilon クラスター IP アドレスの指定したプールを仮想ラックに追加します。

--remove-ip-pools［<subnet>］:［<pool>］...

Isilon クラスター IP アドレスの指定したプールを仮想ラックから削除します。

--clear-ip-poolsIsilon クラスター IP アドレスのすべてのプールを仮想ラックから削除します。

--zone［<string>］変更する仮想ラックを含むアクセス ゾーンを指定します。

HDFS を使用する OneFS のコマンド リファレンス

36 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

{--verbose | -v}

詳細を表示します。

isi hdfs racks delete

仮想 HDFS ラックを削除します。

構文

isi hdfs racks delete ［<rack-name>］ [--zone ［<string>］] [--force] [--verbose]

オプション［<rack-name>］

指定した仮想 HDFS ラックを削除します。各ラック名はスラッシュから始まります（例：/example-name）。

--zone［<string>］削除する仮想ラックを含むアクセス ゾーンを指定します。

{--force | -f}

コマンド ライン プロンプトとメッセージを抑制します。

{--verbose | -v}

詳細を表示します。

isi hdfs racks list

アクセス ゾーンの HDFS ラックをリストします。

構文

isi hdfs racks list [--zone ［<string>］] [--format {table | json | csv | list}] [--no-header] [--no-footer] [--verbose]

オプション--zone［<string>］

アクセス ゾーンを指定します。指定したゾーン内のすべての仮想ラックが表示されます。

--format {table | json | csv | list}

表、JSON、CSV、リスト形式で HDFS ラックを表示します。

{--no-header | -a}

ヘッダーは CSV および表形式で表示されません。

HDFS を使用する OneFS のコマンド リファレンス

isi hdfs racks delete 37

{--no-footer | -z}

表サマリーのフッター情報を表示しません。

{--verbose | -v}

詳細を表示します。

isi hdfs racks view

特定の仮想 HDFS ラックの情報を表示します。

構文

isi hdfs racks view ［<rack-name>］ [--zone ［<string>］]

オプション［<rack-name>］

表示する仮想 HDFS ラックの名前を指定します。各ラック名はスラッシュから始まります（例：/example-name）。

--zone［<string>］表示する仮想ラックを含むアクセス ゾーンを指定します。

isi hdfs ranger-plugin settings modify

HDFS の Apache Ranger プラグ インの設定を変更します。

構文

isi hdfs ranger-plugin settings modify [--enabled ［<boolean>］] [--policy-manager-url ［<string>］] [--repository-name ［<string>］] [--zone ［<string>］] [--verbose]

オプション--enabled［<boolean>］

HDFS Ranger プラグ インを有効にします。

--policy-manager-url［<string>］スキーム、ホスト名、および Apache Ranger サーバのポート（http://ranger.com:6080など）。

--repository-name［<string>］Apache Ranger サーバでホストされている HDFS リポジトリ名。

--zone［<string>］HDFS のリポジトリがあるアクセス ゾーン。

HDFS を使用する OneFS のコマンド リファレンス

38 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

{--verbose | -v}

詳細情報を表示します。

isi hdfs ranger-plugin settings view

HDFS の Apache Ranger プラグ インの設定を表示します。

構文

isi hdfs ranger-plugin settings view [--zone ［<string>］]

オプション--zone［<string>］

HDFS のリポジトリがあるアクセス ゾーン。

isi hdfs settings modify

アクセス ゾーンの HDFS設定を変更します。

構文

isi hdfs settings modify [--service {yes | no}] [--default-block-size ［<size>］] [--default-checksum-type {none | crc32 | crc32c}] [--authentication-mode {all | simple_only | kerberos_only}] [--root-directory ［<path>］] [--webhdfs-enabled {yes | no] [--ambari-server ［<string>］] [--ambari-namenode ［<string>］] [--ambari-metrics-collector ［<string>］] [--odp-version ［<string>］] [--data-transfer-cipher {none | aes_128_ctr | aes_192_ctr | aes_256_ctr}] [--zone ［<string>］] [--verbose]

オプション--service {yes | no}

指定されたアクセス ゾーンの HDFS サービスを有効化または無効化します。HDFS サービスはデフォルトで有効になっています。

--default-block-size［<size>］HDFS サービスでレポートされるブロック長（バイト単位）。K、M、G（例：64M、512K、1G）が有効なサフィックスです。デフォルト値は 128 MB です。

--default-checksum-type {none | crc32 | crc32c}

HDFS サービスでレポートされるチェックサム タイプ。デフォルト値は none です。--authentication-mode {all | simple_only | kerberos_only}

HDFS を使用する OneFS のコマンド リファレンス

isi hdfs ranger-plugin settings view 39

指定したアクセス ゾーンを介した HDFS接続に使用される認証方法。デフォルト値は allです。

--root-directory［<path>］Hadoop コンピューティング クライアントの接続でアクセス可能なアクセス ゾーン内に HDFS データを含むルート パス。ルート ディレクトリはアクセス ゾーンのベース ディレクトリ内にある必要があります。

--webhdfs-enabled {yes | no}

指定されたアクセス ゾーンのWebHDFS を有効化または無効化します。WebHDFSはデフォルトで有効化されています。

--ambari-server［<string>］Ambari エージェントからの通信を受信する Ambari サーバ。値は解決可能なホスト名、完全修飾ドメイン名、IPv4 または IPv6 アドレスである必要があります。

--ambari-namenode［<string>］Ambari インターフェイスを通じて管理される Hadoop サービスが接続に使用する、アクセス ゾーン内の指定されたコンタクト ポイント。値は解決可能な IPv4 アドレスまたはSmartConnect ゾーン名である必要があります。

--ambari-metrics-collector［<string>］メトリック コレクターのホスト名。値は解決可能なホスト名、完全修飾ドメイン名、IPv4 またはIPv6 アドレスである必要があります。

--odp-version［<string>］Ambari サーバによってインストールされている ODP（オープン データ プラットフォーム）スタックのリポジトリのバージョン（ビルド番号が存在する場合はそれを含む）。Hadoop クラスタの一部であるその他のシステムで ODP アップグレードをサポートするには、これが必要です。

--data-transfer-cipher {none | aes_128_ctr | aes_192_ctr |aes_256_ctr}

ワイヤ暗号化に使用する AES（高度暗号化標準）暗号。

--zone［<string>］HDFS設定が適用されるアクセス ゾーン。

{--verbose | -v}

詳細情報を表示します。

isi hdfs settings view

アクセス ゾーンの HDFS設定を表示します。

構文

isi hdfs settings view [--zone ［<string>］]

オプション--zone［<string>］

HDFS を使用する OneFS のコマンド リファレンス

40 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

アクセス ゾーンを指定します。指定したゾーンの HDFS設定が表示されます。

HDFS を使用する OneFS のコマンド リファレンス

isi hdfs settings view 41

HDFS を使用する OneFS のコマンド リファレンス

42 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

第 4章

関連資料

この章では、Ambari のようなサード パーティ製の HDFS コンポーネントの構成について説明します。Isilon クラスタ上に Hadoop を実装する方法についての追加コンテンツ関連資料へのリンクも記載してあります。

l サード パーティ製の HDFS コンポーネント.................................................................. 44l Isilon での Hadoop の使用方法.............................................................................47l 皆様からのご意見をお待ちしています....................................................................... 49l サポートの問い合わせ先.........................................................................................49

関連資料 43

サード パーティ製の HDFS コンポーネント

Ambari

Ambari エージェントApache Ambari クライアント/サーバ フレームワークは、HDP（Hortonworks Data Platform）の一部分であり、ブラウザ ベースのインターフェイスを使用して Hadoop クラスタを構成、管理、監視するオプションのサード パーティ ツールです。OneFS Ambari エージェントはアクセス ゾーンごとに構成します。Ambari エージェントは、HDFS データが存在する任意のアクセス ゾーンで構成することができます。アクセス ゾーンで Ambari エージェントを起動するには、外部 Ambari サーバの IPv4 アドレスと、NameNode のアドレスを指定する必要があります。NameNodeは、アクセス ゾーンのコンタクト ポイントとして機能します。Apache Ambari サーバは、Ambari エージェントからの通信を受信します。Ambari エージェントがアクセス ゾーンに割り当てられると、Ambari サーバに登録されます。その後、エージェントはサーバにハートビート ステータスを伝えます。Ambari サーバは、解決可能なホスト名、完全修飾ドメイン名、IPv4 アドレスのいずれかであり、アクセス ゾーンに割り当てられる必要があります。NameNodeは、Hadoop サービスが Ambari インターフェイスを通じて管理するアクセス ゾーン内の指定されたコンタクト ポイントです。たとえば Ambari エージェントを通じて YARNや Oozieなどのサービスを管理する場合、サービスは指定された NameNode を通じてアクセス ゾーンに接続します。Ambari エージェントは、指定された NameNode の場所を Ambari サーバおよび Ambari インターフェイスに伝えます。指定された NameNode アドレスを変更すると、Ambari エージェントはAmbari サーバを更新します。NameNodeは、有効な SmartConnect ゾーン名か、アクセス ゾーンに関連づけられた IP アドレス プールの IP アドレスである必要があります。

指定された NameNode値は、OneFS Ambari エージェントの NameNode、セカンダリNameNode、DataNode コンポーネントにマップされます。

OneFS Ambari エージェントは、Apache Ambari フレームワークをベースとし、複数の Ambari サーバ バージョンと互換性があります。サポート対象バージョンの詳細なリストについては、ECN（EMCコミュニティ ネットワーク）の Supported Hadoop Distributions and Products ページを参照してください。

Ambari エージェントの設定OneFS Web管理インターフェイスまたはコマンド ライン インターフェイスのいずれかを使用して、HDFS データが存在する各アクセス ゾーンに Ambari エージェント サポートを構成します。

Ambari エージェント設定の構成（Web UI）手順

1. ［Protocols］ > ［Hadoop (HDFS)］ > ［Settings］の順にクリックします。2. ［Current Access Zone］リストから、Ambari サーバの設定を有効化するアクセス ゾーン

を選択します。3. ［Ambari Server Settings］領域の［Ambari Server］フィールドに、Ambari エージェ

ントと通信する外部 Ambari サーバの名前を入力します。

関連資料

44 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

値は解決可能なホスト名、完全修飾ドメイン名、IPv4 アドレス、IPv6 アドレスのいずれかである必要があります。

4. ［Ambari NameNode］フィールドで、クラスタ上で HDFS データが存在しているSmartConnect の完全修飾ドメイン名か IP アドレスを指定します。

IP アドレスは、アクセス ゾーンを共有する IP アドレス プールに属している必要があります。IPv6 アドレスはサポートされていません。

5. ［ODP Version］フィールドに、Ambari サーバによってインストールされている ODP（オープン データ プラットフォーム）スタックのリポジトリのバージョンを指定します（ビルド番号が存在する場合はそれを含む）。Hadoop クラスタの一部であるその他のシステムで ODP アップグレードをサポートするには、ODP のバージョンが必要です。

6. ［Ambari Metrics Collector］フィールドで、Ambari メトリック コレクター コンポーネントがインストールされている外部 Ambari ホストの名前を指定します。

値は解決可能なホスト名、完全修飾ドメイン名、IPv4 アドレス、IPv6 アドレスのいずれかである必要があります。

7. ［Save Changes］をクリックします。

Ambari エージェント設定の構成（CLI）手順

1. isi hdfs settings modify コマンドを実行します。次のコマンドは、company.ambari.server.com を、zone3 アクセス ゾーンで実行されている Ambari エージェントからの通信を受信する外部 Ambari サーバとして指定します。

isi hdfs settings modify \--ambari-server=company.ambari.server.com \ --ambari-metrics-collector string \--zone=zone3

次のコマンドは、Ambari インターフェイスを通じて管理される Hadoop サービスの zone3 アクセス ゾーンのコンタクト ポイントとして 192.168.205.5 を指定します。

isi hdfs settings modify \--ambari-namenode=192.168.205.5 \--ambari-metrics-collector http://ambari-metrics-collector-host.com \--zone=zone3

Ambari のメトリックとアラートOneFS 8.0.1.0以降のリリースを使用した Hadoop導入環境で、Isilon クラスタ内のノードは 1分間隔でメトリック データを監視、収集し、Ambari Metrics Collector にプッシュ送信します。Ambari Metrics Collectorは Hortonworks の Ambari メトリック システムのコンポーネントの 1つです。Ambari に提供されるすべての OneFS メトリックおよびアラート データは、クラスタ全体にわたるものです。たとえば、3 ノードの Isilon クラスタでは、3 ノードすべてにわたって収集されたネットワークNDFS トラフィックが Ambari に報告されます。注：HDFS データ セットを含む特定のアクセス ゾーンの OneFS メトリックは現在サポートされていません。

関連資料

Ambari 45

Ambari メトリックを表示するには、EMC Isilon OneFS の Ambari メトリックとアラートに記載されている手順に従います。

Apache Ranger のサポートOneFSは、Isilon クラスタによる Hadoop導入の一環として、Apache Ranger をサポートしています。Apache Ranger コンソールは、Apache Hiveや Apache HBaseなどの Hadoop データ アクセスコンポーネントに対するアクセス制御を一元管理するセキュリティ フレームワークです。これらのポリシーは、ユーザー個人にもグループにも設定でき、ファイル、フォルダー、データベースで一貫して適用されます。OneFS では、Ranger の Deny条件付きの HDFS認証ポリシーのみがサポートされています。Ranger 0.6.0 で追加された Deny条件の使い方については、Apache JIRA RANGER-606 のドキュメントに記述されています。Apache Ranger と特定の HDP コンポーネントの詳細については、Hortonworks サイトの Apache Ranger のページを参照してください。l AD、Kerberos、ローカル認証がサポートされます。l HDFS アクセスの Apache Ranger監査は現在サポートされていません。l タグ ポリシーは現在サポートされていません。

Apache Ranger HDFS プラグ インの設定の編集Apache Ranger HDFS プラグインを有効にして、HDFS プロトコル認証を OneFS Web管理インターフェイスまたは CLI（コマンド ライン インターフェイス）のいずれかを使用して詳細に管理できます。Isilon クラスタで Apache Ranger を有効化します。その後、新しい認証ポリシーを確認し、クライアントから HDFS リクエストを受信し、HDFS リクエストに承認ポリシーを適用します。承認ポリシーは、拒否（DENY）、許可（ALLOW）、未決定（UNDETERMINED）のいずれかです。Hortonworks Security Guide に記載されている手順に従って、Apache Ranger HDFS プラグインを有効化します。Apache Ranger プラグインを有効化することで、Apache Ranger 0.6.0 より前の Ranger HDFSサービス インスタンス（リポジトリともいう）で定義された認証ポリシーを有効化できます。ポリシーでは、まずユーザーやグループがリソースにアクセスできるようにした後、特定のユーザーやグループによるアクセスを拒否する必要があります。許可リストにユーザーが含まれていない場合、そのユーザーはデフォルトでアクセスを拒否されます。拒否ポリシーの作成については、Apache Ranger denypolicies with OneFS 8.0.1.0 を参照してください。

ポリシーを正しく作成しないと、アクセスがブロックされるなどの意図しない影響が出る場合があります。

リポジトリ名は Apache Ranger内の設定です。Apache Ranger の最小サポート バージョンは0.6.0 です。これは、Ranger の拒否ポリシーが 0.6.0以降のバージョンでのみサポートされているためです。Apache Ranger では、バージョン 0.6.0 でこの機能の名前がサービス インスタンスに変更されました。サービス インスタンスは、リポジトリ名として使用される Apache Ranger Admin の UI内にある HDFS サービスのインスタンスの名前です。Kerberos が有効なクラスタがある場合は、Hortonworks Security Guide の指示に従って、クラスタ上の Ranger HDFS プラグ インを有効化します。

関連資料

46 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

Apache Ranger HDFSプラグ インの設定の編集（Web UI）ポリシー マネージャの URLは、［Ambari］ > ［Ranger］ > ［Config］の順に指定すると、Ambari サーバの［policymgr_external_url］に表示されます。この URL の構成は、http://の後に Ranger Admin がインストールされているホスト名が続き、その後に［ranger.service.http.port］（通常は 6080）と/が続きます。手順

1. ［Protocols］ > ［ Hadoop (HDFS)］ > ［Ranger Plugin Settings］の順にクリックします。

2. ［Ranger Plugin settings］領域で、［Enable Ranger Plugin］を選択します。3. ［Policy manager URL］フィールドに、ポリシー マネージャの場所を示す URL を入力しま

す。4. ［Repository name］フィールドに、HDFS リポジトリの名前を入力します。5. ［Save Changes］をクリックします。

Apache Ranger HDFSプラグ インの設定の編集（CLI）ポリシー マネージャの URLは、［Ambari］ > ［Ranger］ > ［Config］の順に指定すると、Ambari サーバの［policymgr_external_url］に表示されます。この URL の構成は、http://の後に Ranger Admin がインストールされているホスト名が続き、その後に［ranger.service.http.port］（通常は 6080）と/が続きます。手順

1. Ranger プラグインの設定を構成するには、isi hdfs ranger-pluginsettings modify コマンドを実行します。［--policy-manager-url］は、http://の後に、Ranger Admin がインストールされているホストの名前、その後に［ranger.service.http.port］（通常は 6080）、その後に/を組み合わせて作成されます。

次のコマンドでは、Ranger プラグインの設定を構成します。

isi hdfs ranger-plugin settings modify --policy-manager-url http://resolvable_name:6080/ --repository-name repository_name --enabled true --zone zone_name

Isilonでの Hadoopの使用方法IsilonOneFS と HDFS システムの統合実装には、この HDFS管理ガイドに加えて、次の関連資料を使用してください。

互換性情報l OneFS がサポートする Hadoop ディストリビューションと製品

Isilon に固有の情報l Isilon による Hadoop の使用方法：Isilon Info Hub

l Isilon と Hadoop の概要（ビデオ）l OneFS がサポートする Hadoop ディストリビューションと製品

関連資料

Isilon での Hadoop の使用方法 47

l Isilon for Hadoop チート シートの準備l Isilon および Hadoop のローカル UIDパリティl Isilon の取得：Hadoop の UID/GIDパリティl OneFS と Hadoop のプロキシ ユーザーl Hadooop を使用する Kerberos に基づく Active Directory に関する考慮事項l Hadoop の Isilon へのバックアップl Hadoop と Isilon間のアクセス許可の問題のトラブルシューティングl Isilon OneFS で HTTPFS と Knox を使用して HDFS アクセス セキュリティを強化する方法l Falcon による HDP/Isilon クラスタ全体の双方向 HDFS ミラーの作成

Hortonworksおよび Ambari

l Hadoop を使用する EMC Isilon OneFS および Hortonworks インストール ガイドl OneFS の Ambari Hive ビューの設定l OneFS 8.0.1.0 を使用した Apache Ranger の拒否ポリシーl EMC Isilon OneFS の Ambari メトリックとアラートl OneFS 8.0.1 および Hortonworks HDP を使用した Hadoop セキュリティの強化l OneFS でのこれまでより優れた HDP アップグレードl OneFS、Ambari、Accumulo Tracer

l Hortonworks/Isilon Hadoop クラスタ上の Ambari、Hive、Oozie の単一データベース インスタンスの構成

Kerberos を使用する Hortonworksおよび Ambari

l Isilon OneFS での Ambari の Kerberos自動構成l Isilon 8.0.0.1 の Ambari HDP と Active Directory Kerberos の実装l Isilon AD Kerberos と Hortonworks の重複 SPN によりサービスが起動しないl Ambari 8.0.1 ではWebHDFS の curl コール経由での KDC Kerberized Yarn サービスの開

始に失敗するl Kerberized サービスの開始時に悪名高い「401 Authorization Required」エラーが発生する

Cloudera

l Hadoop を使用する EMC Isilon OneFS および Cloudera インストール ガイドl Cloudera と Isilon の実装：パート 1

l Cloudera と Isilon の実装：パート 2

l Isilon から始まる Cloudera 5.7 Impala の取得

Kerberos を使用する Cloudera

l Isilon 8.0.0.1 の Cloudera 5.7 と Active Directory Kerberos の実装

既知の問題と解決策l Apache Hadoop YARN のノード ラベル機能使用の試行が失敗するl お客様のトラブルシューティング：Isilon Info Hub

関連資料

48 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド

皆様からのご意見をお待ちしていますマニュアルの精度、構成、品質を向上するため、ご意見をお待ちしております。https://www.research.net/s/isi-docfeedback にフィードバックを送信してください。URL からフィードバックを送信できない場合は、docfeedback@isilon.com宛に E メールでメッセージを送信してください。

サポートの問い合わせ先Isilon製品について質問がありましたら、 Isilon テクニカル サポートにお知らせください。

オンライン サポート

l ライブ チャットl サービス リクエストの作成

電話によるサポート

l 米国：1-800-SVC-4EMC (1-800-782-4362)

l カナダ：1-800-543-4782

l その他の国：1-508-497-7901

l 特定の国の最寄りの電話番号については、EMC カスタマー サポート センターをご覧ください。

サポート登録または利用

EMC カスタマ サービスへのアクセスに関する質問については、E メールでsupport@emc.com にお問い合わせください。

Isilon InfoHubs

Isilon Info Hub の一覧については、Isilon コミュニティ ネットワークの Isilon InfoHub ページを参照してください、Isilon Info Hub では、Isilon のドキュメント、ビデオ、ブログ、ユーザー投稿コンテンツがトピック別に整理されており、関心のあるテーマについてコンテンツが簡単に見つかるようになっています。

IsilonSD EdgeのサポートIsilonSD Edge の無料バージョンを使用している場合は、Isilon コミュニティ ネットワークを通じてサポートを利用できます。1 つまたは複数の IsilonSD Edge ライセンスを購入している場合、製品の有効なサポート契約を所持していれば、 Isilon テクニカル サポートにお問い合わせいただくことでサポートを受けることができます。

関連資料

皆様からのご意見をお待ちしています 49

関連資料

50 OneFS 8.0.0 - 8.1.0 HDFS リファレンス ガイド