Guide de référence de OneFS avec HDFS...Fichiers et répertoires HDFS..... 7 Comptes d’utilisateur et de groupe Hadoop.....8 HDFS et Configuration de OneFS avec HDFS 11 Activer

IsilonOneFSVersion 8.0.0 - 8.1.0

Guide de référence HDFS

Copyright © 2017 Dell Inc. ou ses filiales. Tous droits réservés.

Publié en Mai 2017

Dell estime que les informations figurant dans ce document sont exactes à la date de publication. Ces informations sont modifiables sans préavis.

LES INFORMATIONS CONTENUES DANS CETTE PUBLICATION SONT FOURNIES « EN L'ÉTAT ». DELL NE FOURNIT AUCUNE DÉCLARATION

OU GARANTIE D'AUCUNE SORTE CONCERNANT LES INFORMATIONS CONTENUES DANS CETTE PUBLICATION ET REJETTE PLUS

SPÉCIALEMENT TOUTE GARANTIE IMPLICITE DE QUALITÉ COMMERCIALE OU D'ADÉQUATION À UNE UTILISATION PARTICULIÈRE.

L'UTILISATION, LA COPIE ET LA DIFFUSION DE TOUT LOGICIEL DELL EMC DÉCRIT DANS CETTE PUBLICATION NÉCESSITENT UNE LICENCE

LOGICIELLE EN COURS DE VALIDITÉ.

Dell, EMC et les autres marques citées sont des marques commerciales de Dell Inc. ou de ses filiales. Toutes les autres marques citées dans le

présent document peuvent être la propriéété de leurs détenteurs respectifs. Publié en France.

EMC Computer Systems FranceRiver Ouest 80 quai Voltaire CS 21002 95876 Bezons CedexTél. : +33 1 39 96 90 00 Fax : +33 1 39 96 99 99www.DellEMC.com/fr-fr/index.htm

2 OneFS 8.0.0 - 8.1.0 Guide de référence HDFS

Présentation du fonctionnement de HDFS avec OneFS 5Implémentation de Hadoop dans OneFS.......................................................6Distributions Hadoop prises en charge par OneFS........................................ 7Fichiers et répertoires HDFS........................................................................ 7Comptes d’utilisateur et de groupe Hadoop..................................................8HDFS et SmartConnect................................................................................8

Configuration de OneFS avec HDFS 11Activer les licences HDFS et SmartConnect Advanced............................... 12Configuration du service HDFS................................................................... 12

Présentation des paramètres du service HDFS...............................12Activer ou désactiver le service HDFS (interface utilisateur Web)....13Activer ou désactiver le service HDFS (CLI).................................. 13Configurer les paramètres du service HDFS (interface utilisateurWeb).............................................................................................. 13Configurer les paramètres du service HDFS (CLI)..........................14Afficher les paramètres HDFS (interface utilisateur Web)............. 14Afficher les paramètres HDFS (CLI)...............................................14Modifier les niveaux de consignation HDFS (CLI)...........................15Afficher les niveaux de consignation HDFS (CLI)........................... 15Définir le répertoire racine HDFS (interface utilisateur Web)......... 15Définir le répertoire racine HDFS (CLI).......................................... 15

Configuration des méthodes d’authentification HDFS.................................16Méthodes d’authentification HDFS prises en charge......................16Définir la méthode d’authentification HDFS (interface utilisateurWeb).............................................................................................. 17Définir la méthode d’authentification HDFS (CLI).......................... 17Configurer l’authentification Kerberos pour les clients Hadoop (CLI).......................................................................................................18

Création d’un utilisateur local Hadoop......................................................... 18Créer un utilisateur local Hadoop (interface utilisateur Web)......... 19Créer un utilisateur local Hadoop (CLI).......................................... 19

Activation de l’API REST WebHDFS........................................................... 19Activer ou désactiver WebHDFS (interface utilisateur Web)......... 20Activer ou désactiver WebHDFS (CLI).......................................... 20

Configurer une usurpation d’identité sécurisée...........................................20Créer un utilisateur proxy (interface utilisateur Web).....................21Créer un utilisateur proxy (CLI)......................................................21Modifier un utilisateur proxy (interface utilisateur Web)................22Modifier un utilisateur proxy (CLI).................................................22Afficher les utilisateurs proxy (interface utilisateur Web).............. 23Afficher les utilisateurs proxy (CLI)............................................... 23Afficher la liste des membres d’un utilisateur proxy (CLI)..............23Supprimer un utilisateur proxy (interface utilisateur Web).............24Supprimer un utilisateur proxy (CLI)..............................................24

Configuration des racks HDFS virtuels....................................................... 24Créer un rack HDFS virtuel (interface utilisateur Web)................. 25Créer un rack HDFS virtuel (CLI)...................................................25Modifier un rack HDFS virtuel (interface utilisateur Web)............. 25

Chapitre 1

Chapitre 2

SOMMAIRE

OneFS 8.0.0 - 8.1.0 Guide de référence HDFS 3

Modifier un rack HDFS virtuel (CLI).............................................. 26Afficher des racks HDFS virtuels (interface utilisateur Web).........26Afficher les racks HDFS virtuels (CLI)........................................... 27Supprimer un rack HDFS virtuel (interface utilisateur Web).......... 27Supprimer un rack HDFS virtuel (CLI)........................................... 28

Configuration du chiffrement sur le réseau HDFS.......................................28Configurer le chiffrement sur le réseau HDFS (interface utilisateurWeb)............................................................................................. 28Configurer le chiffrement sur le réseau HDFS (CLI)...................... 29

Référence des commandes OneFS avec HDFS 31Commandes HDFS..................................................................................... 32

isi hdfs log-level modify................................................................. 32isi hdfs log-level view.....................................................................32isi hdfs proxyusers create.............................................................. 32isi hdfs proxyusers modify............................................................. 34isi hdfs proxyusers delete.............................................................. 36isi hdfs proxyusers members list.................................................... 37isi hdfs proxyusers list................................................................... 38isi hdfs proxyusers view.................................................................38isi hdfs racks create.......................................................................39isi hdfs racks modify...................................................................... 40isi hdfs racks delete........................................................................41isi hdfs racks list.............................................................................41isi hdfs racks view..........................................................................42isi hdfs ranger-plugin settings modify............................................ 42isi hdfs ranger-plugin settings view................................................43isi hdfs settings modify.................................................................. 43isi hdfs settings view......................................................................44

Ressources supplémentaires 47Composants HDFS tiers............................................................................. 48

Ambari........................................................................................... 48Prise en charge d’Apache Ranger..................................................50

Utilisation de Hadoop avec Isilon.................................................................51N’hésitez pas à nous faire part de vos impressions.....................................52Où obtenir des services de support ?......................................................... 53

Chapitre 3

Chapitre 4

SOMMAIRE


CHAPITRE 1

Présentation du fonctionnement de HDFS avecOneFS

Ce chapitre fournit des informations sur la façon d’implémenter HDFS (HadoopDistributed File System) avec IsilonOneFS.

l Implémentation de Hadoop dans OneFS...............................................................6l Distributions Hadoop prises en charge par OneFS................................................7l Fichiers et répertoires HDFS................................................................................ 7l Comptes d’utilisateur et de groupe Hadoop......................................................... 8l HDFS et SmartConnect....................................................................................... 8

Présentation du fonctionnement de HDFS avec OneFS 5

Implémentation de Hadoop dans OneFSDans le cadre d’une implémentation Hadoop sur un cluster Isilon, IsilonOneFS sert desystème de fichiers pour les clients de traitement Hadoop. HDFS (Hadoop DistributedFile System) est pris en charge en tant que protocole utilisé par les clients detraitement Hadoop pour accéder aux données résidant sur la couche destockage HDFS.

Les clients de traitement Hadoop peuvent accéder aux données stockées sur uncluster Isilon en se connectant à n’importe quel nœud à l’aide du protocole HDFS.Tous les nœuds qui sont configurés pour HDFS fournissent des fonctionnalitésNameNode et DataNode, comme indiqué dans l’illustration suivante.

Figure 1 Déploiement d’EMC Isilon Hadoop

Chaque nœud améliore les performances et augmente la capacité du cluster. Pourl’analytique Hadoop, l’architecture distribuée scale-out d’Isilon réduit les goulotsd’étranglement, traite rapidement le Big Data et optimise les performances.

Différences entre une implémentation Hadoop IsilonOneFS et un déploiement Hadooptraditionnel

Une implémentation Hadoop avec OneFS présente les différences suivantes parrapport à une implémentation classique :

l Les couches de calcul Hadoop et de stockage HDFS se trouvent sur des clustersdistincts, et non sur le même cluster.

l Au lieu de stocker les données dans un système de fichiers distribué (DFS,Distributed File System) Hadoop, les fonctions de la couche de stockage sontassurées par OneFS sur un cluster Isilon.( Les nœuds du cluster Isilon font officede NameNode et de DataNode.

Présentation du fonctionnement de HDFS avec OneFS


l La couche de calcul repose sur un cluster de traitement Hadoop séparé du clusterIsilon. Le framework Hadoop MapReduce et ses composants sont installés sur lecluster de traitement Hadoop uniquement.

l Plutôt qu’une couche de stockage, HDFS est mis en œuvre dans OneFS en tantque couche de protocole native et légère entre le cluster Isilon et le cluster detraitement Hadoop. Les clients du cluster de traitement Hadoop se connectent viaHDFS pour accéder aux données du cluster Isilon.

l Outre HDFS, les clients du cluster de traitement Hadoop peuvent se connecter aucluster Isilon en utilisant n’importe quel protocole pris en charge par OneFS, parexemple NFS, SMB, FTP et HTTP. IsilonOneFS est la seule implémentation nonstandard de HDFS qui autorise un accès multiprotocole. Isilon constitue ainsi unsystème de stockage idéal que l’on peut substituer à une implémentation HDFSnative en associant les services HDFS à des fonctions de gestion des données deniveau entreprise.

l Les clients de traitement Hadoop peuvent se connecter à tout nœud du clusterIsilon qui fonctionne en tant que NameNode au lieu d’être routés par un seulNameNode.

Distributions Hadoop prises en charge par OneFSVous pouvez exécuter la plupart des distributions courantes de Hadoop avec le clusterIsilon.

OneFS prend en charge de nombreuses distributions de HDFS (Hadoop DistributedFile System). Ces distributions sont mises à jour indépendamment de OneFS, selonleurs propres plannings.

Pour obtenir les informations les plus récentes sur les distributions Hadoop prises encharge par OneFS, consultez la page Hadoop Distributions and Products Supported byOneFS sur Isilon Community Network.

Fichiers et répertoires HDFSVous devez configurer un répertoire racine HDFS dans chaque zone d’accès OneFSqui contiendra les données accessibles aux clients de traitement Hadoop. Lorsqu’unclient de traitement Hadoop se connecte au cluster, l’utilisateur peut accéder à tousles fichiers et sous-répertoires du répertoire racine spécifié. Le répertoire HDFS pardéfaut est /ifs.

Notez les points suivants :

l Associez chaque pool d’adresses IP du cluster à une zone d’accès. Lorsque lesclients de traitement Hadoop se connectent au cluster Isilon par le biais d’un poold’adresses IP donné, ils ne peuvent accéder qu’aux données HDFS de la zoned’accès associée. Cette configuration isole les données dans les zones d’accès etvous permet de limiter l’accès client aux données.

l À la différence des montages NFS ou des partages SMB, les clients qui seconnectent au cluster via HDFS ne peuvent pas avoir accès à seulement certainsdossiers du répertoire racine. Si vous avez plusieurs workflows Hadoopnécessitant des Datasets distincts, vous pouvez créer plusieurs zones d’accès etconfigurer un répertoire racine HDFS pour chaque zone.

l Lorsque vous configurez les répertoires et les fichiers sous le répertoire racine,assurez-vous qu’ils disposent des autorisations adéquates afin que les clients et lesapplications Hadoop puissent y accéder. Les répertoires et les autorisations varient


Distributions Hadoop prises en charge par OneFS 7

https://community.emc.com/docs/DOC-37101


https://community.emc.com/community/products/isilon

en fonction de la distribution Hadoop, de l’environnement, des exigences et desrègles de sécurité.

Pour plus d’informations sur les zones d’accès, consultez le Guide d’administration CLIOneFS ou le Guide d’administration Web OneFS correspondant à votre version deOneFS.

Comptes d’utilisateur et de groupe HadoopAvant d’implémenter Hadoop, assurez-vous que les comptes d’utilisateur et de groupequi doivent être connectés via Hadoop sont configurés sur le cluster Isilon.

Vérifiez également que les comptes utilisateur requis par votre distribution Hadoopsont configurés sur le cluster Isilon zone par zone. Les comptes utilisateur dont vousavez besoin, ainsi que les paramètres de propriétaire et de groupe associés, varient enfonction de la distribution, des exigences et des règles de sécurité. Les profils decomptes du cluster Isilon, y compris les ID utilisateur et de groupe, doiventcorrespondre aux profils de comptes de vos clients de traitement Hadoop.

OneFS doit pouvoir rechercher un utilisateur ou un groupe Hadoop local par son nom.S’il n’y a aucun service d’annuaire (Active Directory ou LDAP, par exemple) poureffectuer une recherche d’utilisateur, vous devez créer un utilisateur ou un groupeHadoop local. Si des services d’annuaire sont disponibles, aucun compte d’utilisateurou de groupe local n’est requis.

HDFS et SmartConnectVous pouvez configurer une zone DNS SmartConnect pour gérer les connexions desclients de traitement Hadoop.

SmartConnect est un module qui spécifie la manière dont le serveur DNS du clusterIsilon traite les demandes de connexion des clients. Pour chaque pool d’adresses IP survotre cluster Isilon, vous pouvez configurer une zone DNS SmartConnect qui est unnom de domaine complet (FQDN).

Pour plus d’informations sur SmartConnect, consultez le Guide d’administration CLIOneFS ou le Guide d’administration Web OneFS correspondant à votre version deOneFS.

Notez les points suivants :

l Les clients de traitement Hadoop peuvent se connecter au cluster via le nom dezone DNS SmartConnect. SmartConnect répartit équitablement les demandesNameNode entre les adresses IP et les nœuds du pool.

l Lorsqu’un client de traitement Hadoop émet une première demande DNS pour seconnecter à la zone SmartConnect, il est dirigé vers l’adresse IP d’un nœud Isilonservant de NameNode. Les demandes suivantes du client de traitement Hadoopsont dirigées vers le même nœud. Lorsqu’un deuxième client Hadoop émet unedemande DNS pour la zone SmartConnect, SmartConnect équilibre le trafic etdirige la connexion client vers un autre nœud que celui utilisé par le client detraitement Hadoop précédent.

l Si vous spécifiez une zone DNS SmartConnect à laquelle les clients de traitementHadoop doivent se connecter, vous devez ajouter un nouvel enregistrement deserveur de noms (NS) en tant que domaine délégué à la zone DNS faisant autoritécontenant le cluster Isilon.









l Sur le cluster de traitement Hadoop, vous devez définir la valeur de la propriétéfs.defaultFS sur le nom de la zone DNS SmartConnect dans le fichier core-site.xml.


HDFS et SmartConnect 9



CHAPITRE 2

Configuration de OneFS avec HDFS

Les sections suivantes décrivent les étapes à effectuer pour configurer OneFS avecHDFS.

l Activer les licences HDFS et SmartConnect Advanced.......................................12l Configuration du service HDFS...........................................................................12l Configuration des méthodes d’authentification HDFS........................................ 16l Création d’un utilisateur local Hadoop................................................................ 18l Activation de l’API REST WebHDFS................................................................... 19l Configurer une usurpation d’identité sécurisée.................................................. 20l Configuration des racks HDFS virtuels...............................................................24l Configuration du chiffrement sur le réseau HDFS.............................................. 28

Configuration de OneFS avec HDFS 11

Activer les licences HDFS et SmartConnect AdvancedPour pouvoir utiliser OneFS avec HDFS, vous devez vérifier que les licences de HDFSet SmartConnect Advanced sont actives.

Procédure

1. Pour vérifier si HDFS et SmartConnect Advanced sont installés, exécutez lescommandes suivantes :

isi license licenses listisi license licenses view HDFSisi license licenses view "SmartConnect Advanced"

2. Si vos modules ne sont pas sous licence, contactez votre responsable decompte Isilon pour obtenir une clé de licence. Pour activer la licence, saisissez lacommande suivante :

isi license activate --key <key>

Configuration du service HDFSVous pouvez configurer les paramètres du service HDFS sur votre cluster Isilon pouraméliorer les performances des workflows HDFS.

Présentation des paramètres du service HDFSLes paramètres du service HDFS affectent les performances des workflows HDFS.

Vous pouvez configurer les paramètres suivants du service HDFS :

Paramètre Description

Block size Le paramètre de taille de bloc HDFS configuré sur le cluster Isilon déterminela façon dont le service HDFS renvoie les données lors des demandes delecture du client de traitement Hadoop.Vous pouvez modifier la taille de bloc HDFS sur le cluster pour augmenter lataille de bloc de 4 Ko à 1 Go. La valeur par défaut est de 128 Mo.L’augmentation de la taille de bloc permet aux nœuds du cluster Isilon de lireet d’écrire des données HDFS sur des blocs volumineux et d’optimiser lesperformances dans la plupart des exemples d’utilisation.

Le cluster Hadoop conserve une taille de bloc différente qui détermine lamanière dont un client de traitement Hadoop écrit un bloc de données defichiers sur le cluster Isilon. La taille de bloc optimale dépend de vos données,de la façon dont vous les gérez et d’autres facteurs. Vous pouvez définir lataille de bloc du cluster Hadoop dans le fichier de configuration hdfs-site.xml avec la propriété suivante : dfs.block.size.

Type dechecksum

Le service HDFS envoie le type de checksum aux clients de traitementHadoop, mais il n’envoie aucune donnée de checksum, quel que soit son type.Le type de checksum par défaut est défini sur None. Si votre distribution

Hadoop a besoin d’envoyer un type de checksum autre que None, vous

pouvez définir le type de checksum sur CRC32 ou CRC32C.



Activer ou désactiver le service HDFS (interface utilisateur Web)Activez ou désactivez le service HDFS en fonction de la zone d’accès à l’aide del’interface d’administration Web de OneFS.

Procédure

1. Cliquez sur Protocols > Hadoop (HDFS) > Settings.

2. Dans la liste Current Access Zone, sélectionnez la zone d’accès pour laquellevous souhaitez activer ou désactiver le service HDFS.

3. Dans la zone HDFS Service Settings, activez ou désactivez la case à cocherEnable HDFS service.

4. Cliquez sur Save Changes.

Activer ou désactiver le service HDFS (CLI)Activez ou désactivez le service HDFS en fonction de la zone d’accès à l’aide del’interface de ligne de commande de OneFS.

Procédure

1. Exécutez la commande isi hdfs settings modify.

La commande suivante active le service HDFS au niveau de la zone d’accès

zone3 :

isi hdfs settings modify --service=yes --zone=zone3

La commande suivante désactive le service HDFS au niveau de la zone d’accèszone3 :

isi hdfs settings modify --service=no --zone=zone3

Configurer les paramètres du service HDFS (interface utilisateur Web)Configurez les paramètres du service HDFS dans chaque zone d’accès à l’aide del’interface d’administration Web de OneFS.

Procédure


2. Dans la liste Current Access Zone, sélectionnez la zone d’accès dans laquellevous souhaitez configurer les paramètres du service.

3. Dans la zone HDFS Service Settings, sélectionnez la taille de bloc HDFS devotre choix dans la liste Default Block Size.

La taille de bloc HDFS détermine la façon dont le service HDFS renvoie lesdonnées lors des demandes de lecture du client de traitement Hadoop.

4. Sélectionnez le type de checksum dans la liste Default Checksum Type.

Le service HDFS n’envoie aucune donnée de checksum, quel que soit le type dechecksum.



Activer ou désactiver le service HDFS (interface utilisateur Web) 13

Configurer les paramètres du service HDFS (CLI)Configurez les paramètres du service HDFS dans chaque zone d’accès à l’aide del’interface de ligne de commande de OneFS.

Procédure


La commande suivante définit la taille de bloc de la zone d’accès zone3 sur256 Ko :

isi hdfs settings modify --default-block-size=256K --zone=zone3

Vous devez spécifier la taille des blocs (en octets). Les suffixes K, M et G sontautorisés.

La commande suivante définit le type de checksum de la zone d’accès zone3sur crc32 :

isi hdfs settings modify --default-checksum-type=crc32 --zone=zone3

Afficher les paramètres HDFS (interface utilisateur Web)Affichez les paramètres HDFS d’une zone d’accès à l’aide de l’interfaced’administration Web de OneFS.

Procédure


2. Dans la liste Current Access Zone, sélectionnez la zone d’accès dont voussouhaitez afficher les paramètres HDFS.

L’onglet Settings affiche les options HDFS actuelles dans les domainessuivants :

l Paramètres du service HDFS

l Paramètres du protocole HDFS

l Paramètres du serveur Ambari

Afficher les paramètres HDFS (CLI)Affichez les paramètres HDFS d’une zone d’accès à l’aide de l’interface de ligne decommande.

Procédure

1. Établissez une connexion SSH sur n’importe quel nœud du cluster, puis ouvrezune session.

2. Exécutez la commande isi hdfs settings view.



La commande suivante affiche les paramètres HDFS de la zone d’accès zone1 :

isi hdfs settings view --zone=zone1

Modifier les niveaux de consignation HDFS (CLI)Vous pouvez définir le niveau de consignation par défaut des événements de servicesHDFS pour n’importe quel nœud du cluster Isilon.

Cette procédure n’est disponible que via l’interface de ligne de commande.

Procédure

1. Ouvrez une connexion SSH (Secure Shell) vers un nœud du cluster etconnectez-vous.

2. Exécutez la commande isi hdfs log-level modify.

La commande suivante définit le niveau de consignation HDFS à tracer sur lenœud :

isi hdfs log-level modify --set=trace

Afficher les niveaux de consignation HDFS (CLI)Vous pouvez afficher le niveau de consignation par défaut des événements deservices HDFS pour n’importe quel nœud du cluster Isilon.

Cette procédure n’est disponible que via l’interface de ligne de commande de OneFS.

Procédure

1. Ouvrez une connexion SSH (Secure Shell) vers un nœud du cluster etconnectez-vous.

2. Exécutez la commande isi hdfs log-level view.

Définir le répertoire racine HDFS (interface utilisateur Web)Configurez un répertoire racine HDFS dans chaque zone d’accès à l’aide de l’interfaced’administration Web de OneFS.

Procédure


2. Dans la liste Current Access Zone, sélectionnez la zone d’accès pour laquellevous souhaitez spécifier le répertoire racine.

3. Dans la zone HDFS Protocol Settings, saisissez ou recherchez le répertoireroot HDFS que vous voulez utiliser dans le champ HDFS Root Directory.

Le répertoire racine doit se trouver dans /ifs.


Définir le répertoire racine HDFS (CLI)Configurez un répertoire racine HDFS dans chaque zone d’accès à l’aide de l’interfacede ligne de commande.


Modifier les niveaux de consignation HDFS (CLI) 15

Avant de commencer

La structure de répertoires que vous souhaitez définir en tant que chemin racine doitdéjà exister dans le système de fichiers OneFS.

Procédure

l Exécutez la commande isi hdfs settings modify.

La commande suivante indique que les clients de traitement Hadoop se connectantà la zone d’accès zone3 sont autorisés à accéder au répertoire /ifs/data/hadoop :

isi hdfs settings modify --root-directory=/ifs/zone3/hadoop --zone=zone3

Configuration des méthodes d’authentification HDFSVous pouvez configurer une méthode d’authentification HDFS en fonction de la zoned’accès.

Lorsqu’un client de traitement Hadoop se connecte au cluster Isilon via une zoned’accès, il doit s’authentifier à l’aide de la méthode spécifiée pour cette zone.

Remarque

Si vous souhaitez que les clients de traitement exécutant Hadoop 2.2 ou versionsupérieure se connectent à une zone d’accès via Kerberos, vous devez configurer lespropriétés d’authentification HDFS sur le client Hadoop.

Méthodes d’authentification HDFS prises en chargeLa méthode d’authentification détermine les informations d’identification requisespour que OneFS établisse une connexion avec un client de traitement Hadoop.

Une méthode d’authentification HDFS est spécifiée pour chaque zone d’accès. OneFSprend en charge les méthodes d’authentification suivantes pour HDFS :

Méthoded’authentification

Description

Simpleuniquement

Nécessite uniquement un nom d’utilisateur pour établir des connexionsclient.

Kerberosuniquement

Nécessite uniquement les informations d’identification Kerberos pour établirdes connexions client.

Remarque

Vous devez configurer Kerberos en tant que fournisseur d’authentificationsur le cluster Isilon et modifier le fichier core-site.xml sur les clients qui

exécutent Hadoop 2.2 ou version supérieure.

Toutes (valeurpar défaut)

Accepte l’authentification simple et les informations d’identificationKerberos. Si les paramètres Kerberos et les modifications de fichiers ne sontpas terminés, les connexions client seront configurées par défaut sur uneauthentification simple.



Méthoded’authentification

Description

ATTENTION

Pour empêcher l’accès involontaire via l’authentification simple,définissez la méthode d’authentification sur Kerberos only pour

appliquer l’accès client via Kerberos.

Définir la méthode d’authentification HDFS (interface utilisateur Web)Configurez la méthode d’authentification HDFS dans chaque zone d’accès à l’aide del’interface d’administration Web de OneFS .

Avant de commencer

Si vous souhaitez que les clients Hadoop se connectent à une zone d’accès viaKerberos, il convient de configurer et d’ajouter un fournisseur d’authentificationKerberos à la zone d’accès.Procédure


2. Dans la liste Current Access Zone, sélectionnez la zone d’accès pour laquellevous souhaitez spécifier la méthode d’authentification.

3. Dans la zone HDFS Protocol Settings, sélectionnez une des méthodesd’authentification suivantes dans la liste Authentication Type :

l Both Simple and Kerberos authentication

l Authentification simple

l Authentification Kerberos


Définir la méthode d’authentification HDFS (CLI)Configurez la méthode d’authentification HDFS dans chaque zone d’accès à l’aide del’interface de ligne de commande.

Avant de commencer

Si vous souhaitez que les clients Hadoop se connectent à une zone d’accès viaKerberos, il convient de configurer et d’ajouter un fournisseur d’authentificationKerberos à la zone d’accès.Procédure


La commande suivante indique que les clients de traitement Hadoop seconnectant à zone3 doivent être identifiés à l’aide de la méthoded’authentification simple :

isi hdfs settings modify --authentication-mode=simple_only --zone3


Définir la méthode d’authentification HDFS (interface utilisateur Web) 17

La commande suivante indique que les clients de traitement Hadoop seconnectant à zone3 doivent être identifiés à l’aide de la méthoded’authentification Kerberos :

isi zone zones modify zone3 --authentication-mode=kerberos_only

À effectuer

Pour s’assurer que les utilisateurs peuvent s’authentifier via Kerberos, vous devezmodifier le fichier core-site.xml sur les clients qui exécutent Hadoop 2.2 ouversion supérieure.

Configurer l’authentification Kerberos pour les clients Hadoop (CLI)Si vous souhaitez que les clients de traitement exécutant Hadoop 2.2 ou versionsupérieure se connectent à une zone d’accès via Kerberos, vous devez modifier lesfichiers core-site.xml et hdfs-site.xml de ces clients.

Avant de commencer

Vous devez définir Kerberos comme méthode d’authentification HDFS dans la zoned’accès. Vous devez également configurer un fournisseur d’authentification Kerberoset l’attribuer à la zone d’accès.Procédure

1. Accédez au répertoire $HADOOP_CONF sur votre client Hadoop.

2. Ouvrez le fichier core-site.xml dans un éditeur de texte.

3. Définissez la valeur de la propriété hadoop.security.token.service.use_ip surfalse, comme indiqué dans l’exemple suivant :

<property> <name>hadoop.security.token.service.use_ip</name> <value>false</value> </property>

4. Enregistrez et fermez le fichier core-site.xml.

5. Ouvrez le fichier hdfs-site.xml dans un éditeur de texte.

6. Définissez la valeur de la propriété dfs.namenode.kerberos.principal.pattern surle realm Kerberos configuré au niveau du fournisseur d’authentificationKerberos, comme indiqué dans l’exemple suivant :

<property> <name>dfs.namenode.kerberos.principal.pattern</name> <value>hdfs/*@storage.company.com</value> </property>

7. Enregistrez et fermez le fichier hdfs-site.xml.

Création d’un utilisateur local HadoopOneFS doit pouvoir rechercher un utilisateur Hadoop local par son nom. Si la zoned’accès ne dispose d’aucun service d’annuaire pour effectuer une recherched’utilisateur, vous devez créer un utilisateur Hadoop local qui sera mappé à unutilisateur sur un client de traitement Hadoop pour cette zone d'accès. Si des servicesd’annuaire sont disponibles, un compte utilisateur local n’est pas requis. Vous pouvez



créer un utilisateur Hadoop local à l’aide de l’interface d’administration Web ou del’interface de ligne de commande (CLI) de OneFS.

Créer un utilisateur local Hadoop (interface utilisateur Web)Créez un utilisateur Hadoop local à l’aide de l’interface d’administration Web deOneFS.

Procédure

1. Cliquez sur Access > Membership & Roles > Users.

2. Dans la liste Current Access Zone, sélectionnez la zone d’accès pour laquellevous souhaitez créer un utilisateur Hadoop local.

3. Dans la liste Providers, sélectionnez LOCAL.

4. Cliquez sur Create User, puis saisissez un nom d’utilisateur Hadoop dans lechamp Username.

5. Cliquez sur Create User.

Créer un utilisateur local Hadoop (CLI)Créez un utilisateur Hadoop local à l’aide de l’interface de ligne de commande.

Procédure

1. Exécutez la commande isi auth users create.

La commande suivante crée un utilisateur nommé hadoop-user1 et l’attribue àun fournisseur d’authentification local dans la zone d’accès zone3 :

isi auth users create --name=hadoop-user1 --provider=local --zone=zone3

Activation de l’API REST WebHDFSOneFS prend en charge l’accès aux données HDFS via des applications clients de l’APIREST WebHDFS.

WebHDFS est une interface de programmation RESTful basée sur des opérationsHTTP comme GET, PUT, POST et DELETE ; elle est disponible pour la créationd’applications client. Les applications client WebHDFS vous permettent d’accéder auxdonnées HDFS et d’effectuer des opérations HDFS via HTTP et HTTPS.

l WebHDFS est pris en charge par OneFS au niveau de chaque zone d’accès et estactivé par défaut.

l WebHDFS prend en charge l’authentification simple ou l’authentification Kerberos.Si la méthode d’authentification HDFS pour une zone d’accès est définie sur All,OneFS utilise l’authentification simple pour WebHDFS.

l Afin d’empêcher tout accès client non autorisé via l’authentification simple,désactivez WebHDFS dans chaque zone d’accès qui ne doit pas prendre en chargecette méthode d’authentification.

Vous pouvez utiliser l’interface d’administration Web ou l’interface de ligne decommande de OneFS pour spécifier si l’accès aux données HDFS via les applicationsclients WebHDFS est pris en charge dans chaque zone d’accès.


Créer un utilisateur local Hadoop (interface utilisateur Web) 19

Activer ou désactiver WebHDFS (interface utilisateur Web)Configurez l’accès aux données HDFS par le biais des applications clients WebHDFS àl’aide de l’interface d’administration Web de OneFS.

Procédure


2. Dans la liste Current Access Zone, sélectionnez la zone d’accès pour laquellevous souhaitez activer ou désactiver WebHDFS.

3. Dans la zone HDFS Protocol Settings, activez ou désactivez la case à cocherEnable WebHDFS Access.


Activer ou désactiver WebHDFS (CLI)Configurez l’accès aux données HDFS par le biais des applications clients WebHDFS àl’aide de l’interface de ligne de commande.

Procédure

1. Exécutez la commande isi hdfs settings modify .

La commande suivante active WebHDFS dans zone3 :

isi hdfs settings modify --webhdfs-enabled=yes --zone=zone3

La commande suivante désactive WebHDFS dans zone3 :

isi hdfs settings modify --webhdfs-enabled=no --zone=zone3

Configurer une usurpation d’identité sécuriséeL’usurpation d’identité sécurisée vous permet de créer des utilisateurs proxy pouvantusurper l’identité d’autres utilisateurs pour exécuter des tâches Hadoop.

Vous pouvez configurer l’usurpation d’identité sécurisée si vous utilisez desapplications, par exemple Apache Oozie, pour planifier, gérer et exécuterautomatiquement des tâches Hadoop. Par exemple, vous pouvez créer un utilisateurproxy d’Oozie qui usurpe l’identité d’un utilisateur appelé HadoopAdmin, pourpermettre à l’utilisateur d’Oozie de demander à ce que les tâches Hadoop soientexécutées par l’utilisateur HadoopAdmin.

Les utilisateurs proxy dans le cadre d’une usurpation d’identité sécurisée sontconfigurés zone par zone ; de même, les utilisateurs ou groupes d’utilisateurs que vousattribuez comme membres de l’utilisateur proxy doivent provenir de la même zoned’accès. Un membre peut avoir un ou plusieurs des types d’identité suivants :

l Utilisateur spécifié par un nom d’utilisateur ou UID

l Groupe d’utilisateurs spécifié par un nom de groupe ou GID

l Utilisateur, groupe, machine ou compte spécifié par un SID

l Utilisateur bien connu spécifié par son nom

Si l’utilisateur proxy ne présente pas d’informations d’identification valides ou s’iln’existe aucun membre d’utilisateur proxy sur le cluster, l’accès sera refusé.L’utilisateur proxy ne pourra pas accéder aux fichiers et sous-répertoires situés dans le



répertoire racine HDFS de la zone d’accès. Il est recommandé de limiter les membresdont l’identité peut être usurpée par l’utilisateur proxy aux utilisateurs disposant d’unaccès uniquement aux données dont a besoin l’utilisateur proxy.

Remarque

Les noms ne peuvent pas contenir les caractères non valides suivants :" / \ [ ] : ; | = , + * ? < >

Créer un utilisateur proxy (interface utilisateur Web)Créez un utilisateur proxy à l’aide de l’interface d’administration Web de OneFS.

Avant de commencer

Ajoutez les utilisateurs que vous souhaitez désigner en tant qu’utilisateurs proxy oumembres du cluster Isilon. L’utilisateur proxy et ses membres doivent appartenir à lamême zone d'accès.Procédure

1. Cliquez sur Protocols > Hadoop (HDFS) > Proxy Users.

2. Dans la liste Current Access Zones, sélectionnez la zone d’accès dans laquellevous souhaitez ajouter un utilisateur proxy.

3. Cliquez sur Create a Proxy User.

4. Dans le champ Name, saisissez ou recherchez l’utilisateur que vous souhaitezdésigner en tant que nouvel utilisateur proxy.

Si vous recherchez un utilisateur, vous pouvez effectuer une recherche au seinde chaque fournisseur d’authentification attribué à la zone d’accès actuelle viala boîte de dialogue Select a User.

5. Cliquez sur Add a Member. La boîte de dialogue Select a User, Group, orWell-known SID s’affiche.

6. Dans la zone Search for, sélectionnez le type de membres que vous souhaitezrechercher.

Les membres peuvent être des utilisateurs individuels ou des groupes. Vouspouvez rechercher un utilisateur ou un groupe par son nom ou par sonidentifiant de sécurité connu.

7. (Facultatif) Cliquez sur Search pour afficher les résultats en fonction descritères de recherche.

8. Sélectionnez le membre de votre choix à partir de la liste Search Results, puiscliquez sur Select.

La boîte de dialogue Select a User, Group, or Well-known SID se ferme.

9. Cliquez sur Create a Proxy User.

Créer un utilisateur proxy (CLI)Créez un utilisateur proxy à l’aide de l’interface de ligne de commande.

Avant de commencer

Ajoutez les utilisateurs que vous souhaitez désigner en tant qu’utilisateurs proxy oumembres du cluster Isilon. L’utilisateur proxy et ses membres doivent appartenir à lamême zone d'accès.


Créer un utilisateur proxy (interface utilisateur Web) 21

Procédure

1. Exécutez la commande isi hdfs proxyusers create.

La commande suivante désigne hadoop-user23 dans zone1 en tant que nouvelutilisateur proxy :

isi hdfs proxyusers create hadoop-user23 --zone=zone1

La commande suivante désigne hadoop-user23 dans zone1 en tant que nouvelutilisateur proxy et ajoute le groupe hadoop-users à la liste des membres dontl’identité peut être usurpée par l’utilisateur proxy :

isi hdfs proxyusers create hadoop-user23 --zone=zone1 --add-group=hadoop-users

La commande suivante désigne hadoop-user23 dans zone1 en tant que nouvelutilisateur proxy et ajoute UID 2155 à la liste des membres dont l’identité peutêtre usurpée par l’utilisateur proxy :

isi hdfs proxyusers create hadoop-user23 --zone=zone1 --add-UID=2155

Modifier un utilisateur proxy (interface utilisateur Web)Modifiez la liste des membres dont un utilisateur proxy usurpe l’identité à l’aide del’interface d’administration Web de Isilon.

Procédure


2. Dans la liste Current Access Zones, sélectionnez la zone d’accès pour laquellevous souhaitez modifier un utilisateur proxy.

3. Dans la liste Proxy Users, cochez la case en regard de l’utilisateur proxy quevous souhaitez modifier, puis cliquez sur View/Edit.

4. Dans la boîte de dialogue View Proxy User Details, cliquez sur Edit ProxyUser.

5. Ajoutez ou supprimez des membres, puis cliquez sur Save Changes.

Modifier un utilisateur proxy (CLI)Modifiez la liste des membres dont un utilisateur proxy usurpe l’identité à l’aide del’interface de ligne de commande.

Procédure

1. Exécutez la commande isi hdfs proxyusers modify.

La commande suivante ajoute un utilisateur bien connu nommé LOCAL à la listedes membres de l’utilisateur proxy hadoop-user23 dans zone1 et supprimel’utilisateur associé à l’ID utilisateur 2155 :

isi hdfs proxyusers modify hadoop-user23 --zone=zone1 --add-wellknown=LOCAL --remove-uid=2155



Afficher les utilisateurs proxy (interface utilisateur Web)Affichez la liste de tous les utilisateurs proxy configurés dans une zone d’accès, ainsique des informations détaillées sur chacun d’eux, à l’aide de l’interfaced’administration Web de OneFS.

Procédure


2. Dans la liste Current Access Zones, sélectionnez la zone d’accès dans laquellevous souhaitez afficher un utilisateur proxy.

La liste Proxy Users affiche tous les utilisateurs proxy configurés dans la zoned’accès.

3. Dans la liste Proxy Users, cochez la case en regard de l’utilisateur proxy quevous souhaitez afficher, puis cliquez sur View/Edit.

La boîte de dialogue View Proxy User Details s’affiche.

4. Cliquez sur Close lorsque vous avez terminé de consulter les détails del’utilisateur proxy.

Afficher les utilisateurs proxy (CLI)Affichez la liste de tous les utilisateurs proxy configurés dans une zone d’accès, ainsique des informations détaillées sur chacun d’eux, à l’aide de l’interface de ligne decommande.

Procédure

1. Ouvrez une connexion SSH (Secure Shell) vers n’importe quel nœud du clusteret connectez-vous.

2. Pour afficher la liste de tous les utilisateurs proxy configurés dans une zoned’accès spécifique, exécutez la commande isi hdfs proxyusers list.

La commande suivante affiche la liste de tous les utilisateurs proxy configurésdans zone1 :

isi hdfs proxyusers list --zone=zone1

3. Pour afficher les détails de configuration d’un utilisateur proxy spécifique,exécutez la commande isi hdfs proxyusers view :

La commande suivante affiche les détails de configuration pour l’utilisateurproxy hadoop-user23 dans zone1 :

isi hdfs proxyusers view hadoop-user23 --zone=zone1

Afficher la liste des membres d’un utilisateur proxy (CLI)Affichez la liste des utilisateurs et des groupes, appelés membres, attribués à unutilisateur proxy. L’utilisateur proxy peut usurper l’identité de n’importe quel utilisateurde la liste en toute sécurité.

Cette procédure n’est disponible que via l’interface de ligne de commande.

Procédure

1. Exécutez la commande isi hdfs proxyusers members list.


Afficher les utilisateurs proxy (interface utilisateur Web) 23

La commande suivante affiche une liste détaillée des utilisateurs et groupesd’utilisateurs qui sont membres de l’utilisateur proxy hadoop-user23 danszone1 :

isi hdfs proxyusers members list hadoop-user23 --zone=zone1 -v

Supprimer un utilisateur proxy (interface utilisateur Web)Supprimez un utilisateur proxy d’une zone d’accès à l’aide de l’interfaced’administration Web de OneFS.

Si vous supprimez un utilisateur proxy, cet utilisateur sera simplement supprimé de laliste des utilisateurs qui peuvent effectuer une usurpation d’identité sécurisée.L’utilisateur n’est pas supprimé du système.

Procédure


2. Dans la liste Current Access Zones, sélectionnez la zone d’accès contenantl’utilisateur proxy que vous voulez supprimer.

3. Dans la liste Proxy Users, cochez la case en regard de l’utilisateur proxy quevous souhaitez supprimer, puis cliquez sur Delete.

4. Dans la fenêtre de confirmation, cliquez sur Delete.

Supprimer un utilisateur proxy (CLI)Supprimez un utilisateur proxy d’une zone d’accès à l’aide de l’interface de ligne decommande.

Si vous supprimez un utilisateur proxy, cet utilisateur sera simplement supprimé de laliste des utilisateurs qui peuvent effectuer une usurpation d’identité sécurisée.L’utilisateur n’est pas supprimé du système.

Procédure

1. Exécutez la commande isi hdfs proxyusers delete.

La commande suivante supprime l’utilisateur proxy hadoop-user23 de la zoned’accès zone1 :

isi hdfs proxyusers delete hadoop-user23 --zone=zone1

Configuration des racks HDFS virtuelsPour optimiser les performances et réduire le temps de latence lors de l’accès auxdonnées HDFS, vous pouvez créer un rack HDFS virtuel de nœuds sur votrecluster Isilon.

OneFS vous permet de spécifier un groupe de nœuds HDFS favoris sur votrecluster Isilon et de lui associer un groupe de clients de traitement Hadoop, tels qu’unrack HDFS virtuel. Les racks HDFS virtuels vous permettent d’ajuster la connectivitéclient en dirigeant les clients de traitement Hadoop vers des switches plus rapides etmoins occupés, ou vers des nœuds plus rapides, en fonction de votre topologie réseau.

Lorsqu’un client de traitement Hadoop du groupe défini se connecte au cluster, OneFSrenvoie au moins deux adresses IP à partir du groupe de nœuds HDFS favoris. Vous



spécifiez les nœuds HDFS favoris par pool d’adresses IP. Les racks HDFS virtuels neprennent pas en charge les pools d’adresses IP de la gamme IPv6.

Créer un rack HDFS virtuel (interface utilisateur Web)Créez un rack HDFS virtuel de nœuds sur votre cluster Isilon à l’aide de l’interfaced’administration Web de OneFS.

Procédure

1. Cliquez sur Protocols > Hadoop (HDFS) > Virtual Racks.

2. Dans la liste Current Access Zones, sélectionnez la zone d’accès dans laquellevous souhaitez ajouter un rack HDFS virtuel.

3. Cliquez sur Create a Virtual Rack.

4. Dans le champ Name, saisissez le nom du nouveau rack virtuel.

Le nom d’un rack doit commencer par une barre oblique, par exemple /hdfs-rack2.

5. Dans les champs Client IP Ranges, spécifiez la plage d’adresses IP des clientsde traitement Hadoop à associer au rack HDFS virtuel.

Vous pouvez associer plusieurs plages d’adresses IP.

6. Dans la zone IP Pools, sélectionnez le pool d’adresses IP de votre choix à partirdu tableau Available Pools, puis cliquez sur Add.

7. Cliquez sur Create Virtual Rack.

Créer un rack HDFS virtuel (CLI)Créez un rack HDFS virtuel de nœuds sur votre cluster Isilon à l’aide de l’interface deligne de commande.

Procédure

1. Exécutez la commande isi hdfs racks create.

Le nom d’un rack commence par une barre oblique, par exemple /hdfs-rack2.

La commande suivante crée un rack nommé /hdfs-rack2 dans la zoned’accès zone5 :

isi hdfs racks create /hdfs-rack2 --zone=zone5

La commande suivante crée un rack nommé /hdfs-rack2 dans la zoned’accès zone5, définit 120.135.26.10-120.135.26.20 comme plage d’adresses IPdes clients de traitement Hadoop associés au rack et spécifie subnet0:pool0comme pool d’adresses IP des nœuds Isilon attribué au rack :

isi hdfs racks create /hdfs-rack2 --zone=zone5 --client-ip-ranges=120.135.26.10-120.135.26.20 --ip-pools=subnet0:pool0

Modifier un rack HDFS virtuel (interface utilisateur Web)Modifiez les paramètres d’un rack HDFS virtuel à l’aide de l’interface d’administrationWeb de OneFS.


Créer un rack HDFS virtuel (interface utilisateur Web) 25

Procédure


2. Dans la liste Current Access Zones, sélectionnez la zone d’accès dans laquellevous souhaitez modifier un rack HDFS virtuel.

3. Dans la liste Virtual Racks, cochez la case en regard du rack HDFS virtuel quevous souhaitez modifier, puis cliquez sur View/Edit.

4. Dans la boîte de dialogue View Virtual Rack Settings, cliquez sur Edit VirtualRack.

5. Modifiez les paramètres du rack virtuel, puis cliquez sur Save Changes.

Modifier un rack HDFS virtuel (CLI)Modifiez les paramètres d’un rack HDFS virtuel à l’aide de l’interface de ligne decommande.

Procédure

1. Exécutez la commande isi hdfs racks modify.


Dans la commande suivante, le rack /hdfs-rack2 de la zone d’accès zone3est renommé /hdfs-rack5 :

isi hdfs racks modify /hdfs-rack2 --new-name=/hdfs-rack5 --zone=zone3

La commande suivante ajoute la plage 120.135.26.30-120.135.26.40 à la liste desadresses IP existantes des clients de traitement Hadoop sur le rack nommé /hdfs-rack2 de la zone d’accès zone3 :

isi hdfs racks modify /hdfs-rack2 --add-client-ip-ranges=120.135.26.30-120.135.26.40 --zone=zone3

Outre l’ajout d’une plage à la liste des plages existantes, vous pouvez modifierles plages d’adresses IP des clients en remplaçant les plages actuelles, ensupprimant une plage spécifique ou en supprimant toutes les plages.

La commande suivante remplace tous les pools IP existants par subnet1:pool1 etsubnet2:pool2 sur le rack nommé /hdfs-rack2 de la zone d’accès zone3 :

isi hdfs racks modify /hdfs-rack2 --ip-pools=subnet1:pool1,subnet2:pool2 --zone=zone3

En plus de remplacer la liste des pools existants par de nouveaux pools, vouspouvez modifier les pools d’adresses IP en ajoutant des pools à la liste des poolsactuels, en supprimant un pool spécifique ou en supprimant tous les pools.

Afficher des racks HDFS virtuels (interface utilisateur Web)Affichez une liste de tous les racks HDFS virtuels configurés dans une zone d’accès,ainsi que des informations détaillées sur chacun d’eux, à l’aide de l’interfaced’administration Web de OneFS.



Procédure


2. Dans la liste Current Access Zone, sélectionnez la zone d’accès dans laquellevous souhaitez afficher un rack HDFS virtuel.

La liste Virtual Racks affiche tous les racks HDFS virtuels configurés dans lazone d’accès.

3. Dans la liste Virtual Racks, cochez la case en regard du rack HDFS virtuel quevous souhaitez afficher, puis cliquez sur View/Edit.

La boîte de dialogue View Virtual Rack Settings s’affiche.

4. Cliquez sur Close lorsque vous avez terminé de consulter les détails du rackHDFS virtuel.

Afficher les racks HDFS virtuels (CLI)Affichez une liste de tous les racks HDFS virtuels configurés dans une zone d’accès,ainsi que des informations détaillées sur chacun d’eux, à l’aide de l’interface de lignede commande.

Procédure

1. Ouvrez une connexion SSH (Secure Shell) vers n’importe quel nœud du clusteret connectez-vous.

2. Pour afficher la liste de tous les racks HDFS virtuels configurés dans une zoned’accès, exécutez la commande isi hdfs racks list.

La commande suivante répertorie tous les racks HDFS configurés dans la zoned’accès zone1 :

isi hfds racks list --zone=zone1

La commande suivante affiche le détail des paramètres de tous les racks HDFSvirtuels configurés dans la zone d’accès zone1 :

isi hdfs racks list --zone=zone1 -v

3. Pour afficher le détail des paramètres d’un rack HDFS virtuel spécifique,exécutez la commande isi hdfs racks view :

Le nom de chaque rack commence par une barre oblique, par exemple /hdfs-rack2.

Dans l’exemple suivant, la commande affiche le détail des paramètres durack HDFS virtuel nommé /hdfs-rack2 et configuré dans la zone d’accès zone1 :

isi hdfs racks view /hdfs-rack2 --zone=zone1

Supprimer un rack HDFS virtuel (interface utilisateur Web)Supprimez un rack HDFS virtuel d’une zone d’accès à l’aide de l’interfaced’administration Web de OneFS.

Procédure



Afficher les racks HDFS virtuels (CLI) 27

2. Dans la liste Current Access Zones, sélectionnez la zone d’accès dans laquellevous souhaitez supprimer un rack HDFS virtuel.

3. Dans la liste Virtual Racks, cochez la case en regard du rack HDFS virtuel quevous souhaitez supprimer, puis cliquez sur Delete.

4. Dans la fenêtre de confirmation, cliquez sur Delete.

Supprimer un rack HDFS virtuel (CLI)Supprimez un rack HDFS virtuel d’une zone d’accès à l’aide de l’interface de ligne decommande.

Procédure

1. Exécutez la commande isi hdfs racks delete.


La commande suivante supprime le rack HDFS virtuel nommé /hdfs-rack2 dela zone d’accès zone1 :

isi hdfs racks delete /hdfs-rack2 --zone=zone1

2. À l’invite, saisissez yes.

Configuration du chiffrement sur le réseau HDFSVous pouvez configurer le chiffrement sur le réseau HDFS à l’aide de l’interfaced’administration Web ou de l’interface de ligne de commande de OneFS.

Si vous utilisez OneFS version 8.0.1.0 ou ultérieure, vous pouvez protéger les donnéestransmises entre un client HDFS et OneFS en configurant un chiffrement des donnéesen transit, que l’on appelle également chiffrement sur le réseau HDFS. Dans unenvironnement Hadoop compatible Kerberos, vous pouvez activer cette fonction surtous les clients HDFS ainsi que sur OneFS. Le chiffrement sur le réseau gère lesnégociations entre un client HDFS et OneFS pour chiffrer et déchiffrer les données.

Le chiffrement sur le réseau HDFS permet à OneFS de chiffrer les données qui sonttransmises entre OneFS et HDFS afin de respecter les exigences réglementaires. Lechiffrement sur le réseau utilise la norme AES (Advanced Encryption Standard) pourchiffrer les données. Des longueurs de clé de 128, 192 et 256 bits sont disponibles.

Le chiffrement sur le réseau HDFS pris en charge par OneFS présente certainesdifférences avec celui de la technologie Apache HDFS Transparent Data Encryption.Pour plus d’informations, consultez le document Enhanced Hadoop security withOneFS 8.0.1 and Hortonworks HDP.

Remarque

Lorsque le chiffrement sur le réseau HDFS est activé, il a un impact considérable surles performances d’E/S et le débit du protocole HDFS.

Configurer le chiffrement sur le réseau HDFS (interface utilisateur Web)Vous pouvez configurer le chiffrement sur le réseau HDFS à l’aide de l’interfaced’administration Web de OneFS.



https://community.emc.com/community/products/isilon/blog/2016/11/04/enhanced-hadoop-security-with-onefs-801-and-hortonworks-hdp


Procédure


2. Dans la zone de liste Data Transfer Cipher, sélectionnez l’une des optionssuivantes.

Option Description

Activer le chiffrement surle réseau HDFS

Sélectionnez l’un des chiffrements AES(Advanced Encryption Standard) : AES/CTR/NoPadding with 128 bit key, AES/CTR/NoPadding with 192 bit key ou AES/CTR/NoPadding with 256 bit key.

Désactiver le chiffrementsur le réseau HDFS

Sélectionnez Do not encrypt data.

3. Cliquez sur Save Settings.

Configurer le chiffrement sur le réseau HDFS (CLI)Vous pouvez configurer le chiffrement sur le réseau HDFS à l’aide de l’interface deligne de commande.

Avant de commencer

Exécutez la tâche Configurer les paramètres du plug-in Ranger avant de configurer lechiffrement sur le réseau HDFS.

Procédure

1. Pour configurer le chiffrement sur le réseau HDFS, exécutez isi hdfssettings modify --data-transfer-cipher encryption_argument.

Option Description

Activer le chiffrement sur leréseau HDFS

Définissez encryption_argument sur l’un deschiffrements AES (Advanced EncryptionStandard) : aes_128_ctr, aes_192_ctr ouaes_256_ctr.

Désactiver le chiffrement surle réseau HDFS

Définissez encryption_argument sur none.

isi hdfs settings modify --data-transfer-cipher aes_128_ctr


Configurer le chiffrement sur le réseau HDFS (CLI) 29



CHAPITRE 3

Référence des commandes OneFS avec HDFS

Vous pouvez accéder au service HDFS et le configurer par le biais de l’interface deligne de commande OneFS. Ces commandes permettent d’effectuer les mêmesopérations que l’interface d’administration Web de OneFS. Les commandes décritesdans cette section sont fournies à titre de référence.

l Commandes HDFS............................................................................................. 32

Référence des commandes OneFS avec HDFS 31

Commandes HDFSVous pouvez utiliser la liste de commandes OneFS ci-dessous pour vous aider à gérervotre intégration système Isilon et Hadoop.

isi hdfs log-level modifyModifie le niveau de consignation du service HDFS sur le nœud.

Syntaxe

isi hdfs log-level modify [--set {always|error|warning|info|verbose|debug|trace|default} ] [--verbose| -v]

Options

--set {always | error | warning | info | verbose | debug | trace |default}

Définit le niveau de consignation par défaut pour le service HDFS sur le cluster. Lavaleur par défaut est default.

--verbose | -vAffiche des informations plus détaillées.

isi hdfs log-level viewAffiche le niveau de consignation actuel du service HDFS sur le nœud.

Syntaxe

isi hdfs log-level view

OptionsIl n’existe aucune option pour cette commande.

isi hdfs proxyusers createCrée un utilisateur proxy qui peut usurper en toute sécurité l’identité d’un autreutilisateur ou groupe.

Syntaxe

isi hdfs proxyusers create <proxyuser-name> [--zone <zone-name>] [--add-group <group-name>...] [--add-gid <group-identifier>...] [--add-user <user-name>...] [--add-uid <user-identifier>...] [--add-sid <security-identifier>...] [--add-wellknown <well-known-name>...] [--verbose]



Options

<proxyuser-name>

Spécifie le nom d’utilisateur d’un utilisateur actuellement configuré sur le clusterpour être désigné en tant qu’utilisateur proxy.

--zone<zone-name>

Spécifie la zone d’accès utilisée par l’utilisateur pour s’authentifier.

--add-group<group-name>...

Ajoute le groupe correspondant au nom spécifié à la liste des membres del'utilisateur proxy. L'utilisateur proxy peut usurper l'identité de n'importe quelutilisateur du groupe. Les utilisateurs du groupe doivent s'authentifier auprès de lamême zone d'accès que l'utilisateur proxy. Vous pouvez spécifier plusieurs nomsde groupe dans une liste séparée par des virgules.

--add-gid<group-identifier>...

Ajoute le groupe correspondant à l’ID de groupe UNIX spécifié à la liste desmembres de l’utilisateur proxy. L'utilisateur proxy peut usurper l'identité den'importe quel utilisateur du groupe. Les utilisateurs du groupe doivents'authentifier auprès de la même zone d'accès que l'utilisateur proxy. Vouspouvez spécifier plusieurs ID de groupe UNIX dans une liste séparée par desvirgules.

--add-user<user-name>...

Ajoute l'utilisateur correspondant au nom spécifié à la liste des membres dontl'identité peut être usurpée par l'utilisateur proxy. L'utilisateur doit s'authentifierauprès de la même zone d'accès que l'utilisateur proxy. Vous pouvez spécifierplusieurs noms d'utilisateur dans une liste séparée par des virgules.

--add-uid<user-identifier>...

Ajoute l'utilisateur correspondant à l'ID utilisateur UNIX spécifié à la liste desmembres dont l'identité peut être usurpée par l'utilisateur proxy. L'utilisateur doits'authentifier auprès de la même zone d'accès que l'utilisateur proxy. Vouspouvez spécifier plusieurs ID utilisateur UNIX dans une liste séparée par desvirgules.

--add-sid<security-identifier>...

Ajoute l'utilisateur, le groupe d'utilisateurs, la machine ou le comptecorrespondant à l'identifiant de sécurité Windows spécifié à la liste des membresde l'utilisateur proxy. L'objet doit s'authentifier auprès de la même zone d'accèsque l'utilisateur proxy. Vous pouvez spécifier plusieurs identifiants de sécuritéWindows dans une liste séparée par des virgules.

--add-wellknown<well-known-name>...

Ajoute l'utilisateur bien connu correspondant au nom spécifié à la liste desmembres dont l'identité peut être usurpée par l'utilisateur proxy. L'utilisateur bienconnu doit s'authentifier auprès de la même zone d'accès que l'utilisateur proxy.Vous pouvez spécifier plusieurs noms d'utilisateurs bien connus dans une listeséparée par des virgules.

{ --verbose | -v}

Affiche des informations plus détaillées.


isi hdfs proxyusers create 33

ExemplesLa commande suivante désigne hadoop-user23 dans zone1 en tant que nouvelutilisateur proxy :

isi hdfs proxyusers create hadoop-user23 --zone=zone1

La commande suivante désigne hadoop-user23 dans zone1 en tant que nouvelutilisateur proxy et ajoute le groupe d’utilisateurs nommé hadoop-users à la liste desmembres dont l’identité peut être usurpée par l’utilisateur proxy :

isi hdfs proxyusers create hadoop-user23 --zone=zone1 \--add-group=hadoop-users

La commande suivante désigne hadoop-user23 dans zone1 en tant que nouvelutilisateur proxy et ajoute UID 2155 à la liste des membres dont l’identité peut êtreusurpée par l’utilisateur proxy :

isi hdfs proxyusers create hadoop-user23 --zone=zone1 --add-UID=2155

isi hdfs proxyusers modifyModifie un utilisateur proxy qui peut usurper en toute sécurité l’identité d’un autreutilisateur ou groupe.

Syntaxe

isi hdfs proxyusers modify <proxyuser-name> [--zone <zone-name>] [--add-group <group-name>...] [--add-gid <group-identifier>...] [--add-user <user-name>...] [--add-uid <user-identifier>...] [--add-sid <security-identifier>...] [--add-wellknown <well-known-name>...] [--remove-group <group-name>...] [--remove-gid <group-identifier>...] [--remove-user <user-name>...] [--remove-uid <user-identifier>...] [--remove-sid <security-identifier>...] [--remove-wellknown <well-known-name>...] [--verbose]

Options

<proxyuser-name>

Spécifie le nom d’utilisateur de l’utilisateur proxy à modifier.

--zone<zone-name>

Spécifie la zone d’accès utilisée par l’utilisateur proxy pour s’authentifier.

--add-group<group-name>...

Ajoute le groupe correspondant au nom spécifié à la liste des membres del’utilisateur proxy. L’utilisateur proxy peut usurper l’identité de n’importe quelutilisateur du groupe. Les utilisateurs du groupe doivent s’authentifier dans lamême zone d’accès que l’utilisateur proxy. Vous pouvez spécifier plusieurs nomsde groupe dans une liste séparée par des virgules.



--add-gid<group-identifier>...

Ajoute le groupe correspondant à l’ID de groupe UNIX spécifié à la liste desmembres de l’utilisateur proxy. L'utilisateur proxy peut usurper l'identité den'importe quel utilisateur du groupe. Les utilisateurs du groupe doivents'authentifier dans la même zone d'accès que l'utilisateur proxy. Vous pouvezspécifier plusieurs ID de groupe UNIX dans une liste séparée par des virgules.

--add-user<user-name>...

Ajoute l’utilisateur correspondant au nom spécifié à la liste des membres dontl’identité peut être usurpée par l’utilisateur proxy. L’utilisateur doit s’authentifierdans la même zone d’accès que l’utilisateur proxy. Vous pouvez spécifier plusieursnoms d’utilisateur dans une liste séparée par des virgules.

--add-uid<user-identifier>...

Ajoute l’utilisateur correspondant à l’ID utilisateur UNIX spécifié à la liste desmembres dont l’identité peut être usurpée par l’utilisateur proxy. L'utilisateur doits'authentifier dans la même zone d'accès que l'utilisateur proxy. Vous pouvezspécifier plusieurs ID utilisateur UNIX dans une liste séparée par des virgules.

--add-sid<security-identifier>...

Ajoute l’utilisateur, le groupe d’utilisateurs, la machine ou le comptecorrespondant à l’identifiant de sécurité Windows spécifié à la liste des membresde l’utilisateur proxy. L’objet doit s’authentifier dans la même zone d’accès quel’utilisateur proxy. Vous pouvez spécifier plusieurs identifiants de sécuritéWindows dans une liste séparée par des virgules.

--add-wellknown<well-known-name>...

Ajoute l’utilisateur bien connu correspondant au nom spécifié à la liste desmembres dont l’identité peut être usurpée par l’utilisateur proxy. L’utilisateur bienconnu doit s’authentifier dans la même zone d’accès que l’utilisateur proxy. Vouspouvez spécifier plusieurs noms d’utilisateurs bien connus dans une liste séparéepar des virgules.

--remove-group<group-name>...

Supprime le groupe correspondant au nom spécifié de la liste des membres del’utilisateur proxy afin que l’utilisateur proxy ne puisse plus usurper l’identité del’un des utilisateurs du groupe. Vous pouvez spécifier plusieurs noms de groupedans une liste séparée par des virgules.

--remove-gid<group-identifier>...

Supprime le groupe correspondant à l’ID de groupe spécifié de la liste desmembres de l’utilisateur proxy afin que l’utilisateur proxy ne puisse plus usurperl’identité de l’un des utilisateurs du groupe. Vous pouvez spécifier plusieurs ID degroupe UNIX dans une liste séparée par des virgules.

--remove-user<user-name>...

Supprime l’utilisateur correspondant au nom spécifié de la liste des membres dontl’identité peut être usurpée par l’utilisateur proxy. Vous pouvez spécifier plusieursnoms d'utilisateur dans une liste séparée par des virgules.

--remove-uid<user-identifier>...

Supprime l’utilisateur correspondant à l’ID de groupe spécifié de la liste desmembres dont l’identité peut être usurpée par l’utilisateur proxy. Vous pouvezspécifier plusieurs ID utilisateur UNIX dans une liste séparée par des virgules.


isi hdfs proxyusers modify 35

--remove-sid<security-identifier>...

Supprime l’utilisateur, le groupe d’utilisateurs, la machine ou le comptecorrespondant à l’identifiant de sécurité Windows spécifié de la liste des membresde l’utilisateur proxy. Vous pouvez spécifier plusieurs identifiants de sécuritéWindows dans une liste séparée par des virgules.

--remove-wellknown<well-known-name>...

Supprime l’utilisateur bien connu correspondant au nom spécifié de la liste desmembres dont l’identité peut être usurpée par l’utilisateur proxy. Vous pouvezspécifier plusieurs noms d'utilisateurs bien connus dans une liste séparée par desvirgules.

{--verbose | -v}


ExemplesLa commande suivante ajoute un utilisateur local bien connu à la liste des membres del’utilisateur proxy hadoop-user23 dans zone1 et supprime de cette liste l’utilisateurassocié à l’ID utilisateur 2155 :

isi hdfs proxyusers modify hadoop-user23 --zone=zone1 \--add-wellknown=local --remove-uid=2155

isi hdfs proxyusers deleteSupprime un utilisateur proxy.

Syntaxe

isi hdfs proxyusers delete <proxyuser-name> [--zone <zone-name>] [--force] [--verbose]

Options

<proxyuser-name>

Spécifie le nom d’utilisateur de l’utilisateur proxy à supprimer.

--zone<zone-name>

Spécifie la zone d'accès utilisée par l'utilisateur proxy pour s'authentifier.

{ --force | -f}

Supprime l’utilisateur proxy spécifié sans demander de confirmation.

{ --verbose | -v}


ExemplesLa commande suivante supprime hadoop-user23 dans zone1 de la liste des utilisateursproxy :

isi hdfs proxyusers delete hadoop-user23 --zone=zone1



isi hdfs proxyusers members listAffiche les utilisateurs et groupes d’utilisateurs, connus sous le nom de membres, dontl’identité peut être usurpée par un utilisateur proxy.

Syntaxe

isi hdfs proxyusers members list <proxyuser-name> [--zone <zone-name>] [--format {table | json | csv | list}] [--no-header ] [--no-footer ] [--verbose]

Options

<proxyuser-name>

Spécifie le nom de l’utilisateur proxy.

--zone<zone-name>

Spécifie la zone d'accès utilisée par l'utilisateur proxy pour s'authentifier.

--format {table | json | csv | list}

Affiche le résultat sous forme de tableau (par défaut), au format JSON(JavaScript Object Notation), au format CSV (valeurs séparées par des virgules)ou sous forme de liste.

--no-headerAffiche le résultat sous forme de tableau et au format CSV sans les en-têtes.

--no-footerAffiche le résultat sous forme de tableau sans les pieds de page.

{ --verbose | -v}


ExemplesLa commande suivante affiche une liste détaillée des utilisateurs et groupes qui sontmembres de l’utilisateur proxy hadoop-user23 dans zone1 :

isi hdfs proxyusers members list hadoop-user23 --zone=zone1 -v

Le système affiche un résultat semblable à l’exemple suivant :

Type : userName: krb_user_005 ID: UID:1004--------------------------------------------------------------------------------Type: groupName: krb_users ID: SID:S-1-22-2-1003--------------------------------------------------------------------------------Type: wellknownName: LOCAL ID: SID:S-1-2-0


isi hdfs proxyusers members list 37

isi hdfs proxyusers listAffiche tous les utilisateurs proxy qui sont configurés dans une zone d’accès.

Syntaxe

isi hdfs proxyusers list [--zone <zone-name>] [--format {table | json | csv | list}] [--no-header ] [--no-footer ] [--verbose]

Options

--zone<zone-name>

Spécifie le nom de la zone d’accès.


Affiche le résultat sous forme de tableau (par défaut), au format JSON(JavaScript Object Notation), au format CSV (valeurs séparées par des virgules)ou sous forme de liste.

--no-headerAffiche le résultat sous forme de tableau et au format CSV sans les en-têtes.

--no-footerAffiche le résultat sous forme de tableau sans les pieds de page.

{ --verbose | -v}


ExemplesLa commande suivante affiche la liste de tous les utilisateurs proxy qui sont configurésdans zone1 :

isi hdfs proxyusers list --zone=zone1


Name-------------hadoop-user23hadoop-user25hadoop-user28-------------Total: 3

isi hdfs proxyusers viewAffiche les détails de configuration d’un utilisateur proxy spécifique.



Syntaxe

isi hdfs proxyusers view <proxyuser-name> [--zone <zone-name>]

Options

<proxyuser-name>

Spécifie le nom d’utilisateur de l’utilisateur proxy.

--zone<zone-name>

Spécifie la zone d’accès utilisée par l’utilisateur proxy pour s’authentifier.

ExemplesLa commande suivante affiche les détails de configuration pour l’utilisateur proxyhadoop-user23 dans zone1 :

isi hdfs proxyusers view hadoop-user23 --zone=zone1


Nom : hadoop-user23Members: krb_users LOCAL krb_user_004

isi hdfs racks createCrée un nouveau rack HDFS virtuel.

Syntaxe

isi hdfs racks create <rack-name> [--client-ip-ranges <low-ip-address>-<high-ip-address>]... [--ip-pools <subnet>:<pool>]... [--zone <string>] [--verbose]

Options

<rack-name>

Spécifie le nom du rack HDFS virtuel. Le nom du rack doit commencer par unebarre oblique : par exemple, /example-name.

--client-ip-ranges<low-ip-address>-<high-ip-address>...

Spécifie les plages d’adresses IP des clients de calcul Hadoop externes attribuésau rack virtuel.

--ip-pools<subnet>:<pool>...

Attribue un pool d’adresses IP de cluster Isilon au rack virtuel.

--zone<string>

Spécifie la zone d’accès qui doit contenir le rack virtuel.

{--verbose | -v}


isi hdfs racks create 39


isi hdfs racks modifyModifie un rack HDFS virtuel.

Syntaxe

isi hdfs racks modify <rack-name> [--name <rack-name>] [--client-ip-ranges <low-ip-address>-<high-ip-address>]... [--add-client-ip-ranges <low-ip-address>-<high-ip-address>]... [--remove-client-ip-ranges <low-ip-address>-<high-ip-address>]... [--clear-client-ip-ranges] [--ip-pools <subnet>:<pool>]... [--add-ip-pools <subnet>:<pool>]... [--remove-ip-pools <subnet>:<pool>]... [--clear-ip-pools] [--zone <string>] [--verbose]

Options

<rack-name>

Spécifie le rack HDFS virtuel à modifier. Chaque nom de rack commence par unebarre oblique : par exemple, /example-name.

--name<rack-name>

Attribue un nouveau nom au rack virtuel spécifié. Le nom du rack doit commencerpar une barre oblique : par exemple, /example-name.

--client-ip-ranges<low-ip-address>-<high-ip-address>...

Spécifie les plages d’adresses IP des clients de calcul Hadoop externes attribuésau rack virtuel. La valeur attribuée via cette option remplace toute plaged’adresses IP existante. Vous pouvez ajouter une nouvelle place via l’option --add-client-ip-ranges.

--add-client-ip-ranges<low-ip-address>-<high-ip-address>...

Ajoute la plage d’adresses IP des clients de calcul Hadoop externes spécifiée aurack virtuel.

--remove-client-ip-ranges<low-ip-address>-<high-ip-address>...

Supprime la plage d’adresses IP des clients de calcul Hadoop externes spécifiéedu rack virtuel. Vous pouvez uniquement supprimer une plage complète ; vous nepouvez pas supprimer un sous-ensemble d’une plage.

--clear-client-ip-rangesSupprime toutes les plages d’adresses IP des clients de calcul Hadoop externesdu rack virtuel.

--ip-pools<subnet>:<pool>...

Attribue des pools d’adresses IP de nœud Isilon au rack virtuel. La valeur attribuéevia cette option remplace tout pool d’adresses IP existant. Vous pouvez ajouter unnouveau pool via l’option --add-ip-pools.

--add-ip-pools<subnet>:<pool>...



Ajoute un pool d’adresses IP de cluster Isilon spécifié au rack virtuel.

--remove-ip-pools<subnet>:<pool>...

Supprime un pool d’adresses IP de cluster Isilon spécifié du rack virtuel.

--clear-ip-poolsSupprime tous les pools d’adresses IP de cluster Isilon du rack virtuel.

--zone<string>

Spécifie la zone d’accès qui contient le rack virtuel à modifier.

{--verbose | -v}


isi hdfs racks deleteSupprime un rack HDFS virtuel.

Syntaxe

isi hdfs racks delete <rack-name> [--zone <string>] [--force] [--verbose]

Options

<rack-name>

Supprime le rack HDFS virtuel spécifié. Chaque nom de rack commence par unebarre oblique : par exemple, /example-name.

--zone<string>

Spécifie la zone d’accès qui contient le rack virtuel à supprimer.

{--force | -f}

Supprime les invites et messages de ligne de commande.

{--verbose | -v}


isi hdfs racks listRépertorie les racks HDFS d’une zone d’accès.

Syntaxe

isi hdfs racks list [--zone <string>] [--format {table | json | csv | list}] [--no-header] [--no-footer] [--verbose]


isi hdfs racks delete 41

Options

--zone<string>

Spécifie la zone d’accès. Le système affiche tous les racks virtuels de la zonespécifiée.


Affiche les racks HDFS dans un tableau, au format JSON, au format CSV ou sousforme de liste.

{--no-header | -a}

N’affiche pas les en-têtes au format de sortie CSV ou tabulaire.

{--no-footer | -z}

N’affiche pas les informations de pied de page du tableau.

{--verbose | -v}


isi hdfs racks viewAffiche des informations sur un rack HDFS virtuel spécifique.

Syntaxe

isi hdfs racks view <rack-name> [--zone <string>]

Options

<rack-name>

Spécifie le nom du rack HDFS virtuel à afficher. Chaque nom de rack commencepar une barre oblique : par exemple, /example-name.

--zone<string>

Spécifie la zone d’accès qui contient le rack virtuel à afficher.

isi hdfs ranger-plugin settings modifyModifie les paramètres du plug-in Apache Ranger pour HDFS.

Syntaxe

isi hdfs ranger-plugin settings modify [--enabled <boolean>] [--policy-manager-url <string>] [--repository-name <string>] [--zone <string>] [--verbose]

Options

--enabled<boolean>

Active le plug-in HDFS Ranger.



--policy-manager-url<string>

Schéma, nom d’hôte et port du serveur Apache Ranger (par exemple : http://ranger.com:6080).

--repository-name<string>

Nom du référentiel HDFS hébergé sur le serveur Apache Ranger.

--zone<string>

Zone d’accès contenant le référentiel HDFS.

{--verbose | -v}


isi hdfs ranger-plugin settings viewAffiche les paramètres du plug-in Apache Ranger pour HDFS.

Syntaxe

isi hdfs ranger-plugin settings view [--zone <string>]

Options

--zone<string>

Zone d’accès contenant le référentiel HDFS.

isi hdfs settings modifyModifie les paramètres HDFS d’une zone d’accès.

Syntaxe

isi hdfs settings modify [--service {yes | no}] [--default-block-size <size>] [--default-checksum-type {none | crc32 | crc32c}] [--authentication-mode {all | simple_only | kerberos_only}] [--root-directory <path>] [--webhdfs-enabled {yes | no] [--ambari-server <string>] [--ambari-namenode <string>] [--ambari-metrics-collector <string>] [--odp-version <string>] [--data-transfer-cipher {none | aes_128_ctr | aes_192_ctr | aes_256_ctr}] [--zone <string>] [--verbose]

Options

--service {yes | no}

Active ou désactive le service HDFS dans la zone d’accès spécifiée. Le serviceHDFS est activé par défaut.

--default-block-size<size>


isi hdfs ranger-plugin settings view 43

Taille de bloc (en octets) signalée par le service HDFS. K, M et G ; par exemple,64M, 512K, 1G sont des suffixes valides. La valeur par défaut est 128 Mo.

--default-checksum-type {none | crc32 | crc32c}

Type de checksum signalé par le service HDFS. La valeur par défaut est none.

--authentication-mode {all | simple_only | kerberos_only}

Méthode d’authentification utilisée pour les connexions HDFS via la zone d’accèsspécifiée. La valeur par défaut est all.

--root-directory<path>

Chemin racine des données HDFS de la zone d’accès auxquelles les clients detraitement Hadoop peuvent accéder. Le répertoire racine doit être dans lerépertoire de base de la zone d’accès.

--webhdfs-enabled {yes | no}

Active ou désactive WebHDFS dans la zone d’accès spécifiée. WebHDFS estactivé par défaut.

--ambari-server<string>

Serveur Ambari qui reçoit la communication d’un agent Ambari. La valeur doit êtreune adresse IPv4 ou IPv6, un nom de domaine complet ou un nom d’hôte pouvantêtre résolu.

--ambari-namenode<string>

Point de contact dans la zone d’accès par lequel les services Hadoop gérés par lebiais de l’interface Ambari doivent se connecter. La valeur doit correspondre àune adresse IPv4 pouvant être résolue ou à un nom de zone SmartConnect.

--ambari-metrics-collector<string>

Nom d’hôte du Collector de metrics. La valeur doit être une adresse IPv4 ou IPv6,un nom de domaine complet ou un nom d’hôte pouvant être résolu.

--odp-version<string>

Version du référentiel de pile ODP (Open Data Platform) installé par le serveurAmbari, y compris le numéro du build le cas échéant. Cette information estnécessaire pour prendre en charge les mises à niveau ODP sur d’autres systèmesfaisant partie du cluster Hadoop.

--data-transfer-cipher {none | aes_128_ctr | aes_192_ctr |aes_256_ctr}

Chiffrement AES (Advanced Encryption Standard) à utiliser pour le chiffrementsur le réseau.

--zone<string>

Zone d’accès à laquelle les paramètres HDFS s’appliquent.

{--verbose | -v}


isi hdfs settings viewAffiche les paramètres HDFS d’une zone d’accès.



Syntaxe

isi hdfs settings view [--zone <string>]

Options

--zone<string>

Spécifie la zone d’accès. Le système affiche les paramètres HDFS de la zonespécifiée.


isi hdfs settings view 45



CHAPITRE 4

Ressources supplémentaires

Ce chapitre contient des informations sur la configuration des composants HDFS tierstels qu’Ambari. Il comporte également des liens vers d’autres ressources de contenuqui expliquent comment implémenter Hadoop sur un cluster Isilon.

l Composants HDFS tiers..................................................................................... 48l Utilisation de Hadoop avec Isilon........................................................................ 51l N’hésitez pas à nous faire part de vos impressions............................................ 52l Où obtenir des services de support ?.................................................................53

Ressources supplémentaires 47

Composants HDFS tiers

Ambari

Agent AmbariLe framework client/serveur Apache Ambari, intégré à la plate-forme HDP(Hortonworks Data Platform) est un outil tiers facultatif qui vous permet deconfigurer, de gérer et de surveiller un cluster Hadoop via une interface basée sur unnavigateur.

L’agent OneFS Ambari est configuré par zone d’accès. Vous pouvez configurer l’agentAmbari dans toute zone d’accès contenant des données HDFS. Pour démarrer l’agentAmbari dans une zone d’accès, vous devez spécifier l’adresse IPv4 du serveur Ambariexterne et l’adresse d’un NameNode. Le NameNode sert de point de contact pour lazone d’accès.

Le serveur Apache Ambari externe accepte les communications de l’agent Ambari. Unefois que l’agent Ambari est attribué à la zone d’accès, il s’inscrit auprès du serveurAmbari. Ensuite, il fournit un état heartbeat au serveur. Le serveur Ambari doitdisposer d’une adresse IPv4, d’un nom de domaine complet ou d’un nom d’hôtepouvant être résolu, et il doit être attribué à une zone d’accès.

Le NameNode correspond au point de contact désigné dans une zone d’accès que lesservices Hadoop gèrent par le biais de l’interface Ambari. Par exemple, si vous gérezdes services tels que YARN ou Oozie par le biais de l’agent Ambari, ces services seconnectent à la zone d’accès via le NameNode spécifié. L’agent Ambari communiquel’emplacement du NameNode désigné au serveur Ambari et à l’agent Ambari. Si vousmodifiez l’adresse NameNode indiquée, l’agent Ambari met à jour le serveur Ambari.Le NameNode doit être un nom de zone SmartConnect valide ou une adresse IP dupool d’adresses IP associé à la zone d’accès.

Remarque

La valeur de NameNode spécifiée est mappée aux composants NameNode, NameNodesecondaire et DataNode sur l’agent OneFS Ambari.

L’agent OneFS Ambari repose sur le framework Apache Ambari et est compatible avecplusieurs versions du serveur Ambari. Pour obtenir la liste complète des versions prisesen charge, consultez la page Hadoop Distributions and Products Supported by OneFSdu site EMC Community Network (ECN).

Configuration des paramètres de l’agent Ambari

Vous pouvez configurer la prise en charge de l’agent Ambari dans chaque zoned’accès qui contient des données HDFS à l’aide de l’interface d’administration Web oude l’interface de ligne de commande de OneFS.

Configurer les paramètres de l’agent Ambari (interface utilisateur Web)Procédure


2. Dans la liste Current Access Zone, sélectionnez la zone d’accès dans laquellevous souhaitez activer les paramètres du serveur Ambari.





3. Dans le champ Ambari Server de la zone Ambari Server Settings, saisissez le nom du serveur Ambari externe qui communique avec l’agent Ambari.

La valeur doit être une adresse IPv4, ou IPv6, un nom de domaine complet ou unnom d’hôte pouvant être résolu.

4. Dans le champ Ambari NameNode, indiquez l’adresse IP ou le FQDNSmartConnect de la zone d’accès dans laquelle se trouvent les données HDFSsur le cluster.

L’adresse IP doit appartenir à un pool d’adresses IP qui partage la zone d’accès.Les adresses IPv6 ne sont pas prises en charge.

5. Dans le champ ODP Version, spécifiez la version du référentiel de pile ODP(Open Data Platform), notamment le numéro de build installé par le serveurAmbari, le cas échéant.

La version ODP est nécessaire pour prendre en charge les mises à niveau ODPsur d’autres systèmes faisant partie du cluster Hadoop.

6. Dans le champ Ambari Metrics Collector, spécifiez le nom de l’hôte Ambariexterne où est installé le composant Ambari Metrics Collector.

La valeur doit être une adresse IPv4, ou IPv6, un nom de domaine complet ou unnom d’hôte pouvant être résolu.


Configurer les paramètres de l’agent Ambari (CLI)Procédure


La commande suivante spécifie company.ambari.server.com en tant que serveurAmbari externe qui reçoit la communication de l’agent Ambari exécuté dans lazone d’accès zone3.

isi hdfs settings modify \--ambari-server=company.ambari.server.com \--ambari-metrics-collector string \--zone=zone3

La commande suivante définit 192.168.205.5 comme point de contact dans lazone d’accès zone3 pour les services Hadoop gérés par le biais de l’interfaceAmbari.

isi hdfs settings modify \--ambari-namenode=192.168.205.5 \--ambari-metrics-collector http://ambari-metrics-collector-host.com \--zone=zone3

Metrics et alertes AmbariDans un déploiement Hadoop avec OneFS versions 8.0.1.0 ou ultérieures, un nœuddans un cluster Isilon peut surveiller, collecter et transmettre des données de metricsà des intervalles d’une minute à Ambari Metrics Collector, un composant d’AmbariMetrics System d’Hortonworks.

L’ensemble des metrics et des données d’alerte OneFS transmis à Ambari sont àl’échelle du cluster. Par exemple, dans le cas d’un cluster Isilon à trois nœuds, le traficNDFS réseau agrégé sur les trois nœuds est signalé à Ambari. Remarque : les metrics


Ambari 49

OneFS correspondant à des zones d’accès spécifiques qui contiennent des DatasetsHDFS ne sont pas pris en charge actuellement.

Pour afficher les metrics Ambari, suivez les étapes décrites dans le document Ambarimetrics and alerts with EMC Isilon OneFS.

Prise en charge d’Apache RangerOneFS prend en charge Apache Ranger dans le cadre d’un déploiement Hadoop avecun cluster Isilon.

La console Apache Ranger fournit un framework de sécurité centralisé pour gérer lecontrôle d’accès sur les composants d’accès aux données Hadoop tels qu’Apache Hiveet Apache HBase. Ces règles peuvent être définies pour des utilisateurs individuels oudes groupes, puis être systématiquement appliquées aux fichiers, aux dossiers et auxbases de données.

Seules les règles d’autorisation HDFS Ranger avec des conditions Deny sont prises encharge par OneFS. La documentation d’Apache JIRA RANGER-606 explique commentutiliser les conditions Deny, qui ont été ajoutées à Apache Ranger 0.6.0. Pour plusd’informations sur Apache Ranger et sur les composants HDP spécifiques, reportez-vous aux pages du site Hortonworks dédiées à Apache Ranger.

l Les méthodes d’authentification AD, Kerberos et locale sont prises en charge.

l L’audit de l’accès HDFS par Apache Ranger n’est pas pris en charge actuellement.

l Les règles de balise ne sont pas prises en charge actuellement.

Modification des paramètres du plug-in Apache Ranger HDFSVous pouvez activer le plug-in Apache Ranger HDFS pour autoriser une supervisionsupplémentaire de l’authentification du protocole HDFS à l’aide de l’interfaced’administration Web ou de l’interface de ligne de commande (CLI) de OneFS.

Vous pouvez activer Apache Ranger sur des clusters Isilon puis rechercher denouvelles règles d’autorisation, recevoir les demandes HDFS émises par des clients etappliquer des règles d’autorisation aux demandes HDFS, à savoir DENY, ALLOW ouUNDETERMINED. Pour activer le plug-in Apache Ranger HDFS, suivez les étapesdécrites dans le document Hortonworks Security Guide.

L’activation du plug-in Apache Ranger autorise les règles d’autorisation définies dansl’instance de service HDFS Ranger, également appelée référentiel avant la versionApache Ranger 0.6.0. Les règles doivent tout d’abord autoriser les utilisateurs ou lesgroupes à accéder aux ressources, puis refuser l’accès à des utilisateurs ou desgroupes spécifiques. Si un utilisateur n’est pas inclus dans la liste autorisée, l’accès luiest refusé par défaut. Pour plus d’informations sur la création d’une règle DENY,consultez le document Apache Ranger deny policies with OneFS 8.0.1.0

Remarque

Une règle mal formulée peut avoir un impact inattendu, par exemple en bloquantl’accès.

Le nom du référentiel est un paramètre au sein d’Apache Ranger. Apache Ranger 0.6.0est la version minimale prise en charge car la règle Ranger DENY est prise en chargeuniquement sur les versions 0.6.0 et ultérieures. Dans la version 0.6.0, Apache Rangera renommé cette fonction « instance de service ». L’instance de service est le nom del’instance de service HDFS au sein de l’interface d’administration Apache Ranger quiest utilisé comme nom du référentiel.



https://community.emc.com/community/products/isilon/blog/2016/10/25/ambari-metrics-and-alerts-with-emc-isilon


https://hortonworks.com/apache/ranger/

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_security/content/ch03s01s03s01.html

https://community.emc.com/community/products/isilon/blog/2016/10/25/apache-ranger-deny-policies-with-onefs-8010

Si vous disposez d’un cluster compatible Kerberos, suivez les instructions dudocument Hortonworks Security Guide pour activer le plug-in Ranger HDFS sur lecluster.

Modifier les paramètres du plug-in Apache Ranger HDFS (interfaceutilisateur Web)

L’URL du gestionnaire de règles Policy Manager se trouve sur le serveur Ambari sousAmbari > Ranger > Configs, avec la dénomination policymgr_external_url. CetteURL se compose de http:// suivi du nom de l’hôte où Ranger Admin est installé,suivi du port ranger.service.http.port (généralement 6080), suivi de /.

Procédure

1. Cliquez sur Protocols > Hadoop (HDFS) > Ranger Plugin Settings.

2. Dans la zone Ranger Plugin settings, sélectionnez Enable Ranger Plugin.

3. Dans le champ Policy manager URL, saisissez l’URL qui pointe versl’emplacement de Policy Manager.

4. Dans le champ Repository name, saisissez le nom du référentiel HDFS.


Modifier les paramètres du plug-in Apache Ranger HDFS (CLI)

L’URL du gestionnaire de règles Policy Manager se trouve sur le serveur Ambari sousAmbari > Ranger > Configs, avec la dénomination policymgr_external_url. CetteURL se compose de http:// suivi du nom de l’hôte où Ranger Admin est installé,suivi du port ranger.service.http.port (généralement 6080), suivi de /.

Procédure

1. Pour configurer les paramètres de plug-in Ranger, exécutez la commande isihdfs ranger-plugin settings modify.

Le paramètre --policy-manager-url se compose de http:// suivi du nom del’hôte où Ranger Admin est installé, suivi du portranger.service.http.port (généralement 6080), suivi de /.

La commande suivante configure les paramètres du plug-in Ranger :

isi hdfs ranger-plugin settings modify --policy-manager-url http://resolvable_name:6080/ --repository-name repository_name --enabled true --zone zone_name

Utilisation de Hadoop avec IsilonEn complément de ce guide d’administration HDFS, vous pouvez utiliser les ressourcessuivantes pour implémenter votre intégration système IsilonOneFS et HDFS.

Informations sur la compatibilité

l Hadoop Distributions and Products Supported by OneFS

Informations spécifiques à Isilon

l Using Hadoop with Isilon - Isilon Info Hub

l Overview of Isilon and Hadoop (vidéo)

l Hadoop Distributions and Products Supported by OneFS


Utilisation de Hadoop avec Isilon 51

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_security/content/hdfs_plugin_kerberos.html



http://youtu.be/joibUFluQ_Y


l Prepare an Isilon for Hadoop Cheat Sheet

l Isilon and Hadoop Local UID Parity

l Getting Isilon - Hadoop UID/GID parity

l OneFS and Hadoop Proxy Users

l Considerations for Active Directory based on Kerberos with Hadooop

l Backing Up Hadoop To Isilon

l Troubleshooting a Permissions Issue between Hadoop and Isilon

l Using HTTPFS & Knox with Isilon OneFS to Enhance HDFS Access Security

l Creating a Bi-Directional HDFS Mirror Across HDP/Isilon Clusters with Falcon

Hortonworks et Ambari

l EMC Isilon OneFS with Hadoop and Hortonworks Installation Guide

l Configuring Ambari Hive View with OneFS

l Apache Ranger deny policies with OneFS 8.0.1.0

l Ambari Metrics and Alerts with EMC Isilon

l Enhanced Hadoop Security with OneFS 8.0.1 and Hortonworks HDP

l Ever better HDP upgrades with OneFS

l OneFS, Ambari, and Accumulo Tracer

l Configuring a single database instance for Ambari, Hive, and Oozie onHortonworks/Isilon Hadoop Cluster

Hortonworks et Ambari avec Kerberos

l Ambari Automated Kerberos Configuration with Isilon OneFS

l Ambari HDP with Isilon 8.0.0.1 and Active Directory Kerberos Implementation

l Duplicate SPN's with Isilon AD Kerberos and Hortonworks prevent services fromstarting

l KDC Kerberized Yarn Service Fail to Start on 8.0.1 with Ambari via WebHDFS curlcalls

l The infamous '401 Authorization Required' error when starting Kerberized services

Cloudera

l EMC Isilon OneFS with Hadoop and Cloudera Installation Guide

l Cloudera and Isilon Implementation - Part 1

l Cloudera and Isilon Implementation - Part 2

l Get Cloudera 5.7 Impala starting with Isilon

Cloudera avec Kerberos

l Cloudera 5.7 with Isilon 8.0.0.1 and Active Directory Kerberos Implementation

Problèmes connus et solutions de contournement

l Attempts to use the Apache Hadoop YARN node label feature fail

l Customer Troubleshooting - Isilon Info Hub

N’hésitez pas à nous faire part de vos impressions



https://community.emc.com/community/products/isilon/blog/2016/12/21/prepare-an-isilon-for-hadoop-in-5-minutes

https://community.emc.com/community/products/isilon/blog/2016/06/22/isilon-and-hadoop-user-uid-parity

https://community.emc.com/community/products/isilon/blog/2016/09/15/getting-isilon--hadoop-uidgid-parity-the-easy-way

https://community.emc.com/community/products/isilon/blog/2016/11/30/onefs-and-hadoop-proxy-users

https://community.emc.com/community/products/isilon/blog/2016/07/22/isilon-onefs-considerations-for-active-directory-based-kerberos-with-hadoop

https://community.emc.com/community/products/isilon/blog/2014/11/07/backup

https://community.emc.com/community/products/isilon/blog/2016/08/31/troubleshooting-a-permissions-issue-between-hadoop-and-isilon

https://support.emc.com/docu81673

https://community.emc.com/people/bonibruno/blog/2017/03/01/using-falcon-with-hdp-25-isilon-onefs-801

http://France.emc.com/collateral/TechnicalDocument/docu71396.pdf

https://community.emc.com/community/products/isilon/blog/2016/08/16/configuring-ambari-hive-view-with-onefs

https://community.emc.com/community/products/isilon/blog/2016/10/25/apache-ranger-deny-policies-with-onefs-8010



https://community.emc.com/community/products/isilon/blog/2016/07/08/ever-better-upgrades-of-hdp-with-onefs

https://community.emc.com/community/products/isilon/blog/2016/06/03/onefs-ambari-and-accumulo-tracer

https://community.emc.com/people/bonibruno/blog/2017/02/23/using-mariadbmysql-for-ambari-hive-and-oozie-on-your-hadoopisilon-cluster

https://community.emc.com/people/bonibruno/blog/2017/02/23/using-mariadbmysql-for-ambari-hive-and-oozie-on-your-hadoopisilon-cluster

https://community.emc.com/community/products/isilon/blog/2016/04/26/ambari-automated-kerberos-configuration-with-emc-isilon

https://community.emc.com/community/products/isilon/blog/2016/07/05/kerberizing-ambari-hdp-with-isilon-8001-and-active-directory

https://community.emc.com/community/products/isilon/blog/2016/10/11/duplicate-spns-with-isilon-ad-kerberos-and-hortonworks

https://community.emc.com/community/products/isilon/blog/2016/10/11/duplicate-spns-with-isilon-ad-kerberos-and-hortonworks

https://community.emc.com/community/products/isilon/blog/2016/12/16/kdc-kerberized-yarn-service-fail-to-start-on-801-with-ambari-via-webhdfs-calls

https://community.emc.com/community/products/isilon/blog/2016/12/16/kdc-kerberized-yarn-service-fail-to-start-on-801-with-ambari-via-webhdfs-calls

https://community.emc.com/community/products/isilon/blog/2017/03/15/the-infamous-401-authorization-required-error-when-starting-kerberized-services

http://France.emc.com/collateral/TechnicalDocument/docu82332.pdf

https://community.emc.com/community/products/isilon/blog/2016/07/07/cloudera-and-isilon-implementation

https://community.emc.com/community/products/isilon/blog/2016/07/07/cloudera-and-isilon-implementation-part-2

https://community.emc.com/community/products/isilon/blog/2016/07/07/get-cloudera-57-impala-starting-with-isilon

https://community.emc.com/community/products/isilon/blog/2016/07/11/cloudera-cdh-57-with-isilon-8001-and-active-directory-kerberos-implementation



Vos suggestions nous aident à améliorer la précision, l’organisation et la qualité globalede la documentation. Envoyez vos commentaires à https://www.research.net/s/isi-docfeedback. Si vous ne pouvez pas envoyer vos commentaires via l’URL, envoyez une-mail à [email protected].

Où obtenir des services de support ?Si vous avez des questions concernant les produits Isilon, contactez Supporttechnique Isilon.

Support en ligne l Chat en direct

l Créer une demande de service

Supporttéléphonique

l États-Unis : 1-800-SVC-4EMC (1-800-782-4362)

l Canada : 1-800-543-4782

l International : 1-508-497-7901

l Pour obtenir les numéros de téléphone d’un paysspécifique, consultez les Centres de support client d’EMC.

Inscription ou accèsau support

Pour toute question concernant l’accès à Support Clientsd'EMC, envoyez un e-mail à [email protected].

Hubsd’informationsIsilon

Pour obtenir la liste des hubs d’informations Isilon, consultez lapage Isilon Info Hubs sur le site IsilonCommunity Network. Leshubs d’informations Isilon organisent en rubriques spécifiquesla documentation, les vidéos, les blogs et le contenu utilisateurconsacrés à Isilon, ce qui vous permet de rechercherfacilement du contenu sur les sujets qui vous intéressent.

Support pour IsilonSD EdgeSi vous exécutez une version gratuite d’IsilonSD Edge, le support est disponible via lesite Isilon Community Network. Si vous avez acheté une ou plusieurs licencesIsilonSD Edge, le support est disponible via le Support technique Isilon, à condition quevous disposiez d’un contrat de support valide pour le produit.


Où obtenir des services de support ? 53

https://www.research.net/s/isi-docfeedback

https://www.research.net/s/isi-docfeedback

mailto:[email protected]

https://support.emc.com/servicecenter/liveChat/

https://support.emc.com/servicecenter/createSR/

http://France.emc.com/collateral/contact-us/h4165-csc-phonelist-ho.pdf

https://support.emc.com

https://support.emc.com

mailto:[email protected]



