HDFS监控维护

管理 Hadoop

永久性数据结构安全模式日志审计

HDFS

HDFS ：永久性数据结构

namenode 的目录结构：

dfs.name.dirVERSIONnamespaceIDcTimestorageType

HDFS ：文件系统映像和编辑日志namenode 维护文件系统的元数据

fsimage 文件是文件系统的一个永久检查点

HDFS ：文件系统映像和编辑日志由于需要恢复编辑日志中的各项操作，会导致 namenode 重启操作较慢。此时间内，文件系统将处于离线状态。

运行辅助 namenode

HDFS ：文件系统映像和编辑日志

创建检查点的过程

HDFS ：辅助 namenode

辅助 namenode 的目录结构

HDFS ： datanode

datanode 的目录结构

HDFS ：安全模式

在安全模式下， namenode 的文件系统对于客户端来说是只读的

HDFS ：安全模式查看 namenode 是否进入安全模式：%hadoop dfssdmin –safemode getSafe mode is ON退出安全模式：%hadoop dfsadmin –safemode wait# command to read or write a file进入安全模式：%hadoop dfsadmin –safemode enterSafe mode is ON离开安全模式：%hadoop dfsadmin –safemode leaveSafe mode is OFF

HDFS ：日志审计

HDFS 的日志能够记录所有文件的访问请求，对日志进行审计是 log4j 在INFO 级别实现的。在默认配置下， log4j 。 Properties 属性文件中的阈值被设为 WARN （未启动）。

HDFS ： dfsadmin

dfsadmin 工具既可以查找HDFS 状态信息，又可在HDFS 上执行管理操作。

HDFS ： fsck

fsck 工具可以用来检测 HDFS 中文件的健康状况

HDFS ： fsck

对于损坏或者丢失的块-- 移动-- 删除

寻找特定文件的数据块

HDFS ： datanode 块扫描器

每个 datanode 运行一个块扫描器，定期检查本节点上的所有块，从而在客户端客端读到坏块之前及时的检测和修复坏块。周期： dfs.datanode.scan.period.hours 设置

HDFS ：均衡器

目的：均衡器将块从忙碌的 datanode 移到相对空闲的 datanode ，重新分配块

启动均衡器：%start –balancer.sh-threshold

监控

日志度量Java 管理扩展

监控

监控 日志

日志有助于查明系统中发生的事件

设置日志级别：通过 Hadoop 守护进程的网页来改变任何 log4j 日志名称的日志级别获取堆栈轨迹：Hadoop 守护进程提供一个网页对正在守护进程的 JVM 中运行着的线程执行线程转储。

监控 度量HDFS 和 MapReduce 守护进程收集相关的事件和度量信息。

监控 度量

监控 度量

监控 度量

监控 Java 管理扩展 (JMX)

监控 Java 管理扩展 (JVM)

许多第三方监控和报警系统均可查询 Mbean ，因此通过这些系统使用 JMX能够监控一个 Hadoop 集群。

维护日常管理过程

元数据备份数据备份fsck 工具文件系统均衡器

委任和解除节点委任新节点解除旧节点

升级版本兼容HDFS 的数据和元数据升级

维护 元数据备份

如果 namenode 的永久性性元数据丢失或者损坏，则整个文件系统无法使用，因此数据备份非常关键。方法一：直接保存这些元数据文件的副本方法二：整合倒 namenode 正在使用的文件上

维护 数据备份

为数据划分不同的优先级最高优先级是那些无法重新产生数据，对业务非常关键的数据，通常备份。优先级低的数据则无需备份。

distcp 备份工具

维护 fsck 工具

定期地对整个文件系统运行 HDFS 的 fsck （文件系统检查）工具，主动查找丢失或损坏的块

维护 文件系统均衡器

定期地运行均衡器工具，保存文件系统的各个 datanode比较均衡。

维护 委任和解除节点

维护 委任新节点

维护 解除旧节点

维护 解除旧节点

维护 升级

维护 兼容

维护 升级

必要性：在一个测试集群做实验

维护 升级 Five Tips

维护 升级步骤

维护 升级

维护 升级

Thank You