Upload
liyang-tang
View
25
Download
0
Embed Size (px)
DESCRIPTION
Citation preview
HadoopHadoop 平台搭建平台搭建唐李洋
Vmware Workstation 7.0CentOS 4.8 (or other Linux version)JDK 1.6 + ( jdk-6u21-linux-i586.bin)Hadoop 0.20.2Hbase 0.20.6SSH Secure Shell Client 3.2.9
软件环境软件环境
安装安装 JDKJDK
1. 下载 jdk-6u21-linux-i586.bin 拷贝到 /cloud 目录下2. 进入 cd /cloud3. 增加执行权限
◦ chmod +x jdk-6u21-linux-i586.bin4. 执行安装命令
◦ ./jdk-6u21-linux-i586.bin5. 设置 JDK 环境变量
◦ vi /etc/profile◦ export JAVA_HOME=/cloud/jdk1.6.0_21◦ export PATH=/cloud/jdk1.6.0_21:$PATH ◦ export
CLASSPATH=.:/cloud/jdk1.6.0_21/lib:/cloud/jdk1.6.0_21/jre/lib
◦ source /etc/profile6. 查看安装成功
◦ Java -version
Hadoop 0.20.2Hadoop 0.20.2
1. 解压缩 tar –xzf hadoop-0.20.2.tar.gz 2. 设置 hadoop-env.sh
◦添加 export JAVA_HOME=/cloud/jdk1.6.0_21
3. conf/core-site.xml
4. conf/hdfs-site.xml
5. conf/mapred-site.xml6. 设置 conf/masters, conf/slaves
Hadoop 0.20.2Hadoop 0.20.2
SSHSSH无密码通信无密码通信
1. ssh-keygen –t rsa2. 加入 authorized_keys3. ssh 主机名 登陆即可
HadoopHadoop 操作操作
1. 格式化 NameNode
2. 启动 hadoop◦ 在浏览器输入 http://sev-130:50070, 查看是否启动成功
3. 关闭 bin/stop-all.sh
HBaseHBase安装安装
1. 解压缩 2. 配置 conf/hbase-env.sh
3. conf/hbase-site.xml
4. 将 Hadoop site 配置文件( core-site.xml, hdfs-site.xml, mapred-site.xml )复制到 hbase/conf 目录下
5. 修改 conf/regionservers 6. 将 hbase 的 jar 包复制到 hadoop/lib 目录 7. 启动 hbase
◦ bin/start-hbase.sh◦ http://sev-130:60010/ 查看 hbase 安装成功
Hadoop Cluster - SSHHadoop Cluster - SSH
将已经配置好的虚拟机镜像 clone 并拷贝到其他机器上修改 hostname 和 IP 地址
◦ vi /etc/sysconfig/network◦ vi /etc/sysconfig/network-scripts/ifcfg-eth0◦ Reboot
在两台机器上都修改 /etc/hosts
两台机器都 ssh-keygenMaster(sev-130) 上:
◦ scp authorized_keys sev-128:/root/.sshSlave(sev-128) 上 :
◦ cd /root/.ssh◦ chmod 644 authorized_keys
注意:将虚拟机 Linux 的 NETWORK 改为 bridged
Hadoop Cluster – Hadoop confHadoop Cluster – Hadoop conf
拷贝文件到 sev-128◦ scp –r /cloud sev-128:/cloud
在 slave 上重新安装 JDK 两台机器上配置:
◦ conf/slaves sev-128 sev-130
在 master 上登陆 slave◦ ssh sev-128
格式化并启动
Hadoop Cluster - WordCountHadoop Cluster - WordCount
Vmware toolVmware tool
VM -> install vmware toolsVmware-tools 默认安装在 /media/cdrom 目录解压缩
◦cd vmware-tools◦./VMTools-install.pl
设置共享文件夹◦Options -> shared folder
进入共享目录◦cd /mnt/hgfs
EclipseEclipse 插件插件
1. 下载 Eclipse◦eclipse-jee-helios-linux-gtk.tar.gz
2. 解压缩 tar3. 将 hadoop
Eclipse 插件复制到 Eclipse/plugins 目录下◦cp /cloud/hadoop-0.20.2/contrib/hadoop-0.20.2-
eclipse-plugin.jar /cloud/eclipse/plugins4. 进入 /cloud/eclipse 目录,双击打开
Eclipse
EclipseEclipse 插件插件
选择 perspective -> other -> MapReduce具体请参考
◦http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab5#a2.1%E5%AE%89%E8%A3%9Dhadoop%E7%9A%84eclipseplugin
注意该插件在 Eclipse 中的 run on hadoop 选项不可用,采用 Makefile 方式运行,具体设置参考◦http://tlyxy228.blog.163.com/blog/static/
1810901201052191836360/
PSPS :: BridgedBridged 上网设置上网设置
1. 设置 ip ,子网掩码,网络地址,广播地址,网关和 DNS◦应用程序 -> 系统设置 -> 网络
2. 重启网络服务◦Service network restart
详见 http://blog.chinaunix.net/u/25340/showart.php?id=2190957