现在的位置: 首页 > 综合 > 正文

HADOOP__HADOOP基础安装和配置

2013年12月12日 ⁄ 综合 ⁄ 共 1592字 ⁄ 字号 评论关闭

http://www.cnblogs.com/freeideas/archive/2013/04/16/3023287.html

HADOOP安装过程

(一) 硬件环境

此次的作业,在之前的一个成功配置的基础之上,鉴于Ubuntu的操作系统,Server的占用内存比较小,启动较快,同时为了减轻机器的负担。做了如下的选择。

操作系统 虚拟机 安装的系统 虚机数 CPU RAM
Win7 Vmware 9 Ubuntu 12.04LTS Server 4台 I3 2310 6GB

(二)软件环境

由于Ubuntu的预装的程序较少,所以我自行安装了SSH程序,Ubuntu需要修改更新源(加快下载软件速度),这里就不具体描述了,修改/etc/apt/sources.list此更新源为163的源。

 

Hadoop版本 JDK版本 SSH
0.20.2 jdk-6u37-linux OPENSSH-SERVER

(三)网络环境

连接方式 Vmware设置成NAT连接方式    
结点 IP地址 域名 备注
Master 192.168.100.100 master hadoop中master结点
Slave1 192.168.100.101 slave1 hadoop中slave结点
Slave2 192.168.100.102 slave2 hadoop中slave结点
Server 192.168.100.253 server DNS,NFS服务器
/ 192.168.100.254 / Vmware里面的网关和DNS服务器

 

(四)安装步骤

步骤1

安装虚拟机,命名规范,用作于Master主机,后面用于复制。

步骤2,

配置HADOOP连接为NAT,关闭Floppy的开机连接等不必要的设备,设置好DNS

步骤3,

配置etc.network.interfaces,网关按照VMWARE中的设置设置,限定好IP地址

步骤4,

配置SSH SERVER来用SecureCrt连接,方便统一管理

步骤5,

修改HOSTNAME为规范的配置,修改HOSTS里面的本地对应的名称,要和hostname一致,否则会因为找不到对应主机而发生错误

hostname

hosts

步骤6,

在hadoop到新建的download文件夹中,并安装HADOOP到/usr/hadoop

步骤7,

JDK安装。安装好hadoop和JDK后。,配置etc.profile中的jdk和HADOOP环境变量

步骤8,

配置Hadoop中的SLAVES和MASTERS文件。

slaves

masters

步骤9,

配置hadoop-ENV.sh中的JAVA主目录,和core-site.xml和mapred-site.xml以及hdfs-site.xml等文件(以上文件均在hadoop/conf中)

hadoop-env.sh

core-site.xml

mapred-site.xml

hdfs-site.xml

 

以上步骤结束后,利用Vmware的克隆功能功能出3份,一份用作于MASTER,其他两个为slave。 修改hostname和hosts文件,分别对应到master,slave1,slave2,按预先分配的设置。

步骤10,

生成ssh密钥,在/home/hadoop文件夹中输入该命令。生成的密钥文件夹为/home/hadoop/.ssh 该文件夹为隐藏文件夹

用作与相互之间ssh的连接,此处分开生成是为了让三份ssh随机生成的密钥不一样,保证安全性。


修改.ssh文件夹的权限,让其他人可读可执行,主要用于无密钥认证。


以MASTER为主将其他主机和本机的密钥放入到authorized_keys中,汇集其他所有密钥后。分发到各台主机,实现全互联的无密钥认证。


步骤11,

以上做好配置,就要对namenode结点进行格式化了,初始化一些设置。


步骤12

启动hadoop,启动成功。



 

遇到的问题:

9001端口没有起来

解决:使用以下命令解决9001端口的连同问题。

抱歉!评论已关闭.