现在的位置: 首页 > 综合 > 正文

Hadoop集群添加磁盘步骤

2017年11月09日 ⁄ 综合 ⁄ 共 1635字 ⁄ 字号 评论关闭

一、实验环境 :

1、硬件:3台DELL服务器,CPU:2.27GHz*16,内存:16GB,一台为master,另外2台为slave。

2、系统:均为CentOS6.3

3、hadoop版本:CDH4.5,选用的mapreduce版本不是yarn,而是mapreduce1,整个集群在cloudera manager的监控下,配置时也是通过manager来配置(通过更改配置文件是一样的道理)。

二、背景:

随着数据量的增长,实验室的hdfs存储不够,故新买了2*2TB的硬盘,加装在2台datanode服务器上。hadoop不需要做raid(hdfs有其他机器保证数据冗余),因此将硬盘直接插在服务器上,在BIOS中找到新的硬盘即可。

三、硬盘分区、格式化:

每个硬盘分5个区,其中三个为主分区,另外两个为逻辑分区。

1、查看硬盘挂载情况

输入命令fdisk -l可以查看系统中有几块硬盘。一般第一块硬盘为/dev/sda,第二块为/dev/sdb,以此类推。如果没有找到加装的那块硬盘,说明系统没有识别,需重启服务器,进入BIOS设置。

2、硬盘分区

输入命令fdisk /dev/sdb(因为这里是第二块硬盘,所以输入的是/dev/sdb,这个需要根据情况)

这里可以输入m看一下具体有哪些参数。

输入p,可以显示本硬盘分区情况,由于是新硬盘,因此没有分区信息。

下面创建第一个主分区。

输入n创建分区,然后在接下来的提示中输入p,代表创建主分区,再输入1,表示创建第一个主分区(一共可以创建4个主分区),接下来输入起始柱面,一般就选默认,然后输入结束柱面,此处也可输入大小,如+400G,表示这个分区的大小为400G,这样,第一个主分区就创建好了。

然后按上述步骤创建第2,第3个主分区,均为400G。

接下来创建2个逻辑分区。

输入n,然后在接下来的提示中输入e,表示创建扩展分区,输入起始柱面,一般为默认,然后输入结束柱面,同样为默认,表示此扩展分区使用剩下的所有空间。这样,一个扩展分区就做好了,然后我们要在这个扩展分区上创建两个逻辑分区,创建的方法和创建主分区很相似,同样先输入n,然后接下来的步骤相信读者一定会做了。

最后所有分区创建完之后,记得输入w保存分区,否则等于没有做。

3、格式化分区

输入命令mkfs -t ext4 /dev/sdb1,表示把分区/dev/sdb1格式化成ext4文件系统,同样的方法格式化其他分区。

4、mount分区到目录

可以选择把某一分区mount到已有目录,也可以mount到新建目录。注意如果mount到已有目录,要先把该目录下的文件备份。本文是新建目录的:mkdir -p /hd/sdb1,然后mount /dev/sdb1 /hd/sdb1,同样mount其他分区。

5、修改/etc/fstab

如果不修改,则每次开机时都要手动做第4步,比较麻烦。打开fstab文件,按照已有的条目添加5个新建分区,每一个条目的最后两个数据均为0 0

四、hdfs扩容

我把上述5个分区的容量全部加到hdfs中。首先在每一个分区的挂载目录中新建子目录/dfs/dn,如mkdir -p /hd/sdb1/dfs/dn,然后修改dn目录的权限:

chown -R hdfs:hadoop /hd/sdb1/dfs/dn

这样hdfs才能使用该目录(每一个分区都要新建/dfs/dn)。

打开cloudera manager,找到“服务”-》“hdfs”

选择“配置”-》“查看和编辑”,然后在左边找到datanode(默认),右边的第一个属性中,原来只有一个条目(我的是/dfs/dn),为了使hdfs使用新的硬盘,因此要添加我们创建的分区,后面的5条都是我加的目录。

然后点开datanode(默认)

找到“高级”,在右边的datanode卷选择策略中,选择“可用空间”,这样,后面的两个属性(“10G字节”和“0.75”)就会发挥作用,用于平衡各个卷中空间使用。

保存以上配置,然后重启hdfs,即可将hdfs扩容。

抱歉!评论已关闭.