现在的位置: 首页 > 综合 > 正文

离线安装cloudera manager server和hadoop集群

2013年09月03日 ⁄ 综合 ⁄ 共 1365字 ⁄ 字号 评论关闭

目的:

cloudera manager server安装hadoop集群的服务大大简化了安装过程,即使不懂linux的人之需要鼠标点一点就可以安装和管理,但是cloudera manager server所有的安装过程都是在线的,如果某地网速过慢或者无法联网,就需要离线来安装cloudera manager server。下面我来介绍一下我安装的步骤

 

 

环境:

ubuntu 12.04 64位系统(其他系统安装原理也是类似的)

 

 

大概思路:

看cloudera manager server的安装过程的提示可以看出,cm是把它官网的源加入到本地,然后执行apt-get install来安装,所以很容易的想到把官网上的源下下来,然后在局域网建立一个源,笔者也是这么做的。

 

 

具体步骤:

1,下载官网上的源,笔者使用wget这个工具,具体命令如下:

wget -mc

http://archive.cloudera.com/cdh4/ubuntu/precise/amd64/cdh/

wget -mc http://archive.cloudera.com/cm4/ubuntu/precise/amd64/cm/

大家仔细分析下这两个源就知道这是什么了

 

2,下载好的源建立服务器

笔者使用nginx服务器,觉得配置和使用都很简单,网上有很多教程,大家可以搜搜

我是参考这个博客http://www.cnblogs.com/zhangzhang/archive/2012/06/11/2544621.html来配置

还有一点说明就是如果访问服务器是403 forbid的话把nginx的配置文件的用户和用户组都改成root

假设建立好了源 比如源建在192.168.1.2这个机子 只需要在每台机子的/etc/apt/sources.list里面加入:

deb [arch=amd64] http://ip/cm4/ubuntu/precise/amd64/cm precise-cm4 contrib

deb-src http://ip/cm4/ubuntu/precise/amd64/cm precise-cm4 contrib

然后apt-get update一下 就会发现用apt-get install hadoop什么都存在了

 

3,离线安装cloudera manage server

在上一篇博客里面已经介绍了cm在线的安装办法,按道理说现在也这样安装就没有问题,因为源都在本地了。但是经过查看日志文件知道,cm安装过程中还要从其他网址下载东西比如mysql和postsql,ssh等,这些都需要我们下好,然后手动安装(当然,你可以把这些下好,然后加入到源里面,就可以安装,但是笔者对于源不是很熟悉,希望这样成功的人能留言告知下具体做法)。

在执行 cloudera-manager-installer.bin需要先安装这些

4,离线安装hadoop集群

需要安装hadoop服务的机子需要安装如下:

ntp

 

mysql

还有ssh

(以上的这些文件都是笔者在线安装时,得到的文件,这些文件保存在/var/cathe/apt/archives文件夹里面)

 

注意问题:

1,如果只有一台机子测试时,需要修改/etc/hosts,把本机ip和主机名加入即可

2,有时候firefox显示会有问题,可以改用chrome即可

抱歉!评论已关闭.