前言
以前部署hadoop集群,一直使用cloudera提供的tarball部署安装,今天尝试使用CM在新机器部署hadoop,因为使用它使用起来简单方便,并且提供了一系列的监控功能.但由于CM的安装是要联网的,而且cloudera还在中国没有源,所以安装过程非常的慢,而且失败率很高(网络不好的同学相信很有体会).所以自己摸索着搭建一个本地源,用于CM的安装.记录如下
环境:
品牌机PC6台,4核/11G内存/400G硬盘,Centos6.4.
一台能联网的PC,作用:下载数据包,搭建源环境.
机器host如下,其中232用作源服务器,不作为集群机使用.由于233机器出了问题,所以只能装6台,
准备:
1.CM的安装必须使用root帐户,并且要关闭SElinux和防火墙
关闭SELinux的方法:
修改/etc/selinux/config文件中的SELINUX="" 为 disabled ,然后重启。
关闭防火墙:
/sbin/service iptables stop
cloudera manager server 依赖的包 postgresql-server,postgresql,postgresql-libs
每个agent依赖的包fuse-libs,fuse,redhat-lsb
这些依赖必须先装上.可使用rpm -qa 包名 查看是否已安装.
2.下载文件
1.首先下载安装CM的bin文件,下载地址
http://archive.cloudera.com/cm4/installer/latest/cloudera-manager-installer.bin
2.下载cloudera-manager依赖的rpm文件
不同的操作系统对应不同rpm文件,Centos6对应的下载地址是
http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.8.0/
建议使用linux 的wget下载,可以把以上整个目录和目录包含的文件一次性下载.
wget -r --no-parent http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/
-r表示递归下载, --no-parent表示不下载父目录文件
3.下载Hadoop集群所需要的rpm包
CM4整个安装过程,依赖4个组件,分别是manager,cdh4,impala和solr,所以需要把这4个组件所依赖的rpm包都下载,
不同的操作系统对应不同rpm文件,所以需要根据自己的操作系统选择对应的下载目录.
cdh4对应的下载地址: http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/4/
impala对应的下载地址: http://archive.cloudera.com/impala/redhat/6/x86_64/impala/1/
solr对应的下载地址: http://archive.cloudera.com/search/redhat/6/x86_64/search/1/
(manager相关rpm包在上一步已下载)
建议以上文件都使用wget方法下载(下载过程会比较漫长…)
下载方法:
如我下载的文件放在/data1/CDH目录下,对应先建立4个文件夹cdh4,impala,manager和solr
如下载manager,先进入manager目录
cd manager
wget -r --no-parent http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/
下载后manager的目录结构如下:
其它三个文件组件使用同样的下载方法
4.部署http服务.
在232机器上安装http服务
yum install httpd (如不能使用yum,可使用安装包安装)
安装完成后启动httpd服务
/sbin/service httpd start
在浏览器访问http:// 10.108.74.232 可看到带有apache图标的页面则安装成功
在/var/www/html 目录上建立软连接,分别连向下载好的rpm包目录.
cd /var/www/html
mkdir cm4
ln –s /data1/CDH/manager/archive.cloudera.com/cm4/redhat/ ./cm4
mkdir cdh4
ln –s /data1/CDH/cdh4/archive.cloudera.com/cdh4/redhat/ ./cdh4
mkdir impala
ln –s /data1/CDH/impala/archive.cloudera.com/impala/redhat/ ./ impala
mkdir search
ln –s /data1/CDH/solr/archive.cloudera.com/search/redhat/ ./ search
这样源服务器就搭建好了.
开始安装:
环境已经搭建完成.可以开始安装
选择集群中其中一台机器安装manager server.我选择了235
执行bin文件安装
./ cloudera-manager-installer.bin
一路Next,所有组件都是几秒内安装完成^ ^
至此,manager服务已经安装成功.浏览器访问http://10.108.74.235:7180,打开登录页面,用户名密码都是admin/admin
一路安装至完成.^^
相关推荐
ClouderaManager离线扩容
Centos 7 离线安装Cloudera Manager6 和CDH6.3.1.docx
最近在搞Cloudera Manager,在线离线的安装都试验了,在网上也借鉴了很多大神们的教程。发现很多标注离线安装的rmp版本都或多或少需要联网。最后采用了tar包的方式安装。将本人的安装过程和网上的教程结合了一下总结...
Cloudera CM6.3.1 CDH6.3.2 完整版+离线安装教程
Cloudera Manager 和 CHD5.3.3 集群 离线安装,非常好用。
自己整理的CDH离线部署安装指南,可依据此部署步骤开发一键部署脚本程序,从而省去手动部署敲命令的繁琐过程。由于一键部署包好几个G,就不发出来了。
Cloudera Manager安装手册(离线parcels存储库方式),基于CentOS操作系统一步步傻瓜式安装,截图记录整个部署过程。带集群功能验证,检查集群是否正常工作 目录 一、文档内容 3 二、软硬件环境 3 2.1.软件信息 3 ...
Cloudera Manager安装手册(离线parcels存储库方式),基于CentOS操作系统一步步傻瓜式安装,截图记录整个部署过程。
cloudera manager 离线安装包
从2021年1月31日开始,所有Cloudera软件都需要有效的订阅,并且只能通过付费墙进行访问。也就是说CDH各版本都不能免费获取了。 安装教程中详细说明了安装过程中遇到...CentOS7.6下CDH6.3.2离线安装教程(正式环境).docx
系统环境操作系统:CentOS6.5x64,配置如下:ClouderaManager:5.3.4CDH:5.3.4所需软件由于我重装系统时已经设置了,这里就不设置了。[root@hadoop2opt]#cat/etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop2...
Centos7离线搭建安装配置Cloudera-Manager5.9.3-说明书
本人亲自安装测试通过后整理的的cdh6.2.0离线安装教程 cdh6.2.0安装部署教程.txt mysql-connector-java-5.1.47.tar.gz mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar cloudera-manager-daemons-6.2.0-968826.el7.x86_64...
ClouderaManager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。1.实验环境:Mac下VMware虚拟机2.操作系统:...
CDH (Cloudera's Distribution, including ...Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。
cdh离线安装教程;enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm;cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm;cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm;cloudera-manager-server-...
本文实现了基于Redhat Enterprise Linux6.7系统离线安装Cloudera manager5.11.0和CDH5.11.0。概括了主要步骤,解决了主要问题。但仍需要有linux基础知识才能成功安装。如果遇到其他问题,请查找本人博客。
本人亲自安装测试通过后整理的的cdh5.16.2离线安装教程 CM安装及部署教程.md cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz manifest.json CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 CDH-5.16.2-1.cdh5.16.2...
CDH-7.1.7 cloudera-manager-server-7.1.4 jdk 完整版安装包 离线下载地址
离线安装Cloudera Manager 5