|
一、概述 Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。
二、安装部署序号 | IP地址 | 主机名 | 系统版本 |
---|
1 | 172.20.2.222 | cm-server | centos7.3 | 2 | 172.20.2.203 | hadoop-1 | centos7.3 | 3 | 172.20.2.204 | hadoop-2 | centos7.3 | 4 | 172.20.2.205 | hadoop-3 | centos7.3 | 2.2.1 基础环境部署 a.修改主机名配置hosts
systemctl stop firewalld
hostnamectl set-hostname cm-server #更改个主机名
sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config
setenforce 0
cat >>/etc/hosts<<EOF #添加各个节点hosts解析
172.20.2.222 cm-server
172.20.2.203 hadoop-1
172.20.2.204 hadoop-2
172.20.2.205 hadoop-3
EOF |
b.配置cm-server免密钥登录其他节点
ssh-keygen -t rsa #在cm-server生成密钥对
for num in `seq 1 3`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;done |
c.在cm-server安装数据库 在cm-server上安装mariadb,用于后期数据存储
yum install mariadb*
systemctl start mariadb
mysql -uroot password "mysqladmin"
登录数据库后我们采用root登录 |
e.java环境配置 如果系统有安装java环境卸载干净使用oracle的jdk,此处使用
,在各节点均配置java环境
rpm -ivh jdk-7u80-linux-x64.rpm
cat >/etc/profile.d/java.sh<<EOF
export JAVA_HOME=/usr/java/jdk1.8.0_121
export CLASSPATH=.:\$JAVA_HOME/jre/lib/rt.jar:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar
export PATH=\$PATH:\$JAVA_HOME/bin
EOF
source /etc/profile.d/java.sh |
f.配置各节点服务器需求
sysctl -w vm.swappiness=10
echo "vm.swappiness=10" >>/etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled |
2.2.2 Cloudera Manager安装 a.下载解压相关软件包
b.创建用户及初始化数据库
useradd --system --home=/opt/cm-5.14.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm #在各个节点均创建用户
vim /opt/cm-5.14.1/etc/cloudera-scm-agent/config.ini将其中的server_host=cm-server #指向cm-server
usage: /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh [options] (postgresql|mysql|oracle) database username #使用选项
/opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql cmdb -h"cm-server" -uroot -pmysqladmin --scm-host cm-server scm scm scm |
c.将文件将cm-server修改完成的文件分发到其他各节点
for i in `seq 1 3`;do scp -r /opt/cm-5.14.1 hadoop-$i:/opt/;done |
d.创建本地源
mv CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel* manifest.json /opt/cloudera/parcel-repo/ |
e.启动服务 在cm-server启动server和agent服务,在其他节点启动agent服务
/opt/cm-5.14.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.1/etc/init.d/cloudera-scm-agent start |
2.2.2 Cloudera Manager的web界面配置 服务器均启动后,可以浏览器访问cm-server的7180端口,用户名/密码为admin/admin
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/31c249160554eafb5b0cdde4905c9ff2.png)
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/b150ee64c0d6a9459e5cc3695775ce33.png) 接受协议继续
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/c9ae2b60c3f0573c13cc5639808cfe63.png) 可以选择适用60天
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/9f1e46ee6c294b6f494672c4a3cfca9f.png) 提示一些涉及许可证的信息
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/56b517e2e465a1b8be912cbb6c1fa06e.png) 勾选管理的主机继续操作
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/f9c9d06abb27a85e7b7e87a3da8ad2f9.png)
选择CDH-5.14版本
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/90bed00e691d1b8f826018a1caa16cc2.png) parcel安装
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/fc1f4eb0cdfdb140495616b0fba9c055.png) 主机正确性检查
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/3bf9544d2c900661c8454fc990d0bca2.png) 群集设置(选择安装的服务)
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/1ca180d9730cbbd771ad9da047835d08.png) 自定义角色分配,选择安装在那个节点上
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/9c6135fbc767e833e02f4f2a26a9c2d1.png) 数据库设置 需要提前创建数据库及授权其他节点可以正常连接
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/1e854f277ddff902e5de14c40ef031e2.png)
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/78ce34ffd9c72ee0894fea83dfb94ecb.png) 审核更改
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/483ed05efc4c9ca6ea641350489f4109.png) 集群安装
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/95cd78456686d6cc3c12db6b6c2741fa.png)
完成安装
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/a0a247b58bd2c3bcf67b09d54fb996ba.png)
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/2e63662bc9c63b653d04256257bce389.png) 后期可添加服务
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/0af1dbfb37e7f88dc001d07de41bd8a0.png)
![点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小](png/e98c145097d1d97dc1f2a1b71b6ae262.png)
----------------------------
原文链接:https://blog.51cto.com/kaliarch/2122467
程序猿的技术大观园:www.javathinker.net
|
|
|
|