>>分享SPSS,Hadoop等大数据处理技术,以及分布式架构以及集群系统的构建 书籍支持  卫琴直播  品书摘要  在线测试  资源下载  联系我们
发表一个新主题 开启一个新投票 回复文章 您是本文章第 23538 个阅读者 刷新本主题
 * 贴子主题:  大数据平台CDH搭建 回复文章 点赞(0)  收藏  
作者:flybird    发表时间:2024-03-31 04:06:46     消息  查看  搜索  好友  邮件  复制  引用

  

一、概述

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。

二、安装部署

序号IP地址主机名系统版本
1172.20.2.222cm-servercentos7.3
2172.20.2.203hadoop-1centos7.3
3172.20.2.204hadoop-2centos7.3
4172.20.2.205hadoop-3centos7.3

2.2.1 基础环境部署

a.修改主机名配置hosts


systemctl stop firewalld
hostnamectl set-hostname  cm-server   #更改个主机名
sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config
setenforce 0
cat >>/etc/hosts<<EOF    #添加各个节点hosts解析
172.20.2.222    cm-server
172.20.2.203      hadoop-1
172.20.2.204      hadoop-2
172.20.2.205      hadoop-3
EOF

  b.配置cm-server免密钥登录其他节点


ssh-keygen -t rsa     #在cm-server生成密钥对
for num in `seq 1 3`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;done

  c.在cm-server安装数据库
在cm-server上安装mariadb,用于后期数据存储


yum install mariadb*
systemctl start mariadb
mysql -uroot password "mysqladmin"
登录数据库后我们采用root登录

  e.java环境配置
如果系统有安装java环境卸载干净使用oracle的jdk,此处使用

jdk-7u80-linux-x64.rpm

,在各节点均配置java环境


rpm -ivh jdk-7u80-linux-x64.rpm
cat >/etc/profile.d/java.sh<<EOF
export JAVA_HOME=/usr/java/jdk1.8.0_121
export CLASSPATH=.:\$JAVA_HOME/jre/lib/rt.jar:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar
export PATH=\$PATH:\$JAVA_HOME/bin
EOF
source /etc/profile.d/java.sh

  f.配置各节点服务器需求


sysctl -w vm.swappiness=10
echo "vm.swappiness=10" >>/etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

2.2.2 Cloudera Manager安装

a.下载解压相关软件包


mkdir /software && cd /software
wget -c https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 -O CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/manifest.json
wget -c https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.zip
tar -zxvf cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz -C /opt/   #解压cm包
unzip mysql-connector-java-5.1.46.zip  #解压java-mysql连接jar包
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /opt/cm-5.14.1/share/cmf/lib/    #将jar包复制到cm的lib目录下
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar

  b.创建用户及初始化数据库


useradd --system --home=/opt/cm-5.14.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm     #在各个节点均创建用户
vim /opt/cm-5.14.1/etc/cloudera-scm-agent/config.ini将其中的server_host=cm-server     #指向cm-server
usage: /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh [options] (postgresql|mysql|oracle) database username     #使用选项
/opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql cmdb -h"cm-server" -uroot -pmysqladmin --scm-host cm-server scm scm scm

  c.将文件将cm-server修改完成的文件分发到其他各节点


for i in `seq 1 3`;do scp -r /opt/cm-5.14.1 hadoop-$i:/opt/;done

  d.创建本地源


mv CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel* manifest.json /opt/cloudera/parcel-repo/

  e.启动服务
在cm-server启动server和agent服务,在其他节点启动agent服务


/opt/cm-5.14.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.1/etc/init.d/cloudera-scm-agent start

2.2.2 Cloudera Manager的web界面配置

服务器均启动后,可以浏览器访问cm-server的7180端口,用户名/密码为admin/admin
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
接受协议继续
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
可以选择适用60天
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
提示一些涉及许可证的信息
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
勾选管理的主机继续操作
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

选择CDH-5.14版本
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
parcel安装
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
主机正确性检查
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
群集设置(选择安装的服务)
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
自定义角色分配,选择安装在那个节点上
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
数据库设置
需要提前创建数据库及授权其他节点可以正常连接
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
审核更改
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
集群安装
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

完成安装
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
后期可添加服务
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小



----------------------------
原文链接:https://blog.51cto.com/kaliarch/2122467


程序猿的技术大观园:www.javathinker.net
  Java面向对象编程-->内部类
  JavaWeb开发-->JSP技术详解(Ⅱ)
  JSP与Hibernate开发-->通过JPA API检索数据
  Java网络编程-->用Swing组件展示HTML文档
  精通Spring-->创建综合购物网站应用
  Vue3开发-->Vue CLI脚手架工具
  mongodb与redis与Hbase比较
  spark读取kafka后写入redis
  kubernetes之Ingress部署
  K8S使用dashboard管理集群
  使用Ambari搭建Hadoop集群
  使用Helm简化K8S应用管理
  Kubernetes(K8S)集群管理Docker容器(部署篇)
  Hadoop 之 HDFS
  Hadoop中文词频统计
  Spark SQL常见4种数据源(详细)
  Spark RDD持久化、广播变量和累加器
  Hadoop、Spark、HBase与Redis的适用性讨论(全文)-数据视野
  Java处理大数据小技巧总结
  Hadoop的简单单词统计案例
  hadoop详解
  更多...
 IPIP: 已设置保密
楼主      
1页 2条记录 当前第1
发表一个新主题 开启一个新投票 回复文章


中文版权所有: JavaThinker技术网站 Copyright 2016-2026 沪ICP备16029593号-2
荟萃Java程序员智慧的结晶,分享交流Java前沿技术。  联系我们
如有技术文章涉及侵权,请与本站管理员联系。