>>分享SPSS,Hadoop等大数据处理技术,以及分布式架构以及集群系统的构建 书籍支持  卫琴直播  品书摘要  在线测试  资源下载  联系我们
发表一个新主题 开启一个新投票 回复文章 您是本文章第 22159 个阅读者 刷新本主题
 * 贴子主题:  超详细的Hadoop2配置详解 回复文章 点赞(0)  收藏  
作者:flybird    发表时间:2024-04-24 06:04:11     消息  查看  搜索  好友  邮件  复制  引用

1. 集群环境
Master 192.168.2.100
Slave1 192.168.2.101
Slave2 192.168.2.102

2. 下载安装包
#Master
wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.8.4/hadoop-2.8.4.tar.gz
tar zxvf hadoop-2.8.4.tar.gz

3. 修改Hadoop配置文件
#Master
cd hadoop-2.8.4/etc/hadoop
vim hadoop-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_152

vim yarn-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_152

vim slaves
slave1
slave2

vim core-site.xml
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop-2.8.4/tmp</value>
        </property>
</configuration>

  vim hdfs-site.xml


<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:9001</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop-2.8.4/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop-2.8.4/dfs/data</value>
        </property>
        <property>
                <name>dfs.repliction</name>
                <value>3</value>
        </property>
</configuration>

  vim mapred-site.xml


<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

  vim yarn-site.xml


<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>master:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>master:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>master:8035</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>master:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>master:8088</value>
        </property>
</configuration>

  #创建临时目录和文件目录
mkdir /usr/local/hadoop-2.8.4/tmp
mkdir -p /usr/local/hadoop-2.8.4/dfs/name
mkdir -p /usr/local/hadoop-2.8.4/dfs/data

4. 配置环境变量
#Master、Slave1、Slave2
vim ~/.bashrc
HADOOP_HOME=/usr/local/src/hadoop-2.8.2
export PATH=$PATH:$HADOOP_HOME/bin
#刷新环境变量
source ~/.bashrc

5. 拷贝安装包
#Master
scp -r /usr/local/src/hadoop-2.8.4 root@slave1:/usr/local/src/hadoop-2.8.4
scp -r /usr/local/src/hadoop-2.8.4 root@slave2:/usr/local/src/hadoop-2.8.4

6. 启动集群
#Master
#初始化Namenode
hadoop namenode -format
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

#启动集群
./sbin/start-all.sh
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

6. 集群状态
jps
#Master
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
#Slave1
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
#Slave2
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

7.监控网页
http://master:8088
点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小

  1. 测试
    点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
  2. 关闭集群
    ./sbin/hadoop stop-all.sh
----------------------------
原文链接:https://blog.51cto.com/xtbao/2132130


程序猿的技术大观园:www.javathinker.net
  Java面向对象编程-->多线程(下)
  JavaWeb开发-->开发JavaMail Web应用
  JSP与Hibernate开发-->JPA API的高级用法
  Java网络编程-->对象的序列化与反序列化
  精通Spring-->Vue组件开发基础
  Vue3开发-->CSS过渡和动画
  实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供...
  flume+spark streaming+redis完整篇
  mongodb与redis与Hbase比较
  kubeadm安装k8s集群1.17版本
  playbook自动安装kafka集群
  Hadoop安装过程
  Spark on Yarn with Hive实战案例与常见问题解决
  spark DAGScheduler、TaskSchedule、Executor执行task源码分...
  hive 的支持的文件类型与 压缩格式
  ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台
  Docker部署Hadoop集群
  Spark Thrift JDBCServer应用场景解析与实战案例
  学习大数据处理需要掌握的技能
  大数据处理的基本流程
  将 Java 应用程序扩展到移动领域和云
  更多...
 IPIP: 已设置保密
树形列表:   
1页 0条记录 当前第1
发表一个新主题 开启一个新投票 回复文章


中文版权所有: JavaThinker技术网站 Copyright 2016-2026 沪ICP备16029593号-2
荟萃Java程序员智慧的结晶,分享交流Java前沿技术。  联系我们
如有技术文章涉及侵权,请与本站管理员联系。