>>分享SPSS,Hadoop等大数据处理技术,以及分布式架构以及集群系统的构建 书籍支持  卫琴直播  品书摘要  在线测试  资源下载  联系我们
发表一个新主题 开启一个新投票 回复文章 您是本文章第 21934 个阅读者 刷新本主题
 * 贴子主题:  Hadoop的简单单词统计案例 回复文章 点赞(0)  收藏  
作者:日月光华    发表时间:2019-12-31 18:12:54     消息  查看  搜索  好友  邮件  复制  引用

Hadoop的简单单词统计案例
  
在Hadoop学习过程中,单词统计作为一个最基本的案例,非常简单实用,是每一个入门菜鸟必须要掌握的一个例子,可以通过这个简单的小案例了解Hadoop的基本运行原理和MapReduce程序的开发流程

引入相关Hadoop目录相关Jar文件:

(hdfs(必须),common(必须),mapreduce(必须))

点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
引入配置文件:

core-site.xml;hdfs-site.xml;……

编写Map程序:
package cn.guyouda.hadoop.mapreduce.wordcount;
import java.io.IOException;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

/** *  * @author Youda * Map需要四个泛型参数 * KEYIN:输入参数:默认是要处理的文本中的某一行的偏移量 * VALUEIN:输入参数:要处理的某一行文本内容 * VALUEOUT:输出给Reduce的数据类型 * KEYOUT:输出给Reduce的偏移量 *  * 由于需要网络传输,故参数需要序列化 * 但是Java自带的序列化会携带一些冗余信息,不利于大量的网络传输 * 所以Hadoop对Long,String进行了封装,变为LongWritable,Text *  */

public class WordCountMapper  extends Mapper<LongWritable, Text, Text, LongWritable>{
@Override  protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, LongWritable>.Context context)
                           throws IOException, InterruptedException {
// 处理具体的业务逻辑
                String text = value.toString();
String[] words = StringUtils.split(text," |,|\\.");
for(String word:words){
context.write(new Text(word), new LongWritable(1)); }
} }

编写Reduce程序:


package cn.guyouda.hadoop.mapreduce.wordcount;
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
/** *  * @author Youda * */
public class WordCountReducer extends Reducer<Text, LongWritable, Text, LongWritable>{
@Override
protected void reduce(Text arg0, Iterable<LongWritable> arg1,Reducer<Text, LongWritable, Text, LongWritable>.Context arg2) throws IOException, InterruptedException {
  Long value = 0L;
          for(LongWritable num:arg1){
    value += num.get();
           }
            arg2.write(arg0, new LongWritable(value));
          }
}

编写控制程序:


package cn.guyouda.hadoop.mapreduce.wordcount;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
/** *  * @author Youda *指定Map和Reduce类 *指定作业需要处理的数据位置 *还可以指定数据输出的结果路径 */

public class WordCountRunner {

public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf);
job.setJarByClass(WordCountRunner.class);
//指定Map和Reduce类
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(WordCountReducer.class);
//指定Reduce的输出类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(LongWritable.class);
//指定Map的输出类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(LongWritable.class);
//指定源文件夹和输出文件夹
FileInputFormat.setInputPaths(job, new Path("/wordcount/srcdata/"));
.setOutputPath(job, new Path("/wordcount/output/"));
//提交:参数:是否显示处理进度
System.exit(job.waitForCompletion(true)?0:1);
}
}

在Hadoop中创建文件夹需要统计的单词所在文件夹并上传

hadoop fs -mkdir /wordcont
hadoop fs -mkdir /wordcount/srcdata

hadoop fs -put XXXX.txt /wordcount/srcdata

注:在创建文件夹和上传文件之前需要启动HDFS(start-dfs.sh)输出文件夹不能自己创建,否则程序运行时会报错

运行程序:
hadoop jar Count.jar cn.guyouda.hadoop.mapreduce.WordCountRunner

运行结束以后会在输出文件夹创建结果文件

点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
注:运行程序前必须启动YARN(start-yarn.sh)

显示统计结果:

hadoop fs -cat /wordcount/output/part-r-00000

点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小
————————————————
版权声明:本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/G_Youda/article/details/77989412


程序猿的技术大观园:www.javathinker.net

[这个贴子最后由 admin 在 2020-01-01 17:00:47 重新编辑]
  Java面向对象编程-->异常处理
  JavaWeb开发-->使用过滤器
  JSP与Hibernate开发-->立即检索和延迟检索策略
  Java网络编程-->用Spring整合CXF发布Web服务
  精通Spring-->虚拟DOM和render()函数
  Vue3开发-->通过Vuex进行状态管理
  springboot的缓存技术
  实战SparkStream+Kafka+Redis实时计算商品销售额
  spark读取redis数据(交互式,scala单机版,java单机版)
  海量数据解决思路之Hash算法
  Yarn资源调度系统架构与原理分析
  合并两套环境的FastDFS数据
  spark DAGScheduler、TaskSchedule、Executor执行task源码分...
  hadoop从零开始--HDFS篇
  Zookeeper+Kafka集群搭建
  Hadoop与Spring的集成
  超详细的Hadoop2配置详解
  Hadoop小文件优化
  大数据处理的基本流程
  Hive基础教程
  大数据的处理技术
  更多...
 IPIP: 已设置保密
树形列表:   
1页 0条记录 当前第1
发表一个新主题 开启一个新投票 回复文章


中文版权所有: JavaThinker技术网站 Copyright 2016-2026 沪ICP备16029593号-2
荟萃Java程序员智慧的结晶,分享交流Java前沿技术。  联系我们
如有技术文章涉及侵权,请与本站管理员联系。