你好,游客 登录 注册 搜索
背景:
阅读新闻

MapRedece中的分区Partitioner

[日期:2018-01-05] 来源:简书  作者:yanzhelee [字体: ]

MapRedece中的分区Partitioner

分析

MapReduce中会将map输出的k-v对,按照相同的key进行分组,然后分发给不同的reduceTask中。
默认的分发规则为:根据key的hashcode%reducetask数来分发
所以如果要按照特定的需求进行分组,则需要改写数据分发组件Partitioner。

实现

  1. 自定义数据分发类CustomPartitioner 继承抽象类Partitioner
  2. 重写getPartition方法

getPartition方法说明

public int getPartition(Text key, LongWritable value, int numPartitions)

  • key : map阶段输出的key值
  • value : map阶段输出的value值
  • numPartitions : 设置的reduce数量(获取的是job.setNumReduceTasks(int num)设置的num)
  • 返回值是根据自定义规则得出的分区位置

案例

需求

根据归属地输出流量统计数据结果到不同文件,以便于在查询统计结果时可以定位到省级范围进行流量统计。

实现

/**
* 自定义分发规则类CustomPartitioner
* @author:yanzhelee
*/
public class CustomPartitioner extends Partitioner<Text,LongWritable>{
    //用于将手机号的前三个数字和分区块进行对应
    static HashMap<String, Integer> provinceMap = new HashMap<String, Integer>();

    //设置默认的初始值
    static {
        //key为手机号的前三位数字,value为用于表示地区的分区号
        provinceMap.put("135", 0);
        provinceMap.put("136", 1);
        provinceMap.put("137", 2);
        provinceMap.put("138", 3);
        provinceMap.put("139", 4);

    }

    @Override
    public int getPartition(Text key, FlowBean value, int numPartitions) {

        Integer code = provinceMap.get(key.toString().substring(0, 3));
        //如果不存在,则分区号为5
        return code == null ? 5 : code;
    }
}

本文永久更新链接地址http://www.linuxidc.com/Linux/2018-01/150116.htm

linux
相关资讯       MapRedece 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款