Mapreducer
关注
分享
扫一扫
阿朱__
业精于勤，毁于嬉。行成于私，毁于随。
展开
-
idea打包maven或者本地的lib下的jar放到hadoop或者spark加载不到打包上去的jar包
只需要注意一点。在你自己的jar里面新建一个lib文件夹。把jar包放在里面比如像这样。就完事了原创 2019-12-18 09:27:13 · 331 阅读 · 0 评论 -
亲测有效Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nati
Exceptionin thread “main” java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeCo这是因为hdoop版本不对。去我的云盘里下载一下。链接：https://pan.baidu.com/s/1MSGq_ESPKujRmO655jlkVw提取码：x3sw下载之后配置下环境变量就...原创 2019-11-23 11:10:14 · 565 阅读 · 0 评论 -
史上最简单mapreduce对key的正序和倒序
这个是数据：这个是倒序上面两张是效果图，我这里只给第一列数字排序了。接下来直接上代码自己新建一个类，继承WritableCompartor 重写里面的compare方法public class Sort extends WritableComparator {public Sort(){//这里就是看你map中填的输出key是什么数据类型，就给什么类型super(DoubleW...原创 2018-12-19 16:35:08 · 1004 阅读 · 8 评论 -
java编写mapreduce二次排序（简单易懂）
二次排序，对value进行排序。代码都是自己亲测的可用的。总结：分三步 1.先自定义数据类型，我这里是CombaleKey（说的通俗一点，就是把value的值也放到key中来排序），也可以叫组合key。2.分区类 3.排序对比器 4.分区对比器输入：123，13132，14123，15123，12132，15输出：123，12123，13...原创 2018-12-15 15:04:34 · 1414 阅读 · 2 评论 -
关于编写mapreduce程序时，不打印日志信息的解决方法
将该方法插入到main函数中，可以自行打印日志信息了BasicConfigurator.configure(); //自动快速地使用缺省Log4j环境。然后测试程序没有问题：BUT 虽然日志信息打印出来了 可是配置的问题其实还是没有解决...原创 2019-03-29 22:10:02 · 1221 阅读 · 0 评论 -
hadoop mapreduce join 合并操作
a表数据：id year bb1 2010 19991 2011 19982 2010 19972 2011 19964 2010 19954 2011 19949 2010 19939 2011 1992b表数据：id a...原创 2019-04-26 11:33:01 · 190 阅读 · 0 评论