十七、Hadoop 测试

文章永久连接：https://tech.souyunku.com/7992

Hadoop 测试

MRUnit单元测试Mapper和Reducer类在内存上独立运行, PipelineMapReduceDriver单线程运行.

LocalJobRunner单线程运行, 且仅有一个 Reducer能够启动conf.set(“mapred.job.tracker”, “local”); conf.set(“fs.default.name”, “file:////&ququot;); FileSystem fs = FileSystem.getLocal(conf);

MiniMRCluster, MiniYarnCluster, MiniDFSCluster 多线程

干货推荐

• 本站推荐：精选优质系列专栏

• 专栏汇总：Kafka 教程

• 专栏汇总：ZooKeeper 进阶

• 专栏汇总：Storm 教程

• 面试题汇总：2000+ 道 Java互联网大厂面试题