四十六、Map-Task分割

Map-Task分割

默认的 HBase MapReduce Splitter

当 TableInputFormat 用于在 MapReduce 作业中发送 HBase 表时，其分割器将为表的每个区域创建一个映射任务。因此，如果表格中有 100 个区域，则无论在“扫描（Scan）”中选择多少个列族，该作业都会有 100 个 map-task。

自定义分配器

对于那些有兴趣在实现自定义的分割器的人，请参见 TableInputFormatBase 中 getSplits 的方法。这是 map-task 分配的逻辑所在。

文章永久链接：https://tech.souyunku.com/12618

干货推荐

• 本站推荐：精选优质系列专栏

• 专栏汇总：Kafka 教程

• 专栏汇总：ZooKeeper 进阶

• 专栏汇总：Storm 教程

• 专栏汇总：Hadoop 教程

• 面试题汇总：2000+ 道 Java互联网大厂面试题