mapreduce模型的map阶段利用了什么并行性

110次

问题描述:

简述模型

推荐答案

2023-10-24 14:22:34

一个 MapReducejob 的 p map 阶段并行度由客户端在提交 b job 时决定,即客户端提交 job 之前会对待处理数据进行 逻辑切片。

切片完成会形成 切片规划 文件( job.split) ),每个逻辑切片最终对应启动一个 maptask。

逻辑切片机制由 FileInputFormat 实现类的 getSplits()方法完成。

知道问答相关问答

(c)2008-2025 自学教育网 All Rights Reserved 汕头市灵创科技有限公司
粤ICP备2024240640号-6