一个 MapReducejob 的 p map 阶段并行度由客户端在提交 b job 时决定,即客户端提交 job 之前会对待处理数据进行 逻辑切片。
切片完成会形成 切片规划 文件( job.split) ),每个逻辑切片最终对应启动一个 maptask。
逻辑切片机制由 FileInputFormat 实现类的 getSplits()方法完成。
简述模型
一个 MapReducejob 的 p map 阶段并行度由客户端在提交 b job 时决定,即客户端提交 job 之前会对待处理数据进行 逻辑切片。
切片完成会形成 切片规划 文件( job.split) ),每个逻辑切片最终对应启动一个 maptask。
逻辑切片机制由 FileInputFormat 实现类的 getSplits()方法完成。