首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
fileinputformat专题
Hadoop3:MapReduce源码解读之Mapper阶段的FileInputFormat的切片原理(2)
Job那块的断点代码截图省略,直接进入切片逻辑 参考:Hadoop3:MapReduce源码解读之Mapper阶段的Job任务提交流程(1) 4、FileInputFormat切片源码解析 切片入口 获取切片 获取切片最大的Size和切片最小的Size 判断文件是否可以切片,如果文件不支持切片,则整体处理 这里只考虑支持切片的代码逻辑 根据切片大小配置,及块大小配置,计算出切片最终取值
阅读更多...