首先我们生成一个大文件:
# 生成一个 200M 的大文件
dd if=/dev/random of=test bs=1M count=200
将这个文件上传到 HDFS
hdfs dfs -put test # push 到当前目录
进入存放 dataNode 的 block 目录:
# 前面 /usr/local 是 Hadoop 的路径,中间 BP 后面的参数因人而异
cd /usr/local/hadoop/tmp/hdfs/data/current/BP-1815234426-127.0.1.1-1587059579940/current/finalized/
ls -lhrt # 查看 block 列表信息
结论:hadoop dfs 根据默认值将文件拆分成最大为 128M(默认)大小 block 数据块