首先我们生成一个大文件:

# 生成一个 200M 的大文件
dd if=/dev/random of=test bs=1M count=200

将这个文件上传到 HDFS

hdfs dfs -put test    # push 到当前目录

进入存放 dataNode 的 block 目录:

# 前面 /usr/local 是 Hadoop 的路径,中间 BP 后面的参数因人而异
cd /usr/local/hadoop/tmp/hdfs/data/current/BP-1815234426-127.0.1.1-1587059579940/current/finalized/
ls -lhrt    # 查看 block 列表信息

block.png

结论:hadoop dfs 根据默认值将文件拆分成最大为 128M(默认)大小 block 数据块

Last modification:April 18th, 2020 at 01:01 am
If you think my article is useful to you, please feel free to appreciate