时间:2024-08-04 16:02:48
简要描述HDFS数据的读写过程
HDFS数据的读写过程如下:
1. 写入过程:
- 客户端向NameNode发起请求。
- NameNode审核权限和剩余空间,满足条件后允许写入,并告知客户端写入的DataNode地址。
- 客户端指向指定的DataNode发送数据包。
- 被写入数据的DataNode同时完成数据副本的复制工作,将其接受的数据分发给其他DataNode。
- 写入完成后,客户端通知NameNode,NameNode做元数据记录工作。
2. 读取过程:
- 客户端向NameNode申请读取某文件。
- NameNode判断服务端权限等细节后,允许读取,并返回此文件的block列表。
- 客户端拿到block列表后自行寻找DataNode读取即可。
需要注意的是,无论读还是写,NameNode都不经手数据,均是客户端和DataNode直接通讯,以减轻NameNode的压力。
《hdfs读写数据流程》不代表本网站观点,如有侵权请联系我们删除