hadoop知识点

Hive动态分区和分桶使用场景和使用方法

按照数据表的某列或某些列分为多个分区，分区从形式上可以理解为文件夹，比如我们要收集某个大型 网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表 的内容巨大，在查询时进行全表扫描耗费的资源非常多。那其实这个情况下，我们可以按照日期对数据 进行分区，不同日期...
2023-04-27 19:51 阅读数 30

HDFS的存储机制（读写流程）

HDFS存储机制，包括HDFS的写入过程和读取过程两个部分读取过程客户端向namenode请求上传文件，namenode检查目标文件是否已经存在，父目录是否存在。Namenode向客户端返回是否可以上传。客户端请求第一个block块上传到哪些datanode服务器上。Namenode返回三个d...
2023-04-23 11:38 阅读数 41
技术
今日推荐
ioDraw Mac客户端安装教程
阅读数 16
下载桌面版
GitHub
百度网盘（提取码：draw）
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱：[email protected]
QQ群：766591547
关注微信
©2020-2024 ioDraw All rights reserved, Privacy Policy