hdfs

【大数据之Hive】九、Hive之DDL（Data Definition Language）数据定义语言

] 里的都是可选的操作。
2023-06-09 21:30 阅读数 21

Hadoop HDFS的API操作

IDEA创建Maven工程，由于版本不一样，这里我使用2022.3版本，有一个将junit加入classpath的设置，还有将各种目录设置：Mark Directory as ：src/main/java 关联为 Sources Root;在HDFS上面进行性文件a.txt的再一次校验值***...
2023-05-09 11:23 阅读数 75

深入探究HDFS：高可靠、高可扩展、高吞吐量的分布式文件系统【上进小菜猪大数据系列】

HDFS是一个高可靠、高可扩展、高吞吐量的分布式文件系统，适用于大规模的数据处理和批处理任务。它的设计理念就是针对大数据量的处理，因此不适合小文件存储和实时读写操作。HDFS已经被广泛地应用于大数据处理、数据分析等领域，例如Hadoop、Spark、HBase、Hive等。通过上述的代码实例，...
2023-05-08 00:16 阅读数 63

Hadoop概述

HDFS分布式文件系统的内部有一个副本存放策略：以默认的副本数=3为例：①第一个副本块存本机（若客户端在集群中，不在的话随机选择一个较近的机器）②第二个副本在另一个机架的随机节点③第三个副本在第二个副本所处机架的随机节点。这些信息不是长久固定的，每次启动系统后需要重新从数据节点获取这些信息。4...
2023-05-05 17:42 阅读数 18

HDFS的存储机制（读写流程）

HDFS存储机制，包括HDFS的写入过程和读取过程两个部分读取过程客户端向namenode请求上传文件，namenode检查目标文件是否已经存在，父目录是否存在。Namenode向客户端返回是否可以上传。客户端请求第一个block块上传到哪些datanode服务器上。Namenode返回三个d...
2023-04-23 11:38 阅读数 41

Hadoop HDFS的特点与优缺点

Hadoop HDFS的特点与优缺点
2023-03-20 17:43 阅读数 43

HDFS常用30条命令（ChatGPT生成）

让ChatGPT生成了HDFS最常用的30条命令
2023-02-10 14:32 阅读数 27

HDFS的API操作创建文件夹

使用hdfs的api操作创建一个文件夹
2022-10-15 10:36 阅读数 28

[hadoop] 各节点职责｜ checkpoint ｜安全模式 ｜读写流程｜小文件｜安全模式 | NameNode启动流程

一HDFS什么是HDFS？当数据集大小超过一台独立的物理计算机的存储能力时,就有必要对它进行分区并存储到若干台独立的计算机上.管理网络中跨多台计算机存储的文件系统成为分布式文件系统.该系统架构于网络之上,势必会引入网络编程的复杂性.因此分布式文件系统比普通文件系统更为复杂.二内部原理1.Nam...
2022-09-15 16:16 阅读数 77

Hadoop分布式文件系统——HDFS

Hadoop分布式文件系统——HDFS
2022-07-04 14:54 阅读数 63
技术
今日推荐
ioDraw Mac客户端安装教程
阅读数 19
下载桌面版
GitHub
百度网盘（提取码：draw）
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱：[email protected]
QQ群：766591547
关注微信
©2020-2024 ioDraw All rights reserved, Privacy Policy