Hadoop

MPP架构和Hadoop架构的区别

是将许多数据库通过网络连接起来，相当于将一个个垂直系统横向连接，形成一个统一对外的服务的分布式数据库系统。每个节点由一个单机数据库系统独立管理和操作该物理机上的的所有资源（CPU，内存等），节点内系统的各组件间相互调用无需通过主节点。是将不同的资源管理与功能进行分层抽象设计，每层形成一类组件，...
2023-08-03 12:42 阅读数 72

【大数据之Hive】九、Hive之DDL（Data Definition Language）数据定义语言

] 里的都是可选的操作。
2023-06-09 21:30 阅读数 21

Hadoop学习---9、Yarn

Hadoop学习---9、Yarn、基础架构、工作机制、调度器
2023-05-27 09:34 阅读数 31

Hadoop HDFS的API操作

IDEA创建Maven工程，由于版本不一样，这里我使用2022.3版本，有一个将junit加入classpath的设置，还有将各种目录设置：Mark Directory as ：src/main/java 关联为 Sources Root;在HDFS上面进行性文件a.txt的再一次校验值***...
2023-05-09 11:23 阅读数 75

深入探究HDFS：高可靠、高可扩展、高吞吐量的分布式文件系统【上进小菜猪大数据系列】

HDFS是一个高可靠、高可扩展、高吞吐量的分布式文件系统，适用于大规模的数据处理和批处理任务。它的设计理念就是针对大数据量的处理，因此不适合小文件存储和实时读写操作。HDFS已经被广泛地应用于大数据处理、数据分析等领域，例如Hadoop、Spark、HBase、Hive等。通过上述的代码实例，...
2023-05-08 00:16 阅读数 63

Hadoop概述

HDFS分布式文件系统的内部有一个副本存放策略：以默认的副本数=3为例：①第一个副本块存本机（若客户端在集群中，不在的话随机选择一个较近的机器）②第二个副本在另一个机架的随机节点③第三个副本在第二个副本所处机架的随机节点。这些信息不是长久固定的，每次启动系统后需要重新从数据节点获取这些信息。4...
2023-05-05 17:42 阅读数 18

3.4 DML

public static Connection connection = HBaseConnect01_单线程创建链接.connection;//添加静态属性connection指向单例连接。//结果同时会保留没有当前列的数据。// //设置读取数据的版本。/* 这里还是会报错。/...
2023-04-30 16:01 阅读数 16

Hbase error: KeeperErrorCode = NoNode for /hbase/master错误

Hbase运行hbase shell输入status与list测试会报错error: KeeperErrorCode = NoNode for /hbase/master经过两天的不挺找错，更改，解决，出现这个错误的原因是hadoop与Hbase版本不兼容所致。前人的经验，千万别用hadoop...
2023-04-30 11:58 阅读数 128

Hive动态分区和分桶使用场景和使用方法

按照数据表的某列或某些列分为多个分区，分区从形式上可以理解为文件夹，比如我们要收集某个大型 网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表 的内容巨大，在查询时进行全表扫描耗费的资源非常多。那其实这个情况下，我们可以按照日期对数据 进行分区，不同日期...
2023-04-27 19:51 阅读数 30

HDFS的存储机制（读写流程）

HDFS存储机制，包括HDFS的写入过程和读取过程两个部分读取过程客户端向namenode请求上传文件，namenode检查目标文件是否已经存在，父目录是否存在。Namenode向客户端返回是否可以上传。客户端请求第一个block块上传到哪些datanode服务器上。Namenode返回三个d...
2023-04-23 11:38 阅读数 41
技术
今日推荐
ioDraw Mac客户端安装教程
阅读数 20
下载桌面版
GitHub
百度网盘（提取码：draw）
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱：[email protected]
QQ群：766591547
关注微信
©2020-2024 ioDraw All rights reserved, Privacy Policy