Hadoop

Hive概论、架构和基本操作

Apache Spark是一个快速的，多用途的集群计算系统，相对于Hadoop MapReduce将中间结果保存在磁盘中，Spark使用了内存保存中间结果，能在数据尚未写入硬盘时在内存中进行计算，同时Spark提供SQL支持。Hive是建立在Hadoop上的数据仓库基础架构，它提供了一系列的工...
2023-04-04 22:23 阅读数 14

Hadoop HDFS的特点与优缺点

Hadoop HDFS的特点与优缺点
2023-03-20 17:43 阅读数 42

大数据技术——函数式编程基础

定义函数最通用的方法是作为某个类或者对象的成员，这种函数被称为方法。其定义的基本语法为：def 方法名(参数列表):结果类型方法体}字面量包括整数字面量、浮点数字面量、布尔型字面量、字符字面量、字符串字面量、符号字面量、函数字面量和元组字面量除了函数字面量我们会比较陌生以外，其他几种字面量都很...
2023-03-03 19:21 阅读数 66

Hbase 出现 org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet 错误

1. 错误描述ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet at org.apache.hadoop.hbase.master.HMaster.chec...
2023-02-23 17:39 阅读数 51

大数据是干什么的？

换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些有意义的数据进行专业的处理。大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要...
2023-02-22 09:56 阅读数 73

HDFS常用30条命令（ChatGPT生成）

让ChatGPT生成了HDFS最常用的30条命令
2023-02-10 14:32 阅读数 27

学习大数据Hadoop——心得体会

如果不采用新的系统，我们存放的东西没办进行一个统一的管理。而这个分布式存储文件系统能把这些文件分开存储的过程透明化，用户看不到文件是怎么存储在不同电脑上，看到的只是一个统一的管理界面。互联网的快速发展带来了数据快速增加，海量数据的存储已经不是一台机器所能处理的问题了。所以也需要考虑将将数据分在...
2022-12-14 01:32 阅读数 45

Hadoop:分布式系统基础架构

4、Hadoop 还是可伸缩的，Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，所以集群可以很容易进行节点的扩展，扩大集群。2、Hadoop 是可靠的，因为它假设元素的计算和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。3、Hadoop 是高效的，因为...
2022-10-24 11:28 阅读数 44

HDFS的API操作创建文件夹

使用hdfs的api操作创建一个文件夹
2022-10-15 10:36 阅读数 28

[hadoop] 各节点职责｜ checkpoint ｜安全模式 ｜读写流程｜小文件｜安全模式 | NameNode启动流程

一HDFS什么是HDFS？当数据集大小超过一台独立的物理计算机的存储能力时,就有必要对它进行分区并存储到若干台独立的计算机上.管理网络中跨多台计算机存储的文件系统成为分布式文件系统.该系统架构于网络之上,势必会引入网络编程的复杂性.因此分布式文件系统比普通文件系统更为复杂.二内部原理1.Nam...
2022-09-15 16:16 阅读数 77
技术
今日推荐
ioDraw Mac客户端安装教程
阅读数 16
下载桌面版
GitHub
百度网盘（提取码：draw）
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱：[email protected]
QQ群：766591547
关注微信
©2020-2024 ioDraw All rights reserved, Privacy Policy