hdfs

Hadoop之YARN介绍

yarn：资源调度和任务管理a、四大组件：（四个进程）ResourceManager（Rm）：主进程Nodemanager（NM）：各个机器节点管理器ApplicationMaster（AM）：申请资源Container容器：处理各个节点分布式作业的YARN架构介绍：YARN执行流程：1、cl...
2022-03-13 14:48 阅读数 8

ssh: connect to host localhost port 22: Connection refused

今天本机安装hadoop 时，遇到一个问题，配置 ssh 登录权限失败xxx@yyy:/opt/hadoop$ ssh localhostssh: connect to host localhost port 22: Connection refused百度搜索了好多文章都没能搞定，最后还是通...
2022-03-12 17:50 阅读数 206

OLAP工具Doris或StarRocks的数据迁移

需求将旧环境starrocks数据迁移到新环境创建仓库 CREATE REPOSITORY该语句用于创建仓库。仓库用于属于备份或恢复。仅 root 或 superuser 用户可以创建仓库。语法：CREATE [READ ONLY] REPOSITORY `repo_name`WITH BRO...
2022-03-03 10:24 阅读数 161

大数据之hadoop中MapReduce框架原理

1、概述MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 Hadoop 集群上。 优点：易于编程（用户只关心业务...
2021-11-23 21:43 阅读数 55

hdfs启动问题：

在主节点上执行start-dfs.sh命令启动hdfs，无法启动datanode：1）看一下slaves文件有没有配置正确2）检查从namenode节点到datanode节点的免密登录是否配置正确；3）测试一下从namenode上能否ping通datanode，datanode节点的防火墙有没...
2021-10-25 12:27 阅读数 49

HDFS 是如何实现大数据高容量、高速、可靠的存储和访问的。

对于一个企业大数据应用来说，搞定了大数据存储基本上就解决了大数据应用最重要的问题。Google 三驾马车的第一驾是GFS，Hadoop最先开始设计的就是HDFS，可见分布式存储的重要性，整个大数据生态计算框架多种多样，但是大数据的存储却没有太大的变化，HDFS依旧是众多分布式计算的基础。当然H...
2021-08-26 18:47 阅读数 34
技术
今日推荐
ioDraw Mac客户端安装教程
阅读数 19
下载桌面版
GitHub
百度网盘（提取码：draw）
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱：[email protected]
QQ群：766591547
关注微信
©2020-2024 ioDraw All rights reserved, Privacy Policy