Hadoop

Hadoop分布式文件系统——HDFS

Hadoop分布式文件系统——HDFS
2022-07-04 14:54 阅读数 63

Hbase高手之路 -- 第六章 -- HBase的高可用搭建

Hbase高手之路 – 第六章 – HBase的高可用搭建hbase集群如果只有一个master，一旦master出现故障，将导致整个集群出现故障，所以在世界的生产环境中，需要搭建hbase的高可用。一、 hbase高可用简介就是让HMaster的高可用，需要再选择一个或多个节点也作用HMas...
2022-05-01 17:53 阅读数 75

Hadoop,Spark和HIve的启动命令

Hadoop和Spark命令Hadoop启动命令启动HDFS服务start-dfs.shstop-dfs.sh启动YARN服务start-yarn.shstop-yarn.sh启动同时启动start-all.shstop-yarn.shSpark模式Local本地模式先启动hdfs服务star...
2022-04-16 18:54 阅读数 21

Apache Doris和StarRocks的行转列方案

使用Doris和StarRocks的行转列函数使用group_concat对分组进行字符串拼接使用CREATE TABLE AS SELECT方式建表
2022-03-21 14:37 阅读数 505

Hadoop之YARN介绍

yarn：资源调度和任务管理a、四大组件：（四个进程）ResourceManager（Rm）：主进程Nodemanager（NM）：各个机器节点管理器ApplicationMaster（AM）：申请资源Container容器：处理各个节点分布式作业的YARN架构介绍：YARN执行流程：1、cl...
2022-03-13 14:48 阅读数 8

ssh: connect to host localhost port 22: Connection refused

今天本机安装hadoop 时，遇到一个问题，配置 ssh 登录权限失败xxx@yyy:/opt/hadoop$ ssh localhostssh: connect to host localhost port 22: Connection refused百度搜索了好多文章都没能搞定，最后还是通...
2022-03-12 17:50 阅读数 202

OLAP工具Doris或StarRocks的数据迁移

需求将旧环境starrocks数据迁移到新环境创建仓库 CREATE REPOSITORY该语句用于创建仓库。仓库用于属于备份或恢复。仅 root 或 superuser 用户可以创建仓库。语法：CREATE [READ ONLY] REPOSITORY `repo_name`WITH BRO...
2022-03-03 10:24 阅读数 158

【Hadoop】——JavaAPI操作

Haoop Java API操作
2022-01-13 22:11 阅读数 92

Hadoop-MapReduce案例-倒排索引

1 需求有大量的文本（文档、网页），需要建立搜索索引（1）数据输入aa.txthadoop sparkhadoop javahadoop javahadoop scalabb.txthadoop sparkhadoop sparkspark scalajava scalacc.txthadoo...
2021-12-10 11:29 阅读数 102

大数据之hadoop中MapReduce框架原理

1、概述MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 Hadoop 集群上。 优点：易于编程（用户只关心业务...
2021-11-23 21:43 阅读数 55
技术
下载桌面版
GitHub
百度网盘（提取码：draw）
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱：[email protected]
QQ群：766591547
关注微信
©2020-2024 ioDraw All rights reserved, Privacy Policy