Hadoop

Hivesql常用优化技巧

首先介绍下什么是HIve？1.基于Hadoop的开源的数据仓库工具，用于处理海量海量结构化数据。2.Hive把HDFS中的结构化的数据文件映射成数据表。3.Hive通过HiveSQL进行解析和转换，最终映射成一系列在hadoop上运行的mapreduce任务，通过执行这些任务完成分析和处理。4...
2021-11-05 09:48 阅读数 87

hdfs启动问题：

在主节点上执行start-dfs.sh命令启动hdfs，无法启动datanode：1）看一下slaves文件有没有配置正确2）检查从namenode节点到datanode节点的免密登录是否配置正确；3）测试一下从namenode上能否ping通datanode，datanode节点的防火墙有没...
2021-10-25 12:27 阅读数 49

hive启动及基本操作

启动hive之前应该先启动HDFS和Yarn。 start-dfs.sh start-yarn.sh两种启动方式第一种：直接命令行输入hive第二种：先启动服务端：hiveserver2再启动客户端：beeline -u jdbc:hive2://master:10000 -n root创建数...
2021-09-29 10:07 阅读数 23

HDFS 是如何实现大数据高容量、高速、可靠的存储和访问的。

对于一个企业大数据应用来说，搞定了大数据存储基本上就解决了大数据应用最重要的问题。Google 三驾马车的第一驾是GFS，Hadoop最先开始设计的就是HDFS，可见分布式存储的重要性，整个大数据生态计算框架多种多样，但是大数据的存储却没有太大的变化，HDFS依旧是众多分布式计算的基础。当然H...
2021-08-26 18:47 阅读数 34

Hadoop序列化

定义序列化是将结构化对象转换为字节流以通过网络传输或写入持久存储的过程。反序列化是将字节流转换回一系列结构化对象的逆过程。序列化用于分布式数据处理的两个截然不同的领域：进程间通信和持久存储。Hadoop 大量使用网络传输来执行其作业。Doug Cut（Hadoop 的创建者）在他的一篇博文中解...
2021-06-11 21:16 阅读数 47

谷歌称居家办公影响工作效率！2021 年将回归线下办公

整理 | 王晓曼出品 | 程序人生（ID：coder _life）最近，谷歌公司在提交给监管机构的年度 10-K 报告中警告称，员工居家办公会影响公司的工作效率、竞争力和企业文化。谷歌公...
2021-02-20 14:49 阅读数 72

Docker安装Hadoop

Hadoop 是 Apache 软件基金会旗下的一个开源分布式计算平台。Hadoop 的核心子系统说明如下：HDFS ： 一个高度容错性的分布式文件系统，适合部署在大量廉价的机器上，提供高吞吐量的数据访问 。YARN (Yet Another Resource Negotiator）：资源管理...
2019-06-27 10:40 阅读数 78

学习Hadoop——Zookeeper 介绍

Zookeeper 是一个开源的分布应用程序协调服务，来自于Google 一个开源的实现，是Hadoop 和HBase 的重要组件。Zookeeper 可以为分布式应用提供一致性服务，功能包括：配置服务、名字服务、分布式同步、组服务等等。Zookeeper 的目标是封装好复杂易出错的关键服务，...
2019-01-20 18:57 阅读数 42

大数据环境---数据仓库(hive+mysql+hadoop)的构建

       前面已经配置好了集群环境zookeeper，hadoop。 以及分布式数据库hbase。 这个阶段要开始构建数据仓库的练习。涉及到的软件： mysql， hive 。       背景：               （我以前以为数据仓库就是数据库的数据库。。）         可...
2018-11-04 12:04 阅读数 66
技术
今日推荐
ioDraw Mac客户端安装教程
阅读数 16
下载桌面版
GitHub
百度网盘（提取码：draw）
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱：[email protected]
QQ群：766591547
关注微信
©2020-2024 ioDraw All rights reserved, Privacy Policy