Spark

Presto、Spark 和 Hive 即席查询性能对比

Spark 则是一个基于内存的分布式计算框架，可以快速地处理大规模的数据，并且具有很高的可扩展性。Presto 可以很容易地集成到现有的数据架构中，并且可以在不同的数据源之间进行无缝的查询。它们都具有各自的优缺点，在不同的场景下都有着不同的应用价值。Spark 是一个基于内存的分布式计算框架，...
2023-07-17 17:05 阅读数 184

大数据技术——函数式编程基础

定义函数最通用的方法是作为某个类或者对象的成员，这种函数被称为方法。其定义的基本语法为：def 方法名(参数列表):结果类型方法体}字面量包括整数字面量、浮点数字面量、布尔型字面量、字符字面量、字符串字面量、符号字面量、函数字面量和元组字面量除了函数字面量我们会比较陌生以外，其他几种字面量都很...
2023-03-03 19:21 阅读数 66

Spark scala编程练习题——通过日志统计网站访问量

Spark scala编程练习题——通过日志统计网站访问量
2022-11-30 10:10 阅读数 78

Spark SQL之RDD, DataFrame, DataSet详细使用

Spark SQL之RDD, DataFrame, DataSet详细使用
2022-05-02 16:30 阅读数 93

【组件】大数据开发常考题之介绍一下 Spark

  Spark 是大数据开发的必会技能。面试中经常被问到的问题就是 Spark 是什么，或者请介绍一下 Spark，今天的文章主要对这个问题做出讲解。很多人的回答都不够准确，这个问题最为准确的描述可以在官网寻找。1.整体介绍打开官网可以看到一行醒目的表与：Unified engine for ...
2022-04-22 16:54 阅读数 103

Hadoop,Spark和HIve的启动命令

Hadoop和Spark命令Hadoop启动命令启动HDFS服务start-dfs.shstop-dfs.sh启动YARN服务start-yarn.shstop-yarn.sh启动同时启动start-all.shstop-yarn.shSpark模式Local本地模式先启动hdfs服务star...
2022-04-16 18:54 阅读数 22

Spark远程调试+页面监控--用最熟悉的方式开发Spark应用

Spark远程调试+页面监控-用最熟悉的方式开发Spark应用
2021-12-23 13:05 阅读数 115

大数据技术之SparkSql

第1章 SparkSQL 概述 1.1 SparkSQL 是什么 Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。 1.2 Hive and SparkSQL
2021-11-16 16:37 阅读数 68

spark sql读取hive数据直接写入doris，离线批量导入

一，sparksql读取hive表二，spark自定义输出三，通过streamload方式数据写入doris四，测试五，总结
2021-09-16 16:29 阅读数 194

创建DataFrame的几种方式

1、从RDD创建DataFrame（1）利用元组创建object _01_SparkSession { def main(args: Array[String]): Unit = { //1、创建spark session val spark: SparkSession = Sp...
2021-06-16 20:40 阅读数 12
技术
今日推荐
ioDraw Mac客户端安装教程
阅读数 16
下载桌面版
GitHub
百度网盘（提取码：draw）
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱：[email protected]
QQ群：766591547
关注微信
©2020-2024 ioDraw All rights reserved, Privacy Policy