sparksql

大数据技术之SparkSql

第1章 SparkSQL 概述 1.1 SparkSQL 是什么 Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。 1.2 Hive and SparkSQL
2021-11-16 16:37 阅读数 68

SparkSQL 之 DataFrame, DataSet, RDD 之间的转换及关系

RDD、DataFrame、DataSet 三者的关系➢ Spark1.0 => RDD➢ Spark1.3 => DataFrame➢ Spark1.6 => Dataset如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同是的他们的执行效率和执...
2021-01-22 17:59 阅读数 86

spark.sql.shuffle.partitions 和 spark.default.parallelism 的区别

在关于spark任务并行度的设置中，有两个参数我们会经常遇到，spark.sql.shuffle.partitions 和 spark.default.parallelism, 那么这两个参数到底有什么区别的？首先，让我们来看下它们的定义Property NameDefaultMeanings...
2019-02-27 10:30 阅读数 76
技术
今日推荐
ioDraw Mac客户端安装教程
阅读数 16
下载桌面版
GitHub
百度网盘（提取码：draw）
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱：[email protected]
QQ群：766591547
关注微信
©2020-2024 ioDraw All rights reserved, Privacy Policy