Flink

使用 Apache Flink 开发实时 ETL

Apache Flink 是大数据领域又一新兴框架。它与 Spark 的不同之处在于，它是使用流式处理来模拟批量处理的，因此能够提供亚秒级的、符合 Exactly-once 语义的实时处理能力。Flink 的使用场景之一是构建实时的数据通道，在不同的存储之间搬运和转换数据。本文将介绍如何使用 ...
2023-05-19 18:27 阅读数 35

Flink接收Kafka流数据使用Table API和SQL处理

Flink接收Kafka流数据使用Table API和SQL处理Apache Flink具有两个关系API - Table API和SQL - 用于统一流和批处理。 Table API是Scala和Java语言集成查询API，允许以非常直观的方式来做数据处理，此API的核心概念是 Table ...
2023-04-23 17:12 阅读数 23

【Flink】如何实现容错

Flink作业在生产情况下无法正常运行的情况非常多，很多问题都是无法避免的。对于Flink集群来讲，能够快速从异常状态中恢复，同时保证处理数据的正确性和一致性非常重要。Flink主要借助Checkpoint的方式保障整个系统状态数据的一致性，也就是基于ABS算法。 ABS全称异步屏障快...
2022-12-07 17:14 阅读数 34

FlinkSql的窗口使用以及运用案例

窗口概述 窗口函数 窗口分类
2022-11-03 18:03 阅读数 99

大数据计算框架-FLINK精华篇1

flink入门学习笔记
2022-07-28 14:08 阅读数 200

Flink 常见面试题

Flink 常见面试题
2022-06-14 13:10 阅读数 60

【先收藏，早晚用得到】49个Flink高频面试题系列（一）

持续分享有用、有价值、精选的优质大数据面试题致力于打造全网最全的大数据面试专题题库
2022-05-26 14:43 阅读数 104

大数据流处理框架之Flink-CDC

一篇文章从入门到熟练使用FlinkCDC
2022-05-12 09:48 阅读数 87

Flink同一个DataStream同时供多个业务使用

一：背景我们项目中用到Flink的Java客户端 用来做数据处理数据源：kafka发送源：kafka原来只有一个业务需求，可以理解为对mq消息中的一个字段做累计和。现在又多了两个业务需求，可以理解为对mq消息的其他字段做累加和。此时面临的问题是：flink 做完类似于 map filter k...
2022-01-27 14:23 阅读数 72

流批一体不只有Flink，还有实时数据模型

|0x00 从流批一体诞生的必然性说起通常来讲，数据仓库的建设，都是以离线作为主要的密报，下游的应用，不论是报表还是接口，所提供的数据也大多是T-1时效性。但伴随着业务的变化，当离线做到没什么可以继续做的时候，实时就会被拿出来，作为新一个阶段的目标进行攻克。在流批一体建设之前，这种实时诉求通常...
2021-12-21 18:54 阅读数 21
技术
今日推荐
ioDraw Mac客户端安装教程
阅读数 16
下载桌面版
GitHub
百度网盘（提取码：draw）
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱：[email protected]
QQ群：766591547
关注微信
©2020-2024 ioDraw All rights reserved, Privacy Policy