大数据

使用 Apache Flink 开发实时 ETL

Apache Flink 是大数据领域又一新兴框架。它与 Spark 的不同之处在于，它是使用流式处理来模拟批量处理的，因此能够提供亚秒级的、符合 Exactly-once 语义的实时处理能力。Flink 的使用场景之一是构建实时的数据通道，在不同的存储之间搬运和转换数据。本文将介绍如何使用 ...
2023-05-19 18:27 阅读数 35

数据流畅驰骋：探秘Logstash在大数据领域的卓越表现【上进小菜猪大数据系列】

Logstash是一个开源的数据处理引擎，通过输入插件从不同数据源采集数据，经过过滤器进行处理和转换，最后通过输出插件将数据发送到目标位置。它具有高度可配置性和灵活性，支持多种数据源和目标。Logstash作为大数据领域的数据处理引擎，具备强大的功能和灵活的配置选项。它在日志收集和分析、实时数...
2023-05-14 21:16 阅读数 63

程序员的下一个风口

面对近一年的裁员潮，以及 GPT 出现带来的 AI 颠覆潮流，各种话题出现：「前端已死」、「后端已死」、「Copy/Paste 程序员将被 AI 取代」。程序员行业是否还有发展空间？
2023-05-11 13:57 阅读数 108

MapReduce框架

value是这行的内容，不包括任何行终止符（换行符和回车符），Text类型。剩余的大小为4.02M，如果按照4M逻辑划分，就会出现0.02M的小的虚拟存储文件，所以将剩余的4.02M文件切分成（2.01M和2.01M）两个文件。框架默认的TextInputFormat切片机制是对任务按文件规划...
2023-05-11 12:01 阅读数 54

5月10日，今日信息差

6、5G标准必要专利全球排名公布：华为第一、小米首次进入前十。华为5G标准必要专利全球排名第一，中兴、大唐、OPPO分别排名第四、第八、第九位；摘要显示，本外观设计产品用于为盲人用户的出行进行导航，并且可以用于接收用户语音指令、识别路线上的障碍物以及为用户提供语音导航信息和避障提示信息。11、...
2023-05-09 17:44 阅读数 124

BI 数字化转型对央企和中小企业的利好

数字化产品和服务的大规模应用也让数字经济、数据价值得到了众多企业的重视。先说数字经济，据统计，2020年全球数字经济规模达到32.61万亿美元，与GDP总量比例为43.7%，其中中国数字经济规模达到了5.4万亿美元，并维持着9.6%的高速增长。相比数字经济，数据价值主要体现在对企业进行升级改造...
2023-05-09 16:15 阅读数 10

Hadoop HDFS的API操作

IDEA创建Maven工程，由于版本不一样，这里我使用2022.3版本，有一个将junit加入classpath的设置，还有将各种目录设置：Mark Directory as ：src/main/java 关联为 Sources Root;在HDFS上面进行性文件a.txt的再一次校验值***...
2023-05-09 11:23 阅读数 74

深入探究HDFS：高可靠、高可扩展、高吞吐量的分布式文件系统【上进小菜猪大数据系列】

HDFS是一个高可靠、高可扩展、高吞吐量的分布式文件系统，适用于大规模的数据处理和批处理任务。它的设计理念就是针对大数据量的处理，因此不适合小文件存储和实时读写操作。HDFS已经被广泛地应用于大数据处理、数据分析等领域，例如Hadoop、Spark、HBase、Hive等。通过上述的代码实例，...
2023-05-08 00:16 阅读数 63

Hadoop概述

HDFS分布式文件系统的内部有一个副本存放策略：以默认的副本数=3为例：①第一个副本块存本机（若客户端在集群中，不在的话随机选择一个较近的机器）②第二个副本在另一个机架的随机节点③第三个副本在第二个副本所处机架的随机节点。这些信息不是长久固定的，每次启动系统后需要重新从数据节点获取这些信息。4...
2023-05-05 17:42 阅读数 18

基于hyperleger fabric区块链的校园化妆品交易平台搭建

搭建一个基于Fabirc区块链的化妆品二手交易平台，学生以学院为单位（=>Org=>peer节点）加盟该平台；学生使用客户端连接本组织的peer节点参与交易。可以售卖化妆品、也可以购买化妆品；阅读过管理员平台公告后进入登录页面，学生通过学号认证后通过登录，学生在个人中心可以查看所有可交易的化妆...
2023-05-02 15:16 阅读数 28
技术
今日推荐
ioDraw Mac客户端安装教程
阅读数 19
下载桌面版
GitHub
百度网盘（提取码：draw）
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱：[email protected]
QQ群：766591547
关注微信
©2020-2024 ioDraw All rights reserved, Privacy Policy