欢迎您的访问
专注架构,Java,数据结构算法,Python技术分享

Flink

11:Apache Flink EventTime与Window

站长阅读(87)赞(0)

1. EventTime的引入 在Flink的流式处理中,绝大部分的业务都会使用eventTime,一般只在eventTime无法使用时,才会被迫使用ProcessingTime或者IngestionTime。 如果要使用EventTime...

10:Apache Flink Time 与 Window

站长阅读(80)赞(0)

1. Time 在Flink的流式处理中,会涉及到时间的不同概念,如下图所示: Event Time:是事件创建的时间。它通常由事件中的时间戳描述,例如采集的日志数据中,每一条日志都会记录自己的生成时间,Flink通过时间戳分配器访问事件时...

9:Apache Flink DataStream API

站长阅读(88)赞(0)

1. Flink 运行模型 以上为Flink的运行模型,Flink的程序主要由三部分构成,分别为Source、Transformation、Sink。DataSource主要负责数据的读取,Transformation主要负责对属于的转换操...

8:Apache Flink 运行架构

站长阅读(83)赞(0)

1. 任务提交流程 Flink任务提交后,Client向HDFS上传Flink的Jar包和配置,之后向Yarn ResourceManager提交任务,ResourceManager分配Container资源并通知对应的NodeManage...

7:Apache Flink 基本架构

站长阅读(74)赞(0)

JobManager与TaskManager Flink运行时包含了两种类型的处理器: JobManager处理器:也称之为Master,用于协调分布式执行,它们用来调度task,协调检查点,协调失败时恢复等。Flink运行时至少存在一个m...

6:Apache Flink 基本概念 分布式Runtime

站长阅读(82)赞(0)

分布式运行时环境 1. 任务与算子链 分布式计算中,Flink会将算子(operator) 的子task链式组成tasks,每个task由一个线程执行。把算子链化为tasks是一个非常好的优化:它减少了线程之间的通信和缓冲,而且还能增加吞吐...

5:Apache Flink 基本概念 编程模型

站长阅读(81)赞(0)

Flink 数据流编程模型 1. 抽象级别 Flink 提供了不同级别的抽象,以开发流或批处理作业。 最底层级的抽象仅仅提供了有状态流,它将通过过程函数(Process Function)被嵌入到 DataStream API 中。它允许用...

4:Apache Flink 开发环境搭建

站长阅读(80)赞(0)

Flink 开发环境部署和配置 Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目,代码开源在 github 上,并使用 maven 来编译和构建项目。对于大部分开发或使用 Flink 的同学来说,Java、Mav...

3:Apache Flink本地安装

站长阅读(89)赞(0)

的正确安装: java -version 如果你有Java 8,输出将如下所示: java version "1.8.0_201" Java(TM) SE Runtime Environment (build 1.8.0_201-b09) ...

2:什么是Apache Flink?

站长阅读(77)赞(0)

Apache Flink 定义 Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。Flink设计为在所有常见的集群环境中运行,以内存速度和任何规模执行计算。 处理无界和有界数据 任何类型的数据都是作为事...