Fink入门介绍_beishanyingluo的博客-CSDN博客_fink

来自 : CSDN技术社区 发布时间：2021-03-26

有界流 也即是有明确的开始和结束的定义。有界流可以等待数据全部注入完成了再开始处理。注入的顺序不是必须的了 因为对于一个静态的数据集 我们是可以对其进行排序的。有界流的处理也可以称为批处理。

其它特点:

性能优秀(尤其在流计算领域)高可扩展性支持容错纯内存式的计算引擎 做了内存管理方面的大量优化支持eventime的处理支持超大状态的Job(在阿里巴巴中作业的state大小超过TB的是非常常见的)支持exactly-once的处理。

Stateful Computations over Data Streams 即数据流上的有状态的计算。

Data Streams Flink认为有界数据集是无界数据流的一种特例 所以说有界数据集也是一种数据流 事件流也是一种数据流。Everything is streams 即Flink可以用来处理任何的数据 可以支持批处理、流处理、AI、MachineLearning等等。

Stateful Computations 即有状态计算。有状态计算是最近几年来越来越被用户需求的一个功能。比如说一个网站一天内访问UV数 那么这个UV数便为状态。Flink提供了内置的对状态的一致性的处理 即如果任务发生了Failover 其状态不会丢失、不会被多算少算 同时提供了非常高的性能。

无界流 意思很明显 只有开始没有结束。必须连续的处理无界流数据 也即是在事件注入之后立即要对其进行处理。不能等待数据到达了再去全部处理 因为数据是无界的并且永远不会结束数据注入。处理无界流数据往往要求事件注入的时候有一定的顺序性 例如可以以事件产生的顺序注入 这样会使得处理结果完整。

2020年7月10日1. Flink介绍1.1. Flink引入这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。...fink1. Flink介绍1.1. Flink引入这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。​ 在国外一些社区，有很多人将大数据的计算引擎分成了4 代，当然也有很多人不会认同。我们先姑且这么认为和讨论。第1代——Hadoop MaFink入门介绍