Flink内核原理与实现
上QQ阅读APP看书,第一时间看更新

数据,已经渗透到当今各行各业的价值创造过程中,成为核心生产要素之一。海量数据的挖掘和运用,已初见成效,预示着新一波生产率增长和消费者盈余浪潮的到来。“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通信等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。依托大数据、云计算、人工智能等技术的发展,人类社会从信息时代跨入智能时代,5G成为第四次工业革命的技术基石。

随着网络建设的快速推进,万物互联时代已经开启,5G作为移动通信技术制高点,将推动蓬勃发展的消费互联网进入崭新的工业互联网、产业互联网时代。作为数字经济增长新引擎,5G与人工智能(AI)、物联网(IoT)、云计算(Cloud Computing)、大数据(BigData)、边缘计算(Edge Computing)等技术的深度融合,将为社会和经济发展注入新动能、开创新模式。信息技术在各行业转型升级过程中的渗透力不断加强,成为社会信息流动的主动脉,承载着海量实时数据流。毋庸置疑,数据越实时价值越大,秒级甚至毫秒级的实时流式大数据计算场景层出不穷,这与5G高带宽、低延迟的业务特点也是紧密契合的。海量实时流计算技术是最为重要的底层支撑技术之一。

市场上,各大厂都在不遗余力地试用新的流计算框架,实时流计算引擎和API,诸如Spark Streaming、Kafka Streaming、Beam和Flink将持续火爆。随着5G万物互联互通带来的新一轮数据量的爆发,越来越多的政府、企业等机构开始意识到实时数据正在成为最重要的资产,实时数据分析能力正在成为新的核心竞争力。对于这一与时俱进的大数据实时处理引擎——Flink,我们也许可以看到更多可能的未来。

Flink作为行业顶级架构师、程序员的智慧结晶,毫无疑问是复杂的,在理解其设计和实现时,亦有“只在此山中,云深不知处”的感觉。而如何从根本上了解Flink的设计思路、原理、最新的动态及未来发展趋势,阅读本书或许是一个捷径。

本书的亮点可以概括为以下三个方面。

1.高屋建瓴融会贯通

大数据处理技术领域,分布式计算引擎百花齐放。面对如此复杂的技术领域,其首要之务是构建认知体系,而宏观认知则是认知体系中的最重要环节。作者从Flink面向的人员角色、计算引擎的设计与抽象层次、运行环境和外部交互等角度阐述,第1、2章帮助各位读者从宏观视角认识Flink。不同的计算引擎虽各有特色、概念不同,然其设计思路、技术原理皆有相通之处,一通则百通。

2.知其然知其所以然

Flink毫无疑问是复杂的,本书将带领各位读者深入其中,系统性地阐述Flink的核心原理、重要组件、关键工作流程,本书利用5个章节主要介绍Flink的基础原理,从第8章开始,以执行过程的视角介绍Flink的工作流程,使各位读者“知其然”,其间穿插关键代码片段分析,梳理组件之间的协同关系,使各位读者“知其所以然”。

3.顺风而呼开卷有益

读完本书,无论是开发者、架构师、运维人员、测试人员,还是对Flink感兴趣的技术爱好者,相信各位读者会有一种豁然开朗的感觉,从自己的视角获得不同的理解。技术的应用变化无穷,有了深入全面的理解之后,无论是对Flink进行改进优化、性能调优、运维管理等,都能够准确地抓住要点,直指根源。

为了让公众更好地了解Flink,让产业更全面地把握Flink,这本书由资深专家执笔,从源码级别剖析了Flink的内核原理与实现,深入浅出,值得我们学习、参考和借鉴。在此,我将它推荐给各位读者。

中国移动信息技术中心

大数据平台部副总经理