大数据Flink进阶(五):Flink开发环境准备 - 行业动态 -

当前位置:首页  >  行业动态  > 正文

大数据Flink进阶(五):Flink开发环境准备

大数据Flink进阶(五):Flink开发环境准备
2023-03-19 22:16:17 来源:腾讯云

Flink开发环境准备

学习一门新的编程语言时,往往会从"hello world"程序开始,而接触一套新的大数据计算框架时,则一般会从WordCount案例入手,下面以大数据中最经典入门案例WordCount为例,来编写Flink代码,Flink底层源码是基于Java代码进行开发,在Flink编程中我们除了可以使用Java语言来进行编写Flink程序外,还可以使用Scala、Python语言来进行编写Flink程序,在后文章中我们将会主要使用Java和Scala来编写Flink程序。下面来准备下Flink开发环境。

一、Flink版本

本套课程中我们采用Flink最新版本1.16.0,Flink1.16.0版本官方文档地址:


(资料图片)

https://nightlies.apache.org/flink/flink-docs-release-1.16/

二、JDK环境

Flink核心模块均采用Java开发,所以运行环境需要依赖JDK,Flink可以基于类UNIX 环境中运行,例如:Linux、Max OS、Windows等,在这些系统上运行Flink时都需要配置JDK环境,Flink 1.16.0版本需要JDK版本为JDK11,目前版本也支持使用JDK8,后续版本对JDK8的支持将会移除。

考虑到Flink后期与一些大数据框架进行整合,这些大数据框架对JDK11的支持并不完善,例如:Hive3.1.3版本还不支持JDK11,所以本课程采用JDK8来开发Flink。对JDK8安装及配置不再详述。

附:JDK11 下载地址如下:

https://www.oracle.com/java/technologies/javase-jdk11-downloads.html

三、开发工具

我们可以选择IntelliJ IDEA或者Eclipse作为Flink应用的开发IDE,Flink开发官方建议使用IntelliJ IDEA,因为它默认集成了Scala和Maven环境,使用更加方便,我们这门课使用IntelliJ IDEA开发工具,具体安装步骤不再详述。

四、Maven环境

通过IntelliJ IDEA进行开发Flink Application时,可以使用Maven来作为项目jar包管理工具,需要在本地安装Maven及配置Maven的环境变量,需要注意的是,Maven版本需要使用3.0.4及以上,否则编译或开发过程中会有问题。这里使用Maven 3.2.5版本。

五、Scala环境

Flink开发语言可以选择Java、Scala、Python,如果用户选择使用Scala作为Flink应用开发语言,则需要安装Scala执行环境。

在Flink1.15之前版本,如果只是使用Flink的Java api ,对于一些没有Scala模块的包和表相关模块的包需要在Maven引入对应的包中加入scala后缀,例如:flink-table-planner_2.11,后缀2.11代表的就是Scala版本。在Flink1.15.0版本后,Flink添加对opting-out(排除) Scala的支持,如果你只使用Flink的Java api,导入包也不必包含scala后缀,你可以使用任何Scala版本。如果使用Flink的Scala api,需要选择匹配的Scala版本。

从Flink1.7版本往后支持Scala 2.11和2.12版本,从Flink1.15.0版本后只支持Scala 2.12,不再支持Scala 2.11。Scala环境可以通过本地安装Scala执行环境,也可以通过Maven依赖Scala-lib引入,如果本地安装了Scala某个版本,建议在Maven中添加Scala-lib依赖。Scala2.12.8之后的版本与之前的2.12.x版本不兼容,建议使用Scala2.12.8之后版本。

六、Hadoop环境

Flink可以操作HDFS中的数据及基于Yarn进行资源调度,所以需要对应的Hadoop环境,Flink1.16.0版本支持的Hadoop最低版本为2.8.5,本课程中我们使用Hadoop3.3.4版本。关于Hadoop3.3.4版本搭建,后续文章会手把手进行搭建。

标签:

(责任编辑:news01)
今日热搜:平采娜乐维瑟派布恩腰围_平采娜乐维瑟派布恩电视剧

今日热搜:平采娜乐维瑟派布恩腰围_平采娜乐维瑟派布恩电视剧

1、成名作:为泰国著名洗发水广告《我能型》 2009:《英雄少年》  2010:《初恋这件小事》中女主角(小水
03-11 05:56:41
省控线差一分怎么办_省控线_每日看点

省控线差一分怎么办_省控线_每日看点

1、省控线是那个学校在该地区招生的最低分,可以比较简单地理解为最后一名关门学生的分。2、不可以比那...
03-11 01:50:55
初撮日语翻译_初撮

初撮日语翻译_初撮

1、M-BODY。2、初撮りギャル(首次出镜的女孩)。本文就为大家分享到这里,希望小伙伴们会喜欢。
03-10 21:42:20
业务跟单和业务助理区别_业务跟单流程

业务跟单和业务助理区别_业务跟单流程

1、跟单员是指在企业运作过程中,以客户订单为依据,跟踪产品,跟踪服务运作流向的专职人员。2、(不能...
03-10 20:19:00
4S店回应“丰田汽车买一赠一”:送出2台威驰,活动已结束

4S店回应“丰田汽车买一赠一”:送出2台威驰,活动已结束

购买一台丰田bz4x车型,就可赠送一台丰田威驰轿车?近日,一家名为深圳中升民康丰田的4S店发布了上述促...
03-10 18:48:31
路遇小轿车起火,35路驾驶员见义勇为紧急灭火_世界即时

路遇小轿车起火,35路驾驶员见义勇为紧急灭火_世界即时

此时民警也赶到了,为确保彻底扑灭,时德明又返回公交车上拿下来第二个灭火器,在他和民警的指导下,小...
03-10 16:54:53
世界快资讯丨日语莫西大是什么意思_日语 莫西莫西 是什么意思

世界快资讯丨日语莫西大是什么意思_日语 莫西莫西 是什么意思

1、天那,连吃饭都出来了,不懂不要瞎说好不好。2、丢人那。3、打电话的时候说的,喂,喂。4、也可以说はい...
03-10 14:58:32
中国空间技术研究院研制并成功发射航天器达400颗_环球今热点

中国空间技术研究院研制并成功发射航天器达400颗_环球今热点

3月10日,我国在太原卫星发射中心使用长征四号丙运载火箭,成功将天绘六号A B星发射升空,卫星顺利进入...
03-10 14:54:12
世界速讯:团伙打人致轻微伤会怎么判刑

世界速讯:团伙打人致轻微伤会怎么判刑

轻微伤不构成犯罪,公安机关根据具体情节,处十日以上十五日以下拘留,并处五百元以上一千元以下罚款。
03-10 11:45:21
【天天时快讯】凝聚乡村振兴的奋进力量

【天天时快讯】凝聚乡村振兴的奋进力量

正值春耕备耕时节,神州大地广袤乡村,处处涌动着勃勃生机。在天津市蓟州区下窝头镇西马营村,松土、播...
03-10 10:10:01
【全球速看料】物价指数计算例题_物价指数计算公式

【全球速看料】物价指数计算例题_物价指数计算公式

1、物价指数=(现期的价格x基期的量 基期的价格x基期的量)X100一般都用采用这种拉式算法。2、以现期价格
03-10 08:18:17
天天信息:今年前两月海南货物贸易进出口超340亿元

天天信息:今年前两月海南货物贸易进出口超340亿元

​3月9日,海南日报记者从海口海关获悉,据该关统计,今年前2个月,海南货物贸易进出口344 9亿元,较去...
03-10 07:37:11
杭州亚运会倒计时200天!男女篮剑指亚洲冠军,中国女足压力大!

杭州亚运会倒计时200天!男女篮剑指亚洲冠军,中国女足压力大!

3月7日,距离2023杭州亚运会已经进入了倒计时200天,200天后,亚洲最大的综合性运动会将在中国杭州盛大...
03-10 03:05:19
贴吧怎么加好友通讯录_贴吧怎么加好友

贴吧怎么加好友通讯录_贴吧怎么加好友

首先登录百度账号,进入贴吧个人中心。然后点击“所有吧搜索”,输入吧友的名字。点击“贴吧搜索”,找...
03-09 22:58:11
胳膊肘骨头一按就疼_胳膊肘|每日快看

胳膊肘骨头一按就疼_胳膊肘|每日快看

1、肘关节外侧疼痛肱骨外上髁炎也称网球肘。2、是肘部疼痛的常见原因,主要为肘关节外侧疼痛,用力握拳...
03-09 22:47:57
中国NPC各级代表通过以下方式选举产生-每日简讯

中国NPC各级代表通过以下方式选举产生-每日简讯

1、C试题分析:我国各级人大代表的选举采用直接选举与间接选举相结合的方式,各级人大代表的选举实行差额选
03-09 20:06:45
恒邦能源:拟冲刺深交所IPO上市,预计投入募资3.95亿元,近年资产负债率高于同行业可比公司均值 世界要闻

恒邦能源:拟冲刺深交所IPO上市,预计投入募资3.95亿元,近年资产负债率高于同行业可比公司均值 世界要闻

四川恒邦能源股份有限公司近期递交首次公开发行股票并在主板上市招股说明书(申报稿)。公司拟冲刺深交...
03-09 17:57:27
焦点消息!40gp集装箱长宽高的尺寸是多少_40gp集装箱内部尺寸

焦点消息!40gp集装箱长宽高的尺寸是多少_40gp集装箱内部尺寸

1、20GP集装箱内掇急槽举噩窖茶泄偿玫部尺寸为5 89*2 33*2 38,不过在计算装箱时,一种办法是把集装箱内部尺
03-09 17:20:06
超次元游戏海王星SVS(游戏CG原图第九期) 环球今亮点

超次元游戏海王星SVS(游戏CG原图第九期) 环球今亮点

超次元游戏海王星SistersVsSisters“正统外传”?不愧是地雷,首次在海王星系列引进这个概念,看来在没...
03-09 15:55:46
东莞米粉:水煮不糊干炒不断,渔米之乡的特色手信

东莞米粉:水煮不糊干炒不断,渔米之乡的特色手信

东莞米粉:水煮不糊干炒不断,渔米之乡的特色手信
03-09 14:14:31
南宁市白蚁防治所联合广园社区等单位开展学雷锋志愿服务活动|全球热讯

南宁市白蚁防治所联合广园社区等单位开展学雷锋志愿服务活动|全球热讯

志愿者向市民展示白蚁活体标本为进一步弘扬雷锋精神和“奉献、友爱、互助、进步”的志愿服务精神,传播...
03-09 12:05:54
device offline怎么解决知乎 世界信息

device offline怎么解决知乎 世界信息

1、deviceoffline装置离线;装置名称;设备宕机双语例句1 ShadowDeviceiscomple
03-09 11:55:18
全球今亮点!“威胁情报”发展正当时,锐捷与腾讯携手加速安全共建

全球今亮点!“威胁情报”发展正当时,锐捷与腾讯携手加速安全共建

强强联合激发“威胁情报”产业新活力
03-09 10:16:36
微速讯:刑警劈腿单亲妈,扬言散布性爱片夸“屁屁好圆”,下场惨了

微速讯:刑警劈腿单亲妈,扬言散布性爱片夸“屁屁好圆”,下场惨了

屏东已婚刑事小队长劈腿单亲妈,不满对方提出分手要求,扬言将性爱照传给女子前夫与孩子,还直夸单亲妈...
03-09 08:06:43
北京环球影城的变形金刚是真人还是机器_北京环球影城的变形金刚里面是真人吗

北京环球影城的变形金刚是真人还是机器_北京环球影城的变形金刚里面是真人吗

1、北京环球影城的变形金刚里面是真人吗2、环球影城中的变形金刚并不是真人,而是由机器制造的,游客可...
03-09 06:07:14
编者按范文_编者按范文_世界观速讯

编者按范文_编者按范文_世界观速讯

1、申论编者按的格式及范文如下所示。2、一、编者按格式编者按:后直接加正文。3、2、编者按直接加正文...
03-09 02:48:08
龙虎榜:方新侠、炒股养家联手狙击数字经济!上塘路净买入2713万容大

龙虎榜:方新侠、炒股养家联手狙击数字经济!上塘路净买入2713万容大

一、【热门游资和机构】核心游资动向:炒股养家:净买入1876万安妮股份;净买入2538万中公高科;净卖出1...
03-08 22:13:37
天天新消息丨用友T6凭证打印格式设置_用友t6凭证纸打印设置

天天新消息丨用友T6凭证打印格式设置_用友t6凭证纸打印设置

1、简单为大家做一下方法及步骤如下:首先当然是进入软件(总账-凭证-凭证查询),确定一下自己想要调整...
03-08 20:46:53
养发护发文案简短_养发护发方法大全 天天速读

养发护发文案简短_养发护发方法大全 天天速读

1、选择适合自己的洗发水,了解自己的头发是油性还是干性。一般油性头发最好一周洗3~4次。如果是夏天,...
03-08 18:54:06
美素佳儿和美素丽儿的区别 焦点要闻

美素佳儿和美素丽儿的区别 焦点要闻

1、是荷兰原装进口的2、丽儿指定苏州美素丽儿为其销售渠道3、佳儿荷兰皇家菲仕兰旗下的4、在配方成分上...
03-08 17:52:57

为您推荐

精彩推送