培训内容:
一、流式处理架构
|
1.1 流式处理背景及架构介绍
1.2 流式处理行业案例以及Flink的适用场景及应用概述
|
二、Flink概述
|
2.1 什么是Flink
2.2 Flink架构
2.3 Flink 与 Spark的比较以及为什么选择Flink
2.4 Flink开发环境配置和搭建
|
三、Flink编程模型
|
3.1 数据集类型
3.2 Flink编程接口
3.3 Flink程序结构
3.4 Flink数据类型
|
四、DataStream API介绍与使用
|
4.1 DataStream编程模型
4.2 Flink Execution 参数
4.3 Transformation
4.4 时间概念与Watermark
4.5 Windows窗口计算
4.6 作业链和资源组
4.7 Asynchronous I/O异步API
4.8 Asynchronous I/O异步原理
|
五、Flink流式计算基本概念介绍
|
5.1 时间特性:Event Time / Processing Time / Ingestion Time
5.2 WaterMark
5.3 Source/Sink/Operator
5.4 数据完整性语义
5.5 State/Checkpoint/Savepoint
5.6 Time window
|
六、Flink Connector数据源
|
6.1 FlinkKafkaSource序列化、消费模式
6.2 FlinkKafkaSource容错、动态分区及topic
6.3 FlinkKafkaSink序列化、配置、分区与容错
6.4自定义Source和Sink
|
七、DataSet API介绍与使用
|
7.1 DataSet API,Transformation
7.2 迭代计算
7.3 广播变量与分布式缓存
7.4 语义注解
7.5 DataSetUtils工具类
|
八、Table API & SQL介绍与使用
|
8.1 基本概念
流/表对偶性
Source/Sink Table
数据回撤
8.2 Flink Table API
8.3 Flink SQL使用
Flink SQL client
Flink SQL 已支持特性
8.4 自定义函数 UDF/UDTF/UDAF
|
九、两个完整的Flink实现案例
|
9.1 Kafka 数据流处理,写入HDFS
9.2多源数据关联与聚合分析
|
十、Flink有状态的计算、状态管理和容错
|
10.1 什么是有状态计算
10.2 有状态计算中的数据一致性挑战
10.3 理解state状态
10.4 Operator State 的使用及Redistribute
10.5 Keyed State的使用与Redistribute
10.6 Broadcast State的妙用
10.7 Checkpoint核心原理剖析
10.8 Checkpoint使用条件及使用步骤
10.9 Checkpoint相关配置及重启策略
10.10 Savepoint的触发、Job恢复及删除
|
十一、实战项目1:用Flink实现一个通用、配置化的海量数据流、批处理产品
|
11.1实现配置管理
11.2实现数据源加载
11.3实现主流程控制
11.4实现任务管理
|
十二、Flink部署与应用
|
12.1 Flink集群部署
12.2 Flink高可用配置
12.3 Flink安全管理
12.4 Flink集群升级
12.5 Flink on Yarn的原理和运行方式
12.6 Flink on Yarn 提交任务与停止任务
|
十三、Flink监控与性能优化
|
13.1 监控指标
13.2 Backpressure监控与优化
13.3 Checkpointing监控与优化
13.4 Flink内存优化
|
十四、Flink组件栈介绍与使用
|
14.1 Flink复杂事件处理
14.2 Flink Gelly图计算应用
14.3 FlinkML机器学习应用
14.4 Flink Metrics 与监控
|
十五、Flink源码学习
|
15.1 Flink源码编译
15.2 如何阅读和学习Flink源码
15.3 Flink源码实现思路以及依赖管理
15.4 Flink核心模块源码带读与分析
|
十六、Flink在各大互联网公司的典型应用剖析
|
16.1Flink在阿里的应用
16.2Flink在字节跳动的应用
16.3Flink在腾讯的应用
16.4Flink在微博的应用
16.5Flink在其他互联网公司的应用
16.6Flink 最佳实践
|
十七、实战项目2:使用Flink实现电商用户支付行为分析和审计风控
|
17.1电商支付数据模型(订单,流水,账户余额,发现表)
17.2用户行为分析需求与维度指标设计
17.3审计风控的需求与实现思路
17.4Flink代码实现结构与业务逻辑细节拆解
|
如果您想学习本课程,请
预约报名
如果没找到合适的课程或有特殊培训需求,请
订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请
服务特点:
海量专家资源,精准匹配相关行业,相关项目专家,针对实际需求,顾问式咨询,互动式授课,案例教学,小班授课,实际项目演示,快捷高效,省时省力省钱。
专家力量:
中国科学院软件研究所,计算研究所高级研究人员
oracle,微软,vmware,MSC,Ansys,candence,Altium,达索等大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关技术专业,理论素养丰富
多年实际项目经历,大型项目实战案例,热情,乐于技术分享
针对客户实际需求,案例教学,互动式沟通,学有所获