课程目标：
1）知道Spark能做什么，不能做什么。
2）hadoop和Spark的适用场景。
3）能过熟知Spark的原理、安装Spark集群。
4）能够独立使用Spark工具来分析海量数据。
5）会使用shark来分析数据。
6）会使用Spark Streaming来处理数据。
7）一个需求过来知道在Spark上面怎么实现。
培训内容：
|
· Scala语言介绍
· Scala语言安装
· Scala快速入门介绍
· 什么Spark
· Spark的简介
· Spark的编译
· Spark的安装
Spark安装成功测试
|
|
· Spark原理
· Spark的RDD
· 什么是RDD
· RDD的种类
o Tranformation
o Action
· Spark的存储级别
· Cache介绍
· Spark的容错原理
· Lineage容错
· Checkpoint容错
· RDD的创建
· 案例
统计单词的个数
|
|
· Spark调度组件
· RDD graph
· 作业与任务调度
· DAG Scheduler
· Task Scheduler
· Task细节
· Job的调度流程
· Broadcast variables介绍
· Spark的优化
· Spark的生态系统
o Shark
o Streaming
· Spark与hadoop的比较
Spark的使用场景介绍
|
|
· Spark实战一：求最大值
· Spark实战二：自定义RDD(define a new RDD)
· Spark实战三：RDD创建的种类(Scala、HDFS、localdisk and inputformat)
Spark实战四：基于Spark的日志分析
|
如果您想学习本课程，请
预约报名
如果没找到合适的课程或有特殊培训需求，请
订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请
服务特点：
海量专家资源，精准匹配相关行业，相关项目专家，针对实际需求，顾问式咨询，互动式授课，案例教学，小班授课，实际项目演示，快捷高效，省时省力省钱。
专家力量：
中国科学院软件研究所，计算研究所高级研究人员
oracle,微软，vmware，MSC,Ansys，candence,Altium,达索等大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关技术专业，理论素养丰富
多年实际项目经历，大型项目实战案例，热情，乐于技术分享
针对客户实际需求，案例教学，互动式沟通，学有所获
