Hadoop、spark和NoSQL大数据实战培训课程与咨询
课程简介
当下是大数据时代，为构建大数据平台，技术人员需要对分布式计算平台有一定深入的理解和应用。
课程大纲
| 大数据在国内的运用 |
大数据在国内的使用介绍
离线计算框架介绍
流式计算框架介绍
内存计算框架介绍
内存流式计算介绍
|
| 大数据的整体技术架构 |
开源大数据技术架构
开源大数据常用组件之间的依赖关系
离线计算框架介绍
—Mapreduce、Hive、Tez、Presto、Kylin
实时查询框架介绍
—NoSQL、Hbase
实时计算框架介绍
—Kafka、Strom、Spark Streaming
内存计算框架介绍
—Spark、SparkSQL、SparkMllib、SparkR
前沿大数据技术介绍
—Flink、Drill、Druid、KUDU等
海量日志快速检索架构
—ELK（Elasticsearch、Logstash、Kibana）等
|
| Hadoop平台优化点 |
Linux系统的优化
最佳硬件的选择和建议
HDFS架构和原理
HDFS的优化、维护和经常出现的问题
MapReduce架构和原理
MapReduce的优化、维护和经常出现的问题
Yarn的内存、CPU和IO的优化
Hbase的优化和生产环境常见的问题
Hive的优化和Hive的改进工具介绍
Impala、Kylin、Presto工具介绍
RCFile、ORC和parquet格式介绍
|
| Hadoop核心组件的运维和配置 |
HDFS的元数据管理
FSimage和Edit文件解析
手动修改FSimage和Edit文件
HDFS HA的架构运维解析
Yarn服务运维详解
Yarn核心配置参数的详解
Hbase服务运维详解
手动设置Split和Compaction操作
RS宕机的运维处理
Hbase 超大表的优化实践
|
| Yarn实战 |
Yarn架构和原理
ResourceManager工作原理
NodeManager工作原理
基于IO的控制这是
Yarn为某个运用独立分配资
基于队列的资源管理配置
基于底层硬件的SLA资源配置
不同部门或者用户的资源配置
|
| NoSQL和Hbase使用 |
NoSQL介绍
NoSQL应用场景
Hbase原理
Hmaster详解
RegionServer详解
Zookeeper介绍
Hbase安装
Hbase逻辑视图介绍
Hbase物理视图介绍
Hbase的二级索引介绍
Hbase 的DDL和DML
Hbase表的设计案例
Hbase的import功能介绍
MapReduce操作Hbase
Hbase的 thrift Server介绍
Hbase 的API介绍
Hbase使用场景介绍
Hbase案例分析
|
| Spark Streaming原理和实践 |
Spark Streaming原理
ApplicationMaster工作原理
Yarn的资源控制机制
基于内存的控制设置
基于CPU的控制设置
• Spark流式处理架构
• DStream的特点
• Dstream的操作和RDD的区别
• SatefulRDD和windowRDD实战
• Kafka+Spark Steaming实战
• Spark Streaming的优化
Kafka+Spark Streaming实例
• 文本实例
网络数据处理
|
| Spark SQL原理和实践 |
Spark SQL原理
• Spark SQL的Catalyst优化器
• Spark SQL内核
• Spark SQL和Hive
DataFrame和DataSet架构
Fataframe、DataSet和Spark SQL的比较
SparkSQL parquet格式实战
Spark SQL的实例和编程
• Spark SQL的实例操作demo
Spark SQL的编程
|
| Spark优化 |
Spark SQL的优化
基于Spark计算的文件格式选择
Spark on Yarn的优化
Spark SQL执行计划的优化
Spark 内存管理的机制
|
| 互联网大数案例分享 |
互联网大数据应用案例介绍
某银行基于大数据平台风险监控案例
某银行基于大数据数据湖的案例 |
如果您想学习本课程，请
预约报名
如果没找到合适的课程或有特殊培训需求，请
订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请
服务特点：
海量专家资源，精准匹配相关行业，相关项目专家，针对实际需求，顾问式咨询，互动式授课，案例教学，小班授课，实际项目演示，快捷高效，省时省力省钱。
专家力量：
中国科学院软件研究所，计算研究所高级研究人员
oracle,微软，vmware，MSC,Ansys，candence,Altium,达索等大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关技术专业，理论素养丰富
多年实际项目经历，大型项目实战案例，热情，乐于技术分享
针对客户实际需求，案例教学，互动式沟通，学有所获
