培训对象
各类 IT/软件企业和研发机构的大数据工程师以及运维工程师。对于怀有大数据平台管理和运维疑问和问题，需要梳理解答的团队和个人，效果最佳。
学员基础
学员学习本课程应具备下列基础知识： 1) 了解Java语言； 2) 了解Linux系统； 3）数据挖掘基础
课程大纲：
|
主题
|
内容
|
|
大数据运维系统基础
大数据架构概述
|
1. 大数据技术特点
剖析开源、社区模式、更新快等特点
2. 大数据六层架构
介绍大数据系统基本架构
3. Hadoop与Spark生态系统概述以及版本演化
概要介绍Hadoop与Spark生态系统及其版本演化历史
|
|
大数据自动化运维挑战
|
1. 大规模集群
2. 复杂的软件栈
3. 问题的复杂性（操作系统、网络、软件、应用程序及用户）
|
|
大数据运维体系
|
1. 大数据运维系统特点
2. 大数据运维系统构成
包括自动化部署、自动化配置管理、监控、报警、自动审批系统（存储空间审核、计算资源审核）等
|
|
大数据运维常用技术栈
|
1. Linux机器资源监控与报警
ganglia与nagios
2. 常用linux命令
top、free、sar、iostat、nmon、jstack、ssh、rsync等
3. Java基础
JVM、内存管理、GC调优
4. 用户管理
LDAP系统
5. 自动化安装部署
6. ambari、cloudera manager等
|
|
Linux系统基本配置
|
1. 大数据系统对linux要求
2. 大数据系统常见linux配置
|
|
数据收集与存储系统运维
分布式数据收集系统运维
|
1. flume与sqoop基本架构与原理
介绍如何使用flume和sqoop两个系统将外部流式数据（比如网站日志，用户行为数据等）、关系型数据库（比如MySQL、Oracle等）中的数据导入Hadoop中进行分析和挖掘
2. Flume与sqoop运维
|
|
分布式存储系统运维
|
1. HDFS 原理、特性与基本架构
2 介绍HDFS原理与架构
3 HDFS运维
4用户管理
5存储空间管理（目录组织方式、份额设置等）
6 HDFS冷热数据分析与优化
7 NameNode管理
8 动态增加新的结点
9 尝试恢复丢失的数据块
关键参数设置（垃圾桶、GC等）
10 HBase原理与基本架构
11 介绍HBase应用场景、原理和架构
12 HDFS运维
13 表管理
14 常见参数调优
|
|
资源管理系统运维
资源管理系统YARN基础
|
1 YARN产生背景及原理
2 YARN基本架构
3 YARN资源调度器
4 以YARN为核心的生态
|
|
资源管理系统YARN运维
|
1. 参数配置与调优
2. 用户管理
3. 资源池划分
4. 资源监控
|
|
分布式协调服务Zookeeper
|
1. Zookeeper产生背景
2. Zookeeper基本架构
3. Zookeeper设计原理
4. Zookeeper安装部署及运维
5 参数配置与调优
|
|
分布式计算框架运维
分布式计算框架概述
|
1. 批处理计算框架MapReduce与Spark
2. 交互式分析框架Presto与Impala
3. 流式计算框架Storm与Spark Streaming
|
|
分布式计算框架（应用程序）运维
|
1. 批处理应用监控指标
2.交互式框架运维实践
3. 流式计算框架运维实战
|
|
总结
大规模大数据集群的运维新挑战与应对方案
|
1.大规模集群新挑战
2.大规模集群自动化运维系统
|
如果您想学习本课程，请
预约报名
如果没找到合适的课程或有特殊培训需求，请
订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请
服务特点：
海量专家资源，精准匹配相关行业，相关项目专家，针对实际需求，顾问式咨询，互动式授课，案例教学，小班授课，实际项目演示，快捷高效，省时省力省钱。
专家力量：
中国科学院软件研究所，计算研究所高级研究人员
oracle,微软，vmware，MSC,Ansys，candence,Altium,达索等大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关技术专业，理论素养丰富
多年实际项目经历，大型项目实战案例，热情，乐于技术分享
针对客户实际需求，案例教学，互动式沟通，学有所获
