课程信息
hadoop天生是解决大数据高并发问题的, 是一个能够对海量数据进行分布式处理的软件框架。互联网企业、金融机构、政府组织和云计算服务企业每天都会产生大量的数据并面临高并发的严峻考验,传统的关系型数据库已经无法满足大数据量高并发的要求,作为云计算实现规范和实施标准的hadoop应运而生。
培训特色
案例驱动教学,全程项目实战训练;
-掌握Hadoop三大核心:MapReduce、HBase、Hive
-萃取出实际开发中最常用、最实用的内容并以深入浅出的方式把难点化于无形之中
培训对象
软件工程师;
数据库开发人员;
网络后台开发人员;
运维人员;
学员基础
了解Linux系统;
了解网络;
了解Java;
课程大纲
主题 |
内容 |
第1个主题:Hadoop思考
|
1.Hadoop的设计目标和适用场景
2.Hadoop架构解析
3.MapReduce工作原理和案例说明
|
第2个主题: Hadoop安装和配置实战
|
1. 安装和配置单机版Hadoop实战
2. 安装和配置伪分布式Hadoop实战
3.安装和配置分布式Hadoop集群实战
|
第3个主题:HDFS
|
1. HDFS命令行操作实战
2. HDFS的配置管理
3. NameNode的工作机制
|
第4个主题:HDFS案例实战
|
1. HDFS案例的分析和设计
2. 环境搭建
3.使用Hadoop Java API实现对HDFS写入、读取、删除文件等操作
|
第5个主题:MapReduce剖析
|
1. MapReduce的原理和运行过程
2. 构建MapReduce的开发环境
|
第6个主题:MapReduce案例实战
|
1. 使用MapReduce的Java接口实现经典的WordCount
2. wordcount运行过程解析
3. MapReduce实现数据去重操作
4. MapReduce实现数据排序
5. MapReduce实现数据平均数据的计算
|
第1个主题:HBase架构设计和实现剖析
|
1. HBase架构设计
2. HBase中的表结构等
3. HBase:Master、Region、Region Server
|
第2个主题:HBase案例实战1---使用HBase实现微博系统
|
1. 项目架构和设计
2. 开发环境搭建
3. 实现用户登录和注销
4.“关注”功能的设计和实现
5.“发微博”功能的设计和实现
6.发布和运行整个基于HBase的微博系统
|
第3个主题:HBase与MapReduce
|
1. HBase与MapReduce的关系
2. HBase如何使用MapReduce
|
第4个主题:HBase案例实战2---话单查询与统计
|
1. 项目架构设计
2. 开发环境搭建
3. 话单入库和查询的设计与实现
4.统计功能的设计与实现
|
第1个主题:MapReduce高级实战
|
1. Split实现剖析
2. 自定义输入的实现
3. Reduce的partition
4. 案例实战
|
第2个主题:安装和使用Hive
|
1. Hive剖析
2. 安装Hive
3.Hive的基本使用
|
第3个主题:Hive与HDFS、MapReduce
|
1. Hive向HDFS存入结构化数据
2. 使用MySQL作为Hive的元数据库
3.Hive与MapReduce
|
第4个主题:Hive案例实战---数据统计
|
1. 项目架构设计
2. 表结构设计
3.数据的插入与统计实现
|
第5个主题:Hadoop开发者之路
|
1. Hadoop技能模型
2. Hadoop开发者最佳学习路线和方式
3.Hadoop开发者最佳成长路线
|
如果您想学习本课程,请
预约报名
如果没找到合适的课程或有特殊培训需求,请
订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请
服务特点:
海量专家资源,精准匹配相关行业,相关项目专家,针对实际需求,顾问式咨询,互动式授课,案例教学,小班授课,实际项目演示,快捷高效,省时省力省钱。
专家力量:
中国科学院软件研究所,计算研究所高级研究人员
oracle,微软,vmware,MSC,Ansys,candence,Altium,达索等大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关技术专业,理论素养丰富
多年实际项目经历,大型项目实战案例,热情,乐于技术分享
针对客户实际需求,案例教学,互动式沟通,学有所获