本课程从大数据技术以及Hadoop实战的角度，结合理论和实践，全方位地介绍Hadoop这一高性能处理大数据工具的开发技巧。本课程涉及的主题包括：Hadoop分布式文件系统及Hadoop的I/O；MapReduce的的工作机制、类型和格式；如何构建和管理Hadoop集群；Pig Latin语言的使用技巧；Hive数据仓库工具介绍；HBase和Zookeeper工具的使用和管理

；开源数据采集工具sqoop。    

 教学过程中提供案例分析帮助学员了解如何用Hadoop系列工具来解决具体的问题，并介绍从大数据中挖掘出有价值的信息的关键技术。本课程是一个针对问题讨论解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验，在课程中将会针对这些问题与学员一起进行研究，在关键点上还会搭建实验环境进行实践研究，以加深对于这些解决方案的理解。 

培训目标 

1, 全面了解大数据处理技术的相关知识。 

2，学习Hadoop的核心技术方法以及应用特征。 

3，深入使用Hadoop相关工具在大数据中的使用。  

4，掌握传统数据中心向云计算中心转换的关键技术。 

课程大纲

    第一讲 云计算及大数据处理技术介绍

1）云计算的概念

2）云计算发展现状

3）大数据的概念

4）大数据的应用

5）大数据关键技术第二讲 Google中的关键技术

1）GFS文件系统 

2）Chubby中的Paxos算法

3）MapReduce技术机制 

4）Bigtable表管理技术 第三讲 Hadoop文件系统HDFS及其文件结构

1） Hadoop项目简介

2） HDFS体系结构

3） HDFS关键运行机制

4） Hadoop vs Google

5） Hadoop API    第四讲 MapReduce编程模型及其应用开发

1)MapReduce产生背景 

2)MapReduce编程模型 

3)MapReduce实现机制 

4)MapReduce案例分析 第五讲 Pig Latin及其使用

1）Pig 设计的目标

2）Pig Latine介绍 

3）Pig关键性技术

4）Pig的实用案例第六讲 数据仓库Hive使用

1)Hive设计目标

2)Hive数据模型 

3)Hive关键性技术 

4)Hive的使用案例第七讲 HBase和ZooKeeper使用

1） Hbase运行机制简介

2） HBase与 HDFS

3） HBase的对外接口

4） ZooKeeper的数据模型

5） ZooKeeper的读写机制

6） ZooKeeper的使用方法第八讲 数据抽取工具Sqoop使用

1）数据抽取技术介绍

2）Sqoop中的关键技术

3）Sqoop数据抽取策略

4）数据挖掘及分析第九讲 当前数据中心的改造和转换分析

1）主流商业大数据解决方案比较 

2）主流开源云计算系统比较  

3）国内代表性大数据平台比较  第十讲 各厂商最新的大数据产品介绍

1）IBM的大数据技术

2）HP的大数据技术

3）Teradata的大数据技术

4）其它厂商的大数据处理

课程对象

1，系统架构师、系统分析师、高级程序员、资深开发人员。 

2，牵涉到大数据处理的数据中心运行、规划、设计负责人。 

3，政府机关，金融保险、移动和互联网等大数据来源单位的负责人。 

4，高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。 学员基础 

5，对IT系统设计有一定的理论与实践经验。 

6，有一定的数据仓库与大数据处理的基础知识