主题

内容

大数据发展历程及主流技术栈构成

1. 为什么会出现大数据，大数据的演进过程是怎么样的
2. 商业智能BI、数据仓库DW、数据湖DL、数据中台的原理、区别和核心职能
3. 支撑大数据平台的主流框架技术介绍：Spark、Flink、HDFS、HBase、Hive、Kylin、Presto、Kafka、ClickHouse 等

整体大数据平台核心板块构成及架构设计

1. 整体大数据处理链路介绍及每个环节的技术选型方案
2. 五大核心板块介绍：数据接入处理（收集、接收、解析、标准化 等）、数据治理与管理（安全脱敏、ID-Mapping血缘图谱、主体式数据仓库 等）、数据消费提取（批量、实时、T+1、API 等）、数据链路跟踪（数据回溯、中间状态追踪、数据服务保障 等）、数据工具支撑（可视化建模、任务调度、数据搬迁 等）
3. 整体大数据架构设计介绍：技术架构、存储与计算架构、部署架构、容灾架构，实时流计算，离线存储的核心本质，如何监测实时流处理过程中的问题回溯
4. HDFS、HBase、Hive、Kylin、Spark Streaming/SQL、Flink的底层核心原理及适用业务场景（结合实际工程代码方式讲解）

大型分布式数据仓库建模思路与实践

1. 软件系统建模方法：（结构型）类图、对象图、构件图、部署图、包图；（行为型）动图、状态机图、顺序图、通信图、用例图、时间图
2. 常用数据建模方法：实体建模法、维度建模法、范式建模法（结合案例讲解）
3. 基于中台思想，数据分层的主体思路与重要性介绍
4. 基于分布式数据仓库，针对数据的采集、处理、建模的最佳实践介绍
5. 数据仓库建设方法论，星型模型（非关系型DB存储，以空间换时间）和雪花模型（关系型DB存储，以时间还空间）两种建模思想的核心差异和适用场景

数据建模与处理行业案例分析（思路、方法、技术选型）

1. 基于事件驱动U-E建模，结合业务分拆数据处理粒度、维度、范围、边界，如：主题式抽取，数据标签化定义 等
2. 结合业务讲解E-R模型构建，动态、静态属性识别，数据客观事实关系识别与定义
3.  基于车联网领域秒级、毫秒级数据上报如何接 收与处理，以及如何将其实时数据和离线的历史数据 结合处理分析
4. 如何解决数据挤压问题，有哪些成熟的方法和技术手段

5. 数据接入云端后，如何防丢失，如何做削峰处理，如何保障后续服务健康运行
6. 案例分析：数据接收、解析、建模、存储、计算、提取全流程中行业如何实战落地