大数据平台建设培训与咨询
培训大纲:
大数据发展历程及主流技术栈构成
1. 为什么会出现大数据,大数据的演进过程是怎么样的
2. 商业智能BI、数据仓库DW、数据湖DL、数据中台的原理、区别和核心职能
3. 支撑大数据平台的主流框架技术介绍:Spark、Flink、HDFS、HBase、Hive、Kylin、Presto、Kafka、ClickHouse 等
整体大数据平台核心板块构成及架构设计
1. 整体大数据处理链路介绍及每个环节的技术选型方案
2. 五大核心板块介绍:数据接入处理(收集、接收、解析、标准化 等)、数据治理与管理(安全脱敏、ID-Mapping血缘图谱、主体式数据仓库 等)、数据消费提取(批量、实时、T+1、API 等)、数据链路跟踪(数据回溯、中间状态追踪、数据服务保障 等)、数据工具支撑(可视化建模、任务调度、数据搬迁 等)
3. 整体大数据架构设计介绍:技术架构、存储与计算架构、部署架构、容灾架构,实时流计算,离线存储的核心本质,如何监测实时流处理过程中的问题回溯
4. HDFS、HBase、Hive、Kylin、Spark Streaming/SQL、Flink的底层核心原理及适用业务场景(结合实际工程代码方式讲解)
大型分布式数据仓库建模思路与实践
1. 软件系统建模方法:(结构型)类图、对象图、构件图、部署图、包图;(行为型)动图、状态机图、顺序图、通信图、用例图、时间图
2. 常用数据建模方法:实体建模法、维度建模法、范式建模法(结合案例讲解)
3. 基于中台思想,数据分层的主体思路与重要性介绍
4. 基于分布式数据仓库,针对数据的采集、处理、建模的最佳实践介绍
5. 数据仓库建设方法论,星型模型(非关系型DB存储,以空间换时间)和雪花模型(关系型DB存储,以时间还空间)两种建模思想的核心差异和适用场景
数据建模与处理行业案例分析(思路、方法、技术选型)
1. 基于事件驱动U-E建模,结合业务分拆数据处理粒度、维度、范围、边界,如:主题式抽取,数据标签化定义 等
2. 结合业务讲解E-R模型构建,动态、静态属性识别,数据客观事实关系识别与定义
3. 基于车联网领域秒级、毫秒级数据上报如何接收与处理
4. 如何解决数据挤压问题,有哪些成熟的方法和技术手段
5. 数据接入云端后,如何防丢失,如何做削峰处理,如何保障后续服务健康运行
6. 案例分析:数据接收、解析、建模、存储、计算、提取全流程中行业
如果您想学习本课程,请
预约报名
如果没找到合适的课程或有特殊培训需求,请
订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请
服务特点:
海量专家资源,精准匹配相关行业,相关项目专家,针对实际需求,顾问式咨询,互动式授课,案例教学,小班授课,实际项目演示,快捷高效,省时省力省钱。
专家力量:
中国科学院软件研究所,计算研究所高级研究人员
oracle,微软,vmware,MSC,Ansys,candence,Altium,达索等大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关技术专业,理论素养丰富
多年实际项目经历,大型项目实战案例,热情,乐于技术分享
针对客户实际需求,案例教学,互动式沟通,学有所获