软博数据
     
区块链、Hadoop、Spark、大数据建模、人工智能、软件架构
     网络架构、微服务、机房建设、信息网络安全、产品经理
大数据平台搭建与高性能计算最佳实战” 培训班的通知
 二维码 39



    关于举办“大数据平台搭建与高性能计算最佳实战”培训班的通知                

1
培训收益

通过此次课程培训,可使学习者获得如下收益:

1.深刻理解在“互联网+”时代下大数据的产生背景、发展历程和演化趋势;

2.了解业界市场需求和国内外最新的大数据技术潮流,洞察大数据的潜在价值;

3.理解大数据项目解决方案及业界大数据应用案例,从而为企业在大数据项目中的技术选型及技术架构设计提供决策参考;

4.掌握业界最流行的Hadoop与Spark大数据技术体系;

5.掌握大数据采集技术;

6.掌握大数据分布式存储技术;

7.掌握NoSQL与NewSQL分布式数据库技术;

8.掌握大数据仓库与统计机器学习技术;

9.掌握大数据分析挖掘与商业智能(BI)技术;

10.掌握大数据离线处理技术;

11.掌握Storm流式大数据处理技术;

12.掌握基于内存计算的大数据实时处理技术;

13.掌握大数据管理技术的原理知识和应用实战;

14.深入理解大数据平台技术架构和使用场景;

15.娴熟运用Hadoop与Spark大数据技术体系规划解决方案满足实际项目需求;

16.熟练地掌握基于Hadoop与Spark大数据平台进行应用程序开发、集群运维管理和性能调优技巧。

2
培训特色

1.课程培训业界最流行、应用最广泛的Hadoop与Spark大数据技术体系。强化大数据平台的分布式集群架构和核心关键技术实现、大数据应用项目开发和大数据集群运维实践、以及Hadoop与Spark大数据项目应用开发与调优的全过程沙盘模拟实战。

2.通过一个完整的大数据开发项目及一组实际项目训练案例,完全覆盖Hadoop与Spark生态系统平台的应用开发与运维实践。课堂实践项目以项目小组的形式进行沙盘实操练习,重点强化理解Hadoop与Spark大数据项目各个阶段的工作重点,同时掌握作为大数据项目管理者的基本技术与业务素养。

3.本课程的授课师资都是有着多年在一线从事Hadoop与Spark大数据项目的资深讲师,采用原理技术剖析和实战案例相结合的方式开展互动教学、强化以建立大数据项目解决方案为主体的应用开发、技术讨论与交流咨询,在学习的同时促进讲师学员之间的交流,让每个学员都能在课程培训过程中学到实实在在的大数据技术知识体系,以及大数据技术应用实战技能,具备实际大数据应用项目的动手开发实践与运维管理部署能力。授课过程中,根据学员需求,增设交流环节,可将具体工作中遇到的实际问题展开讨论,讲师会根据学员的实际情况微调授课内容,由讲师带着全部学员积极讨论,并给出一定的时间让学员上台发言,现场剖析问题的症结,规划出可行的解决方案。

三  培训时间及地点


2018年12月13日-12月17日        武汉(13日全天报道)


四 授课专家

张老师:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。

五 培训费用

培训费5800元/人(含培训费、场地费、资料费、学习期间午餐),食宿可统一安排,费用自理。请学员带身份证复印件一张。

本课程由工业和信息化部全国网络与信息技术项目管理中心颁发《大数据平台搭建与高性能计算高级工程师》证书, 证书可作为专业技术人员职业能力考核的证明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。

六 日程安排

日程

培训模块

培训内容

第一天

上午

大数据技术基础

1
大数据的产生背景与发展历程

2
大数据的4V特征,以及与云计算的关系

3
大数据应用需求以及潜在价值分析

4
业界最新的大数据技术发展态势与应用趋势

5
大数据思维的转变

业界主流的大数据技术方案

1
大数据软硬件系统全栈与关键技术介绍

2
大数据生态系统全景图

3
主流的大数据解决方案介绍

4
Apache大数据平台方案剖析

5
CDH大数据平台方案剖析

6
HDP大数据平台方案剖析

大数据计算模型(一)——批处理MapReduce

1
MapReduce产生背景与适用场景

2
MapReduce计算模型的基本原理

3
MapReduce作业执行流程

4
MapReduce基本组件,JobTracker和TaskTracker

5
MapReduce高级编程应用,Combiner和Partitioner

6
MapReduce性能优化技巧

7
MapReduce案例分析与开发实践操作

第一天

下午

大数据存储系统与应用实践

1
分布式文件系统HDFS产生背景与适用场景

2
HDFS master-slave系统架构与读写工作原理

3
HDFS核心组件技术讲解,NameNode与fsimage、editslog,DataNode与数据块

4
HDFS Federation机制,viewfs机制,使用场景讲解

5
HDFS高可用保证机制,SecondaryNameNode,NFS冷备份,基于zookeeper的HA方案

大数据实战练习一

1. Hadoop平台搭建、部署与应用实践,包含HDFS分布式文件系统,YARN资源管理软件,MapReduce计算框架软件

2. HDFS shell命令操作

3. MapReduce程序在YARN上运行

第二天

上午

Hadoop框架与生态发展,以及应用实践操作

1
Hadoop的发展历程

2
Hadoop 1.0的核心组件JobTracker,TaskTracker,以及适用范围

3
Hadoop 2.0的核心组件YARN工作原理,以及与Hadoop 1.0的联系与区别

4
Hadoop YARN的资源管理与作业调度机制

5
Hadoop 常用性能优化技术

大数据计算模型(二)——实时处理/内存计算 Spark


1
MapReduce计算模型的瓶颈

2
Spark产生动机、基本概念与适用场景

3
Spark编程模型与RDD弹性分布式数据集的工作原理与机制

4
Spark实时处理平台运行架构与核心组件

5
Spark宽、窄依赖关系与DAG图分析

6
Spark容错机制

7
Spark作业调度机制

8
Spark standardalone,Spark on YARN运行模式

9
Scala开发介绍与Spark常用Transformation函数介绍

第二天

下午

大数据仓库查询技术Hive、SparkSQL、Impala,以及应用实践

1
基于MapReduce的大型分布式数据仓库Hive基础知识与应用场景

2
Hive数据仓库的平台架构与核心技术剖析

3
Hive metastore的工作机制与应用

4
Hive 分区、分桶机制,Hive行、列存储格式

5
基于Spark的大型分布式数据仓库SparkSQL基础知识与应用场景

6
Spark SQL实时数据仓库的实现原理与工作机制

7
SparkSQL程序开发与DataFrame机制介绍

8
基于MPP的大型分布式数据仓库Impala基础知识与应用场景

9
Impala实时查询系统平台架构、关键技术介绍,以及与Hive,SparkSQL的对比

Hadoop集群运维监控工具

1. Hadoop运维管理监控系统Ambari工具介绍

2. 第三方运维系统与工具Ganglia, Nagios

大数据实战练习二

1.基于 Hadoop平台搭建、部署与配置Spark集群,Spark shell环境实践,Spark案例程序分析,Spark程序开发与运行

2. 基于MapReduce的Hive数据仓库实践,Hive集群安装部署,基于文件的Hive数据仓库表导入导出与分区操作,Hive SQL操作,Hive客户端操作

3. 基于Hive的SparkSQL shell实践操作

第三天

上午

大数据计算模型(三)——流处理Storm, SparkStreaming


1
流数据处理应用场景与流数据处理的特点

2
流数据处理工具Storm的平台架构与集群工作原理

3
Storm关键技术与并发机制

4
Storm编程模型与基本开发模式

5
Storm数据流分组

6
Storm可靠性保证与Acker机制


第三天

下午

大数据ETL操作工具,与大数据分布式采集系统

1
Hadoop与DBMS之间数据交互工具的应用

2
Sqoop导入导出数据的工作原理

3
Flume-NG数据采集系统的数据流模型与系统架构

4
Kafka分布式消息订阅系统的应用介绍与平台架构,及其使用模式

面向OLTP型应用的NoSQL数据库及应用实践

1
关系型数据库瓶颈,以及NoSQL数据库的发展,概念,分类,及其在半结构化和非结构化数据场景下的适用范围

2
列存储NoSQL数据库HBase简介与数据模型剖析

3
HBase分布式集群系统架构与读写机制,ZooKeeper分布式协调服务系统的工作原理与应用

4
HBase表设计模式与primary key设计规范

5
文档NoSQL数据库MongoDB简介与数据模型剖析

6
MongoDB集群模式、读写机制与常用API操作

8.键值型NoSQL数据库Redis简介与数据模型剖析

9.Redis多实例集群架构与关键技术

10.NewSQL数据库技术简介及其适用场景

大数据实战练习三

1.Sqoop安装、部署与配置,基于Sqoop、MySQL与Hive操作MySQL数据库与Hive数据仓库数据导入导出

2.Kafka安装、部署与配置,基于Kafka创建和消费topic实践操作

3.Flume+HDFS+MapReduce/Spark大数据采集、存储与分析实践操作

大数据项目选型、实施、优化等问题交流讨论

大数据项目的需求分析、应用实施、系统优化,以及解决方案等咨询与交流讨论

第四天

学习考核与业内经验交流

联系人:荀老师    

电话:18210108577

QQ:656759216

文章分类: 相关课程
软博数据------专注大数据教育

合作伙伴:好学校
qrCode
软博数据
手机:18210108577    13522271511

联系邮箱:Hadoop_Spark@qq.com
     
联系QQ:656759216