软博数据
     
区块链、Hadoop、Spark、大数据建模、人工智能、软件架构
     网络架构、微服务、机房建设、信息网络安全、产品经理
关于举办“Hadoop大数据平台开发与案例分析 ”高级工程师  实战培训班的通知
 二维码 85

881863870.jpg


       

关于举办“Hadoop大数据平台开发与案例分析 ”高级工程师

实战培训班的通知

1
 课程介绍

1
需求理解

Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性,正是这些设计上与生俱来的优点,才使得Hadoop 一出现就受到众多大公司的青睐,同时也引起了研究界的普遍关注。

对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好地了解客户需求。传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基于X86的Hadoop 平台,引入大数据处理技术的方式,实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择。本课程将全面介绍Hadoop平台开发和运维的各项技术,对学员使用该项技术具有很高的应用价值。

2
培训课程架构与设计思路

(1)培训架构:

本课程分为三个主要部分:

第一部分:重点讲述大数据技术在的应用,使学员对大数据技术的广泛应用有清晰的认识,在这环节当中会重点介绍Hadoop技术在整个大数据技术应用中的重要地位和应用情况。

第二部分:具体对hadoop技术进行模块化分拆,从大数据文件存储系统技术和分布式文件系统平台及其应用谈起,介绍Hadoop技术各主要应用工具和方法,以及在运维维护当中的主流做法,使学员全面了解和掌握Hadoop技术的精华。

第三部分:重点剖析大数据的应用案例,使学员在案例当中对该项技术有更深入的感观印象

(2)设计思路:

本课程采用模块化教学方法,以案例分析为主线,由浅入深、循序渐进、由理论到实践操作进行设计。

(3)与企业的贴合点:

本课程结合企业转型发展及大数据发展战略,围绕企业大数据业务及行业应用市场拓展发展目标,重点讲授Hadoop的应用技术,提升企业IT技术人员的开发和运维能力,有很强的贴合度。

培训时间及地点

2018年12月18日-12月22日    北京 (18日报到)



三、培训对象

业务支撑建设维护室、业务维护室、经营分析室人员;网络部、网管中心、网优中心从事大数据相关工作的人员

四、培训目标

掌握大数据处理平台(Hadoop、Spark、Storm)技术架构、以及平台的安装部署、运维配置、应用开发;掌握主流大数据Hadoop平台和Spark实时处理平台的技术架构和实际应用;利用Hadoop+Spark对行业大数据进行存储管理和分析挖掘的技术应用;讲解Hadoop生态系统组件,包括Storm,HDFS,MapReduce,HIVE,HBase,Spark,GraphX,MLib,Shark, ElasticSearch等大数据存储管理、分布式数据库、大型数据仓库、大数据查询与搜索、大数据分析挖掘与分布式处理技术

五、培训大纲

(1)课程框架

时间

培训内容

教学方式

第一天

上午

第一部分:移动互联网、大数据、云计算相关技术介绍

第二部分:大数据的挑战和发展方向

理论讲授+案例分析

下午

第三部分:大数据文件存储系统技术和分布式文件系统平台及其应用

第四部分:Hadoop文件系统HDFS最佳实战

理论讲授+案例分析+小组讨论

第二天

上午

第五部分:Hadoop运维管理与性能调优

第六部分:NOSQL数据库Hbase与Redis

理论讲授+案例分析+实战演练

下午

第七部分:类SQL语句工具——Hive

第八部分:数据挖掘SPARK建模基础介绍

理论讲授+案例分析+实战演练

第三天

上午

第九部分:Kafka基础介绍

第十部分:大数据典型应用与开发案例分析:互联网数据运营

理论讲授+案例分析

下午

第十一部分:当前数据中心的改造和转换分析-以国内外运营商、互联网公司为例

第十二部分:课程总结与问题答疑

评估培训

理论讲授+案例分析+小组讨论

详细培训内容介绍

课程模块

课程主题

主要内容及案例和演示

模块一

移动互联网、大数据、云计算相关技术介绍

1
数据中心与云计算技术应用

2
智慧城市与云计算技术应用

3
移动互联网、大数据与云计算关联技术

4
移动云计算的生态系统及产业链

5
大数据技术在运营商、金融业、银行业、电子商务行业、零售业、制造业、政务信息化、互联网、教育信息化等行业中的应用实践

6
国内外主流的大数据解决方案介绍

7
当前大数据解决方案与传统数据库方案的剖析比较

8
Cloudera Hadoop 大数据平台方案剖析

9
开源的大数据生态系统平台剖析

模块二

大数据的挑战和发展方向

1
大数据时代的挑战

Ø战略决策能力

Ø技术开发和数据处理能力

Ø组织和运营能力

2
大数据时代的发展方向

Ø云计算是基础设施架构

Ø大数据是灵魂资产

Ø分析、挖掘是手段

Ø发现和预测是最终目标

3
大数据挖掘在各行业应用情况

Ø电信行业应用及案例分析

Ø互联网行业应用及案例分析

Ø金融行业应用及案例研究

Ø销售行业应用案例分析

模块三

大数据文件存储系统技术和分布式文件系统平台及其应用

1
Hadoop的发展历程

ØHadoop大数据平台架构

Ø基于Hadoop平台的PB级大数据存储管理与分析处理的工作原理与机制

ØHadoop 的核心组件剖析

2
分布式文件系统HDFS

Ø概述、功能、作用、优势

Ø应用范畴、应用现状

Ø发展趋势

3
分布式文件系统HDFS架构及原理

Ø核心关键技术

Ø设计精髓

Ø基本工作原理

Ø系统架构

Ø文件存储模式

Ø工作机制

Ø存储扩容与吞吐性能扩展

4
分布式文件系统HDFS操作

ØSHELL命令操作

ØI/O流式操作

Ø文件数据读取、写入、追加、删除

Ø文件状态查询

Ø数据块分布机制

Ø数据同步与一致性

Ø元数据管理技术

Ø主节点与从节点工作机制

Ø大数据负载均衡技术

ØHDFS大数据存储集群管理技术

5
Hadoop生态系统组件

ØStorm

ØHDFS

ØMapReduce

ØHIVE

ØHBase

ØSpark

ØGraphX

ØMLib

ØShark

模块四

Hadoop文件系统HDFS最佳实战

1
HDFS的设计

2
HDFS的概念

Ø数据块

Ønamenode和datanode

Ø联邦HDFS

ØHDFS的高可用性

3
命令行接口

4
Hadoop文件系统

5
Java接口

Ø从Hadoop URL读取数据

Ø通过FileSystem API读取数据

Ø写入数据

Ø目录

Ø查询文件系统

Ø删除数据

6
数据流

Ø剖析文件读取

Ø剖析文件写入

Ø一致模型

7
通过Flume和Sqoop导入数据

8
通过distcp并行复制

9
Hadoop存档

Ø使用Hadoop存档工具

Ø不足

模块五

Hadoop运维管理与性能调优

1
第二代大数据处理框架

ØYarn的工作原理及

ØDAG并行执行机制

ØYarn大数据分析处理案例分析

ØYarn 框架并行应用程序实践

2
集群配置管理

ØHadoop集群配置

ØHadoop性能调优与参数配置

ØHadoop机架感知策略与配置

ØHadoop压缩机制

ØHadoop任务负载均衡

ØHadoop 集群维护

ØHadoop监控管理

3
HDFS的静态调优技巧

ØHDFS 的高吞吐量I/O性能调优技巧

ØMapReduce/Yarn的并行处理性能调优技巧

ØHadoop集群的运行故障剖析,以及解决方案

Ø基于Hadoop大数据应用程序的性能瓶颈剖析与提

ØHadoop 大数据运维监控管理系统 HUE 平台的安装部署与应用配置

ØHadoop运维管理监控系统Ambari平台的安装部配置

ØHadoop 集群运维系统 Ganglia, Nagios的安装部署与应用配置

模块六

NOSQL数据库Hbase与Redis

1
NOSQL基础

ØCAP理论

ØBase与ACID

ØNOSQL数据库存储类型

Ø键值存储

Ø列存储

Ø文档存储

Ø图形存储

2
HBase分布式数据基础

3
安装Hbase

4
Hbase应用

ØHBase的逻辑数据模型,HBase的表、行、列族、列、单元格、版本、row key排序

ØHBase的物理模型,命名空间(表空间)、表模式(Schema)的设计法则

ØHBase 主节点HMaster的工作原理,HMaster的高可用配置,以及性能调优

ØHBase 从节点RegionServer(分区服务节点)的工作原理,表分区及存储I/O高并发配置,以及性能调优

ØHBase的存储引擎工作原理,以及HBase表数据的键值存储结构,以及HFile存储结构剖析

ØHBase表设计与数据操作以及数据库管理操作

ØHBase集群的安装部署、参数配置和性能优化

5
HBase分布式数据库简介、发展历程、应用场景、工作原理、以及应用优势与不足之处

ØHBase分布式数据库集群的主从式平台架构和关键技术剖析

ØHBase伪分布式和物理集群分布式的控制与运行配置

ØHBase从节点RegionServer(分区服务节点)的工作原理,表分区及存储I/O高并发配置,以及性能调优

ØHBase的存储引擎工作原理,以及HBase表数据的键值存储结构,以及HFile存储结构剖析

ØHBase表设计与数据操作以及数据库管理操作

ØHBase集群的安装部署、参数配置和性能优化

ØZooKeeper分布式协调服务系统的工作原理、平台架构、集群部署应用实战

ØZooKeeper集群的原理架构,以及应用配置

6
Redis内存数据库介绍,以及业界应用案例

ØRedis内存数据库集群架构以及核心技术剖析

ØRedis 集群的安装部署与应用开发实战

模块七

类SQL语句工具——Hive

1
安装Hive

2
示例

3
运行Hive

Ø配置Hive

ØHive服务

ØMetastore

4
Hive与传统数据库相比

Ø读时模式vs.写时模式

Ø更新、事务和索引

5
HiveQL

Ø数据类型

Ø操作与函数

6

Ø托管表和外部表

Ø分区和桶

Ø存储格式

Ø导入数据

Ø表的修改

Ø表的丢弃

7
查询数据

Ø排序和聚集

ØMapReduce脚本

Ø连接

Ø子查询

Ø视图

8
用户定义函数

Ø写UDF

Ø写UDAF

模块八

数据挖掘SPARK建模基础介绍


1
Spark简介

ØSpark是什么

ØSpark生态系统BDAS

2
Spark架构

ØSpark分布式架构与单机多核架构的异同

3
Spark集群的安装与部署

ØSpark的安装与部署

ØSpark集群初试

4
Spark硬件配置

ØSpark硬件

ØSpark硬件配置流程

模块九

Kafka基础介绍

1
Kafka介绍

2
kafka体系结构

3
kafka设计理念简介

4
kafka通信协议

5
kafka的伪分布安装、集群安装

6
kafka的shell操作、java操作

7
kafka设计理念*

8
kafka producer和consumer开发

9
Kafka分布式消息订阅系统的应用介绍、平台架构、集群部署与配置应用实战

10
Flume-NG数据采集系统的数据流模型、平台架构、集群部署与配置应用实战

11
Hadoop与DBMS之间数据交互工具Sqoop的应用实践,

12
Sqoop导入导出数据以及Sqoop集群部署与配置

13
Kettle 集群的平台架构、核心技术、部署配置和应用实战

14
利用Sqoop实现 MySQL 与 Hadoop 集群之间

模块十

大数据典型应用与开发案例分析:互联网数据运营

1
案例1:贵州数据交易中心

Ø交易所交易形式:电子交易

Ø交易所服务:大数据交易、大数据清洗建模分析、大数据定向采购、大数据平台技术开发

Ø大数据交易安全性探讨分析

Ø数据交易中心商业模式探讨分析

2
案例2:大数据应用案例:公共交通线路的智能规划

ØUrbanInsights:为公交公司提供基于订阅访问的大数据工具以及大数据咨询服务

ØUrban Insights数据源、数据收集、数据仓库、数据分析——设计运营线路

ØUrban Insights通过互联网数据的运营

3
讨论:浙江移动大数据应用与开发方向

模块十一

当前数据中心的改造和转换分析-以国内外运营商、互联网公司为例

1
流商业大数据解决方案比较

2
主流开源云计算系统比较

3
国内外代表性大数据平台比较

4
各厂商最新的大数据产品介绍

5
案例分析

ØFacebook的SNS平台应用

ØGoogle的搜索引擎应用

ØRackspace的日志处理

ØVerizon成立精准市场营销部

ØTelefonicaDynamicInsights推出的名为“智慧足迹”的商业服务

Ø中国联通的“移动通信用户上网记录集中查询与分析支撑系统”

模块十二


课程总结与问题答疑

师资介绍

张老师:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。

七、颁发证书

参加相关培训并通过考试的学员,可以获得:

工业和信息化部颁发的-《HADOOP大数据》技能证书。该证书可作为专业技术人员职业能力考核的证明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。注:请学员带一寸彩照2张(背面注明姓名)、身份证复印件一张。

证书样本正面.jpg证书样本.jpg

八、培训费用及须知

6800元/人(含教材、培训费、考证费以及学习用具等费用) 食宿统一安排,费用自理。

联 系 人:荀老师            

联系电话:18210108577                                                    

邮    箱: 656759216@qq.com                                              

微    信: 18210108577                                        


文章分类: 相关课程
软博数据------专注大数据教育

合作伙伴:好学校
qrCode
软博数据
手机:18210108577    13522271511

联系邮箱:Hadoop_Spark@qq.com
     
联系QQ:656759216