南京大数据工程师

万和大数据课程体系

课程设置无缝对接企业用人需求，万和四个月，胜读四年书

大数据基础

大数据基础

1.什么是大数据？-大数据概念； 2.大数据主要分类类型； 3.大数据和普通数据的区别；

大数据现状

1.现有企业应用场景； 2.大数据生态圈介绍；

群组讨论

1."自我定义的大数据"-群组讨论； 2.学员技能摸底，情况归档；

Linux基础

Linux基本命令解析

1.熟悉Linux历史背景； 2.了解Linux基本命令；

虚拟机-Centos安装

1.安装虚拟机； 2.安装Mvn，Jdk等工具

Zookeeper

Zookeeper熟悉和用途综述

1.**okeeper介绍 2.**okeeper基础知识 3.体系结构 4.数据模型

Zookeeper环境搭建

1.集群搭建和测试 2.命令行客户端操作 3.**at

Zookeeper开发

1.**tches、Node详解 2.*PI介绍 3.**va Client开发 4.实战内容（现场实验环节）

Zookeeper集群搭建、 命令行Client操作

1.**okeeper 节点类型与体系结构 2.**okeeper Watch 3.**okeeper 与 HBase 的关系 4.**okeeper 更新Server 实例实现 5.**okeeper 分布式锁

Hbase数据库

Hbase熟悉和用途综述

1.**ase介绍 2.**ase基础知识 3.体系结构 4.数据模型

Hbase环境搭建

1.集群搭建和测试 2.命令行客户端操作 3.**at

Hbase开发

1.**ase增删改查 2.**ase的基础get，scanner等命令

Hadoop

hadoop的前世今生

1.大数据背景及hadoop出现的契机 2.**doop概述 3.**doop生态系统 4.**doop分布式文件系统HDFS 5.**doop计算框架MapReduce 6.**doop版本发展历史 7.**doop行业应用案例分析 8.**doop与云计算和大数据的关系

hadoop的前世今生

1.**doop 核心组件简单介绍 2.**doop 部署角色简单介绍 3.**doop 试验集群的部署结构 4.**doop 安装依赖关系 5.**doop 生产环境的部署结构 6.**doop 集群部署 7.**doop 高可用配置方法 8.**doop 集群简单测试方法 9.**doop 集群异常debug方法

hadoop YARN架构设计和核心概念

1.**RN的出现的背景 2.**RN的设计思想和背景 3.**RN的基础架构 4.**RN的工作流程 5.**RN的基础类库详解 6.**RN的核心模块ApplicationMaster详解 7.**RN的核心模块ResourseManager剖析 8.**RN的核心模块NodeManager详解 9.**RN 资源调度器详细介绍

Spark

Spark的发展历程

1.大数据背景及sPARK出现的契机 2.**ark概述 3.**ark生态系统 4.**ark核心组件原理和架构 5.**ark分布式文件系统HDFS 6.**ark计算核心算法 7.**ark部署角色 8.**ark版本发展历史 9.**ark行业应用案例分析

安装Spark

1.**ark 核心组件简单介绍 2.**ark 部署角色简单介绍 3.**ark 试验集群的部署结构 4.**ark 安装依赖关系 5.**ark 生产环境的部署结构 6.**ark 集群部署 7.**ark 高可用配置方法 8.实战内容（现场实验环节）

Spark 部署模式剖析

1.**ark的工作流程 2.**ark的多种调度模式区别 3.**ark的调度通信机制

Spark 高级编程,Spark Streaming高级编程

1.**ark 核心API介绍 2.**ffle 算法介绍 3.**ark异常回滚机制介绍 4.**ark Sql剖析 5.**ark Streaming剖析 6.**ark RDD剖析 7.实战内容（现场实验环节）

Spark 及Spring搭配

1.**ark和Spring集成 2.实战内容（现场实验环节）

Spark编程模型及调优

1.**ark编程模型及调优 2.实战内容（现场实验环节）

storm

Storm基础知识

1.包括storm基本概念 2.**orm应用场景 3.应用现状和发展趋势 4.**orm与hadoop的区别

Storm的架构与原理

1.**mbus进程与Supervisor进程 2.**orm集群环境搭建 3.**okeeper集群的搭建 4.**orm配置文件配置项讲解 5.**orm常用组件和编程API 6.**pology、Spout、Bolt、Storm分组策略 7.（Stream Groupings） 8.**orm项目maven环境的搭建 9.实战内容（现场实验环节）

storm可靠性机制

1.消息处理的含义 2.**orm的ack/fail机制 3.**orm如何保证可靠性 4.**orm如何实现可靠性

storm高并发策略

1.工作进程、执行器与任务的区别 2.配置topology的并行度 3.**pology实例 4.如何改变运行中topology的并行度

流分组

1.什么是流分组 2.6种不同的流分组方式

组件详解

1.基本接口:IComponent接口、ISpout接口、IBolt接口、IRichSpout接口、IRichBolt接口、IBasicBolt接口、IStateSpout、IRichStateSpout接口 2.基本抽象类:BaseComponent抽象类、BaseRichSpout抽象类、BaseRichBolt抽象类、BaseBasicBolt抽象类

storm批处理事务处理

1.**orm批处理详解 2.**orm事务工作原理深入讲解 3.**orm事务相关API详解 4.**orm事务案例分析 5.**orm分区事务与不透明分区事务

Kafka

kafka概述

1.**fka是什么:kafka概念详解：Topics/logs、Distributitions、Producers、Consumers、Guarantees。 2.**fka的应用场景 3.**fka的体系架构与设计原理

kafka的安装部署

1.**fka集群环境的搭建 2.**fka配置项的配置与讲解 3.分布与订阅的原理 4.分布与订阅的接口

kafka使用zookeeper进行协调管理

1.**okeeper在kafka中的作用 2.**okeeper如何进行协调管理