上海大数据管理专家

大数据管理专家

岗位职责

负责大数据集群系统运维，包含系统监控、应急响应、容量规划等，研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向；

设计和指导基于Hadoop的MapReduce、Hive、HBase等应用开发；

1、负责公司核心集群的运维工作,保证其高可用和稳定性。

2、负责集群容量规划、扩容及集群性能优化。

3、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的Hadoop运维技术及发展方向。

4、设计实现分布式集群的运维、监控和管理平台。

岗位阶梯

系统维护工程师、运维工程师、数据库管理员、技术支持 

大数据研发工程师、大数据管理工程师、大数据架构师

运维总监、IT经理、大数据研发经理、大数据项目经理

课程介绍

  目前Hadoop在很多企业应用越来越广泛，Hadoop人才也很稀缺和抢手，待遇也水涨船高。本系列课讲解目前主流的Hadoop版本Cloudera Hadoop 5（这里采用cdh5.1），该版本相比0.20.x，性能和稳定性上提高很多。CDH5环境搭建相比旧版本也复杂很多，但可以用Cloudera-Manager对集群进行管理和配置。CDH5默认集成了常用的所有组件如Hive、Sqoop、Hbase、Hue、Pig、Flume、Spark、Zookeeper等，从而形成一功能强大的分布式平台。

课程设置

课程模块主要内容

Java核心课 

Java 入门基础、Java 程序设计+高级工具包开发、SCJP/OCJP

Oracle认证Java程序设计工程师

RHCE 

RHCE是Red Hat推出的Linux认证，主要考核技术人员对Linux内核系统的管理能力,能够具备安装、配置一个全新的Linux系统，并将其对接企业级网络及数据库的能力。

OCP 

OCP认证专家级技能和技术知识考试, 通过这个考试, 说明具备管理大型数据库的能力, 或者能够开发可以部署到整个企业的强大应用，并进行跨平台ORACLE实战部署。

MYSQL 

本节主要是认识数据库环境，了解数据库的操作步骤，掌握一些数据库连接的方法、创建和设置数据库等。

CISCO data center 

1. 互联网线缆、设备上架、设备系统更新、线缆选用等基础布线方法。

2. 互联网维护时的故障诊断和临时解决方案流程解析。

HADOOP融合微软构建和运营公共云的丰富经验，Windows Server 2012 作为云计算时代的新一代的IT 平台，为企业和托管服务提供商提供了可扩展的、动态的、多租户感知的服务器和云基础结构，实现了安全的跨地域连接，并使得IT 系统和人员能够更快、更有效地响应业务需求。

NO.SQL 

NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心。