请询价
适合对象：1，对大数据的前沿技术非常感兴趣的人。 2，有志于成为一名数据科学家的从业人员。 3，有一定算法和编程基础的技术爱好者。
开设课程校区：北京海淀校区
关于举办“基于Python的Spark大数据挖掘技术”培训的通知
各有关单位：
中国科学院计算技术研究所是国家专门的计算技术研究机构，同时也是中国信息化建设的重要支撑单位，中科院计算所培训中心是致力于高端IT类人才培养及企业内训的专业培训机构。中心凭借科学院的强大师资力量，在总结多年大型软件开发和组织经验的基础上，自主研发出一整套课程体系，其目的是希望能够切实帮助中国软件企业培养高级软件技术人才，提升整体研发能力，迄今为止已先后为国家培养了数万名计算机专业人员，并先后为数千家大型国内外企业进行过专门的定制培训服务。
Python是数据分析最常用的语言之一，而Apache Spark是一个开源的强大的分布式查询和处理引擎。本培训用详尽的案例介绍如何使用Python来调用Spark的新特性，如何处理结构化和非结构化的数据，如何使用PySpark中一些基本的可用数据类型，如何生成机器学习模型、操作图像、阅读串流数据以及在云上部署模型。
本培训结合实例来介绍PySpark大数据挖掘。内容包括对Apache Spark基础知识介绍，弹性分布式数据集RDD的内部运行方式讲解，分析利用DataFrame加速PySpark，准备数据建模，检查重复数据及异常数据，分析描述性统计、数据相关性，介绍MLlib数据挖掘工具应用，讲解ML机器学习包功能，使用Blaze实现持久化，讲解Tensorflow基础，分析结构化流Streaming，以及打包Spark应用程序，提交作业和监控执行等。
本培训将合实例，对Python和Spark进行讲解，通过实际操作，了解云环境下，大数据处理、数据探索的基本方法。
一、培训对象
1，对大数据的前沿技术非常感兴趣的人。
2，有志于成为一名数据科学家的从业人员。
3，有一定算法和编程基础的技术爱好者。
二、学员基础
1，对IT系统设计有一定的理论与实践经验。
2，对数据挖掘和数据处理方法有一定的基础知识。
3，对Hadoop/Spark等大数据技术有一定的了解。
三、师资
由业界知名大数据专家亲自授课：
杨老师 主要研究网络信息分析以及云计算相关技术，长期从事通信网管系统、网络信息处理、商务智能(BI)以及电信决策支持系统的研究开发工作，主持和参与了多个国家和省部级基金项目，具有丰富的工程实践及软件研发经验。
四、培训内容
第一讲 Spark基础知识
1)什么是Apache Spark
2)Spark作业和API
3)DataFrame和Dataset
4)Spark 2.0的架构
5)SparkSession介绍
6)Tungsten Phase 2
7)结构化流
第二讲 弹性分布式数据集
1)RDD的内部运行方式
2)创建RDD
3)全局作用域和局部作用域
4)RDD转换
5)RDD操作
第三讲 利用DataFrame加速PySpark
1)Python到RDD之间的通信
2)Catalyst优化器刷新
3)创建DataFrame
4)RDD的交互操作
5)利用DataFrame API查询
6)利用SQL查询
7)DataFrame应用实例
第四讲 准备数据建模
1)检查重复数据及异常数据
2)描述性统计
3)数据相关性
4)数据可视化
5)直方图
第五讲 MLlib数据挖掘工具
1)MLlib包概述
2)加载和转换数据
3)数据相关性和描述性统计
4)创建最终数据集
5)MLlib应用实例-预测婴儿生存机会
第六讲 ML机器学习包
1)ML包的概述
2)分类、回归和聚类
3)使用ML预测婴儿生存率
4)ML超参调优
5)ML的特征提取
6)ML的其他功能
第七讲 使用Blaze实现持久化
1)安装Blaze
2)混合持久化
3)使用NumPy和pandas数据
4)与关系型数据库进行交互
5)数据操作和访问
6)数据连接
第八讲 Tensorflow基础
1)神经网络和深度学习
2)TensorFlow介绍和安装
3)配置和设置TensorFlow
4)使用TensorFlow进行矩阵分析
5)TensorFlow操作示例
第九讲 结构化流Streaming
1)Streaming介绍
2)Streaming的基本组件
3)Streaming应用程序数据流
4)用DStream简化Streaming应用程序
5)全局聚合
6)结构化流介绍
第十讲 打包Spark应用程序
1)spark-submit命令
2)以编程方式部署应用程序
3)配置你的SparkSession
4)创建SparkSession
5)模块化代码
6)提交作业和监控执行
五、培训目标
1, 学习Python和Spark的相关基础知识。
2，学习Python和Spark的核心技术方法及应用。
3，了解Python和Spark在数据分析中的使用。
六、时间、地点
时间： 2018年6月12日-6月14日 地点：北京
七、证书
培训结束，颁发中科院计算所职业培训中心“基于Python的Spark大数据挖掘技术”结业证书。
八、费用
培训费：5800元/人（含教材、证书、午餐、学习用具）。住宿协助安排，费用自理。
中科院计算所培训学校（北京市海淀区中科院计算所职业技能培训学校）成立于1987年，是计算所根据国家普及计算机知识，培养专业计算机人才而创建的。培训中心依托中国科学院强大的技术背景，历经二十年的发展，为全国各企事业单位、部队、院校等累计培养了近十七万人次的计算机专业人才，并为多家企业提供了高质量的咨询服务，现已形成企业内训、高端公开课、GJB5000A/CMMI培训与咨询、企业全方位咨询服务四大业务模块，在业界具有良好信誉。
“科学、高效、权威、品质”是北京市海淀区中科院计算所职业技能培训学校的经营宗旨，面向企业人是其明确的市场定位。中科院计算所针对企业的信息化建设具有悠久的历史，其IT技术培训是一个长期积累、与时俱进的过程。1987年，我国的信息化建设十分滞后，计算机相关设备仅见于政府、部队和部分大型国内企业，专业技术急待普及，中科院计算所适时创建了培训中心，从计算机的基本概念、原理和维护到Windows、unix、linux应用到Oracle、DB2、数据仓库、J2EE、.net，再到现在高端企业级需求分析、架构设计、系统设计及咨询、云计算、海量数据，始终与国际较前沿的IT技术接轨。25年，培训中心的服务广泛应用于全国各地电信、通信、电力、石化、金融、教育、部队、交通、医药、服务等各行各业，为我国的信息化建设做出了卓越的贡献，成为中国IT精英权威培训咨询机构。
北京市海淀区中科院计算所职业技能培训学校拥有一批具有多年丰富实际开发与教学经验兼备的优秀专职教师队伍、咨询专家，有一支活跃于软件行业的研发团队。中心凭借强大的师资力量，把握当今世界较前沿的开发技术，在总结多年大型软件开发和组织经验的基础上，自主研发出百门课程体系，满足企业各层次的培训需求，其目的是希望通过有经验高水平教师的讲授来真正解决企业信息化建设中的问题，切实帮助中国软件企业培养高级软件技术人才，提升企业的整体研发能力。授课教师从思想、方法和技术三个层面系统讨论企业信息化建设及大型软件设计理论和方法，并且通过一些精心选择的案例，揉合教师的大型项目经验，以项目过程中的问题带动原理的描述，理论和实际相结合，重点讲清问题，从而使学员在企业信息化建设项目中发挥更大的作用。
面对千变万化的IT技术，北京市海淀区中科院计算所职业技能培训学校不仅传授给学员当今IT潮流较核心的前沿技术和解决问题的方法，同时也为学员提供后续技术支持，更指导学员如何把握技术动态的方法和考虑问题、潜心学习的思维方式，旨在为国内外各企事业单位培养实用型、潜力型IT高端管理、创新人才，实现“与企业共发展，同携手开创未来”的美好愿景。
我们承诺：充分的资源共享、完善的管理模式和立足潮头的前沿技术，必将使您在更广的领域享受到更佳的培训服务！为了明天，我们一起努力
