绿色排版工具|热门专题|网站地图|移动官网
您的当前位置:网站首页 > 电子书 > 计算机类 > 正文

深入理解Spark:核心思想与源码分析 带书签目录 pdf版

来源:[db:来源] 编辑:脚本之家 时间:2019-07-29 14:47:17 阅读:

《深入理解SPARK:核心思想与源码分析》结合大量图和示例,对Spark的架构、部署模式和工作模块的设计理念、实现源码与使用技巧进行了深入的剖析与解读。

《深入理解SPARK:核心思想与源码分析》一书对Spark1.2.0版本的源代码进行了全面而深入的分析,旨在为Spark的优化、定制和扩展提供原理性的指导。阿里巴巴集团专家鼎力推荐、阿里巴巴资深Java开发和大数据专家撰写。

本书分为三篇:

准备篇(第1~2章),介绍了Spark的环境搭建、设计理念与基本架构,帮助读者了解一些背景知识。

核心设计篇(第3~7章),着重讲解SparkContext的初始化、存储体系、任务提交与执行、计算引擎及部署模式的原理和源码分析。通过这部分的内容,读者可以通过源码剖析更加深入理解Spark的核心设计与实现,以便在实际使用中能够快速解决线上问题并对性能进行调优。

扩展篇(第8~11章),主要讲解基于Spark核心的各种扩展及应用,包括SQL处理引擎、Hive处理、流式计算框架Spark Streaming、图计算框架GraphX、机器学习库MLlib等内容。通过阅读这部分内容,读者可以扩展实际项目中对Spark的应用场景,让Spark焕发活力。

目录
前言
准 备 篇
第1章 环境准备 2
1.1 运行环境准备 2
1.1.1 安装JDK 3
1.1.2 安装Scala 3
1.1.3 安装Spark 4
1.2 Spark初体验 4
1.2.1 运行spark-shell 4
1.2.2 执行word count 5
1.2.3 剖析spark-shell 7
1.3 阅读环境准备 11
1.4 Spark源码编译与调试 13
1.5 小结 17
第2章 Spark设计理念与基本架构 18
2.1 初识Spark 18
2.1.1 Hadoop MRv1的局限 18
2.1.2 Spark使用场景 20
2.1.3 Spark的特点 20
2.2 Spark基础知识 20
2.3 Spark基本设计思想 22
2.3.1 Spark模块设计 22
2.3.2 Spark模型设计 24
2.4 Spark基本架构 25
2.5 小结 26
核心设计篇
第3章 SparkContext的初始化 28
3.1 SparkContext概述 28
3.2 创建执行环境SparkEnv 30
3.2.1 安全管理器SecurityManager 31
3.2.2 基于Akka的分布式消息系统ActorSystem 31
3.2.3 map任务输出跟踪器mapOutputTracker 32
3.2.4 实例化ShuffleManager 34
3.2.5 shuffle线程内存管理器ShuffleMemoryManager 34
3.2.6 块传输服务BlockTransferService 35
3.2.7 BlockManagerMaster介绍 35
3.2.8 创建块管理器BlockManager 36
3.2.9 创建广播管理器Broadcast-Manager 36
3.2.10 创建缓存管理器CacheManager 37
3.2.11 HTTP文件服务器HttpFile-Server 37
3.2.12 创建测量系统MetricsSystem 39
3.2.13 创建SparkEnv 40
3.3 创建metadataCleaner 41

相关文章推荐:

图文精选:

Copyright©2012-2019 小蚂蚁信息网版权所有 粤ICP备14061018号-1


郑重声明:本网站资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有,如有不愿意被转载的情况,请通知我们删除已转载的信息。

Top