- Spark大数据商业实战三部曲:内核解密|商业案例|性能调优
- 王家林
- 180字
- 2021-03-30 21:55:57
第7章
Shuffle原理和源码详解
本章对Shuffle原理和源码进行剖析。7.1节讲解MapReduce的Shuffle架构;7.2节讲解Shuffle的框架、框架内核、Shuffle数据读写的源码解析;7.3节讲解Hash Based Shuffle内核及Hash Based Shuffle数据读写的源码解析;7.4节讲解Sorted Based Shuffle内核及数据读写的源码解析;7.5节讲解Tungsten Sorted Based内核及Tungsten Sorted Based数据读写的源码解析;7.6节讲解Shuffle与Storage模块间的交互以及Shuffle注册的交互,Shuffle读写数据的交互,并讲解BlockManager架构原理及源码,解密BlockManager进阶的相关内容。