- Spark大数据商业实战三部曲:内核解密|商业案例|性能调优
- 王家林
- 114字
- 2021-03-30 21:55:59
7.7 本章总结
本章阐述了Shuffle原理和源码,Shuffle的框架、Shuffle的框架演进、Shuffle的框架内核及源码、Shuffle数据读写的源码解析等内容;分别对Hash Based Shuffle、Sorted Based Shuffle、Tungsten Sorted Based、Shuffle与Storage模块间的交互进行了讲解。同时,本章着重阐述了BlockManager架构原理、运行流程和源码解密等内幕内容。