- Spark大数据商业实战三部曲:内核解密|商业案例|性能调优
- 王家林
- 130字
- 2021-03-30 21:55:48
2.6 Spark 2.2 GraphX
Apache Spark 2.2.0版本中GraphX的更新如下。
1.Bug修复
SPARK-18847:PageRank对图汇、图形给出不正确的结果。
SPARK-14804:图形vertexRDD/EdgeRDD检查点结果报异常ClassCastException。
2.系统优化
SPARK-18845:PageRank初始值提升,实现更快的收敛。
SPARK-5484:Pregel应定期检查点,以避免堆栈溢出异常StackOverflowError。
Spark 2.X版本对图计算的改动并不多,使PageRank更加个性化以及移除了Bagel模块。