对码当歌,猿生几何?

spark共享变量:累加器与广播变量

  • 累加器

       累加器提供了将工作节点中的值聚合到驱动器程序中的简单语法。累加器一个常见用途是,在调试时对作业执行过程中的事件进行计数。

       执行行动操作后,累加器的值才会更新;

       累加器的值只有在驱动程序才能访问,从工作节点上任务的角度看,累加器只是一个只写变量。在这种模式下,累加器的实现可以更加高效,不需要对每次更新操作进行复杂的通信。

 

  • 广播变量

       广播变量可以让程序高效地向所有工作节点发送一个较大的只读值,以供一个或多个spark操作使用。比如,如果你的应用需要向所有节点发送一个较大的只读查询表,或者是机器学习算法中的一个很大的特征向量,广播变量是一种很好的处理方式。

       Spark会自动把闭包中所有引用到的变量发送到工作节点上,但是很低效,原因有二:首先,默认的任务发射机制是专门为小任务进行优化的;其次,在多个并行操作中使用同一个变量,spark会为每个操作分别发送。而广播变量会将变量只发送一次到各个节点,使用的是一种高效的类似BitTorrent的通信机制。

阅读更多