累加器
累加器提供了将工作节点中的值聚合到驱动器程序中的简单语法。累加器一个常见用途是,在调试时对作业执行过程中的事件进行计数。
执行行动操作后,累加器的值才会更新;
累加器的值只有在驱动程序才能访问,从工作节点上任务的角度看,累加器只是一个只写变量。在这种模式下,累加器的实现可以更加高效,不需要对每次更新操作进行复杂的通信。
广播变量
广播变量可以让程序高效地向所有工作节点发送一个较大的只读值,以供一个或多个spark操作使用。比如,如果你的应用需要向所有节点发送一个较大的只读查询表,或者是机器学习算法中的一个很大的特征向量,广播变量是一种很好的处理方式。
Spark会自动把闭包中所有引用到的变量发送到工作节点上,但是很低效,原因有二:首先,默认的任务发射机制是专门为小任务进行优化的;其次,在多个并行操作中使用同一个变量,spark会为每个操作分别发送。而广播变量会将变量只发送一次到各个节点,使用的是一种高效的类似BitTorrent的通信机制。