Spark-Streaming核心编程：有状态转化操作与DStream输出

 

 

在Spark-Streaming的学习旅程中，有状态转化操作和DStream输出是两个关键知识点，今天就来深入聊聊它们。

 

先说说有状态转化操作，这里面 UpdateStateByKey 和 WindowOperations 很重要。 UpdateStateByKey 主要用于跨批次维护状态，就像在流计算里统计单词出现次数并不断累加。使用时，得先定义状态，状态类型不受限制，然后定义状态更新函数，告诉程序怎么用新数据和之前的状态做更新。另外，还得配置检查点目录来保存状态。

 

 WindowOperations 则是通过设置窗口大小和滑动间隔，动态获取当前流计算状态。窗口时长决定计算的时间范围，滑动步长控制计算的触发频率，而且这俩都得是采集周期的整数倍。

 

再看看DStream输出，它规定了对转化后流数据的处理方式。要是一个DStream及其派生的DStream都没执行输出操作，那这些DStream都不会被求值，整个StreamingContext也启动不了。

 

常见的输出操作有 print() ，能在驱动节点打印每批数据的前10个元素，方便开发调试； saveAsTextFiles 、 saveAsObjectFiles 、 saveAsHadoopFiles ，分别用于以不同格式存储数据；还有 foreachRDD(func) ，这是最通用的，能对每个RDD运行任意计算，比如把数据写入MySQL数据库。不过使用时要注意，连接别写在driver层面，也别在 foreach 里为每条数据创建连接，最好用 foreachPartition 在分区创建连接，提升效率。