当前位置： 首页 > news >正文

Spark-SQL（二）

news 来源：原创 2025/4/22 0:09:37

一. 利用IDEA开发Spark-SQL

1 在pop.xml中添加spark-sql依赖

2 spark-sql测试代码

1）在idea中读取json文件创建DataFrame

2）SQL风格语法

3 ）DSL风格语法

4） RDD转换成DataFrame，DataFrame转换成DataSet

5）DataSet转换成DataFrame ，DataFrame转换成 RDD

实例演示

运行结果

二 自定义函数

UDF

创建SparkSession ，读取json文件

实例演示

运行结果

三 UDAF

任务需求:计算平均工资

方式一 :RDD

运行结果

方式二：弱类型UDAF

运行结果

方式三：强类型UDAF

实例演示

运行结果

相关文章：

  • 轻量级Python IDE使用（五）——条件分支
  • STM32F103_HAL库+寄存器学习笔记15 - 梳理CAN发送失败时，涉及哪些寄存器
  • Linux：Ext系列文件系统
  • Python网络爬虫设计（一）
  • 牛客月赛114
  • DDS函数信号发生器设计
  • Redis之RedLock算法以及底层原理
  • YOLOv2学习笔记
  • 实战指南：封装Whisper为FastAPI接口并实现高并发处理-附整合包
  • 案例驱动的 IT 团队管理：创新与突破之路：第四章 危机应对：从风险预见到创新破局-4.2 人才流失危机-4.2.3梯队建设的“洋葱模型“
  • 【MySQL】
  • 阿里FPGA XCKU3P开箱- 25G 光纤
  • 鸿蒙NEXT开发全局上下文管理类（ArkTs）
  • 进程的查看与属性
  • java分页实例
  • Python + Playwright：编写自动化测试的避坑策略
  • Typora更改快捷键 markdown语法大全
  • 关闭谷歌浏览器（Google Chrome）的自动更新可以通过以下方法实现。具体操作步骤取决于你的操作系统。
  • C#VIN 码识别接口：汽车后市场的智能数据管理利器
  • 微服务即时通信系统---（四）框架学习
  • 中保协：当前普通型人身保险产品预定利率研究值为2.13%
  • 花卉引流+商场促销，上海浦东用“花经济”带动“消费热”
  • 明查｜俄罗斯征兵部门突袭澡堂抓捕壮丁？
  • 海南一男子涨潮时赶海与同伴走散，警民协同3小时将其救上岸
  • 再现逆转！蒯曼击败伊藤美诚晋级澳门世界杯女单决赛
  • 网络社群的早期历史及其启示