当前位置: 首页 > news >正文

Spark读取Apollo配置

--conf 'spark.driver.extraJavaOptions=-Dapp.id=apollo的app.id -Denv=fat -Dapollo.cluster=fat -Dfat_meta=apollo的meta地址' --conf 'spark.executor.extraJavaOptions=-Dapp.id=apollo的app.id -Denv=fat -Dapollo.cluster=fat -Dfat_meta=apollo的meta地址'

在spark的提交命令中,增加如上两行,即可实现spark从apollo配置中心中读取自己的数据

// 加载默认命名空间配置
val config = ConfigService.getAppConfig()
// 获取对应key的值
val value = config.getProperty(key, 默认值)

 参看Apollo

相关文章:

  • 在html中如何创建vue自定义组件(以自定义文件上传组件为例,vue2+elementUI)
  • el-upload 上传逻辑和ui解耦,上传七牛
  • Vue里面elementUi-aside 和el-main不垂直排列
  • ClickHouse 中`MergeTree` 和 `ReplicatedMergeTree`表引擎区别
  • 深入理解机器学习:人工智能的核心驱动力
  • OSPF网络协议
  • 【XR手柄交互】Unity 中使用 InputActions 实现手柄控制详解(基于 OpenXR + Unity新输入系统(Input Actions))
  • Windows环境下常用网络命令使用
  • SIEMENS PLC程序解读 ST 语言 车型识别
  • C++面试复习日记(8)2025.4.25,malloc,free和new,delete的区别
  • HDRnet——双边滤波和仿射变换的摇身一变
  • vite+vue构建的网站项目localhost:5173打不开
  • MYSQL之数据类型
  • 从多类缺陷到高良率跃升|公差分析技术重构动力电池装配精度体系
  • Golang | HashMap实现原理
  • electron-builder 打包安装与启动手动安装,最终解决方案,之前的文章与其他的人都不用看了。
  • 面向对象编程核心:封装、继承、多态与 static 关键字深度解析
  • 使用 uv 工具快速创建 MCP 服务(Trae 配置并调用 MCP 服务)
  • 百度Create2025 AI开发者大会:模型与应用的未来已来
  • 【HTTP/2和HTTP/3的应用现状:看不见的革命】
  • 五粮液一季度净利增长5.8%,今年营收与宏观经济指标保持一致
  • 全国首个古文学习AI大模型在沪发布,可批阅古文翻译
  • 谷歌一季度利润增超四成:云业务利润率上升,宏观环境可能影响广告业务
  • 生态环境部:我国核电规模全球第一,总体安全可控
  • 上海小朋友喜欢读什么书?来看这份“少年儿童阅读报告”
  • 工程院院士应汉杰不再担任苏州大学校长