Filnk运行模式
1. Session 模式（会话模式）
核心特点
- 共享集群：预先启动一个长期运行的集群，多个作业共享集群资源（JobManager/TaskManager）。
- 资源动态分配：提交作业时，任务槽（Task Slot）按需分配，但资源总量受限于集群初始配置。
- 适用场景：开发调试、短周期作业（如测试环境）、需要快速提交多个小作业的场景。
工作流程
- 启动一个 Session 集群（如通过
start-cluster.sh或 YARN Session）。 - 客户端（CLI、Web UI 或 SDK）向集群提交作业。
- 集群分配 Slot 运行作业，作业结束后资源释放回池。
优缺点
- 优点：启动快，适合快速迭代；资源复用节省开销。
- 缺点：资源隔离性差（一个作业故障可能影响其他作业）；资源争用可能导致性能波动。
2. Job 模式（作业分离模式）
核心特点
- 专属集群：每个作业独享一个集群，作业完成后集群资源完全释放。
- 资源隔离：作业间互不影响，适合生产环境。
- 适用场景：生产环境中长期运行的关键作业；需要严格资源隔离的场景。
工作流程
- 提交作业时，Flink 客户端触发资源管理器（如 YARN、Kubernetes）启动专属集群。
- 集群运行作业，作业完成后自动销毁。
优缺点
- 优点：资源隔离性好，稳定性高；适合生产环境。
- 缺点：每次提交需启动集群，延迟较高；资源无法复用。
3. Application 模式（应用模式）
核心特点
- 主程序在集群中运行：应用的
main()方法在集群的 JobManager 上执行，而非客户端。 - 减少客户端负担：避免客户端成为数据处理瓶颈（如避免大文件上传）。
- 适用场景：大规模作业、客户端资源有限（如边缘计算）；需要简化依赖管理的场景。
工作流程
- 客户端将应用代码和依赖打包提交至集群。
- 资源管理器启动集群，JobManager 直接执行应用逻辑，生成作业图并运行。
优缺点
- 优点：客户端轻量化；依赖管理更简单；适合复杂作业。
- 缺点：调试略复杂（日志需从集群获取）；需要完整打包应用。
4. 与资源管理器的结合
Flink 支持多种资源管理器，不同模式下行为略有差异：
- Standalone 模式：Flink 自带的简单集群，通常用于测试，仅支持 Session 模式。
- YARN：支持 Session、Job、Application 模式，通过
-m yarn-cluster等参数配置。 - Kubernetes：原生支持 Job 和 Application 模式，Session 需借助工具（如 Flink Operator）。
- Mesos：逐渐被其他方案替代，官方支持较弱。
选择运行模式的决策因素
| 因素 | Session 模式 | Job 模式 | Application 模式 |
|---|---|---|---|
| 资源隔离 | 差（共享集群） | 优（独享集群） | 优（独享集群） |
| 启动延迟 | 低（集群已预热） | 高（每次启动集群） | 中高（需打包上传） |
| 客户端依赖 | 需安装 Flink | 需安装 Flink | 仅需提交 JAR（更轻量） |
| 适用场景 | 开发、测试、短作业 | 生产环境长作业 | 大规模作业、边缘计算 |
| 资源利用率 | 高（资源共享） | 低（资源独占） | 中（按需分配） |
示例场景
- 开发调试：本地启动 Session 集群，快速提交多个作业测试逻辑。
- 流处理生产环境：使用 Job 模式 + YARN/Kubernetes，确保作业稳定运行。
- 批处理大数据作业：选择 Application 模式，避免客户端处理海量数据。
总结
Flink 的运行模式本质是围绕资源管理和作业生命周期设计的：
- Session 模式：强调快速响应和资源共享，适合敏捷开发。
- Job 模式：强调隔离性和稳定性，适合生产环境。
- Application 模式：平衡客户端与集群职责，适合复杂和大规模场景。
根据实际需求（如资源、隔离性、启动速度）和部署环境（YARN/K8s/Standalone），合理选择模式能显著提升效率和系统稳定性。