关于yarn和hadoop
1.yarn的定义？
YARN（Yet Another Resource Negotiator）是 Apache Hadoop 的一个关键组件，它是一个资源管理平台，负责管理和调度计算资源。YARN 允许多个数据处理引擎（如 MapReduce、Spark、Flink 等）在同一个 Hadoop 集群上运行，从而提高了集群的利用率和灵活性。
YARN 的主要特点包括：
-
资源管理：
-
YARN 负责整个集群的资源管理，包括 CPU、内存等。
-
它通过将资源抽象为“容器”（Container），为每个应用程序分配适当的资源。
-
-
调度：
-
YARN 提供了灵活的调度策略，可以根据不同的资源需求和优先级来调度任务。
-
它支持多种调度器，如容量调度器（Capacity Scheduler）和公平调度器（Fair Scheduler）。
-
-
多框架支持：
-
YARN 不仅支持 Hadoop 的 MapReduce 框架，还可以支持其他数据处理框架，如 Apache Spark、Apache Flink、Apache Tez 等。
-
这种多框架支持使得 YARN 成为一个通用的数据处理平台。
-
-
高可用性：
-
YARN 的 ResourceManager 和 NodeManager 都支持高可用性配置，可以避免单点故障，提高系统的稳定性。
-
-
可扩展性：
-
YARN 设计为可扩展的，可以轻松地添加更多的节点到集群中，以支持更大的数据处理任务。
-
YARN 的主要组件：
-
ResourceManager（RM）：
-
负责整个集群的资源管理和分配。
-
它维护集群的资源视图，并根据应用程序的需求分配资源。
-
-
NodeManager（NM）：
-
运行在每个集群节点上，负责管理该节点的资源。
-
它监控节点上的资源使用情况，并与 ResourceManager 通信以获取资源分配指令。
-
-
ApplicationMaster（AM）：
-
每个应用程序（如 MapReduce 作业、Spark 应用程序等）都有一个 ApplicationMaster。
-
它负责协调和管理应用程序的生命周期，包括资源请求、任务调度和监控。
-
工作流程：
-
用户提交应用程序到 ResourceManager。
-
ResourceManager 为应用程序分配资源，并启动 ApplicationMaster。
-
ApplicationMaster 与 NodeManager 通信，请求资源以启动任务。
-
NodeManager 在分配的容器中启动任务，并监控任务的执行。
-
任务完成后，ApplicationMaster 向 ResourceManager 报告结果。
YARN 通过这种架构，使得 Hadoop 集群能够更高效地利用资源，支持多种数据处理框架，从而满足不同的数据处理需求。
2.hadoop的三大结构及各自的作用
Hadoop 是一个开源框架，它支持使用大量计算机进行分布式存储和分布式处理大数据的应用程序。Hadoop 的设计允许跨分布式计算环境的扩展性、可靠性和可伸缩性。Hadoop 的三大核心结构及其作用如下：
1. Hadoop Distributed File System (HDFS)
作用：
• 数据存储：HDFS 是 Hadoop 的基础存储系统，它存储应用程序的数据，并确保数据的高可靠性和高吞吐量。
• 容错性：通过数据复制和分布式存储，HDFS 能够在硬件故障时保证数据不丢失。
• 大规模数据集：HDFS 优化了对大规模数据集的访问，适合具有大量数据的应用程序。
• 数据本地性：HDFS 通过将计算移动到数据所在的节点来提高数据处理效率。
2. Yet Another Resource Negotiator (YARN)
作用：
• 资源管理：YARN 负责管理 Hadoop 集群中的资源（如 CPU、内存等），并调度作业以在集群上运行。
• 多框架支持：YARN 允许不同的数据处理框架（如 MapReduce、Spark、Flink 等）在同一集群上运行，提高了资源利用率。
• 可扩展性：YARN 的架构使得 Hadoop 集群可以轻松扩展，以支持更多的节点和更大的数据处理任务。
• 高可用性：YARN 提供了ResourceManager的高可用配置，确保集群的稳定运行。
3. MapReduce
作用：
• 分布式计算：MapReduce 是一种编程模型，用于大规模数据集的并行处理。它通过 Map（映射）和 Reduce（归约）两个步骤来处理数据。
• 简化编程：MapReduce 使得开发者可以编写简单的程序来处理分布在整个集群上的大量数据。
• 容错性：MapReduce 框架自动处理节点故障，重新分配失败的任务，确保作业的完成。
• 可扩展性：MapReduce 应用程序可以很容易地扩展到数千个节点，处理 PB 级别的数据。
总结
• HDFS 提供了高可靠性和高吞吐量的数据存储解决方案，适合大规模数据集的存储需求。
• YARN 作为资源管理和作业调度平台，支持多种数据处理框架在同一集群上运行，提高了资源利用率和集群的可扩展性。
• MapReduce 作为一种编程模型，简化了大规模数据集的并行处理，提供了容错性和可扩展性。
这三大结构共同构成了 Hadoop 的核心，使其成为一个强大且灵活的大数据处理平台。
3.yarn的三大组件及各自的作用？
YARN（Yet Another Resource Negotiator）是 Hadoop 生态系统中的资源管理和作业调度框架。它允许多个数据处理引擎（如 MapReduce、Spark、Flink 等）在同一 Hadoop 集群上运行。YARN 的设计目标是提高集群的资源利用率、可扩展性和灵活性。YARN 的三大核心组件及其作用如下：
1. ResourceManager (RM)
作用：
• 全局资源管理：ResourceManager 是 YARN 的中央管理器，负责整个集群的资源管理和分配。
• 作业调度：它接收来自客户端的作业提交请求，并根据集群的资源情况和调度策略，决定哪些作业可以运行以及分配多少资源。
• 集群元数据管理：ResourceManager 维护集群的元数据，如节点状态、资源使用情况等。
• 高可用性：在ResourceManager中，可以配置高可用性，以避免单点故障。
2. NodeManager (NM)
作用：
• 节点资源管理：NodeManager 是运行在每个集群节点上的代理，负责管理该节点上的资源（如 CPU、内存）。
• 容器管理：NodeManager 为每个作业创建和管理容器（Container），容器是 YARN 中资源分配的基本单位。
• 任务执行：NodeManager 在容器中启动和监控任务（如 MapReduce 的 map 和 reduce 任务），并报告任务状态给 ResourceManager。
• 健康检查：NodeManager 定期向 ResourceManager 发送心跳信号，报告节点状态和资源使用情况。
3. ApplicationMaster (AM)
作用：
• 作业管理：每个提交到 YARN 的作业都有一个对应的 ApplicationMaster，它负责管理作业的生命周期，包括任务的调度、监控和失败恢复。
• 资源请求：ApplicationMaster 根据作业的需求向 ResourceManager 请求资源（容器）。
• 任务调度：ApplicationMaster 负责决定哪些任务在哪些容器中运行，并与 NodeManager 协调任务的启动和停止。
• 状态报告：ApplicationMaster 向 ResourceManager 报告作业的进度和状态，以便 ResourceManager 可以监控作业的执行情况。
总结
• ResourceManager 负责全局资源管理和作业调度，是 YARN 的大脑。
• NodeManager 负责节点级别的资源管理和任务执行，是 YARN 的肌肉。
• ApplicationMaster 负责单个作业的管理和调度，是 YARN 的神经末梢。
这三个组件协同工作，使得 YARN 能够高效地管理和调度集群资源，支持多种数据处理引擎在同一集群上运行，从而提高了集群的利用率和灵活性。
4.yarn的三个资源调度策略
YARN（Yet Another Resource Negotiator）提供了灵活的资源调度策略，以适应不同的作业需求和集群配置。以下是 YARN 中三个主要的资源调度器及其调整方法：
1. Capacity Scheduler
Capacity Scheduler 是 YARN 默认的资源调度器，它通过为不同的队列分配固定的资源容量来管理资源。这种调度器适合多用户环境，可以保证每个队列获得一定比例的集群资源。
调整方法：
• 队列容量：可以为每个队列设置最大和最小资源容量，例如，可以设置一个队列最多使用集群 50% 的资源。
• 队列层次结构：可以创建队列的层次结构，父队列的资源容量可以分配给子队列。
• 权重：可以为队列设置权重，权重高的队列在资源分配时会获得更多的资源。
2. Fair Scheduler
Fair Scheduler 是另一种资源调度器，它旨在为所有作业提供公平的资源分配。它通过计算每个作业的“公平份额”来决定资源分配。
调整方法：
• 权重：可以为每个作业设置权重，权重高的作业会获得更多的资源。
• 最小资源需求：可以为每个作业设置最小资源需求，确保每个作业都能获得足够的资源来启动。
• 抢占：当某个作业占用了过多的资源时，Fair Scheduler 可以抢占一些资源分配给其他作业。
3. FIFO Scheduler
FIFO Scheduler 是最简单的资源调度器，它按照作业提交的顺序进行调度，先提交的作业先运行。
调整方法：
• 队列：可以创建多个队列，每个队列中的作业按照 FIFO 的方式调度。
• 优先级：可以为不同的队列设置优先级，优先级高的队列中的作业会先运行。
资源调度调整的一般步骤：
1. 配置文件：YARN 的资源调度策略通常在配置文件中设置，如 yarn-site.xml。
2. 参数设置：在配置文件中设置相关的参数，如队列容量、权重、最小资源需求等。
3. 重启服务：修改配置文件后，需要重启 YARN 服务以使新的调度策略生效。
4. 监控和调整：在实际运行中监控资源使用情况，根据需要进一步调整调度策略。
选择合适的资源调度器和调整策略，可以提高集群的资源利用率，保证作业的公平性和响应时间。