当前位置: 首页 > news >正文

【Flume 】Windows安装步骤、配置环境

🛠 Flume 是什么?

Apache Flume 是一个高效、可靠、可扩展的数据收集系统,通常用于收集日志、流数据,比如收集数据到 HDFS、Kafka 等。

虽然 Flume 本身是为 Linux 服务器设计的,但 在 Windows 本地也是能跑起来的(需要一点小技巧)。


📥 1. 下载 Flume 安装包

官网地址

👉 https://flume.apache.org/download.html

但是官网只提供源代码,需要自己编译(超麻烦)。

所以通常推荐直接下载已经编译好的二进制版本:

推荐直接下稳定版 1.9.0 二进制包

✅ 下载链接(已经编译好的):

https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz


📦 2. 解压 Flume 包

比如你放到:

D:\flume\apache-flume-1.9.0-bin

🛠 3. 配置环境变量(很重要)

  1. 新增环境变量 FLUME_HOME

    D:\flume\apache-flume-1.9.0-bin
    
  2. 在系统 Path 中添加:

    %FLUME_HOME%\bin
    

✅ 配置好后,在 cmd 命令行执行:

flume-ng version

如果正常输出版本号,比如:

Flume 1.9.0

就说明安装成功!


⚙ 4. Flume 运行还需要 Java 和 Hadoop(可选)

  • Flume 依赖 Java 8(必须有 JAVA_HOME)
  • 有些 sink(比如写入 HDFS)需要 Hadoop,但一般收集到 Kafka、文件就不用。

确保:

java -version

能跑通!


🚀 5. Windows 下启动 Flume 示例

比如启动一个最简单的 Flume agent:

flume-ng agent --conf conf --conf-file conf/flume-conf.properties.template --name a1 -Dflume.root.logger=INFO,console

conf/flume-conf.properties.template 是默认的配置模板文件,你可以自己复制一份修改!


📢 注意事项

项目注意事项
Windows路径注意 Flume 配置文件中,路径分隔符要用 \\
Hadoop如果用 HDFS Sink,需要 Hadoop client,但 Kafka Sink不用
服务端口Windows有时会占用端口,记得检查

✨ 总结一波

步骤内容
1下载 Flume 二进制包
2解压并配置环境变量
3验证 flume-ng 命令
4启动 Flume agent 测试

在这里插入图片描述

相关文章:

  • 深度解析责任链Filter模式:构建灵活可扩展的请求处理管道
  • ngrok 内网穿透技术系统性文档
  • MES系列-MOM(Manufacturing Operations Management,制造运营管理)
  • Eclipse 插件开发 2
  • 深入解析Dify中的文本清洗处理器:CleanProcessor详解
  • NSIS打包
  • 数据存储与安全保障双重buff叠满!极空间NAS『病毒查杀』功能上线,如何妙用?
  • Unity-Shader详解-其二
  • STM32 开发 - stm32f10x.h 头文件(内存映射、寄存器结构体与宏、寄存器位定义、实现点灯案例)
  • DAM-3B,英伟达推出的多模态大语言模型
  • 正确应对监管部门的数据安全审查
  • KEPServerEX 6与西门子1500PLC进行OPC通讯
  • 搜广推校招面经八十二
  • 代码随想录打卡|Day28 动态规划(理论基础、斐波那契数列、爬楼梯、使用最小花费爬楼梯)
  • Pycharm 代理配置
  • 【C】初阶数据结构13 -- 快速排序
  • 【Pandas】pandas DataFrame rmul
  • IP数据报发送和转发的过程
  • c语言知识整理
  • LLaMa Factory大模型微调
  • 铁路上海站五一假期预计发送446万人次,同比增长8.4%
  • 我国风电光伏装机历史性超过火电
  • 上海车展的“老头乐”,又升级了
  • 全品系停货?泸州老窖:暂未接到通知,常规调控手段
  • 天问三号计划2028年前后发射实施,开放20千克质量资源
  • 中国工程院院士、歼八Ⅱ飞机系统工程副总设计师温俊峰逝世