大数据组件学习之--Kafka 安装搭建
一、前置环境
在搭建kafka之前，请确认自己的hadoop、zookeeper是否搭建完成且可正常运行
二、下载并上传安装包（链接为百度网盘）
kafka安装包
tar -zxvf /opt/software/kafka_2.12-2.4.1.tgz -C /opt/module/
进入解压后的目录更改文件名称
mv kafka_2.12-2.4.1/ kafka
三、添加环境变量
vim /etc/profile
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
四、配置文件
cd /opt/module/kafka/config
修改server.properties
vim server.properties
log.dirs=/opt/module/kafka/logs
zookeeper.connect=bigdata101:2181,bigdata102:2181,bigdata103:2181因为怕kafka不会自动创建目录，所以我们为它创建：在/opt/apps/kafka/ 下：
mkdir logs
五、分发文件
scp -r /opt/module/kafka root@bigdata102:/opt/module/
scp -r /opt/module/kafka root@bigdata103:/opt/module/
scp -r /etc/profile root@bigdata102:/etc
scp -r /etc/profile root@bigdata103:/etc
生效环境变量（三台都生效）
source /etc/profile
六、修改 broker.Id
cd /opt/module/kakfa/config
vim server.properties
在bigdata101上更改broker.id
在bigdata102上更改broker.id
在bigdata103上更改broker.id
七、启动kafka以及基础目录
启动命令
kafka-server-start.sh /opt/module/kafka/config/server.properties
加上 & 符表示后台启动
kafka-server-start.sh /opt/module/kafka/config/server.properties &
创建Topic:
kafka-topics.sh --create --zookeeper bigdata101:2181 --topic topicName --partitions 2 --replication-factor 1
查看Topic:
kafka-topic.sh --list --zookeeper bigdata101:2181
开启生产者:
kafka-console-producer.sh --broker-list bigdata101:9092 --topic TopicName
开启消费者:
kafka-console-consumer.sh --bootstrap-server bigdata101:9092 --topic TopicName --from-beginning
from-beginning这是用来同步历史消息的
查看Topic:
kafka-topics.sh --zookeeper bigdata101:2181 --describe-topic TopicName
删除Topic:
kafka-topics.sh --delete --zookeeper bigdata101:2181 --topic TopicName