单机部署
部署 Kafka 3.9.0 可以按照以下步骤进行:
1. 安装 Java
Kafka 需要 Java 8 或更高版本。你可以使用以下命令来安装 Java(以 CentOS 为例):
sudo yum install java-1.8.0-openjdk
检查 Java 安装是否成功:
java -version
2. 下载并解压 Kafka
前往 Apache Kafka 官网 下载 Kafka 3.9.0 的二进制包。可以使用 wget
下载:
wget https://downloads.apache.org/kafka/3.9.0/kafka_2.13-3.9.0.tgz
tar -xvzf kafka_2.13-3.9.0.tgz
cd kafka_2.13-3.9.0
3. 配置 Zookeeper
Kafka 默认使用 Zookeeper 进行集群管理。你可以使用 Kafka 自带的 Zookeeper,也可以配置独立的 Zookeeper 实例。
启动内置 Zookeeper(测试环境使用):
nohup bin/zookeeper-server-start.sh config/zookeeper.properties > logs/zookeeper.log 2>&1 &
4. 配置 Kafka 服务器
编辑 config/server.properties
配置文件,配置以下几个重要字段:
# 设置 Kafka broker 的 ID
broker.id=1
# Zookeeper 地址
zookeeper.connect=localhost:2181
# 设置监听端口
listeners=PLAINTEXT://localhost:9092
# 设置日志目录
log.dirs=/tmp/kafka-logs
5. 启动 Kafka
启动 Kafka 服务器:
nohup bin/kafka-server-start.sh config/server.properties > logs/kafka.log 2>&1 &
6. 测试 Kafka 是否工作正常
使用 Kafka 提供的命令行工具来测试:
- 创建一个主题:
[root@VM-0-16-centos kafka_2.13-3.9.0]# bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
[root@VM-0-16-centos kafka_2.13-3.9.0]# Created topic test.
- 查看主题列表:
[root@VM-0-16-centos kafka_2.13-3.9.0]# bin/kafka-topics.sh --list --bootstrap-server localhost:9092
[root@VM-0-16-centos kafka_2.13-3.9.0]# test
- 发送消息:
[root@VM-0-16-centos kafka_2.13-3.9.0]# bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
>kkkkkkkkkk
在终端中输入一些消息,按回车发送。
- 另一个终端消费消息:
[root@VM-0-16-centos kafka_2.13-3.9.0]# bin/kafka-console-consumer.sh --topic test --bootstrap-server localhost:9092 --from-beginning
kkkkkkkkkk
如果一切正常,Kafka 就成功部署好了!