Zookeeper+卡夫卡的单节点配置

环境描述:Ubuntu16.04
server系统,在系统上搭建Java环境,jdk的本子为1.8或更高,作者的服务器IP地址为192.168.0.106。

 

1.
使用命令在根目录下的opt目录下创办data目录。

mkdir /opt/data

 

  1. 在Apache官网http://www.apache.org/dyn/closer.cgi/zookeeper/和https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.0/kafka\_2.10-0.10.0.0.tgz

上下载zookeeper和kafka的压缩包,小编下载的是zookeeper-3.4.10.tar.gz和kafka_2.11-0.10.1.0.gz。

 

3.
选用命令对zookeeper和kafka压缩文件实行解压,对解压后的文件举行更名和移动地方,移动到/opt/data目录下。

tar -zxvf zookeeper-3.4.10.tar.gz
tar -zxvf kafka_2.11-0.10.1.0.gz

澳门金沙国际 1

 

4.
运用命令扩张zookeeper节点的IP如下附图所示。

vim /etc/hosts

澳门金沙国际 2

 

  1. 应用命令

    cd /opt/data/zookeeper/conf

跻身zookeeper目录下的conf目录,使用命令

cp zoo_sample.cfg zoo.cfg

复制文件zoo.cfg,使用命令

vim zoo.cfg

修改该公文。同时,在/opt/data/zookeeper下创造data目录和logs目录,在/opt/data/zookeeper/data下创办理文件件myid,使用命令

echo 1 > myid

在文件myid中写入1。

 澳门金沙国际 3

 

============================================================================================================================================

在此zookeeper的布署已经做到。

============================================================================================================================================

 

  1. 动用命令

    vim /opt/data/kafka/config/server.properties

kafka和storm集群的环境设置,Ubuntu下kafka集群环境搭建及测试。修改kafka的布署文件,同时选择命令

mkdir /opt/data/kafka/kafka-logs

开创目录,修改内容如下附图所示。

澳门金沙国际 4

澳门金沙国际 5

 

============================================================================================================================================

在此kafka的布署已经成功。

============================================================================================================================================

 

测试zookeeper和kafka的安插是还是不是成功:

1.
起步zookeeper:在/opt/data/zookeeper目录下行任务令

bin/zkServer.sh start

启航zookeeper。使用命令

bin/zkServer.sh status

查看zookeeper的情景,固然实际如下图所示的场馆表示zookeeper配置成功。

澳门金沙国际 6

 

 

2.开发银行kafka:在/opt/data/kafka目录下利用命令

bin/kafka-server-start.sh config/server.properties

运转kafka,突显以下新闻为打响运转kafka。

澳门金沙国际 7

 

3.
创立会话topic:打开新的顶峰(大家暂记为极端1),在/opt/data/kafka目录下接纳命令

bin/kafka-topics.sh --create --zookeeper 192.168.0.106:2181 --replication-factor 1 --partitions 1 --topic test1

创建会话test1,使用命令

bin/kafka-topics.sh --list --zookeeper 192.168.0.106:2181

查看会话列表,呈现以下音信为成功创办会话。

澳门金沙国际 8

 

4.起步生产者Producer发音讯:在/opt/data/kafka目录下选用命令

bin/kafka-console-producer.sh --broker-list 192.168.0.106:9092 --topic test1

开发银行音讯生产者。

 

5.起首消费者Consumer接收新闻:再打开3个新的终点(大家暂记为极端2),在/opt/data/kafka目录下行义务令

bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.106:9092 --from-beginning --topic test1

来收纳新闻。

 

6.在劳动者Producer所在的终极1里不管道输送入一些剧情,消费者Consumer所在的终点2将会实时的抓获终端1里发出的新闻。如下表示成功建立会话,kafka和zookeeper的单节点配置圆满成功。

澳门金沙国际 9

澳门金沙国际 10

 

7.刨除会话topic:在/opt/data/kafka目录下采用命令

bin/kafka-topics.sh --delete --zookeeper 192.168.0.106:2181 --topic test1

再使用命令

bin/kafka-topics.sh --list --zookeeper 192.168.0.106:2181

翻看会话是或不是留存,如下图所示,表示会话test1删除成功。

澳门金沙国际 11

 

kafka介绍:

Kafka[1是一种高吞吐量[2]  的分布式公布订阅音讯系统,有如下特点:

  • 通过O(1)的磁盘数据结构提供音讯的持久化,那种结构对于固然数以TB的新闻存款和储蓄也能够维持长日子的稳定品质。

  • 高吞吐量[2]  :固然是特别常见的硬件Kafka也能够支撑每秒数百万[2]  的消息。

  • 支撑通过卡夫卡服务器和消费机集群来分区音讯。

  • 支持Hadoop交互数据加载。[3] 

1 ZooKeeper框架安装

步骤1.1 – 下载ZooKeeper
要在你的机器上安装ZooKeeper框架,请访问以下链接并下载最新版本的ZooKeeper。

http://zookeeper.apache.org/releases.html
直至近来,ZooKeeper的风行版本为3.4.6(ZooKeeper-3.4.6.tar.gz)。

步骤1.2 – 提取tar文件
动用以下命令提取tar文件

$ cd opt/
$ tar -zxf zookeeper-3.4.6.tar.gz
$ cd zookeeper-3.4.6
$ mkdir data

步骤1.3 – 创立布局文件
选择命令vi“conf / zoo.cfg” 打开名为conf /
zoo.cfg的陈设文件,并将具备以下参数设置为起首点。

$ vi conf/zoo.cfg
tickTime=2000
dataDir=/path/to/zookeeper/data
clientPort=2181
initLimit=5
syncLimit=2

只要配置文件成功保存等量齐观复归来终端,就能够运转zookeeper服务器。

步骤1.4 – 启动ZooKeeper服务器

$ bin/zkServer.sh start

实践此命令后,您会博得如下所示的响应:

$ JMX enabled by default
$ Using config: /Users/../zookeeper-3.4.6/bin/../conf/zoo.cfg
$ Starting zookeeper ... STARTED

步骤1.5 – 停止Zookeeper服务器
连天服务器并施行全数操作后,能够选拔以下命令甘休zookeeper服务器 –

$ bin/zkServer.sh stop

今昔,您已经在你的机器上成功安装了Java和ZooKeeper。让大家看看安装Apache
卡夫卡的步骤。

前言

storm和kafka集群安装是未曾必然联系的,小编将那多个写在联合,是因为他俩皆以由zookeeper举行田管的,也都凭借于JDK的条件,为了不重复再写叁遍配置,所以笔者将那多个写在联合署名。若只需三个,只需选取自身挑选的开卷即可。

那两边的借助如下:

  • Storm集群:JDK1.8 , Zookeeper3.4,Storm1.1.1;
  • Kafa集群 : JDK1.8 ,Zookeeper3.4 ,Kafka2.12;

说明: Storm1.0 和Kafka2.0对JDK要求是1.7以上,Zookeeper3.0以上。

下载地址:
Zookeeper:
Storm:
Kafka:

卡夫卡相关术语介绍

  • Broker

    卡夫卡集群包涵一个或四个服务器,那种服务器被称为broker[5] 

  • Topic

    每条发布到卡夫卡集群的音信都有一个门类,这些项目被喻为Topic。(物理上分化Topic的消息分开储存,逻辑上一个Topic的新闻即使保存于3个或多少个broker上但用户只需点名音讯的Topic即可生育或开销数量而无需关切数据存于何处)

  • Partition

    Partition是情理上的概念,每一个Topic包蕴贰个或八个Partition.

  • Producer

    负责发表新闻到卡夫卡 broker

  • Consumer

    新闻消费者,向卡夫卡 broker读废除息的客户端。

  • Consumer Group

    各样Consumer属于3个特定的Consumer Group(可为各个Consumer钦赐group
    name,若不钦点group name则属于私下认可的group)。


2 – Apache Kafka安装

让大家继续以下步骤在您的机械上设置卡夫卡。

步骤2.1 – 下载kafka
要在您的机器上安装卡夫卡,请点击下边的链接 –

https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka\_2.11-0.9.0.0.tgz
明天风行的本子,即 – kafka_2.11_0.9.0.0.tgz将被下载到你的机械上。

步骤2.2 – 提取tar文件
选取以下命令提取tar文件 –

$ cd opt/
$ tar -zxf kafka_2.11.0.9.0.0 tar.gz
$ cd kafka_2.11.0.9.0.0

目前您曾经在您的机器上下载了时尚版本的Kafka。

步骤2.3 – 运行服务器
你能够透过以下命令运行服务器 –

$ bin/kafka-server-start.sh config/server.properties

服务器运营后,您将在荧屏上看出以下响应:

$ bin/kafka-server-start.sh config/server.properties

[2016-01-02 15:37:30,410] INFO KafkaConfig values:
request.timeout.ms = 30000
log.roll.hours = 168
inter.broker.protocol.version = 0.9.0.X
log.preallocate = false
security.inter.broker.protocol = PLAINTEXT

JDK安装

每台机器都要安装JDK!!!
说明:
一般CentOS自带了openjdk,然则大家那里运用的是oracle的JDK。所以要写卸载openjdk,然后再设置在oracle下载好的JDK。如若已经卸载,能够跳过此步骤。
率先输入 java -version
翻看是还是不是安装了JDK,若是设置了,但版本不符合的话,就卸载
澳门金沙国际 12

输入
rpm -qa | grep java
翻开音信
澳门金沙国际 13
下一场输入:
rpm -e –nodeps “你要卸载JDK的音信”
如: rpm -e –nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64
澳门金沙国际 14

确认没有掌握后,解压下载下来的JDK

tar  -xvf   jdk-8u144-linux-x64.tar.gz

一举手一投足到opt/java文件夹中,没有就新建,然后将文件夹重命名为jdk1.8。

mv  jdk1.8.0_144 /opt/java
mv  jdk1.8.0_144  jdk1.8

然后编辑 profile 文件,添加如下配置
输入:

vim /etc/profile

添加:

export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

丰硕成功现在,输入

source /etc/profile
java  -version 

翻开是还是不是配备成功

单节点形式:

1,解压

root@Ubuntu-1:/usr/local# tar zxvf kafka_2.11-0.8.2.2.tgz

2,重命名

root@Ubuntu-1:/usr/local# mv /usr/local/kafka_2.11-0.8.2.2 /usr/local/kafka

3,起zookeeper集群到钦定后台文件(不占用页面)

root@Ubuntu-1:/usr/local/kafka# bin/zookeeper-server-start.sh config/zookeeper.properties > logs/kafka131-1.log >&1 &

4,起kafka集群到钦命后台文件(不占用页面)

bin/kafka-server-start.sh config/server.properties >logs/kafka131-server-1.log >&1 &

5,查看zookeeper和kafka运行状态

root@Ubuntu-1:/usr/local/kafka# jps
3104 QuorumPeerMain
5048 Kafka
5064 Jps

6,新增三个topic

root@Ubuntu-1:/usr/local/kafka# bin/kafka-topics.sh --create --topic huxing --zookeeper localhost:2181 --partitions 2 --replication 1
Created topic "huxing".

7,全部能够选用的topic

root@Ubuntu-1:/usr/local/kafka# bin/kafka-topics.sh --list --zookeeper localhost:2181
huxing

8,查询有个别topic的音信

root@Ubuntu-1:/usr/local/kafka# bin/kafka-topics.sh --describe --topic huxing --zookeeper localhost:2181
Topic:huxing    PartitionCount:2    ReplicationFactor:1    Configs:
    Topic: huxing    Partition: 0    Leader: 0    Replicas: 0    Isr: 0
    Topic: huxing    Partition: 1    Leader: 0    Replicas: 0    Isr: 0

9,删除有个别topic

以前须要在server.properties的布局文件中加入一行

delete.topic.enable=true

重启,然后实施代码

root@Ubuntu-1:/usr/local/kafka# bin/kafka-topics.sh --delete --topic huxing --zookeeper localhost:2181
Topic huxing is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.
root@Ubuntu-1:/usr/local/kafka# bin/kafka-topics.sh --list --zookeeper localhost:2181
hello
world

在jps中得以查询到实在已经被去除了

10,创建producer和consumer用户

在开立producer用户时,出现下列错误:澳门金沙国际 15

消除办法:在server.properties的陈设文件中投入一行

advertised.host.name=192.168.22.131

在server.properties
上该参数用来配置再次来到的host.name值,把那几个参数配置为外网IP地址。
以此参数暗中同意没有启用,暗中认可是回到的
java.net.InetAddress.getCanonicalHostName 的值,这么些值并不等于 hostname
的值而是再次来到IP,但在linux上这么些值便是 hostname 的值。

 配置好后重启,在七个shell框中输入下列命令:

producer:

root@Ubuntu-1:/usr/local/kafka# bin/kafka-console-producer.sh --topic hello --broker-list localhost:9092
[2017-07-12 18:27:09,916] WARN Property topic is not valid (kafka.utils.VerifiableProperties)
aa
aaa
1
222

consumer:

root@Ubuntu-1:/usr/local/kafka# bin/kafka-console-consumer.sh --topic hello --zookeeper localhost:2181

于是乎,在producer的shell框中输入的内容将会联手更新到consumer中

标记删除的topic也能够动用


步骤2.4 – 甘休服务器

实施全体操作后,能够采纳以下命令甘休服务器 –

$ bin/kafka-server-stop.sh config/server.properties

Zookeeper 环境设置

集群格局:

由于自家用kafka中置放的zookeeper怎么陈设也无从起动,所以打算抛弃kafka中放置的ZK,转而温馨去下载

3 kafka操作

1,文件准备

将下载下来的Zookeeper 的安排文件实行解压
在linux上输入:

 tar  -xvf   zookeeper-3.4.10.tar.gz

然后移动到/opt/zookeeper里面,没有就新建,然后将文件夹重命名为zookeeper3.4
输入

mv  zookeeper-3.4.10  /opt/zookeeper
mv  zookeeper-3.4.10  zookeeper3.4

zookeeper

1,解压压缩包

2,进入zookeeper目录下的conf子目录, 成立zoo.cfg文本文件,内容如下:

initLimit=5    
tickTime=2000
syncLimit=2    
dataDir=/usr/local/zookeeper/data    
dataLogDir=/usr/local/zookeeper/logs    
clientPort=2181 
server.1=192.168.22.131:2888:3888  
server.2=192.168.22.132:2888:3888    
server.3=192.168.22.135:2888:3888  

几个服务器上都以如出一辙的始末 

参数表明:

  • tickTime: zookeeper中动用的为主时间单位, 微秒值.
  • dataDir: 数据目录. 能够是自由目录.
  • dataLogDir: log目录, 同样可以是专断目录. 假设没有设置该参数,
    将动用和dataDir相同的设置.
  • clientPort: 监听client连接的端口号.

3,在配置的dataDir目录下,创制myid文本文件,内容为server.1等的”.”后的数字相同,各样服务器下的myid文件都差别等

澳门金沙国际 ,3.1 创建topic

[root@192-168-123-169 bin]# ./kafka-topics.sh   --create --topic test --replication-factor 1 --partitions 1 --zookeeper localhost:2181
Created topic "test".

2,环境陈设

编辑 /etc/profile 文件
输入:

export  ZK_HOME=/opt/zookeeper/zookeeper3.4 
export PATH=.:${JAVA_HOME}/bin:${ZK_HOME}/bin:$PATH

输入:

source  /etc/profile

使配置生效

kafka:

1,在server.propoties文件中改变:

澳门金沙国际 16

澳门金沙国际 17

澳门金沙国际 18

3.2 在topic中发送新闻

[root@192-168-123-169 bin]# ./kafka-console-producer.sh --topic test --broker-list 192.168.123.169:9092
abc
ddd
aaa
ddd
whoami

3,修改配置文件

启动:

启动zookeeper服务器(三台):

 bin/zkServer.sh start

启动kafka服务器(三台):

bin/kafka-server-start.sh config/server.properties

 创建topic:

root@Ubuntu-1:/usr/local/kafka# bin/kafka-topics.sh --create --topic huxing2 --zookeeper 192.168.22.131:2181,192.168.22.132:2181,192.168.22.135:2181 --replication-factor 3 --partitions 2 
Created topic "huxing2".

列出可采用的topic:

root@Ubuntu-1:/usr/local/kafka# bin/kafka-topics.sh --list --zookeeper localhost:2181
huxing2

查询某些topic的音讯:

root@Ubuntu-1:/usr/local/kafka#  bin/kafka-topics.sh --describe --topic huxing2 --zookeeper localhost:2181
Topic:huxing2    PartitionCount:2    ReplicationFactor:3    Configs:
    Topic: huxing2    Partition: 0    Leader: 0    Replicas: 0,1,2    Isr: 0,1,2
    Topic: huxing2    Partition: 1    Leader: 1    Replicas: 1,2,0    Isr: 1,2,0

 

从图中得以看出来,Partition分别设有不相同的broker中,各样broker都不比,所以broker无副本

3.3 消费者接受消息

[root@192-168-123-169 kafka_2.11-0.9.0.0]# bin/kafka-console-consumer.sh --zookeeper  127.0.0.1:2181  --from-beginning --topic test
abc
ddd
aaa
ddd
whoami

3.3.1 创立文件和目录

在集群的服务器上都创立这个目录

mkdir   /opt/zookeeper/data  
mkdir   /opt/zookeeper/dataLog

再者在/opt/zookeeper/data目录下创办myid文件
输入:

touch  myid

始建成功之后,更改myid文件。
自己那边为了便利,将master、slave① 、slave2的myid文件内容改为1,2,3
澳门金沙国际 19

3.3.2 新建zoo.cfg

切换到/opt/zookeeper/zookeeper3.4/conf 目录下
假使没有 zoo.cfg 该公文,就复制zoo_sample.cfg文件同等对待命名为zoo.cfg。
修改这些新建的zoo.cfg文件

dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/dataLog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

澳门金沙国际 20

说明:client
port,顾名思义,正是客户端连接zookeeper服务的端口。那是二个TCP
port。dataLogDir里是置于的各样日志(WAL)。而dataDir里放的是内部存储器数据结构的snapshot,便于急忙回涨。为了达到质量最大化,一般提议把dataDir和dataLogDir分到分化的磁盘上,这样就足以丰盛利用磁盘顺序写的特色。dataDir和dataLogDir要求团结创立,目录能够自个儿成立,对应即可。server.第11中学的那一个1须求和master这么些机器上的dataDir目录中的myid文件中的数值对应。server.第22中学的这一个2索要和slave1这些机器上的dataDir目录中的myid文件中的数值对应。server.3中的这几个3急需和slave2那几个机器上的dataDir目录中的myid文件中的数值对应。当然,数值你能够任由用,只要对应即可。2888和3888的端口号也能够不管用,因为在分裂机器上,用成一样也不在乎。
1.tickTime:CS通讯心跳数
Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,约等于每一种tickTime 时间就会发送贰个心跳。tick提姆e以纳秒为单位。
tickTime=2000
2.initLimit:LF开首通讯时限
集群中的follower服务器(F)与leader服务器(L)之间起先连接时能容忍的最多心跳数(tickTime的数额)。
initLimit=10
3.syncLimit:LF同步通讯时间限制
集群中的follower服务器与leader服务器之间请求和回应之间能耐受的最多心跳数(tick提姆e的数码)。
syncLimit=5

一如既往将zookeeper传输到任何的机械上,记得更改 /opt/zookeeper/data
下的myid,这么些不能够平等。
输入:

scp -r /opt/zookeeper root@slave1:/opt
scp -r /opt/zookeeper root@slave2:/opt

4,启动zookeeper

因为zookeeper是选举制,它的主从关系并不是像hadoop那样钦命的,具体能够看官方的文书档案表明。
得逞布置zookeeper之后,在每台机器上运行zookeeper。
切换到zookeeper目录下

cd /opt/zookeeper/zookeeper3.4/bin

输入:

zkServer.sh start

中标运行今后
查阅情状输入:

 zkServer.sh status

能够查阅各类机器上zookeeper的leader和follower
澳门金沙国际 21

Storm 环境设置

1,文件准备

将下载下来的storm的安插文件进行解压
在linux上输入:

 tar  -xvf   apache-storm-1.1.1.tar.gz

接下来移动到/opt/storm里面,没有就新建,然后将文件夹重命名为storm1.1
输入

mv  apache-storm-1.1.1  /opt/storm
 mv  apache-storm-1.1.1  storm1.1

2,环境安插

编辑 /etc/profile 文件
添加:

export STORM_HOME=/opt/storm/storm1.1
export PATH=.:${JAVA_HOME}/bin:${ZK_HOME}/bin:${STORM_HOME}/bin:$PATH   

输入 storm version 查看版本音信
澳门金沙国际 22

3,修改配置文件

编辑 storm/conf 的 storm.yarm。

拓展如下编辑:
输入:
vim storm.yarm

storm.zookeeper.servers:
     - "master"
     - "slave1"
     - "slave2"

storm.local.dir: "/root/storm"

nimbus.seeds: ["master"]

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

澳门金沙国际 23
说明:

  1. storm.zookeeper.servers是点名zookeeper的劳动地方。
    因为storm的储存新闻在zookeeper上,所以要布署zookeeper的劳动地点。如若zookeeper是单机就只用内定二个!
  2. storm.local.dir 代表存款和储蓄目录。
    Nimbus和Supervisor守护进度供给在本地磁盘上囤积二个目录来存储少量的情景(比如jar,confs等等)。能够在每台机械成立,并给于权力。
    3.nimbus.seeds 表示候选的主机。
    worker须求知道那一台机器是主机候选(zookeeper集群是大选制),从而得以下载
    topology jars 和confs。
    4.supervisor.slots.ports 表示worker 端口。
    对此每二个supervisor机器,我们能够通过那项来铺排运维多少worker在那台机械上。每2个worker使用一个单独的port来接受新闻,这一个端口同样定义了那1个端口是开放利用的。假若你在此间定义了四个端口,就象征那些supervisor节点上最多能够运作五个worker。固然定义1个端口,则意味最多能够运转一个worker。在默许情状下(即布署在defaults.yaml中),会有有八个workers运转在
    6700, 6701, 6702, and 6703端口。
    supervisor并不会在运维时就立马运营那多少个worker。而是接受到分配的天职时,才会运行,具体运维多少个worker也要依据大家Topology在这些supervisor须要多少个worker来鲜明。假若内定Topology只会由贰个worker执行,那么supervisor就运转1个worker,并不会运行全数。

: 这一个配置前边不要有空格!!!,否则会报错。
那里运用的是主机名(做了炫耀),也可以接纳IP。实际的以协调的为准。

能够利用scp命令或然ftp软件将storm复制到其他机器上
澳门金沙国际 24

中标安插之后,然后就能够运维Storm了,可是要力保JDK、Zookeeper已经正确安装,并且Zookeeper已经成功运维。

4,启动Storm

切换到 storm/bin 目录下
在主节点(master)运营输入:

storm nimbus >/dev/null 2>&1 &

访问web界面(master)输入:

storm ui 

从节点(slave1,slave2)输入:

storm supervisor >/dev/null 2>&1 &

在浏览器界面输入: 8080端口
打响打开该界面,表示环境布置成功:
澳门金沙国际 25

kafka的条件设置

1,文件准备

将下载下来的卡夫卡的布局文件举办解压
在linux上输入:

 tar  -xvf   kafka_2.12-1.0.0.tgz

下一场移动到/opt/kafka里面,没有就新建,然后将文件夹重命名为kafka2.12
输入

mv  kafka_2.12-1.0.0  /opt/kafka
 mv  kafka_2.12-1.0.0  kafka2.12

2,环境安顿

编辑 /etc/profile 文件
输入:

export  KAFKA_HOME=/opt/kafka/kafka2.12 
export PATH=.:${JAVA_HOME}/bin:${KAFKA_HOME}/bin:${ZK_HOME}/bin:$PATH

输入:

source  /etc/profile

使配置生效

3,修改配置文件

:其实要说的话,倘使是单机的话,kafka的布置文件能够毫不修改,直接到bin目录下运营就足以了。但是大家那里是集群,所以某些改下就足以了。

切换到kafka/config 目录下
编辑server.properties 文件
亟需变更的是Zookeeper的地址:
找到Zookeeper的配备,钦定Zookeeper集群的地址,设置如下修改就足以了

zookeeper.connect=master:2181,slave1:2181,slave2:2181
zookeeper.connection.timeout.ms=6000

别的能够选择更改的有

1 ,num.partitions 代表内定的分区,默许为1
2,log.dirs kafka的日志路径,这些依照个人须要变动就行
3, broker.id:非负整数,用于唯一标识broker,每台不平等


:还有别的的布局,能够查看官方文书档案,借使没有专门要求,使用暗中同意的就能够了。

安插好之后,记得使用scp
命令传输到此外的集群上,记得更改server.properties 文件!

4,启动kafka

集群每台集群都需求操作!

切换到kafka/bin 目录下
输入:

kafka-server-start.sh

接下来输入jps名称查看是还是不是中标运维:
澳门金沙国际 26

打响运转之后,可以展开简易的测试下
首先成立个topic
输入:

kafka-topics.sh --zookeeper master:2181 --create --topic t_test --partitions 5  --replication-factor 2

说明: 那里是开创了2个名为 t_test
的topic,并且钦赐了四个分区,每一种分区钦定了一个副本数。假设不点名分区,暗许的分区正是安顿文件配置的。

接下来开始展览生产数量
输入:

kafka-console-producer.sh --broker-list master:9092 --topic t_test

澳门金沙国际 27

能够接纳实行Ctrl+D 退出

然后我们再打开二个xshell窗口
举行费用
输入:

kafka-console-consumer.sh  --zookeeper master:2181  --topic t_test --from-beginning

澳门金沙国际 28
能够应用进行Ctrl+C 退出

能够看来数据已经符合规律消费了。

5,kafka的一对常用命令

1.起始和倒闭kafka

bin/kafka-server-start.sh config/server.properties >>/dev/null 2>&1 &
bin/kafka-server-stop.sh

2.查看kafka集群中的音讯队列和现实队列
查阅集群拥有的topic

 kafka-topics.sh --zookeeper master:2181,slave1:2181,slave2:2181 --list

翻开三个topic的音讯

 kafka-topics.sh --zookeeper master:2181 --describe --topic t_test  

3.创建Topic

kafka-topics.sh --zookeeper master:2181 --create --topic t_test --partitions 5  --replication-factor 2

4.生育数量和消费数量

kafka-console-producer.sh --broker-list master:9092 --topic t_test

Ctrl+D 退出

kafka-console-consumer.sh  --zookeeper master:2181  --topic t_test --from-beginning

Ctrl+C 退出

5.kafka的删减命令

kafka-topics.sh --delete --zookeeper master:2181 --topic t_test

6,添加分区

kafka-topics.sh --alter --topict_test --zookeeper master:2181 --partitions 10

其它

Storm环境搭建参考官方文书档案:

卡夫卡环境搭建参考官方文书档案:

到此,本文甘休,感谢阅读!

相关文章