CLOUDERA_MANAGER安装KAFKA

==作者：YB-Chi==

[toc]

版本说明

CDH 5.5.1

KAFKA-2.1.1-0.10.0

准备软件

下载地址:

http://archive.cloudera.com/kafka/parcels/2.1/

KAFKA-2.1.1-1.2.1.1.p0.18-el6.parcel.sha1

KAFKA-2.1.1-1.2.1.1.p0.18-el6.parcel

el6对应centos6系统版本

安装步奏

初步安装

使用ftp工具上传两个文件至CM节点/opt/cloudera/parcel-repo

重命名sha1码文件

mv KAFKA-2.1.1-1.2.1.1.p0.18-el6.parcel.sha1 KAFKA-2.1.1-1.2.1.1.p0.18-el6.parcel.sha

点击主机进入界面然后点击parcel

点击右上”检查新Parcel”

成功后会在左边栏CDH5的下边出现KAFKA（此图是已经激活好的页面）

点击KAFKA然后点击右边的配置，配置完成后，点击激活

回到主界面点击左边栏右上▽添加服务

选择Kafka

选择Kafka Broker(其实就是kafka的实例，一台kafka服务器就是一个broker)

勾选主机

点击继续进入配置页面

然后等待启动完毕即可完成初步安装

更改配置

管理页面停止zk和kafka服务

Zookeeper

1 2	#查看myid myid在zk配置文件$ZK_HOME/conf/zoo.cfg里的dataDir=/var/lib/zookeeper/ cat /var/lib/zookeeper/myid

在Cloudera Manager里添加服务添加,然后在zoo.cfg最下方加入

server.1= 192.168.12.103:2888:3888
server.2= 192.168.12.104:2888:3888
server.3= 192.168.12.102:2888:3888
#server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址，C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口，D是在leader挂掉时专门用来进行选举leader所用的端口。      简单来讲    A对应myid

Kafka

$KAFKA_HOME/config/server.properties

注意！Cloudera Manager不会自动更改server.properties内的broker.id
查看id

#根据查出的id去修改配置文件里server.properties的broker.id

#监视
host.name=192.168.12.104
port=9092								 #这个参数很有意思  即使listeners里有端口号  也必须配置port 否则偶尔会出现问题
listeners=PLAINTEXT://192.168.12.104:9092#本机ip


#接收网络请求的线程数
num.network.threads=6

#zk
zookeeper.connect=192.168.12.103:2181,192.168.12.102:2181,192.168.12.104:2181

#data&log存储位置不用改  cloudera manager会覆盖这些配置
（1）存放kafka的log文件的位置

	默认是/var/log/kafka/ 
	
（2）存放kafka的data的位置

	默认是/var/local/kafka/data

更改完成后需要重启机器

启动kafka时请注意启动日志刚启动的时候回打印启动时kafka的参数注意zookeeper是否是使用的集群里的zookeeper而不是kafka自带的。如果是使用kafka自带的,可以先停止kafka服务去kafka目录使用shell启动

1 2	cd /opt/cloudera/parcels/KAFKA-2.1.1-1.2.1.1.p0.18/lib/kafka bin/kafka-server-start.sh config/server.properties

然后在ctrl+c停止三台机器的kafka服务区cloudera manager页面去启动再次注意启动日志

问题说明

值得一提的是如果没有下载Kafka的parcel就去添加服务然后去启动，会出现如下的错误

点击查看日志的话会新开页面提示错误 [Errno 2] No such file or directory: '/var/log/kafka/server.log'

点击右上查看完整日志的话会新开页面503

重新安装kafka需要执行命令删除zk上的topic并删除物理数据并