CYBSKY HomeArchivesTagsCategories
CDH安装手册
字数总计: 2.5k|阅读时长: 8 分钟

==作者：YB-Chi==

[TOC]

CDH安装包括两类镜像，分别是Cloudera Manager管理节点镜像和普通镜像。管理节点镜像比普通镜像多CDH，CM安装包，CM只安装在一台机器上即可。

安装CM管理节点ISO

下面操作只是针对CM管理结点,其它普通结点不用执行

插入Cloudera Manager管理节点ISO，安装系统时确保只有一块磁盘（若有多个磁盘一起安装，那么默认的磁盘扩展工具将无法使用，需要人工判断并且扩展磁盘），但需要确保此磁盘不小于200G。默认操作系统安装在一个磁盘

开机F1进入界面选择cd-rom

进入安装界面，回车即可一步安装完毕。后续是与磁盘和IP这些不确定因素相关的配置

默认IP ：192.168.12.95

网关： 192.168.12.1

用户名：root

密码： venus123

安装完系统后，自动重启，请弹出光盘，以防再次安装。

请先配置IP，后续配置可以通过SSH远程进行操作。

修改IP

命令ModifyIP修改IP，默认CM IP 192.168.12.95

25.png

例如：ModifyIP -e eth0 -p 192.168.12.103 -g 192.168.12.1

执行此命令后，需要执行

service network restart

添加新磁盘

若只是一个磁盘安装系统，那么系统会安装在同一磁盘。

此处需要根据不同服务器类型灵活处理 最终目的是挂载分区

安装后，加入磁盘，fdisk –l 查看磁盘状况，确认新加入磁盘个数(总共6块的话加入5块)

cat /proc/partitions查看情况

一般情况下直接 ExtendDisk

如果有sdb1 和sdb2之类的存在

使用fdisk sdb格式化

1
2
3
fdisk /dev/sdb
	d
	w

查看是否存在以往的物理卷或逻辑卷

lvscan

pvscan

如果有

lvremove (卷名)

pvremove (卷名)

如果lvremove不好使 使用最后一行提示的命令

执行命令ExtendDisk

26.png

会自动挂载格式化磁盘，但是需要我们使用命令挂载到固定的目录。等待挂载好,此过程较慢。添加的磁盘主要是作为数据磁盘，需要用在hdfs文件系统，挂载目录依次为data[1到n]

先查看磁盘 df –h，确认挂载点。

27.png

[root@BDS /]# MountDisk /data1 /dev/sdb1
[root@BDS /]# MountDisk /data2 /dev/sdc1
[root@BDS /]# MountDisk /data3 /dev/sdd1
[root@BDS /]# MountDisk /data4 /dev/sde1
[root@BDS /]# MountDisk /data5 /dev/sdf1

其中第一个参数是挂载点，一般为/data1 ,/data2等等

第二个参数是需要挂载的盘符

请确认后再执行这个命令，此命令会固化挂载点，同一磁盘不能同时执行。

后续这个挂载点是需要配置到cloudera manager的配置界面

配置主机信息

需要配置本地主机信息，也需要配置cluster中其它设备的主机信息，可以在还没有安装其它节点前就配置完成。但必须确保这些信息确定，等确定后同步到cluster上其它主机上,在非CM管理节点上都是从此主机中同步。

  • 修改主机名

  • 主机名不可以存在中横线外的特殊字符

    1
    2
    3
    使用ModifyHostName 参数1（hostname）
    cd /root/confbin/
    ./ModifyHostName BDS

  • 添加主机配置信息

    1
    2
    3
    4
    5
    使用CnfHostInfo 参数1（IP）
    参数2（hostname）
    cd /root/confbin/
    ./CnfHostInfo 192.168.12.95 BDS
    此命令主要修改配置文件/etc/hosts内容

  • 配置内置数据库

若是修改主机名称，那么请先重启设备后再配置数据库信息，因为在数据库配置中需要用到主机名，若是主机名称不对，会导致安装CDH时连接的数据库主机名称错误。

1
2
cd /root/confbin
./CnfSql

此命令是弥补数据库自动安装时配置文件配置内容不全的问题。

执行完成后，再重启系统（必须），确保数据库重新读取正确信息

时间同步配置

28.png

这个是配置管理节点的时间同步。

命令为ModifyNtpConf参数为网关，比如192.168.12.1，但其中最后一位改为0

CM的管理节点的时间同步配置完成，并且会自动生成文件/etc/ntp.conf_back是各个非管理节点的时间同步配置文件，届时跟主机信息文件/etc/hosts一起同步到各个节点即可。

1
2
3
cd /root/confbin/
./ModifyNtpConf 192.168.12.0
service ntpd restart

二、安装普通节点ISO

确保是一个磁盘，以便能够很方便的扩展磁盘，进入安装界面，回车即可一步安装完毕。后续是与磁盘和IP这些不确定因素相关的配置。

默认IP ：192.168.12.95

网关： 192.168.12.1

用户名：root

密码： venus123

安装完系统后，请把光盘取回，以防再次安装。

请先配置IP，后续配置可以通过SSH远程进行操作。

修改IP

命令ModifyIP修改IP，默认IP 192.168.12.94

添加新磁盘

同CM管理节点

修改主机名

  • 修改主机名

使用ModifyHostName 参数1（hostname）

cd /root/confbin/

./ModifyHostName BDS-1

(依次排序例:

./ModifyHostName BDS-2

)

三、信息同步

当cluster中CM管理节点和普通节点系统安装完成后，并且已经进行了上面的配置工作。那么就需要把主机信息和时间信息进行同步。

首先确保CM管理节点上已经配置了所有主机的信息，可以通过命令cat /etc/hosts

29.png

查看是否已经配置全主机信息，以及主机信息是否都正确。

确保一切正常后。进入CM管理节点的ssh连接界面，执行命令

mv /etc/ntp.conf_back /root/ntp.conf

ls -l /root/ntp.conf

scp /root/ntp.conf root@BDS-1:/etc/ #copy时间同步信息到节点

scp /etc/hosts root@BDS-1:/etc/ #同步主机信息到节点

30.png

同步主机信息到普通节点，重启普通节点系统，确保主机名修改生效

四、普通节点时间同步

在CM管理节点通过 ssh BDS-1(BDS-2……) 进入各个节点，执行命令

service ntpd stop

ntpdate BDS

service ntpd start

五、通过CM安装CDH

用firefox 或者 chrome访问网址，若是设备刚重启已经能连上SSH后请耐心等待一会，服务启动需要几分钟。

http://CMIP:7180/cmf/login

1.png

使用帐号admin，密码admin登录

2.png

按照提示“继续”

3.png

按照提示“继续”

4.png

在显示框中写入集群主机名，点击“搜索”（对于集群不能少于4太设备）

5.png

按提示，点击“继续”

6.png

点击页面中的 “更多选项”

7.png

删除所有“远程Parcel存储库路径”，最后添加空白一项

8.png

其中远程Parcel存储库URL为http://CM管理IP/cdh，如上图，只有一个 远程Parcel存储库URL

点击 “确定”

9.png

CM Agent 选择自定义存储库，存储库地址为http://CM管理IP/cm

点击“继续”

5952327a19a64.png

不勾选安装Oracle Java Se 开发工具包 点击“继续”

11.png

点击“继续”

12.png

输入相同的root密码，点击“继续”

13.png

安装Agent，需要几分钟，请耐心等待，点击“继续”

14.png

CDH的安装包的下载，安装需要几分钟，请耐心等待。

等下载完，点击“继续”

15.png

点击“完成”

16.png

选择自定义服务，选择服务HDFS,Hive,Hue,Impala,Spark,Yarn,Zookeeper（就像OOzie这些是依赖包，我不选择也会被安装），点击“继续”

17.png

点击“继续”

18.png

点击“测试连接” ，成功后，点击“继续”

19.png

磁盘的配置，好像5.2会自动配置磁盘，点击“继续”

20.png

这个安装过程的时间比较长，等完成后，点击“完成” 即安装完成。

六、针对CPUID配置

在根据Cloudera Manager安装CDH后,还有一些配置工作要做。

确认结点信息

访问

http://CMIP:7180/cmf/login

点击主机

21.png

进入主机界面，CDH安装时namenode是CM自动选择，CDH也不建议修改自动分配结点分布。其中下图中角色多的为namenode,角色少的为datanode，一般正常情况数据结点不会少于3个。

22.png

根据namenode ,datanode配置Cupid平台需要的结点信息

使用SSH，登陆CMIP（clodera manager 访问的IP）

执行(必须添加所有的数据结点)

cd confbin

./CnfHdfs -NameNode 192.168.12.95

./CnfHdfs -DataNode 192.168.12.94

./CnfHdfs -DataNode 192.168.12.96

……

23.png

可以通过访问http://cmip/hdfsinfo获取文件cluster.properties ,此文件是USM接口函数来调用

建立公用数据目录

ssh namenode IP（在上面的步骤中我们已经知道了namenode IP） 建立连接（下面执行脚本直接copy就行,这些命令写在脚本执行无法正常运行,就直接copy执行）

su hdfs

hadoop fs -mkdir /data;hadoop fs -chmod 1777 /data;exit

ES服务命令

EsService 带参数,具体参数如下

Commands:

console Launch in the current console.

start Start in the background as a daemon process.

stop Stop if running as a daemon or in another console.

restart Stop if running and then start.

status Query the current status.

例如：

EsService restart

HDFS设置

问题集锦

  1. 遇到ssh连接不上问题

24.png

直接删除文件rm -f /root/.ssh/known_hosts

2.重启服务或者服务器访问cm界面出现无法访问host monitor 点击左下角Cloudera Manager Service 重启之

重启后若Impala和其他的变成红色 按照顺序 重启之

3.安装步骤中节点处于受管状态导致无法继续

关闭所有的cloudera-scm-agent 点击左上Cloudera manager进入界面 点击主机 然后勾选所有机器 点击倒三角选择删除 确定 域名输入cmf/login 重新登录即可

文章作者: CYBSKY
文章链接: https://cybsky.top/2022/10/27/cyb-mds/bigdata/Hadoop/CDH安装手册基础篇/
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 CYBSKY！
Bigdatalinux