==作者：YB-Chi==
CDH6.2集群安装简略
[toc]
文档只记录CDH安装，前期准备工作参考文档：https://www.shuzhiduo.com/A/LPdoGaWyd3/
全步骤：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
| 所有操作使用root用户
时间同步ntpd或者chrony
防火墙关闭
root和主用用户的多机信任（免密ssh）
jdk1.8
mysql以及建表以及connect jar包
系统禁用透明页 修改swappiness参数
安装cm等rpm包
登录cdh界面安装组件
|
补充
1
2
3
4
5
6
7
8
9
10
11
12
| yum install perl
所有节点更改jdk软链（这是cdh6.2默认读取路径）
mkdir -p /usr/java
ln -s /home/module/jdk1.8.0_212 /usr/java/default
更改py版本为2，改软链就行（102被设置了python3软链到python，这种情况才需要改回来）
mysql修改大小写为不敏感,这个可以不做，这个是出于systemctl status cloudera-scm-server.service有个报错
[main] ERROR org.hibernate.engine.jdbc.spi.SqlExceptionHelper - Table 'cmf.cm_version' doesn't exist
但是修改后仍旧有报错，所以这个不做了
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
| 安装包路径：
/home/module/cloudera-repos
安装后程序路径：
程序默认安装在/opt/下
数据路径
界面安装组件，注意所有软件的路径要符合服务器的数据盘路径
比如公司几台机器只有home磁盘较大，所以在home下建立了data文件夹，用于做cdh数据存储，路径需要根据系统挂载磁盘路径做更改
mkdir -p /home/module/cdh_data
后续会有个权限类的报错，直接给个777权限
chmod 777 /home/module/cdh_data
然后根据cdh界面安装组件时，所有出现数据路径的地方，在/home/module/cdh_data创建同名文件夹，并更改界面上的路径为home下的
例如：mkdir -p /home/module/cdh_data/dfs/nn
日志路径
默认都在/var/log下
|
常见问题：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
| hive中文乱码
alter改mysql几个表的编码为utf-8
mysql –u root –p
use hive;
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
ALTER TABLE TBLS modify COLUMN VIEW_EXPANDED_TEXT mediumtext CHARACTER SET utf8;
ALTER TABLE TBLS modify COLUMN VIEW_ORIGINAL_TEXT mediumtext CHARACTER SET utf8;
|
1
2
3
4
5
6
| 特殊bug的修复，有个报错里面有提示到cm_guid 忘了啥bug了
删除3台的cm——guid
[root@namenode1 ~]$ sudo find / -name cm_guid
/var/lib/cloudera-scm-agent/cm_guid
[root@namenode1 ~]$ sudo rm /var/lib/cloudera-scm-agent/cm_guid
rm: remove regular file ‘/var/lib/cloudera-scm-agent/cm_guid’? y
|
1
2
3
4
5
6
| spark没有hdfs权限
添加超级用户组 并把root和主用户加进去
groupadd supergroup
usermod -a -G supergroup root
usermod -a -G supergroup xbsafe
su - hdfs -s /bin/bash -c "hdfs dfsadmin -refreshUserToGroupsMappings"
|
1
2
3
4
5
6
7
8
9
| spark使用内置hive2.7 CDH是hive2.1.1 启动spark会报错 尝试了网上的一些方案改配置等没生效，暂时是更改客户端参数的方式来解决
改为spark-submit/sql/shell时指定参数
spark.sql.hive.metastore.version=2.1.1
spark.sql.hive.metastore.jars=/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/hive/lib/*
示例：
spark-sql --master yarn --conf spark.sql.hive.metastore.version=2.1.1 --conf spark.sql.hive.metastore.jars=/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/hive/lib/*
spark-submit --master yarn --conf spark.sql.hive.metastore.version=2.1.1 --conf spark.sql.hive.metastore.jars=/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/hive/lib/* --executor-memory 2g --total-executor-cores 2 --driver-memory 4G --class com.xbsafe.run.MarkRunningTime /home/module/testdata/sparkSQL.jar
beeline -u jdbc:hive2://xbsafe102:10000 -n xbsafe
|
