hive开发过程中遇到的一些问题

==作者:YB-Chi==

[toc]

1、连接hive的时候发现连接不上,后来发现是hdfs有损坏文件,

hadoop fsck的一些命令

Hadoop fsck [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]

<path>        检查的起始目录

-move        将损坏的文件移动到/lost+found下面

-delete        删除损坏的文件

-openforwrite    打印出正在写的文件

-files        打印出所有被检查的文件

-blocks        打印出block报告

-locations    打印出每个block的位置

-racks        打印出datanode的网络拓扑结构

==hadoop fsck -list-corruptfileblocks命令查看==

hadoop fsck -delete命令清理

hiveserver2启动:

1.启动 metastort

nohup  hive --service metastore >/dev/null  2>&1 &

2.进入 /home/yarn/apache-hive-1.2.1-bin/bin 下启动

startserver2.sh +10009
        
beeline -u jdbc:hive2://192.168.6.1:10009 -n yarn -p yarn	#检测

3.进入 /home/yarn/spark-1.5.2-bin-hadoop2.6/sbin 下启动spark的

start-server2.sh +14000
文章作者: CYBSKY
文章链接: https://cybsky.top/2022/09/07/cyb-mds/bigdata/Hive/hive开发过程中遇到的一些问题/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 CYBSKY