hive3.1 op&dev|hive版本:hadoop-3.3.0.tar.gzapache-hive-3.1.2-bin.tar.gzzookeeper-3.4.9.tar.gzspark-2.3.2-bin-without-hadoop.gz
配置环境变量
1234567891011export MYSQL_HOME=/usr/l ...
阅读更多
hive常用操作|DATABASE,HIVE,OP[toc]
建分区表1234567891011121314151617181920212223CREATE EXTERNAL TABLE `ods_o_mdt_huawei_log_mdt_h_fenqu`( `recloggrpttimestamp` string, ...
阅读更多
hive开发过程中遇到的一些问题|Code-Hadoop-Hive-Java==作者:YB-Chi==
[toc]
1、连接hive的时候发现连接不上,后来发现是hdfs有损坏文件,hadoop fsck的一些命令
Hadoop fsck [-move | -delete | -openforwrite] [-files [-bloc ...
阅读更多
centos7安装hbase1.1.4|Bigdata-Hbase==作者:YB-Chi==
[TOC]
准备软件hbase-1.1.4-bin.tar.gz
安装步奏#解压
tar zxvf hbase-1.1.4-bin.tar.gz
#修改环境变量
vi /etc/profile
# Hbase Envir ...
阅读更多
centos7安装hbase2.10.0|Bigdata-Hbase==作者:YB-Chi==
HBase简介 HBase是Apache Hadoop中的一个子项目,是一个HBase是一个开源的、分布式的、多版本的、面向列的、非关系(NoSQL)的、可伸缩性分布式数据存储模型,Hbase依托于Hadoop的HDFS作为最基本 ...
阅读更多
hbase常用操作|Bigdata,Hbase==作者:YB-Chi==
修改hbase表为snappy压缩表12345678alter 'geo_cells',{NAME => 'cell_parameter', COMPRESSION => ...
阅读更多
cnetos7安装hadoop2.6.4|Bigdata-Hadoop==作者:YB-Chi==
[TOC]
准备软件jdk-7u80-linux-x64.tar.gz,hadoop-2.6.4.tar.gz
安装过程安装jdk配置jdk要先卸载centos自带的openjdk先查看 rpm -qa | grep java显示 ...
阅读更多
Elasticsearch集群搭建|Bigdata-ES==作者:YB-Chi==
[toc]
搭建集群model准备一台虚机
centos6.7
免密码登陆
yum源
静态IP
/etc/hosts配置
/etc/sysconfig/network配置
jdk&环境变量
解压elasticsearc ...
阅读更多
windows安装elasticsearch|Bigdata-ES==作者:YB-Chi==
[toc]
使用版本公司版本
cupid-elasticsearch-1.7.2.zip
更改配置文件elasticsearch.bat#注释前两行错误配置
::for /f %%a in ("%~dp0\.." ...
阅读更多
flume安装|Bigdata-Flume-NG==作者:YB-Chi==
[toc]
添加agent节点
在BDS部署
配置环境变量
修改配置文件cp flume-env.sh.template flume-env.sh
加入jdk和hadoop的环境变量
flume-ng version验证
创建ag ...
阅读更多