centos7安装mysql5.5.48|Linux-Mysql==作者：cybsky==
由于centos7移掉了mysql，不能够直接用yum安装了
准备软件MySQL5.5-deps.zip（依赖文件 暂时未用到）
MySQL-client-5.5.48-1.linux2.6.x86_64.rpm
MySQL-se ...
阅读更多
spark学习记录|Bigdata-Spark==作者：cybsky==
[toc]
知识点 用spark-submit命令提交任务运行，具体使用查看：spark-submit –help
1234567891011121314151617181920212223242526272829303132333 ...
阅读更多
Java操作Spark学习|Code-Bigdata-Java-Spark==作者：cybsky==
[toc]
配置文件core-site.xml1234567891011121314151617181920212223242526272829<?xml version="1.0" encoding=&q ...
阅读更多
KAFKA常用操作|BIGDATA,KAFKA,OP==作者：cybsky==
[toc]
kafka消费者远程启动命令123# 修改配置/home/weihu/cli/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.198.16.49:909 ...
阅读更多
Kafka总结|Bigdata-Kafka==作者：cybsky==
[toc]
1.Kafka的特性
高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒
可扩展性：kafka集群支持热扩展
持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失
容错性：允许集 ...
阅读更多
Hive自定义UDF函数|Code-Hadoop-Hive-Java==作者：cybsky==
idea新建个maven项目，引入依赖
12345678910111213<dependencies> <dependency> <groupId>org.ap ...
阅读更多
centos7安装hive1.2.1|Bigdata-Hive==作者：cybsky==
[toc]
准备软件apache-hive-1.2.1-bin.tar.gz
安装步奏将文件解压在/usr/local/下并改名hive_1.2.1
#配置系统环境变量/etc/profile
# Hive Environme ...
阅读更多
hive3.1 op&dev|hive版本：hadoop-3.3.0.tar.gzapache-hive-3.1.2-bin.tar.gzzookeeper-3.4.9.tar.gzspark-2.3.2-bin-without-hadoop.gz
配置环境变量
1234567891011export MYSQL_HOME=/usr/l ...
阅读更多
hive常用操作|DATABASE,HIVE,OP[toc]
建分区表1234567891011121314151617181920212223CREATE EXTERNAL TABLE `ods_o_mdt_huawei_log_mdt_h_fenqu`( `recloggrpttimestamp` string, ...
阅读更多
