集群表|Clickhouse-sql==作者:cybsky==
[toc]
阅读更多
集群表|Clickhouse-sql==作者:cybsky==
通过cluster在每个节点创建本地表
1234567891011CREATE TABLE st_order_mt ON CLUSTER cyb_cluster( `id` UInt32, `sku_id` Stri ...
阅读更多
ClickHouse集群版部署|Linux-Clickhouse==作者:cybsky==
[toc]
部署结构3节点3实例3分片2副本
配置文件/etc/clickhouse-server/metrika.xml
123456789101112131415161718192021222324252627282930313 ...
阅读更多
ZK集群部署|Linux-zookeeper==作者:cybsky==
[toc]
安装包官网下载,git只有souce code版
https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8. ...
阅读更多
hive开发过程中遇到的一些问题|Code-Java-Hive-Hadoop==作者:cybsky==
[toc]
1、连接hive的时候发现连接不上,后来发现是hdfs有损坏文件,hadoop fsck的一些命令
Hadoop fsck [-move | -delete | -openforwrite] [-files [-bloc ...
阅读更多
hive常用操作|DATABASE,HIVE,OP[toc]
建分区表1234567891011121314151617181920212223CREATE EXTERNAL TABLE `ods_o_mdt_huawei_log_mdt_h_fenqu`( `recloggrpttimestamp` string, ...
阅读更多
CLOUDERA_MANAGER安装KAFKA|Bigdata-CDH-Kafka==作者:cybsky==
[toc]
版本说明CDH 5.5.1
KAFKA-2.1.1-0.10.0
准备软件下载地址:
http://archive.cloudera.com/kafka/parcels/2.1/
KAFKA-2.1.1-1.2.1.1. ...
阅读更多
Kafka总结|Bigdata-Kafka==作者:cybsky==
[toc]
1.Kafka的特性
高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒
可扩展性:kafka集群支持热扩展
持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失
容错性:允许集 ...
阅读更多
KAFKA常用操作|BIGDATA,KAFKA,OP==作者:cybsky==
[toc]
kafka消费者远程启动命令123# 修改配置/home/weihu/cli/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.198.16.49:909 ...
阅读更多
单机Kafka服务器部署|Bigdata-Kafka==作者:cybsky==
[toc]
所需组件123JDK1.8Zookeeper3.4.6kafka_2.11-0.10.0.0
安装jdk配置jdk要先卸载centos自带的openjdk 先查看 rpm -qa | grep java 显示如下信 ...
阅读更多