==作者：YB-Chi== [toc] HDFS的工作机制工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能力，形成一定的集群运维能力。 很多不是真正理解hadoop技术体系的人会常常觉得HDFS可用于网盘类应用，但实际并非如此。 ...

==作者：YB-Chi== [toc] 准备软件jdk-7u80-linux-x64.tar.gz,hadoop-2.6.4.tar.gz 安装步奏安装jdk配置jdk要先卸载centos自带的openjdk先查看 rpm -qa | grep java显示 ...

==作者：YB-Chi== [toc] 流程Hadoop 集群的安装配置大致为如下流程: 选定一台机器作为 Master 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境 在 Master 节点上安装 Had ...

==作者：YB-Chi== [TOC] CDH安装包括两类镜像，分别是Cloudera Manager管理节点镜像和普通镜像。管理节点镜像比普通镜像多CDH，CM安装包，CM只安装在一台机器上即可。 安装CM管理节点ISO下面操作只是针对CM管理结点,其它普通 ...

CDH自带了snappy压缩包，无需手动安装 确认snappy 打开CDHweb，点击yarn2-配置，搜索io.compression.codecs按图改 hbase已有表可以通过 alter 'test', {NAME => 'cf', COMPR ...

==作者：YB-Chi== [toc] Apache Lucene将所有信息写到一个成为倒排索引的结构中。 ES与MYSQL对应关系 以上表为依据，ES中的新建文档（在Index/type下）相当于Mysql中（在某Database的Table）下插 ...

==作者：YB-Chi== [toc] 以下在宿主机操作. vmware-编辑-虚拟网络编辑器 填写网关(*.2),和转发配置(和xshell隧道一个意思) 网络适配器修改vmnet8 防火墙-高级设置-增加入站规则, 以下在另一台电脑操作 名称为虚拟 ...

==作者：YB-Chi== [toc] 案例创建序列 1CREATE SEQUENCE test_seq START WITH 1 MINVALUE 1 MAXVALUE 16777215 INCREMENT BY 1 CYCLE; 创建表,主键使用序列值 ...

==作者：YB-Chi== [toc] 数据流转换准备的源算子123456789StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment().setP ...

==作者：YB-Chi== [toc] 老式操作每个节点执行ssh-keygen -t rsa,一路回车 随便一台机器touch ~/.ssh/authorized_keys 合并所有节点的/.ssh/id_rsa.pu ...