==作者：cybsky== [toc] 添加agent节点 在BDS部署 配置环境变量 修改配置文件cp flume-env.sh.template flume-env.sh 加入jdk和hadoop的环境变量 flume-ng version验证 创建ag ...

==作者：cybsky== CDH6.2集群安装简略[toc] 文档只记录CDH安装，前期准备工作参考文档：https://www.shuzhiduo.com/A/LPdoGaWyd3/ 全步骤：1234567891011121314151617所有操作使用r ...

==作者：cybsky== [TOC] CDH安装包括两类镜像，分别是Cloudera Manager管理节点镜像和普通镜像。管理节点镜像比普通镜像多CDH，CM安装包，CM只安装在一台机器上即可。 安装CM管理节点ISO下面操作只是针对CM管理结点,其它普通 ...

==作者：cybsky== [toc] HDFS的工作机制工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能力，形成一定的集群运维能力。 很多不是真正理解hadoop技术体系的人会常常觉得HDFS可用于网盘类应用，但实际并非如此。 ...

==作者：cybsky== [toc] 准备软件jdk-7u80-linux-x64.tar.gz,hadoop-2.6.4.tar.gz 安装步奏安装jdk配置jdk要先卸载centos自带的openjdk先查看 rpm -qa | grep java显示 ...

==作者：cybsky== [toc] 流程Hadoop 集群的安装配置大致为如下流程: 选定一台机器作为 Master 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境 在 Master 节点上安装 Had ...

==作者：cybsky== [TOC] 准备软件jdk-7u80-linux-x64.tar.gz,hadoop-2.6.4.tar.gz 安装过程安装jdk配置jdk要先卸载centos自带的openjdk先查看 rpm -qa | grep java显示 ...

CDH自带了snappy压缩包，无需手动安装 确认snappy 打开CDHweb，点击yarn2-配置，搜索io.compression.codecs按图改 hbase已有表可以通过 alter 'test', {NAME => 'cf', COMPR ...

笔记及收录

==作者：cybsky== [toc] Apache Lucene将所有信息写到一个成为倒排索引的结构中。 ES与MYSQL对应关系 以上表为依据，ES中的新建文档（在Index/type下）相当于Mysql中（在某Database的Table）下插 ...