Flume 安装

Flume 官网地址：http://flume.apache.org/

文档查看地址：http://flume.apache.org/FlumeUserGuide.html

下载地址：http://archive.apache.org/dist/flume/

Flume 分两个个大版本 分别是 0.9 之前和 0.9 之后

0.9 之前 称为 flume og

0.9 之后 称为 flume ng

tar -zxvf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/
mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume
#将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3
rm /opt/module/flume/lib/guava-11.0.2.jar
sudo vim /etc/profile.d/my_env.sh 

#FLUME_HOME
export FLUME_HOME=/opt/module/flume
export PATH=$PATH:$FLUME_HOME/bin

source /etc/profile.d/my_env.sh 

同步

cd /opt/module/
xsync flume/
sudo xsync /etc/profile.d/my_env.sh 

agent 配置文件规则

官方手册 http://flume.apache.org/FlumeUserGuide.html

1. 需要定 agent 的名字，并且对 source channel sink 定义好名字
2. 对 source channel sink 指明具体的类型和配置
3. 指明 source channel sink 三者之间的一个关系