Flume部署实验
一、实验介绍
1.1实验内容
本实验包括分布式海量日志采集、聚合和传输系统Flume的部署以及flume和Kafka整合实现信息收集传递的实例。
1.2实验知识点
Flume部署
Flume消息收集
Flume Kafka整合
1.3实验环境
apache-flume-1.8.0
网易云平台
1.4实验资源
资源名称 | 存储目录 |
---|---|
Flume安装包 | /opt/software/package/ |
1.5实验步骤清单
flume安装部署(flume安装、flume验证)
二、实训架构
序号 | IP地址 | 机器名 | 类型 |
---|---|---|---|
1 | 172.25.10.140 | master | flume |
2 | 172.25.10.141 | slave1 | flume |
3 | 172.25.10.142 | slave2 | flume |
4 | 172.25.10.143 | slave3 | flume |
三、实验环境准备
进入实验列表,找到Flume,点击开启实验,启动master、slave1及salve2,slave3。
四、实验步骤
4.1Flume部署
4.1.1配置hosts文件及zookeeper的myid
#slave1修改为2echo 2 >/usr/local/zookeeper/data/myid
#slave2修改为3echo 3 > /usr/local/zookeeper/data/myid
#slave3修改为4echo 4 > /usr/local/zookeeper/data/myid
#让四台机器profile环境变量生效source /etc/profile
4.1.2安装Flume
1、在master主机安装Flume软件,解压和重命名Flume软件
#解压flume包tar zxvf /opt/software/package/apache-flume-1.8.0-bin.tar.gz -C /usr/local/
#重命名flumemv /usr/local/apache-flume-1.8.0-bin/ /usr/local/flume/
#拷贝flume到slavescp -r /usr/local/flume root@slave1:/usr/local/
scp -r /usr/local/flume root@slave2:/usr/local/
scp -r /usr/local/flume root@slave3:/usr/local/
2、配置flume agent
本实验source 使用 necat 类型,sink 采用 file_roll 类型,从监听端口获取数据,保存到本地文件。
#拷贝配置模板cp /usr/local/flume/conf/flume-conf.properties.template /usr/local/flume/conf/flume-conf.properties
#编辑配置文件vim /usr/local/flume/conf/flume-conf.properties
agent.sources = r1
agent.channels = c1
agent.sinks = s1
# For each one of the sources, the type is defined
agent.sources.r1.type = netcat
agent.sources.r1.bind = localhost
agent.sources.r1.port = 8888
# The channel can be defined as follows.
agent.sources.r1.channels = c1
# Each sink's type must be defined
agent.sinks.s1.type = file_roll
agent.sinks.s1.sink.directory = /tmp/log/flume
#Specify the channel the sink should use
agent.sinks.s1.channel = c1
# Each channel's type is defined.
agent.channels.c1.type = memory
# Other config values specific to each type of channel(sink or source)
# can be defined as well
# In this case, it specifies the capacity of the memory channel
agent.channels.c1.capacity = 100
#建立输出目录mkdir -p /tmp/log/flume
4.1.3验证Flume
#启动服务/usr/local/flume/bin/flume-ng agent --conf conf -f /usr/local/flume/conf/flume-conf.properties -n agent -Dflume.root.logger=INFO,console
#发送测试数据
打开新终端执行以下命令telnet localhost 8888
输入:
hello world!
hello Flume!
#查看 /tmp/log/flume 目录文件ll /tmp/log/flume/
#查看文件内容(查看大小不为空的文件)cat /tmp/log/flume/1668671787082-5
#关闭flume
在启动flume的终端使用ctrl c组合键关闭flume进程。
五、实验总结
Apache Flume是一个分布式、可靠、可用的系统,用于从大量不同的源有效地收集、聚合、移动大量日志数据进行集中式数据存储。本实验完成了flume的安装验证。
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhiaakia
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
微信运动停用后别人还能看到步数吗
PHP中文网 07-22 -
excel打印预览压线压字怎么办
PHP中文网 06-22