请选择 进入手机版 | 继续访问电脑版

Flume到底会不会丢失数据?

[复制链接]
黎平 发表于 2021-1-3 12:02:47 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
Source到Channel是事务性的,put事务
Channel到Sink也是事务性的,take事务
这两个环节都不大概丢失数据, 传输失败后会回滚doRollback。
但是
source:
  (1)exec source ,反面接 tail -f ,这个数据也是有大概丢的。
  (2)TailDir source ,这个是不会丢数据的,它可以包管数据不丢失。
channel:
     接纳MemoryChannel,(1)在agent宕机时候导致数据在内存中丢失;(2)Channel存储数据已满,导致Source不再写入数据,造成未写入的数据丢失;
     接纳FileChannel, 写入磁盘是不大概丢失数据的
sink:
    不会丢失, 会重复. 比方数据已经过Sink发出,但是没有吸收到响应,Sink会再次发送数据,导致数据重复
    hdfs sink:  flush 到 hdfs 的时候,大概由于网络原因超时导致数据传输失败,这个时候同样地调用 doRollback 方法来举行回滚,回滚的时候,由于takeList中尚有备份数据,所以将takeList中的数据原封不动地还给channel,这时候就完成了事务的回滚。
  但是,如果 flush 到 hdfs 的时候,数据flush了一半之后出问题了,这意味着已经有一半的数据已经发送到 hdfs 上面了,现在出了问题,同样需要调用doRollback方法来举行回滚,回滚并没有“一半”之说,它只会把整个takeList中的数据返回给channel,然后继续举行数据的读写。这样开启下一个事务的时候就容易造成数据重复的问题。
所以: Flume不会丢失数据,但是大概会数据重复
 
hdfs sink 优化:

调解文件滚动相关参数:  时间(1小时-2小时) or 巨细128m、event个数(0克制)详细参数:hdfs.rollInterval=3600,hdfs.rollSize=134217728,hdfs.rollCount =0
Hdfs Sink 写文件 相关设置说明
hdfs.path -> hdfs目次路径
hdfs.filePrefix -> 文件前缀。默认值FlumeData
hdfs.fileSuffix -> 文件后缀
hdfs.rollInterval -> 多久时间后close hdfs文件。单元是秒,默认30秒。设置为0的话体现不根据时间close hdfs文件
hdfs.rollSize -> 文件巨细高出一定值后,close文件。默认值1024,单元是字节。设置为0的话体现不基于文件巨细
hdfs.rollCount -> 写入了多少个事件后close文件。默认值是10个。设置为0的话体现不基于事件个数
hdfs.fileType -> 文件格式, 有3种格式可选择:SequenceFile, DataStream or CompressedStream
hdfs.batchSize -> 批次数,HDFS Sink每次从Channel中拿的事件个数。默认值100
hdfs.minBlockReplicas -> HDFS每个块最小的replicas数字,不设置的话会取hadoop中的设置
hdfs.maxOpenFiles -> 允许最多打开的文件数,默认是5000。如果高出了这个值,越早的文件会被关闭
serializer -> HDFS Sink写文件的时候会举行序列化使用。会调用对应的Serializer捏词,可以自界说符合需求的Serializer
hdfs.retryInterval -> 关闭HDFS文件失败后重新实验关闭的延迟数,单元是秒
hdfs.callTimeout -> HDFS使用允许的时间,好比hdfs文件的open,write,flush,close使用。单元是毫秒,默认值是10000

来源:https://blog.csdn.net/a308601801/article/details/112061247
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发布主题

专注素材教程免费分享
全国免费热线电话

18768367769

周一至周日9:00-23:00

反馈建议

27428564@qq.com 在线QQ咨询

扫描二维码关注我们

Powered by Discuz! X3.4© 2001-2013 Comsenz Inc.( 蜀ICP备2021001884号-1 )