请选择 进入手机版 | 继续访问电脑版

Storm中Trident框架详解

[复制链接]
余峻 发表于 2021-1-2 17:42:33 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
目次



一、Storm Trident概述及特性

Trident是在storm根本上,一个以realtime 盘算为目的的高度抽象。 它在提供处理处罚大吞吐量数据本领的同时,也提供了低延时分布式查询和有状态流式处理处罚的本领。好比 Mapreduce框架的Pig,Trident是Storm提供的基于根本API开辟的高级框架。Trident提供了 joins, aggregations, grouping, functions, 以及 filters等本领。
除此之外,Trident 还提供了一些专门的原语,从而在基于数据库大概其他存储的前提下来应付有状态的递增式 处理处罚。
Trident是完全容错的,拥有有且只有一次处理处罚的语义,实在就是transactional的高级封装。这就让你可以很轻松 的使用Trident来举行实时数据处理处罚。Trident会把状态以某种形式保持起来,当有错误发生时,它会根据需要来规复 这些状态。
Trident封装了transactional事务类,所以我们不再需要学习Batch相关的根本API了,减轻了学习资本。
trident每次处理处罚消息均以batch为单位,即一次处理处罚多个元组
trident是storm的更高条理抽象,主要提供了3个方面的长处:


  • (1)常用的count,sum等封装成了方法,可以直接调用不需要自己实现。
  • (2)提供一次原语,如groupby等。
  • (3)提供事务支持,可以包管数据均处理处罚且只处理处罚了一次(恰好一次)
如果我们开辟一个对文本中的词频举行统计的步伐,使用Storm框架的话我们需要开辟三个Storm组件:


  • 1.一个Spout负责收集文本信息并分段,做为sentence字段发送给下游的Bolt
  • 2.一个Bolt将每段文天职词,将分词效果以word字段发送给下游的Bolt
  • 3.一个Bolt对词频举行统计,把统计效果记载在count字段并存储
如果使用Trident我们可以使用一下代码完成上述利用:

二、TridentTopology与StormToplogy

(1)区别
StormToplogy:

TridentTopology

(2)接洽

spout的消息流涉及到的焦点类

三、TridentTopology的可靠性机制详解


四、Storm Trident API解说


  以上内容仅供参考学习,如有侵权请接洽我删除!
如果这篇文章对您有资助,左下角的大拇指就是对博主最大的鼓励。
您的鼓励就是博主最大的动力!

来源:https://blog.csdn.net/weixin_45366499/article/details/112008176
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发布主题

专注素材教程免费分享
全国免费热线电话

18768367769

周一至周日9:00-23:00

反馈建议

27428564@qq.com 在线QQ咨询

扫描二维码关注我们

Powered by Discuz! X3.4© 2001-2013 Comsenz Inc.( 蜀ICP备2021001884号-1 )