目次
一、Storm Trident概述及特性
Trident是在storm根本上,一个以realtime 盘算为目的的高度抽象。 它在提供处理处罚大吞吐量数据本领的同时,也提供了低延时分布式查询和有状态流式处理处罚的本领。好比 Mapreduce框架的Pig,Trident是Storm提供的基于根本API开辟的高级框架。Trident提供了 joins, aggregations, grouping, functions, 以及 filters等本领。
除此之外,Trident 还提供了一些专门的原语,从而在基于数据库大概其他存储的前提下来应付有状态的递增式 处理处罚。
Trident是完全容错的,拥有有且只有一次处理处罚的语义,实在就是transactional的高级封装。这就让你可以很轻松 的使用Trident来举行实时数据处理处罚。Trident会把状态以某种形式保持起来,当有错误发生时,它会根据需要来规复 这些状态。
Trident封装了transactional事务类,所以我们不再需要学习Batch相关的根本API了,减轻了学习资本。
trident每次处理处罚消息均以batch为单位,即一次处理处罚多个元组
trident是storm的更高条理抽象,主要提供了3个方面的长处:
- (1)常用的count,sum等封装成了方法,可以直接调用不需要自己实现。
- (2)提供一次原语,如groupby等。
- (3)提供事务支持,可以包管数据均处理处罚且只处理处罚了一次(恰好一次)
如果我们开辟一个对文本中的词频举行统计的步伐,使用Storm框架的话我们需要开辟三个Storm组件:
- 1.一个Spout负责收集文本信息并分段,做为sentence字段发送给下游的Bolt
- 2.一个Bolt将每段文天职词,将分词效果以word字段发送给下游的Bolt
- 3.一个Bolt对词频举行统计,把统计效果记载在count字段并存储
如果使用Trident我们可以使用一下代码完成上述利用:
二、TridentTopology与StormToplogy
(1)区别
StormToplogy:
TridentTopology
(2)接洽
spout的消息流涉及到的焦点类
三、TridentTopology的可靠性机制详解
四、Storm Trident API解说
以上内容仅供参考学习,如有侵权请接洽我删除!
如果这篇文章对您有资助,左下角的大拇指就是对博主最大的鼓励。
您的鼓励就是博主最大的动力!
来源:https://blog.csdn.net/weixin_45366499/article/details/112008176
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作! |