手机版
你好,游客 登录 注册
背景:
阅读新闻

Storm 2.0.0 发布,支持Java架构

[日期:2019-06-04] 来源:Linux公社  作者:醉落红尘 [字体: ]

上周,Apache Storm PMC宣布发布Storm 2.0.0。此版本的主要亮点是Storm已经在纯Java中重新构建。以前,Storm的核心功能很大一部分是在Clojure中实现的。此版本还包括在性能,新流API,窗口增强和Kafka集成更改方面的重大改进。

用Java实现的新架构

在此版本中,Storm已经重新构建,其核心功能在纯Java中实现。这种新的实现显着改善了其性能,并使内部API更易于维护和扩展。以前的语言Clojure经常为进入新贡献者提供障碍。现在,对于那些不想学习Clojure以便贡献的开发人员来说,Storm的代码库现在更容易被访问。

新的高性能核心

Storm 2.0.0拥有一个新的核心,具有更精简的线程模型,超快的消息传递子系统和轻量级的背压模型。这旨在突破吞吐量,延迟和能耗的边界,同时保持向后兼容性。此外,这使得Storm 2.0成为第一款打破1微秒延迟障碍的流媒体引擎。

新Streams API

这个版本有一个新的类型API,它将使用功能样式操作更容易地表达流式计算。它建立在Storm的核心喷口和螺栓API之上,并自动将多个操作融合在一起。这将有助于优化管道。

窗口增强功能

Storm 2.0.0的窗口API现在可以将窗口状态保存/恢复到配置的状态后端。这将支持更大的连续窗口。此外,现在可以通过API访问窗口边界。

Kafka改进

Kafka集成变化

  • 删除storm-kafka

由于Kafka对底层客户端库的弃用,storm-kafka模块已被删除。用户必须移动到storm-kafka-client模块。这使用Kafka的'kafka-clients'库进行集成。

  • 转到使用KafkaConsumer.assign API

在Storm 1.x中使用的Kafka自己的机制已经在2.0.0中完全删除了。由于对订阅行为的控制有限,storm-kafka-client订阅界面也已被删除。它已被'TopicFilter'和'ManualPartitioner'接口所取代。

对于自定义订阅用户,请转至storm-kafka-client文档,该文档描述了如何自定义分配。

其他kafka亮点

  • KafkaBolt现在允许您指定在将批处理写入Kafka时将调用的回调。
  • First TrollOffsetStrategy行为在non-Trident 和 Trident spouts之间保持一致。
  • Storm-kafka-client现在有一个事务性非不透明的Trident spout。

用户还被告知将不再维护1.0.x版本行,并强烈建议用户升级到更新版本。 Java 7支持也已被删除,Storm 2.0.0需要Java 8。

要下载Storm 2.0.0版本,请访问Storm下载页面。

Storm 实战:构建大数据实时计算 PDF带书签完整版  http://www.linuxidc.com/Linux/2017-12/149540.htm

Linux公社的RSS地址https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址https://www.linuxidc.com/Linux/2019-06/158969.htm

linux
相关资讯       Storm  Storm 2.0.0 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款