手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Apache Kafka 2.3 发布,大数据分布式流式平台

[日期:2019-06-27] 来源:Linux公社  作者:醉落红尘 [字体: ]

两天前,Apache Kafka团队发布了最新版本的开源分布式数据流软件Apache Kafka 2.3。这个版本对Kafka Core、Connect和Streams REST API有几个改进。在这个版本中,添加了一个新的最大日志压缩延迟。它还改进了分区监视、SocketServer处理器中的公平性等等。

Apache Kafka 2.3有什么新特性?

Kafka Core

减少代理用于扫描日志文件的时间

JIRA优化了一个进程,这样Kafka只需检查它的日志段。在早期版本中,日志恢复所需的时间与日志的数量不成比例。在Kafka 2.3中,它与未刷新的日志段的数量成正比,并且代理启动时间减少了50%。

改进了对丢失副本的分区的监视

在这个版本中,Kafka Core添加了一些指标,显示具有最少同步副本的分区。通过监视这些指标,用户可以看到分区处于复制不足的边缘。此外,-under-min-isr命令行标志已添加到kafka-topics命令中。这将使用户容易地看到哪些主题的同步副本少于最小数量。

添加了最大日志压缩延迟

在早期版本中,在写入最新的密钥之后,一阶近似中的先前密钥值将在一段时间后得到压缩。在此版本中,现在可以设置旧值的最大时间量。新参数max.log.compation.time.ms将指定旧值可能存在于压缩主题中的时间长度。这将使Apache Kafka能够遵守GDPR等数据保留规定。

提高了SocketServer处理器的公平性

Apache Kafka 2.3将优先考虑现有连接而不是新连接,并将提高代理对连接风暴的恢复能力。它还为每个代理设置添加了max.connections。

Core Kafka还改进了Replica Fetcher中的故障处理。

Kafka Connect中的增量协作重新平衡

在Kafka Connect中,工作任务分布在可用的工作节点中。重新配置连接器或部署新连接器时 - 以及添加或删除工作程序时 - 必须在Connect群集中重新平衡任务。这有助于确保所有工作节点正在共享Connect工作。使用Kafka 2.3,可以更轻松地进行配置更改。 Kafka Connect还为Connect工作日志添加了连接器上下文。

Kafka Streams

允许用户在RocksDB中存储记录时间戳

Kafka Streams将在国家商店中包含时间戳。这将为确保未来功能奠定基础,例如处理KTable中的无序消息和实现KTables的TTL。

添加了内存窗口存储和会话存储

此版本具有Kafka Streams窗口存储和会话存储的内存实现。内存中的实现提供了更高的性能,以换取磁盘缺乏持久性。

Kafka Streams还添加了KStream.flatTransform和KStream.flatTransformValues。

这些是一些精选的更新,请访问Apache博客了解更多细节。

Linux公社的RSS地址https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址https://www.linuxidc.com/Linux/2019-06/159175.htm

linux
相关资讯       kafka  Apache Kafka  Kafka 2.3 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款