手机版
你好,游客 登录 注册
背景:
阅读新闻

Apache Flink 1.8.0 发布,提供最终的状态模式演化支持

[日期:2019-04-15] 来源:Linux公社  作者:醉落红尘 [字体: ]

上周,Apache Flink背后的社​​区宣布发布Apache Flink 1.8.0。此版本附带最终的状态演变支持,状态TTL的延迟清理策略,SQL中改进的模式匹配支持等。

最终的状态模式演变支持

  • 此版本标志着社区驱动的努力的完成,为Flink管理的用户状态提供模式演变故事。进行以下更改以完成状态模式演变支持:
  • 现在,支持状态模式演变的数据类型列表已扩展为包括POJO(普通旧Java对象)。
  • 升级所有Flink内置序列化程序以使用新的序列化兼容性抽象。
  • 现在,高级用户可以轻松使用自定义状态序列化器实现抽象。

基于TTL持续清理旧状态

在Apache Flink 1.6中,为键控状态引入了TTL(生存时间)。 TTL启用清理并在给定超时后使键控状态条目不可访问。写保存点或检查点时也可以清除状态。在此版本中,RocksDB状态后端和堆后端也允许连续清除旧条目。

改进了SQL中的模式匹配支持

此版本通过添加两个新更新来扩展MATCH_RECOGNIZE子句:用户定义的函数和聚合。在模式检测期间为自定义逻辑添加了用户定义的函数,并为复杂的CEP定义添加了聚合。

用于直接访问ConsumerRecord的新KafkaDeserializationSchema

引入了新的KafkaDeserializationSchema以直接访问Kafka ConsumerRecord。这将使用户能够访问Kafka为包括标题在内的记录提供的所有数据。

特定于Hadoop的发行版不会发布

从此版本开始,将不会发布特定于Hadoop的发行版。如果部署依赖于'flink-dist'中包含的'flink-shaded-hadoop2',则必须手动下载并将其复制到/ lib目录中。

Table API的Maven模块中的更新

具有“flink-table”依赖关系的用户需要将其依赖关系更新为“flink-table-planner”。如果要在Scala或Java中实现纯表程序,请分别将“flink-table-api-scala”或“flink-table-api-java”添加到项目中。

要了解更多详细信息,请查看Apache Flink的官方声明。

Linux公社的RSS地址https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址https://www.linuxidc.com/Linux/2019-04/158117.htm

 

linux
相关资讯       Apache Flink 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款