手机版
你好,游客 登录 注册
背景:
阅读新闻

Beam晋升Apache顶级项目

[日期:2017-02-27] 来源:infoq.com  作者:Dylan Raithel ,译者 麦克周 [字体: ]

Beam最近成功地晋升为Apache软件基金会的顶级项目,Beam的目标包括使用灵活的高层及数据流处理不限时间、无序、全球规模的数据。Beam最初是由Google内部项目创建,随后被捐献给了Apache,并于2016年2月开始一直孵化到当年年底。Beam项目寻求针对流式和批处理任务创建一个统一编程模型,并且产生可以被许多已经支持的数据处理引擎消费的组件。Beam寻求:

为世界提供一个易用的、强大的数据并行处理模型,支持包括流式和批处理,灵活地在各种实时平台之间工作。Beam SDKs使用相同的类展现有限和无限数据,并且基于这些数据至上做相同的转换操作。

Java和Python的SDK支持提供了选择的后台处理引擎和处理管道组件之间的抽象层。支持的处理引擎包括ApacheApexFlinkSpark以及Google Cloud Dataflow引擎。

Beam管道的编程模型包括PCollection(s)、Transform(s)和Pipeline I/O,以及每个支持处理引擎的Runners,对于本地DirectRunner不作为默认的Beam:

Google开源Beam的动机是作为新兴商业业务的一部分,用以支持集成,同时贡献给其他开源项目。基本想法是这样做可以增加Beam的潜在使用几率,深层次是想要提升Google Dataflow平台的曝光度,深层次原因是因为Beamd的出现会提升已经支持的处理引擎。Google在Spark和Beam之间进行了比较,注明Beam模型由于它专注于流式和批量数据处理,所以Beam是正确的模型选择,并且通过启用事件时间窗口(Event-Time Windowing)、水印(Watermark)、触发(Trigger)特性等证明了语义重要性。开源社区和数据科学产业还不能独立于Google进行数据验证,并且应该围绕系统架构和基准使用更多的用例分析。早期迹象显示Beam社区正在不断发展,并且围绕支持多个处理平台也有积极的反馈。

查看英文原文:Beam Graduates to Top-Level Apache Project

本文永久更新链接地址http://www.linuxidc.com/Linux/2017-02/141100.htm

linux
相关资讯       Apache顶级项目  Beam 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款