你好,游客 登录 注册 搜索
背景:
阅读新闻

Storm 实战:构建大数据实时计算 PDF带书签完整版

[日期:2017-12-17] 来源:Linux社区  作者:Linux [字体: ]

Storm以其简单、灵活、健壮而著称。随着大数据实时处理需求的强劲增长,Storm的出现填补了大数据处理生态系统的缺失,并被越来越多的公司所采用。

《Storm实战:构建大数据实时计算 》来自阿里巴巴集团数据平台事业部商家数据业务部一线经验的分享。团队专注于“数据让生意更简单”的大数据应用使命,一直致力于解决商家的大数据应用需求。并开发出量子恒道店铺经、江湖策、御膳房等重量级大数据开发、计算和分析工具。团队很早便开始使用Storm来处理实时大数据,结合实际的应用场景,积累了丰富的实践经验。《Storm实战:构建大数据实时计算》正是这些经验和心得的结晶,它一一解答了是Storm是什么,怎么做,如何做更好等关键的实际问题,对于从事大数据处理与分析的读者而言,是一本相当有价值的学习参考手册。

阿里巴巴集团技术丛书是抱持着为工程师服务的理念诞生的。

阿里的快速发展,使我们有机会见证技术变革的强大力量。在这过程中,我们经历了技术的变迁、兴衰、成败,既有收获也有教训。如今,阿里已成为一家令人瞩目的互联网公司,站在这样的时点上,回顾过去,放眼四周,我们深刻地觉得有必要将沉淀下来的一线经验与智慧,结集出版,理由有三。

1.回报。我们获得的种种经验与教训,只有在阿里这样快速成长、体量巨大的公司中才有机会亲历。这样的技术环境并不是每个工程师都有机缘遇到的。这些经历帮助了我们个人能力的提升,也帮助阿里成为一家技术实力过硬的公司。我们愿意把这些内容分享出来,帮助即将或已经面临类似问题的朋友们,如果他们可以从阅读中获得一些启发而少走弯路的话,将是我们最大的欣慰。

2.交流。在这套丛书里,我们同样会抛出我们的困惑、问题,借助丛书的平台,扩大工程师沟通的圈子,以书会友,共同探索、学习、提高。

3.温故知新。以结集的形式,将以往的经验与知识固化下来,既可便于以后查阅,也可以帮助我们系统地梳理思路,更为全面地审视、洞察、并理解过去发生的种种,为未来的变化做好更充分、扎实的准备。

基于以上的考虑,阿里巴巴集团技术丛书将立足于实践,着眼于问题,从工程师的视角解读技术的内涵。

让思考成为我们生活的乐趣,让阅读成为我们进步的阶梯!

Storm 实战:构建大数据实时计算 PDF带书签完整版

内容提要

随着大数据实时处理需求的强劲增长,Storm的出现填补了大数据处理生态系统的缺失,并被越来越多的公司所采用。阿里巴巴集团数据平台事业部商家数据业务部正是最早使用Storm的技术团队之一。

《Storm实战:构建大数据实时计算 》是一本系统并且具有实践指导意义的Storm工具书和参考书,对Storm整个技术体系进行了全面的讲解,不仅包括对基本概念、特性的介绍,也涵盖了一些原理说明。

实战性很强,各章节都提供了一些小案例,同时对于本地,以及集群环境的部署有详细介绍,易于理解,操作性强。

《Storm实战:构建大数据实时计算 》一共分为10章:第1章全面介绍了Storm的特性、能解决什么问题,以及和其他流计算系统的对比;第2章通过实际运行一个简单的例子,以及介绍本地环境和集群环境的搭建,让读者对Storm有了直观的认识;第3章深入讲解了Storm的基本概念,同时实现一个Topology运行;第4章和第5章阐述了Storm的并发度、可靠处理的特性;第6章~第8章详细而系统地讲解了几个高级特性:事务、DRPC和Trident;第9章以实例的方式讲解了Storm在实际业务场景中的应用;第10章总结了几个在大数据场景应用过程中遇到的经典问题,以及详细的排查过程。

目录

第1 章 Storm 基础 1

1.1 Storm 能做什么............................................... 2

1.2 Storm 特性...................................................... 3

1.3 其他流计算系统.............................................. 8

1.4 应用模式....................................................... 13

第2 章 Storm 初体验 17

2.1 本地环境搭建............................................... 18

2.2 Storm 集群.................................................... 25

第3 章 构建Topology 41

3.1 Storm 基本概念............................................. 42

3.2 构建Topology............................................... 53

3.3 小结.............................................................. 61

第4 章 Topology 的并行度 62

4.1 并行元素 .......................................................63

4.2 配置并行度................................................... 65

4.3 一个运行中Topology 的例子 ....................... 68

4.4 如何更新运行中的Topology的并行度 ........ 71

第5 章 消息的可靠处理 73

5.1 简介.............................................................. 74

5.2 理解消息被完整处理.................................... 74

5.3 消息的生命周期............................................ 76

5.4 可靠相关的API............................................ 79

5.5 高效地实现tupletree .................................... 84

5.6 选择合适的可靠性级别................................ 87

5.7 集群的各级容错............................................ 89

5.8 小结.............................................................. 91

第6 章 一致性事务 92

6.1 简单设计一:强顺序流................................ 93

6.2 简单设计二:强顺序batch流 ...................... 95

6.3 CoordinateBolt 的原理.................................. 96

6.4 TransactionalTopology .................................. 98

第7 章 DRPC 105

7.1 Storm DRPC................................................ 106

7.2 总体概述..................................................... 106

7.3LinearDRPCTopologyBuilder ...................... 108

7.4 本地模式DRPC.......................................... 110

7.5 远程模式DRPC.......................................... 111

7.6 一个复杂的例子.......................................... 113

7.7 非线性DRPC 拓扑 ..................................... 117

7.8LinearDRPCTopologyBuilder 工作过程 ...... 117

7.9 高级进阶..................................................... 118

第8 章 Trident 的特性 119

8.1 理解Trident................................................ 120

8.2 结合多个Trident 任务 ................................ 124

8.3 消费和生产Field........................................ 126

8.4 State(状态保存)...................................... 128

8.5 Trident Topology 的执行过程...................... 136

8.6 总结............................................................ 137

第9 章 Storm 实例 138

9.1 一个简单的实例.......................................... 139

9.2 复杂一点的实例.......................................... 150

9.3 其他 ............................................................161

第10 章 常见应用问题分析 162

10.1 性能问题排查与定位................................ 163

10.2 系统中常见的问题与排查......................... 167

10.3 业务问题的定位与排查............................ 170

MariaDB入门很简单 PDF带书签目录清晰扫描版可从以下信息的得到下载:

点击这个http://www.linuxidc.com/Linux/2013-12/93755.htm 链接关注 Linux公社官方微信,关注后回复数字149540。即可得到网友的分享密码。

如果取消关注Linux公社公众号,即使再次关注,也将无法提供本服务!

链接:https://pan.baidu.com/s/1qYaCILm 密码:获得见上面的方法,地址失效请在下面留言。

------------------------------------------分割线------------------------------------------

也可以到Linux公社1号FTP服务器下载

FTP地址:ftp://ftp1.linuxidc.com

用户名:ftp1.linuxidc.com

密码:www.linuxidc.com

在 2017年LinuxIDC.com//12月/Storm 实战:构建大数据实时计算 PDF带书签完整版/

下载方法见 http://www.linuxidc.com/Linux/2013-10/91140.htm

------------------------------------------分割线------------------------------------------ 

本文永久更新链接地址http://www.linuxidc.com/Linux/2017-12/149540.htm

linux
相关资讯       Storm  Storm 实战 
本文评论   查看全部评论 (1)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款
第 1 楼
* 匿名 发表于 2017/12/18 12:18:28
什么时候来几本SPARK的书!!!