你好,游客 登录 注册 搜索
背景:
阅读新闻

Storm集群的DRPC模式

[日期:2015-03-07] 来源:Linux社区  作者:Uber [字体: ]

Storm的DRPC模式的作用是实现从远程调用storm集群的计算资源,而不需要连接到集群的某一个节点。OK。那么Storm实现DRPC主要是使用LinearDRPCTopologyBuilder这个类。下面就先来看看一个简单的例子,它的源码在github上。

import backtype.storm.Config;
import backtype.storm.LocalCluster;
import backtype.storm.LocalDRPC;
import backtype.storm.StormSubmitter;
import backtype.storm.drpc.LinearDRPCTopologyBuilder;
import backtype.storm.topology.BasicOutputCollector;
import backtype.storm.topology.OutputFieldsDeclarer;
import backtype.storm.topology.base.BaseBasicBolt;
import backtype.storm.tuple.Fields;
import backtype.storm.tuple.Tuple;
import backtype.storm.tuple.Values;
public class BasicDRPCTopology {
public static class ExclaimBolt extends BaseBasicBolt {    //主要需要覆写execute方法和declareoutputfields方法
@Override
public void execute(Tuple tuple, BasicOutputCollector collector) {
String input = tuple.getString(1);
collector.emit(new Values(tuple.getValue(0), input + "!"));
}
@Override
public void declareOutputFields(OutputFieldsDeclarer declarer) {
declarer.declare(new Fields("id", "result"));
}
}
public static void main(String[] args) throws Exception {
LinearDRPCTopologyBuilder builder = new LinearDRPCTopologyBuilder("exclamation");//实现DRPC模式
builder.addBolt(new ExclaimBolt(), 3);
Config conf = new Config();
if (args == null || args.length == 0) {
LocalDRPC drpc = new LocalDRPC();
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("drpc-demo", conf, builder.createLocalTopology(drpc));
for (String word : new String[]{ "hello", "goodbye" }) {
System.out.println("Result for \"" + word + "\": " + drpc.execute("exclamation", word));
}
cluster.shutdown();
drpc.shutdown();
}
else {
conf.setNumWorkers(3);
StormSubmitter.submitTopology(args[0], conf, builder.createRemoteTopology());
}
}
}

这段代码主要实现的功能是给接收到的每一个输入后面添加一个感叹号。ok,这样就可以编译提交了。

不过在这之前需要先配置storm集群的drpc server的ip。如图。主要是下面的server的ip需要配置好。并且集群的每一个节点的配置文件都需要配置这项参数!

然后即可使用storm drpc &命令启动drpc模式。(这里的分工是172.17.150.6为客户端,其余的172.17.150.7(.8,.11)为集群的三个节点,.11是nimbus节点。)

OK,那接下来就使用客户端向集群提交Topology。如图。使用客户端向集群提交名为exclaim的Topology。里面设置的worker数为3。

从下图可以看到两个supervisor分别有一个是运行两个worker,有一个是运行一个worker。

ok,下面是客户端调用远程资源进行计算的程序。主要是声明DRPCClient的ip以及端口,以及指定执行的方法名和传入的参数(client.execute("exclamation",word))。

运行结果如下。

OK,整个DRPC的过程就是这样。

Storm进程通信机制分析 http://www.linuxidc.com/Linux/2014-12/110158.htm

Apache Storm 的历史及经验教训  http://www.linuxidc.com/Linux/2014-10/108544.htm

Apache Storm 的详细介绍请点这里
Apache Storm 的下载地址请点这里

本文永久更新链接地址http://www.linuxidc.com/Linux/2015-03/114657.htm

linux
相关资讯       Storm集群 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款