IRichSpout 为最简单的Spout接口
其中注意：
其中注意：
在Maven中配置
如果找不到jstorm-client和jstorm-client-extension包，可以自己下载jstorm源码进行编译，请参考 源码编译
打包时，需要将所有依赖打入到一个包中
jstorm jar xxxxxx.jar com.alibaba.xxxx.xx parameter
JStorm VS Storm 请参看 JStorm 0.9.0 介绍.pptx
JStorm 比Storm更稳定，更强大，更快， storm上跑的程序，一行代码不变可以运行在jstorm上。
Flume 是一个成熟的系统，主要focus在管道上，将数据从一个数据源传输到另外一个数据源， 系统提供大量现成的插件做管道作用。当然也可以做一些计算和分析，但插件的开发没有Jstorm便捷和迅速。
S4 就是一个半成品，健壮性还可以，但数据准确性较糟糕，无法保证数据不丢失，这个特性让S4 大受限制，也导致了S4开源很多年，但发展一直不是很迅速。
AKKA 是一个actor模型，也是一个不错的系统，在这个actor模型基本上，你想做任何事情都没有问题，但问题是你需要做更多的工作，topology怎么生成，怎么序列化。数据怎么流（随机，还是group by）等等。
Spark 是一个轻量的内存MR， 更偏重批量数据处理
测试样例为https://github.com/longdafeng/storm-examples
5 台 16核， 98G 物理机
cgroups是control groups的缩写，是Linux内核提供的一种可以限制, 记录, 隔离进程组(process groups)所使用的物理资源(如：cpu,memory,IO 等等)的机制。
在Jstorm中，我们使用cgroup进行cpu硬件资源的管理。使用前，需要做如下检查和配置。
Note: cgconfig.conf只能在root模式下修改。
这是一个cgconfig.conf配置文件例子。比如jstorm的启动用户为admin，admin在当前 系统的uid/gid为500（查看/etc/passwd 可以查看到uid和gid），那么相对应cpu子系统的jstorm目录uid/gid也需要设置为相同的值。 以便jstorm有相应权限可以在这个目录下为jstorm的每个需要进行资源隔离的进程创建对应 的目录和进行相关设置。
参考性能优化
当报告 ”No supervisor resource is enough for component “， 则意味着资源不够 如果是仅仅是测试环境，可以将supervisor的cpu 和memory slot设置大，
在jstorm中， 一个task默认会消耗一个cpu slot和一个memory slot， 而一台机器上默认的cpu slot是(cpu 核数 -1）， memory slot数（物理内存大小 * 75%/1g）, 如果一个worker上运行task比较多时，需要将memory slot size设小（默认是1G）， 比如512M, memory.slot.per.size:
所有spout，bolt，configuration， 发送的消息（Tuple）都必须实现Serializable， 否则就会出现序列化错误.
如果是spout或bolt的成员变量没有实现Serializable时，但又必须使用时， 可以对该变量申明时，增加transient 修饰符， 然后在open或prepare时，进行实例化
0.9.0 开始，JStorm依旧使用Log4J，但storm使用Logbak，因此应用程序如果有依赖log4j-over-slf4j.jar， 则需要exclude 所有log4j-over-slf4j.jar依赖，下个版本将自定义classloader，就不用担心这个问题。
如果应用程序使用和JStorm相同的jar 但版本不一样时，建议打开classloader， 修改配置文件
或者
JStorm默认是关掉classloader，因此JStorm会强制使用JStorm依赖的jar
有3种情况：
如果有用户程序的日志输出，则表明是用户的初始化太慢或者出错，查看日志即可。 另外对于MetaQ 1.x的应用程序，Spout会recover ~/.meta_recover/目录下文件，可以直接删除这些消费失败的问题，加速启动。
打开supervisor 日志，找出启动worker命令，单独执行，然后检查是否有问题。类似下图：
检查配置项 ”storm.local.dir“， 是不是storm和jstorm使用相同的本地目录，如果相同，则将二者分开
有2种情况：
假设是6800 端口被占， 可以执行命令 “ps -ef|grep 6800” 检查是否有多个进程， 如果有多个进程，则手动杀死他们
Linux对外连接端口数限制，TCP client对外发起连接数达到28000左右时，就开始大量抛异常，需要
版权声明：
本文来源网络，所有图片文章版权属于原作者，如有侵权，联系删除。
本文网址：https://www.mushiming.com/mjsbk/2372.html