java Apache Spark示例不起作用
我正在尝试运行JavaKinesisWordCountASL示例
该示例似乎连接到我的Kinesis流,并从该流中获取数据(如下面的日志所示)。但是,Sparks不会调用传递给unionStreams的调用函数。flatMap方法,不打印任何字数
我尝试过同时使用Java8和Java7运行。我正在ubuntu实例上运行它。同样的例子也适用于我的macbook
14/11/15 01:59:42信息调度器。ReceiverTracker:流1接收到0个块 14/11/15 01:59:42信息存储。MemoryStore:EnsureRefreeSpace(264)调用时curMem=3512,maxMem=938244833 14/11/15 01:59:42信息存储。MemoryStore:块输入-0-1416016781800作为值存储在内存中(估计大小264.0 B,可用894.8 MB) 14/11/15 01:59:42信息存储。BlockManagerInfo:在ip-10-80-91-13上的内存中添加了输入-0-1416016781800。ec2。内部:39149(大小:264.0B,免费:894.8MB) 14/11/15 01:59:42信息存储。BlockManagerMaster:块输入的更新信息-0-1416016781800 14/11/15 01:59:42信息调度器。JobScheduler:添加了1416016782000毫秒的作业 14/11/15 01:59:42信息网络。发送连接:启动与[ip-10-80-91-13.ec2.内部/10.80.91.13:39149]的连接 14/11/15 01:59:42信息网络。发送连接:已连接到[ip-10-80-91-13.ec2.内部/10.80.91.13:39149],1条消息待定 14/11/15 01:59:42信息网络。ConnectionManager:接受来自[ip-10-80-91-13.ec2.内部/10.80.91.13:56700]的连接 14/11/15 01:59:42警告存储。BlockManager:此计算机上已存在Block input-0-1416016781800;不重新添加它 14/11/15 01:59:42信息接收器。区块生成器:推送区块输入-0-1416016781800 14/11/15 01:59:43信息存储。MemoryStore:EnsureRefreeSpace(256)调用时curMem=3776,maxMem=938244833 14/11/15 01:59:43信息存储。MemoryStore:块输入-0-1416016782800作为值存储在内存中(估计大小256.0 B,可用894.8 MB) 14/11/15 01:59:43信息存储。BlockManagerInfo:在ip-10-80-91-13上的内存中添加了输入-0-1416016782800。ec2。内部:39149(大小:256.0B,免费:894.8MB) 14/11/15 01:59:43信息存储。BlockManagerMaster:块输入的更新信息-0-1416016782800 14/11/15 01:59:43警告存储。BlockManager:此计算机上已存在块输入-0-1416016782800;不重新添加它 14/11/15 01:59:43信息接收器。区块生成器:推送区块输入-0-1416016782800 14/11/15 01:59:44信息调度器。ReceiverTracker:流0接收到2个块 14/11/15 01:59:44信息调度器。ReceiverTracker:流1接收到0个块 14/11/15 01:59:44信息调度器。JobScheduler:添加了1416016784000毫秒的作业 14/11/15 01:59:46信息调度程序。ReceiverTracker:流0收到0个块 14/11/15 01:59:46信息调度程序。ReceiverTracker:流1接收到0个块 14/11/15 01:59:46信息调度程序。JobScheduler:添加了1416016786000毫秒的作业 14/11/15 01:59:46信息导入。CWPublisherRunnable:成功发布了17个基准。 14/11/15 01:59:46信息存储。MemoryStore:EnsureRefreeSpace(248)调用时curMem=4032,maxMem=938244833 14/11/15 01:59:46信息存储。MemoryStore:块输入-1-1416016786000作为值存储在内存中(估计大小248.0 B,可用894.8 MB) 14/11/15 01:59:46信息存储。BlockManagerInfo:在ip-10-80-91-13上的内存中添加了输入-1-1416016786000。ec2。内部:39149(大小:248.0B,免费:894.8MB) 14/11/15 01:59:46信息存储。BlockManagerMaster:块输入的更新信息-1-1416016786000 14/11/15 01:59:46警告存储。BlockManager:此计算机上已存在Block input-1-1416016786000;不重新添加它 14/11/15 01:59:46信息接收器。区块生成器:推送区块输入-1-1416016786000 14/11/15 01:59:46信息导入。CWPublisherRunnable:成功发布了14个基准。 14/11/15 01:59:48信息调度程序。ReceiverTracker:流0收到0个块 14/11/15 01:59:48信息存储。MemoryStore:EnsureRefreeSpace(264)调用时curMem=4280,maxMem=938244833 14/11/15 01:59:48信息调度程序。接收者追踪者:第1流re住1个街区 14/11/15 01:59:48信息存储。MemoryStore:块输入-0-1416016787800作为值存储在内存中(估计大小264.0 B,可用894.8 MB) 14/11/15 01:59:48信息存储。BlockManagerInfo:在ip-10-80-91-13上的内存中添加了输入-0-1416016787800。ec2。内部:39149(大小:264.0B,免费:894.8MB) 14/11/15 01:59:48信息存储。BlockManagerMaster:块输入的更新信息-0-1416016787800 14/11/15 01:59:48信息调度程序。JobScheduler:添加了1416016788000毫秒的作业 14/11/15 01:59:48警告存储。BlockManager:此计算机上已存在Block input-0-1416016787800;不重新添加它 14/11/15 01:59:48信息接收器。区块生成器:推送区块输入-0-1416016787800 14/11/15 01:59:50信息调度程序。ReceiverTracker:流0接收到1个块 14/11/15 01:59:50信息调度程序。ReceiverTracker:流1接收到0个块 14/11/15 01:59:50信息调度程序。JobScheduler:添加了1416016790000毫秒的作业 14/11/15 01:59:51信息存储。MemoryStore:EnsureRefreeSpace(264)调用时curMem=4544,maxMem=938244833 14/11/15 01:59:51信息存储。MemoryStore:块输入-0-1416016790800作为值存储在内存中(估计大小264.0 B,可用894.8 MB) 14/11/15 01:59:51信息存储。BlockManagerInfo:在ip-10-80-91-13上的内存中添加了输入-0-1416016790800。ec2。内部:39149(大小:264.0B,免费:894.8MB) 14/11/15 01:59:51信息存储。BlockManagerMaster:块输入的更新信息-0-1416016790800 14/11/15 01:59:51警告存储。BlockManager:此计算机上已存在Block input-0-1416016790800;不重新添加它 14/11/15 01:59:51信息接收器。区块生成器:推送区块输入-0-1416016790800
# 1 楼答案
感谢@user3594557的提示
有两个来自https://spark.apache.org/docs/1.1.0/streaming-programming-guide.html#input-dstreams的大音符