如何设置卷连接Gnip流？

Question

我正在尝试设置Gnip流的Curl连接。我的目标是下载所有输入的文本数据，然后上传到数据库中。但是curl请求在一段时间后被放弃了。是否有任何方法来设置流数据的处理过程。你知道吗

curl --compressed -v -u <login>:<password> "https://gnip-stream.twitter.com/stream/sample10/accounts/UpSwell/publishers/twitter/prod.json?partition=1" --connect-time 900 -o output.txt    

过了一段时间，我得到了“关闭连接”。你知道吗

Answer 1

看起来您的curl命令很好，但问题是您没有跟上流上的音量。这会导致服务器端的数据缓冲区完全填满，从而触发与服务器的“强制断开连接”。你知道吗

基本建议是确保您有足够的带宽来传输该数据量。这些强制断开连接通常是由客户端应用程序中的处理瓶颈造成的。但是，您使用的是curl，它非常有效。。。通常建议curl将客户端应用程序从循环中取出，并测试底层带宽。。。你知道吗

好像你在试用decahose产品。。。联系客户经理讨论接下来的步骤。你知道吗

谢谢！你知道吗