2024-04-27 19:55:30 发布
网友
我正面临这样的问题。我用tweepy收集了+10000条tweets,我使用nltk naivebayes分类并将tweets过滤到+5000条。 我想从5000条分类推文中生成用户友谊图。问题是我能查到tweepy.api.show_frienship公司(),但它花费了太多太多的时间,有时会导致无休止的速率限制错误。在
有什么办法可以让我更有效地检验友谊吗?在
我不太了解Tweepy的限制,但是您可以使用urllib和beauthoulsoup编写一个基本的web scraper。在
你可以选择一个像www.doesfollow.com这样的网站来完成你想要做的事情。(不确定这个页面的请求限制,但是有几十个其他网站也做同样的事情)这个网站很有趣,因为网址非常简单。在
www.doesfollow.com
例如,为了检查Google和Twitter是否是Twitter上的“朋友”,链接只是www.doesfollow.com/google/twitter。在
www.doesfollow.com/google/twitter
这将使您非常容易地遍历用户,因为您只需将用户附加到url中,例如'www.doesfollow.com/'+ user1 + '/' + user2
'www.doesfollow.com/'+ user1 + '/' + user2
如果用户是Twitter上的朋友,doesfollow的结果页面会有以下标记:
<div class="yup">yup</div>
如果用户不是Twitter上的朋友,那么这个标签:
<div class="nope">nope</div>
因此,您可以解析页面源代码并搜索这些标签中的哪些,以确定这些用户是否是Twitter上的朋友。在
这可能不是你想要的解决问题的方式,但这是一种可能。不过,我不太清楚如何处理你问题中的图表部分。我得调查一下。在
我不太了解Tweepy的限制,但是您可以使用urllib和beauthoulsoup编写一个基本的web scraper。在
你可以选择一个像
www.doesfollow.com
这样的网站来完成你想要做的事情。(不确定这个页面的请求限制,但是有几十个其他网站也做同样的事情)这个网站很有趣,因为网址非常简单。在例如,为了检查Google和Twitter是否是Twitter上的“朋友”,链接只是
www.doesfollow.com/google/twitter
。在这将使您非常容易地遍历用户,因为您只需将用户附加到url中,例如
'www.doesfollow.com/'+ user1 + '/' + user2
如果用户是Twitter上的朋友,doesfollow的结果页面会有以下标记:
<div class="yup">yup</div>
如果用户不是Twitter上的朋友,那么这个标签:
<div class="nope">nope</div>
因此,您可以解析页面源代码并搜索这些标签中的哪些,以确定这些用户是否是Twitter上的朋友。在
这可能不是你想要的解决问题的方式,但这是一种可能。不过,我不太清楚如何处理你问题中的图表部分。我得调查一下。在
相关问题 更多 >
编程相关推荐