Facebook爬虫权限请求表？

Question

我在网上搜索了很久，但我想我用的关键词不太对。有没有人知道一个网址，可以让我向Facebook请求权限，让我可以访问他们的网络？上次我用Python做这个的时候，有人建议我去看看这个网址，但我也找不到那条帖子了。

Answer 1

因为这是一个需要登录和密码的社区，所以我不太确定哪些内容是法律上可以抓取的。如果你观察一下，连谷歌也只会索引用户的个人资料页面，而不会索引他们的动态、照片等内容。

我建议你把这个问题发到Facebook论坛上。不过你可以在这里查看一下相关信息 -

1. Facebook开发者网站
2. Facebook开发者文档
3. Facebook开发者论坛

Answer 2

令人惊讶的是，这些信息在他们的robots.txt文件里就有说明。

你要找的链接是这个：

http://www.facebook.com/apps/site_scraping_tos.php

如果你不是一个大公司，别指望能在那儿被特别列入允许名单。如果没有被特别列入名单，根据robots.txt和服务条款，你就不被允许进行抓取。你必须使用API来获取数据。

别想着假装自己是被允许的抓取工具。Facebook会根据每个抓取工具的IP地址进行过滤，任何看起来像是在抓取的行为都会被立即永久封禁。曾经有些用户因为点击太快也会偶尔遇到这个问题。