如何在谷歌应用引擎中禁用googlebot？

Question

昨天，谷歌的爬虫程序导致我的应用超出了读取配额。我该怎么关闭谷歌爬虫呢？谢谢。

更新

我在我的

- url: /robots.txt
  static_dir: robots

文件中添加了内容，具体可以参考这里的说明，并在“robots”目录下创建了一个robots.txt文件，但网址http://www.example.com/robots.txt却无法访问。我哪里做错了呢？

Answer 1

添加一个 robots.txt 文件。下面是一个简单的例子，它会阻止所有遵循这个文件的机器人：

User-agent: *
Disallow: /

Answer 2

把机器人的路径移动到 /.* 这个“抓取所有”的路径上面，并且修改你的 app.yaml 文件，内容如下：

- url: /robots.txt
  static_files: robots/robots.txt
  upload: robots/robots.txt

请记住，这个操作会影响你应用在搜索引擎结果页面（SERP）上的表现（谷歌迟早会把你的应用从索引中移除）