Sloth CI服务器的robots.txt
sloth-ci.ext.robots_txt的Python项目详细描述
robots.txt用于Sloth CI服务器。
`robots.txt<；https://en.wikipedia.org/wiki/robots_exclusion_standard>；``是您放在服务器上的一个文件，用于保护某些URL不被爬虫程序访问。
默认情况下，此扩展名在服务器根目录上为*robots.txt*提供服务，例如http://example.com:8080/robots.txt。但是，您可以指定要提供服务的自己的文件和要提供服务的url。
代码块：：bash
$pip install sloth ci.ext.robots\u txt
代码块：：yaml
：标题：sloth.yml
捆绑的文件被使用（不允许所有人使用所有内容）。
文件：~/robots.txt
robots.txt的url路径。
默认情况下，该文件在根目录下可用：*http://example.com:8080/robots.txt*
path:/static/robots.txt
`robots.txt<；https://en.wikipedia.org/wiki/robots_exclusion_standard>；``是您放在服务器上的一个文件，用于保护某些URL不被爬虫程序访问。
默认情况下，此扩展名在服务器根目录上为*robots.txt*提供服务，例如http://example.com:8080/robots.txt。但是，您可以指定要提供服务的自己的文件和要提供服务的url。
代码块：：bash
$pip install sloth ci.ext.robots\u txt
代码块：：yaml
：标题：sloth.yml
捆绑的文件被使用（不允许所有人使用所有内容）。
文件：~/robots.txt
robots.txt的url路径。
默认情况下，该文件在根目录下可用：*http://example.com:8080/robots.txt*
path:/static/robots.txt
欢迎加入QQ群-->： 979659372
