DJ机器人
djrobots的Python项目详细描述
我们的内部实用程序可以方便地将robots.txt用于开发和 生产
安装
pip install djrobots
用法
将djrobots url包含到urlconf中,就完成了!
(r'^robots\.txt$', include('djrobots.urls')),
并将DJrobots添加到已安装的应用程序中
站点地图
如果要在robots.txt中指定站点地图URL,请提供 在设置中查看名称
DJROBOTS_SITEMAPS = 'sitemap-root'
djrobots是一个特殊的设置,您可以使用数组指定 robots.txt中的更多站点地图
DJROBOTS_SITEMAPS = ['sitemap-root', 'department-sitemap']
或者可以将视图名称与原始URL混合使用
DJROBOTS_SITEMAPS = ['sitemap-root', 'department-sitemap', '/my-sitemap-index.xml']
定制
默认情况下,djrobots为生产提供robots.txt模板,并且 用于使用默认配置进行开发的robots-debug.txt 在洛特雷克内部。
如果要指定更多可以扩展默认模板的指令, robots.txt和robots-debug.txt
{% extends "djrobots/base-robots.txt" %} {% block content %} User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: {% url 'documents' %} Host: example.com {% endblock %}
运行测试
$ pip install -r requirements-dev.txt $ ./runtests.py --with-coverage