url扫描器、维护器和验证器
WebVal的Python项目详细描述
- webval是一个系统,它将扫描文档以获得完全限定的内容
http url,用新看到的url保持数据库的新鲜。它 然后可以请求验证URL,从而 尝试通过http请求访问每个url并记录 响应代码;它维护最新代码的列表 已检索到。响应代码被分类为“好”(url 正确且存在有效页面)和“错误”(URL无效或 过时的)。默认情况下,除了2xx代码以外的任何代码都是 被认为是错误的,但可以更改(,例如,忽略3xx 重定向代码)。
然后可以在报告模式下使用webval进行扫描 与以前一样,URL文档,但将报告无效的URL(即 是,数据库中有许多“坏”代码的url 超过一定的阈值)。然后打印到stderr 以显示所看到的url的文件和行号的格式 以便他们可以被纠正。