Wordpress网站的网页垃圾处理

Question

我正在使用python中漂亮的soup库为我的组织清理网站。使用请求模块。到目前为止，我已经抓取了很多Wordpress网站，但是对于带有.co和.ca域的网站，我面临一个错误（对于其余的网站，我得到了整个网站的响应（response = self.html_getter.send_request_get_response(URL)）

但是对于这个.co/.ca网站，我的代码没有得到任何响应，有人能给我解决方案吗？提前谢谢 这是我的网站 试图刮“调味品和晚餐.CA”

我收到错误HTTP Error 404: Not Found

Answer 1

我猜你省略了“https://”部分？ 因此，当您传递url时，请尝试使用完整的url作为https://seasonsandsuppers.ca