存储的值是什么请求。查看锉成碎片？

Question

我的一些示例值请求。查看文件是

F4E2F84G6G987T69896GG83552CCB8C36BDF296

CCB8C36BDF29651D3080C9644B117364DE75CD7

9ec11d5f1a4cda70af990ad40843615a5f1a4cda

我知道它们是我抓取的网址的代表。如何将这些值转换为URL？或者更好的方法是，如何将一个URL转换成等价的表示形式并检查它是否在请求。查看文件？在

Answer 1

请参阅请求指纹功能 https://github.com/scrapy/scrapy/blob/master/scrapy/utils/request.py

The request fingerprint is a hash that uniquely identifies the resource the request points to

redis dupefilter的用法示例：

def request_seen(self, request):
    fp = request_fingerprint(request)
    added = self.server.sadd(self.key, fp)
    return not added