调试发送的标头FORMCREQUEST.from\响应

Question

Scrapy有很好的调试特性。但是，我找不到调试发送的头文件get post param的方法FORMCREQUEST.from\响应你知道吗

有没有办法，我可以看到那些帖子数据？我特别担心它是否从隐藏字段发送值。你知道吗

Answer 1

在处理对FormRequest对象的响应的方法上，可以检查最初从response.request.headers发送的请求头。你知道吗

例如：

>>> response.request.headers
{b'Accept': [b'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'], b'Accept-Language': [b'en'], b'User-Agent': [b'Scrapy/1.5.2 (+https://scrapy.org)'], b'Accept-Encoding': [b'gzip,deflate']}

Answer 2

您可以创建自定义FormRequest

from scrapy import FormRequest


class MyOwnFormRequest(FormRequest):

    def __init__(*args, **kwargs):
        # debug here
        super(MyOwnFormRequest, self).__init__(*args, **kwargs)
        # debug here too


...
def start_requests():
    yield MyOwnFormRequest(...)