如何在scrapy请求中指定参数

Question

我该如何在这样的网址上传递参数：

site.com/search/?action=search&description=My Search here&e_author=

我该如何在一个爬虫请求的结构中放置这些参数，类似于这个例子：

req = Request(url="site.com/",parameters={x=1,y=2,z=3})

相关文章：

• 暂无相关问题

Answer 1

Scrapy并没有直接提供这个功能。你想做的事情是创建一个网址，你可以使用urlparse这个模块来实现。

Answer 2

可以使用w3lib中的add_or_replace_parameters这个功能。

from w3lib.url import add_or_replace_parameters

def abc(self, response):
  url = "https://yoursite.com/search/" # can be response.url or any
  params = { 
      "action": "search",
      "description": "My search here",
      "e_author": ""
  }

  return Request(url=add_or_replace_parameters(url, prams))

Answer 3

你需要自己根据手头的参数来创建网址。

Python 3 或更高版本

import urllib
params = {
    'key': self.access_key,
    'part': 'snippet,replies',
    'videoId': self.video_id,
    'maxResults': 100
}
url = f'https://www.googleapis.com/youtube/v3/commentThreads/?{urllib.parse.urlencode(params)}'
request = scrapy.Request(url, callback=self.parse)
yield request

Python 3+ 示例
在这里，我正在尝试通过官方的 YouTube API 获取某个 YouTube 视频的所有评论。评论会以分页的形式返回。所以你可以看看我是如何根据参数来构建网址的，以便进行调用。

import scrapy
import urllib
import json
import datetime
from youtube_scrapy.items import YoutubeItem

class YoutubeSpider(scrapy.Spider):
    name = 'youtube'
    BASE_URL = 'https://www.googleapis.com/youtube/v3'

    def __init__(self):
        self.access_key = 'you_yuotube_api_access_key'
        self.video_id = 'any_youtube_video_id'

    def start_requests(self):
        params = {
            'key': self.access_key,
            'part': 'snippet,replies',
            'videoId': self.video_id,
            'maxResults': 100
        }
        url = f'{self.BASE_URL}/commentThreads/?{urllib.parse.urlencode(params)}'
        request = scrapy.Request(url, callback=self.parse)
        request.meta['params'] = params
        return [request]

    def parse(self, response):
        data = json.loads(response.body)

        # lets collect comment and reply
        items = data.get('items', [])
        for item in items:
            created_date = item['snippet']['topLevelComment']['snippet']['publishedAt']
            _created_date = datetime.datetime.strptime(created_date, '%Y-%m-%dT%H:%M:%S.000Z')
            id = item['snippet']['topLevelComment']['id']
            record = {
                'created_date': _created_date,
                'body': item['snippet']['topLevelComment']['snippet']['textOriginal'],
                'creator_name': item['snippet']['topLevelComment']['snippet'].get('authorDisplayName', {}),
                'id': id,
                'url': f'https://www.youtube.com/watch?v={self.video_id}&lc={id}',
            }

            yield YoutubeItem(**record)


        # lets paginate if next page is available for more comments
        next_page_token = data.get('nextPageToken', None)
        if next_page_token:
            params = response.meta['params']
            params['pageToken'] = next_page_token
            url = f'{self.BASE_URL}/commentThreads/?{urllib.parse.urlencode(params)}'
            request = scrapy.Request(url, callback=self.parse)
            request.meta['params'] = params
            yield request

Answer 4

要使用 scrapy 创建一个带参数的 GET 请求，你可以参考下面的例子：

yield scrapy.FormRequest(
    url=url,
    method='GET',
    formdata=params,
    callback=self.parse_result
)

这里的 'params' 是一个字典，用来存放你的参数。

Answer 5

把你的GET参数放在网址里：

return Request(url="https://yoursite.com/search/?action=search&description=MySearchhere&e_author=")

你可以先把参数放在一个字典里，然后用"urlencode"来处理一下：

from urllib.parse import urlencode

params = { 
    "action": "search",
    "description": "My search here",
    "e_author": ""
}
url = "https://yoursite.com/search/?" + urlencode(params)

return Request(url=url)