Python3中一个小Spider代码中的问题

2024-05-01 21:51:04 发布

您现在位置:Python中文网/ 问答频道 /正文

我试图编写一个spider来从Steam's top-sellers列表中获取一些信息。 但我的代码有些问题。 我认为这是关于re模块的,因为我无法在for循环中打印这些代码。运行代码时,它总是将“[]”写入我提供的文件。你知道吗

def getDetail(self, url):
    source = self.getSource(url)
    pattern = re.compile('<div class="col search_name ellipsis"><span class="title">(.*?)</span>', re.S)
    items = re.findall(pattern, source)
    print(re.findall(pattern, source))
    number = 1
    for item in items:
        print('Crawling No.%d game' % number)
        print('Name: %s' % item[0])
        number += 1
        time.sleep(0.1)
    return items

这是我的全部密码。你知道吗

import requests
import re
import time


class Spider(object):
    def __init__(self):
        self.siteURL = 'http://store.steampowered.com/search/?filter=topsellers'

    def getSource(self, url):
        user_agent = 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
                 'Chrome/45.0.2454.101 Safari/537.36'
        headers = {'User_agent': user_agent}
        r = requests.get(url, headers=headers)
        return r.text

    def getDetail(self, url):
        source = self.getSource(url)
        pattern = re.compile('<div class="col search_name ellipsis"><span class="title">(.*?)</span>', re.S)
        items = re.findall(pattern, source)
        print(re.findall(pattern, source))
        number = 1
        for item in items:
            print('Crawling No.%d game' % number)
            print('Name: %s' % item[0])
            number += 1
            time.sleep(0.1)
        return items

    def saveDetail(self):
        data = str(self.getDetail(self.siteURL))
        fileName = 'SteamTopseller.txt'
        f = open(fileName, 'wb')
        f.write(data.encode('utf-8'))
        print('Successfully written!')
        f.close()

if __name__ == '__main__':
    spider = Spider()
    spider.saveDetail()

请帮我解决这个小问题,谢谢! 顺便说一下,我用python3编写代码。你知道吗


Tags: 代码selfreurlnumbersourcedefitems
1条回答
网友
1楼 · 发布于 2024-05-01 21:51:04

。。。。。。你知道吗

你知道吗关于芬德尔(模式、字符串、标志=0)

以字符串列表的形式返回字符串中模式的所有非重叠匹配。你知道吗

因此,如果字符串中没有匹配项,它将返回一个空列表,如[]。你知道吗

+

要跳过“[]”,您可以编写如下代码

items = re.findall(pattern, source)
if items:
    print(items)

+

删除换行符

def getDetail(self, url):
    source = self.getSource(url).replace("\r", "").replace("\n", "").replace("\t", "")

相关问题 更多 >