我试图编写一个spider来从Steam's top-sellers列表中获取一些信息。
但我的代码有些问题。
我认为这是关于re
模块的,因为我无法在for
循环中打印这些代码。运行代码时,它总是将“[]
”写入我提供的文件。你知道吗
def getDetail(self, url):
source = self.getSource(url)
pattern = re.compile('<div class="col search_name ellipsis"><span class="title">(.*?)</span>', re.S)
items = re.findall(pattern, source)
print(re.findall(pattern, source))
number = 1
for item in items:
print('Crawling No.%d game' % number)
print('Name: %s' % item[0])
number += 1
time.sleep(0.1)
return items
这是我的全部密码。你知道吗
import requests
import re
import time
class Spider(object):
def __init__(self):
self.siteURL = 'http://store.steampowered.com/search/?filter=topsellers'
def getSource(self, url):
user_agent = 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
'Chrome/45.0.2454.101 Safari/537.36'
headers = {'User_agent': user_agent}
r = requests.get(url, headers=headers)
return r.text
def getDetail(self, url):
source = self.getSource(url)
pattern = re.compile('<div class="col search_name ellipsis"><span class="title">(.*?)</span>', re.S)
items = re.findall(pattern, source)
print(re.findall(pattern, source))
number = 1
for item in items:
print('Crawling No.%d game' % number)
print('Name: %s' % item[0])
number += 1
time.sleep(0.1)
return items
def saveDetail(self):
data = str(self.getDetail(self.siteURL))
fileName = 'SteamTopseller.txt'
f = open(fileName, 'wb')
f.write(data.encode('utf-8'))
print('Successfully written!')
f.close()
if __name__ == '__main__':
spider = Spider()
spider.saveDetail()
请帮我解决这个小问题,谢谢! 顺便说一下,我用python3编写代码。你知道吗
。。。。。。你知道吗
你知道吗关于芬德尔(模式、字符串、标志=0)
以字符串列表的形式返回字符串中模式的所有非重叠匹配。你知道吗
因此,如果字符串中没有匹配项,它将返回一个空列表,如[]。你知道吗
+
要跳过“[]”,您可以编写如下代码
+
删除换行符
相关问题 更多 >
编程相关推荐