我使用Qt的QWebPage来呈现一个页面,该页面使用javascript动态更新其内容,因此只下载页面静态版本(如urllib2)的库将无法工作
我的问题是,当我呈现第二个页面时,大约99%的时间程序只是崩溃。在其他时候,它会工作三次,然后崩溃。我也得到了一些断层,但都是随机的
我猜我用来渲染的对象没有被正确删除,所以尝试重用它可能会给我自己带来一些问题。我看了所有的地方,似乎没有人真的有同样的问题
这是我正在使用的代码。该程序从steam的社区市场下载网页,这样我就可以创建所有项目的数据库。我需要多次调用getItemsFromPage
函数来获取所有的项目,因为它们被分为多个页面(显示X数量中的结果1-10)
import csv
import re
import sys
from string import replace
from bs4 import BeautifulSoup
from PyQt4.QtGui import *
from PyQt4.QtCore import *
from PyQt4.QtWebKit import *
class Item:
__slots__ = ("name", "count", "price", "game")
def __repr__(self):
return self.name + "(" + str(self.count) + ")"
def __str__(self):
return self.name + ", " + str(self.count) + ", $" + str(self.price)
class Render(QWebPage):
def __init__(self, url):
self.app = QApplication(sys.argv)
QWebPage.__init__(self)
self.loadFinished.connect(self._loadFinished)
self.mainFrame().load(QUrl(url))
self.app.exec_()
def _loadFinished(self, result):
self.frame = self.mainFrame()
self.app.quit()
self.deleteLater()
def getItemsFromPage(appid, page=1):
r = Render("http://steamcommunity.com/market/search?q=appid:" + str(appid) + "#p" + str(page))
soup = BeautifulSoup(str(r.frame.toHtml().toUtf8()))
itemLst = soup.find_all("div", "market_listing_row market_recent_listing_row")
items = []
for k in itemLst:
i = Item()
i.name = k.find("span", "market_listing_item_name").string
i.count = int(replace(k.find("span", "market_listing_num_listings_qty").string, ",", ""))
i.price = float(re.search(r'\$([0-9]+\.[0-9]+)', str(k)).group(1))
i.game = appid
items.append(i)
return items
if __name__ == "__main__":
print "Updating market items to dota2.csv ..."
i = 1
with open("dota2.csv", "w") as f:
writer = csv.writer(f)
r = None
while True:
print "Page " + str(i)
items = getItemsFromPage(570)
if len(items) == 0:
print "No items found, stopping..."
break
for k in items:
writer.writerow((k.name, k.count, k.price, k.game))
i += 1
print "Done."
调用getItemsFromPage
一次就可以了。后来的电话给了我麻烦。程序的输出通常是
Updating market items to dota2.csv ...
Page 1
Page 2
然后它崩溃了。它应该有700多页
您的程序的问题是,您正试图用获取的每个url创建一个新的QApplication
相反,只应创建一个QApplication和一个网页。该网页可以使用其
loadFinished
信号创建一个内部循环,方法是在处理完每个url后获取一个新的url。自定义html处理可以通过将用户定义的插槽连接到一个信号来添加,该信号在html文本和url可用时发出。下面的脚本(用于PyQt5和PyQt4)展示了如何实现这一点下面是一些演示如何使用WebPage类的示例:
用法:
PyQt5网页:
PyQt4网页:
相关问题 更多 >
编程相关推荐