Python中文网 - 问答频道, 解决您学习工作中的Python难题和Bug
Python常见问题
我用scrapy从不同的来源提取一些数据，效果非常好 但是现在我已经编写了一个spider来从一个大的XML文件（大约100MB=>；40000个条目）中提取数据。在
我用的是发霉的XMLFeedSpider。在
问题是scrapy使用了大量内存（1GB或更大），我不知道它为什么不发布我的物品使用的备忘录。在
当我使用scray的trackrefs工具（通过telnet连接到我的spider）时，我得到以下输出：
>>> prefs()
Libxml2Document 2 oldest: 160s ago
CustomName 1 oldest: 163s ago
XmlResponse 1 oldest: 161s ago
XmlXPathSelector 1 oldest: 0s ago
Request 1 oldest: 163s ago
CustomName 38893 oldest: 150s ago
我已禁用所有项目管道。在
在我的蜘蛛中，我不保留任何项目的引用，我只是创建项目并返回它们。 我找不到内存泄露的地方。。。在
有没有解释为什么我的物品没有被放行？在
Tags： 文件数据项目内存gt来源条目xml
热门问题
- Django:。是不是“超级用户”字段不起作用
- Django:'DeleteQuery'对象没有属性'add'
- Django:'ModelForm'对象没有属性
- Django:'python manage.py runserver'返回'TypeError:'WindowsPath'类型的对象没有len（）
- Django:'Python管理.pysyncdb'不创建我的架构表
- Django:'Python管理.py迁移“耗时数小时（和其他奇怪的行为）
- Django:'readonly'属性在我的ModelForm上不起作用
- Django:'RegisterEmployeeView'对象没有属性'object'
- Django:'str'对象没有属性'get'
- Django：'创建' 不能被指定为Order模型表单中的值，因为它是一个不可编辑的字段
- Django:“'QuerySet'类型的对象不是JSON可序列化的”
- Django:“'utf8'编解码器无法解码位置19983中的字节0xe9：无效的连续字节”，加载临时文件时
- Django:“<…>”需要有一个字段“id”的值，然后才能使用这个manytomy关系
- Django:“AnonymousUser”对象没有“get_full_name”属性
- Django:“ascii”编解码器无法解码位置1035中的字节0xc3：序号不在范围内（128）
- Django:“BaseTable”对象不支持索引
- Django:“collections.OrderedDict”对象不可调用
- Django:“Country”对象没有属性“all”
- Django:“Data”对象没有属性“save”
- Django:“datetime”类型的对象不是JSON serializab
热门文章
- Python覆盖写入文件
- 怎样创建一个 Python 列表？
- Python3 List append()方法使用
- 派森语言
- Python List pop()方法
- Python Django Web典型模块开发实战
- Python input() 函数
- Python3 列表(list) clear()方法
- Python游戏编程入门
- 如何创建一个空的set?
- python如何定义(创建)一个字符串
- Python标准库 [The Python Standard Library by Ex
- Python网络数据爬取及分析从入门到精通（分析篇）
- Python3 for 循环语句
- Python List insert() 方法
- Python 字典(Dictionary) update()方法
- Python编程无师自通 专业程序员的养成
- Python3 List count()方法
- Python 网络爬虫实战 [Web Crawler With Python]
- Python Cookbook（第2版）中文版
根据“prefs”的输出，它的第一列是类名，Scrapy没有名为“CustomName”的类。这个名称看起来像XML字段中的某个列。再者，你有没有看到这两条奇怪的线：
意思是“不同的类，但名称相同”。你应该发布你的代码。我猜你的项目类刚刚命名为“CustomName”。在
相关问题 更多 >
编程相关推荐