Python中文
首页
教程
问答
标签
搜索
登录
注册
在大型Django选项卡上进行高效的数据迁移
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我需要向一个大的(5m行)django表添加一个新列。我有一个south <code>schemamigration</code>创建新列。现在我正在编写一个<code>datamigration</code>脚本来填充新列。看起来像这样。(如果您不熟悉south迁移,只需忽略模型名前面的<code>orm.</code>。)</p> <pre><code>print "Migrating %s articles." % orm.Article.objects.count() cnt = 0 for article in orm.Article.objects.iterator(): if cnt % 500 == 0: print " %s done so far" % cnt # article.newfield = calculate_newfield(article) article.save() cnt += 1 </code></pre> <p>我从<code>objects.all</code>切换到{<cd5>},以减少内存需求。但当我运行这个脚本时,仍有一些东西在吞噬大量的内存。即使上面注释掉了实际有用的一行,脚本仍然会增长到使用10+GB的ram,然后我就放弃了。在</p> <p>好像有什么东西在记忆中抓住了这些东西。我怎么能运行它,这样它就不会占用内存了?在</p> <p>FWIW,我使用的是python2.6、django 1.2.1、south 0.7.2、mysql 5.1。在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>确保<code>settings.DEBUG</code>设置为<code>False</code>。<code>DEBUG=True</code>使用数据库密集型操作填充内存,因为它将发送到RDBMS的所有查询存储在一个视图中。在</p> <p>随着django1.8的推出,它不应该是必需的,因为现在存储的是硬编码的最多9000个查询,而不是之前的无限数量。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何在Excel中读取公式并将其转换为Python中的计算?
2 回答
如何在excel中读取嵌入的excel,并将嵌入文件中的信息存储在主excel文件中?
4 回答
如何在Excel中返回未知列长度的非空顶行列值?
10 回答
如何在excel中选择数据列?
4 回答
如何在Excel中通过脚本自动为一列中的所有单元格创建公共别名
9 回答
如何在excel中高效格式化范围AttributeError:“tuple”对象没有属性“fill”
4 回答
如何在excel单元格中编写python函数
7 回答
如何在excel单元格中自动执行此python代码?
9 回答
如何在excel工作表中创建具有相应值的新列
6 回答
如何在Excel工作表中复制条件为单元格颜色的python数据框?
9 回答
如何在Excel工作表中循环
8 回答
如何在excel工作表中打印嵌套词典?
2 回答
如何在excel工作表中绘制所有类的继承树?
9 回答
如何在Excel工作表中自动调整列宽?
9 回答
如何在excel工作表中追加并进一步处理
2 回答
如何在excel工作表之间进行更改?
3 回答
如何在excel或csv上获取selenium数据?
1 回答
如何在Excel或Python中将正确的值赋给正确的列
5 回答
如何在excel或python中提取单词周围的文本?
8 回答
如何在excel或python中转换来自Jira的3w 1d 4h的fromat数据?
6 回答