为什么scraperwiki会从scrapedhtml中省略行呢?

2024-06-16 10:20:44 发布

您现在位置:Python中文网/ 问答频道 /正文

我在scraperwiki上有一个非常简单的python脚本:

import scraperwiki
import lxml.html

html = scraperwiki.scrape("http://www.westphillytools.org/toolsListing.php")
print html

我还没有写任何东西来解析它。。。现在我只想要html。你知道吗

当我在编辑模式下运行它时,它工作得非常好。你知道吗

当一个计划的scrape运行(或者我手动运行)时,它会忽略几十行(甚至几百行)。你知道吗

这是一个非常小的网页,所以数据过载应该不是一个问题。有什么想法吗?你知道吗


Tags: orgimport脚本http编辑htmlwww模式
2条回答

听起来数据就在你的变量里。试着一次打印一行。你知道吗

在编辑器中,单个print语句被卷成一行显示。您可以在编辑器的控制台中单击“更多…”来查看整个批次。你知道吗

当计划运行时,它的输出与任何控制台中的输出完全相同。因此,如果HTML中有回车符,您将得到大量的输出行。你知道吗

为了减少存储的输出量,我们从计划的运行中截取大的输出。这就是你看到的“[53行,省略159000个字符]”。你知道吗

计划运行的stdout并不真正用于调试以外的任何用途。您需要保存到要使用的输出的数据存储中。你知道吗

相关问题 更多 >