我在scraperwiki上有一个非常简单的python脚本:
import scraperwiki
import lxml.html
html = scraperwiki.scrape("http://www.westphillytools.org/toolsListing.php")
print html
我还没有写任何东西来解析它。。。现在我只想要html。你知道吗
当我在编辑模式下运行它时,它工作得非常好。你知道吗
当一个计划的scrape运行(或者我手动运行)时,它会忽略几十行(甚至几百行)。你知道吗
这是一个非常小的网页,所以数据过载应该不是一个问题。有什么想法吗?你知道吗
听起来数据就在你的变量里。试着一次打印一行。你知道吗
在编辑器中,单个print语句被卷成一行显示。您可以在编辑器的控制台中单击“更多…”来查看整个批次。你知道吗
当计划运行时,它的输出与任何控制台中的输出完全相同。因此,如果HTML中有回车符,您将得到大量的输出行。你知道吗
为了减少存储的输出量,我们从计划的运行中截取大的输出。这就是你看到的“[53行,省略159000个字符]”。你知道吗
计划运行的stdout并不真正用于调试以外的任何用途。您需要保存到要使用的输出的数据存储中。你知道吗
相关问题 更多 >
编程相关推荐