如何在python实用程序中调用scrapy

Question

我想从web上实时获取数据，并使用scrapy提取信息来构建python实用程序。问题是数据是静态的，而信息会随着时间而变化。你知道吗

我想知道在调用实用程序时调用我的scrapy spider是否可行，以便在第一次调用实用程序时，将当时的数据存储为JSON，并与用户一起使用，用户下次调用时会发生更改。你知道吗

请告诉我是否有其他选择。你知道吗

提前谢谢。你知道吗

Edit-1：为了清楚起见，我提取的数据会随着时间的推移而改变。下面是我上一个关于构建spider的问题的链接：How to scrape contents from multiple tables in a webpage。问题是随着联赛的进行，赛程的状态会发生变化（已完成或尚未完成）。我想让用户得到实时的数据。你知道吗

Edit-2：我之前所做的是分别调用spider，并使用为实用性而生成的JSON。为了让用户拥有实时数据，当他们在终端上使用它时，我是否应该将零碎的代码推送到主存储库中，然后上传到PyPI，并在.py文件的主函数中调用spider？这可能吗？如果有的话，有什么替代方案？你知道吗

Answer 1

当您（或您的用户）需要时，您可以从代码启动scrapy：

from scrapy import cmdline

SCRAPY_SPIDER_NAME = 'spyder_name'  # spyder name to start scraping
cmdline.execute("scrapy crawl {}".format(SCRAPY_SPIDER_NAME))