如何创建一个调用python webscraping脚本的web服务?

2024-03-29 09:25:10 发布

您现在位置:Python中文网/ 问答频道 /正文

我是一个python初学者,我需要一些帮助来创建一个调用pythonwebscraping脚本(一个课程的任务)的web服务。你知道吗

我可以使用瓶子来创建web服务。我想使用静态文件来调用脚本,但我不确定,因为文档中说静态文件是用于CSS的。你知道吗

其思想是首先创建web服务,然后使用服务器上的web刮取脚本。你知道吗

感谢哥伦比亚的帮助和问候!你知道吗

另外,我的英语不是很好,但我希望有人能理解我并帮助我。你知道吗


Tags: 文件文档服务器脚本web瓶子静态css
2条回答
  1. 除非它已经在函数中,否则请编辑废弃脚本,使代码包含在返回所需信息的函数中。它应该像缩进所有未缩进的内容和添加def main():一样简单
  2. 假设你的脚本被调用了刮刀.py它与瓶子控制器一起位于控制器文件的顶部,添加一个import scrapper。你知道吗
  3. 在回调中,您可以调用scrapper.main()

(不知道为什么在这里粘贴代码不是格式化它在下面)

话虽如此,在请求中运行像废弃脚本这样的长时间运行通常是不好的做法。您通常希望使用一个报废作业队列,在该队列中,您的控制器发布要执行的工作,您的报废程序将子任务分配给它,并在完成时通知它将结果缓存到某个地方。你知道吗

from bottle import route, run
import scrapper

@route('/scrap')
def scrap():
    return scrapper.main()

你可以试试我找到的这个指南:

http://docs.python-guide.org/en/latest/scenarios/scrape/

对于xpath,我建议使用mozillafirefox和Firebug插件。它可以为您生成XPath,这将帮助您更快地编写脚本

相关问题 更多 >