从哪里开始脚本项目从term/cmd搜索只登录的网站

Question

我试图为自己写一个脚本，将登录到一个特定的网站，并使用该网站的搜索功能。然后脚本将搜索结果列表写入标准输出，然后我将选择其中一个结果并在页面上执行各种操作。我真不知道从哪里开始。我已经尝试过cURL和python的各种web库，但是还没有找到任何有效的方法。你知道吗

Answer 1

假设这个网站不提供搜索API，你需要做自动抓取，在这种情况下，curl等都太低级了，而且容易出错。 以下是一些广泛使用的建议：

对于自动化、链接跟踪、表单填充等，我强烈推荐twillAPI，它是位于mechanize之上的自动化层。斜纹布有一个bunch of useful extension modules。 举一个例子，对于填写身份验证表单，twill.formfill multi_sub非常好。你知道吗

对于手动刮削，BeautifulSoup，但是twill可能已经完成了您需要的工作（刮削所有链接、表单等）。你知道吗