web爬虫Java web爬虫静态URL
我将更深入地研究这些技术,因为显然有很多东西需要学习,但我想知道处理静态URL的最佳方法是什么。我想这和饼干有关,但我不能肯定
因此我在一个站点上搜索我的查询example.com
,example.com/search?string=blah
然后将我发送到一个特定于搜索字符串的url。从那里我可以进一步(找到我真正想要的数据),但是结果的链接是一个静态URL example.com/results.php?id=33
,不管搜索字符串如何,id都保持不变。所以唯一合乎逻辑的事情就是传递cookie,对吗?如果是这样,我如何让Java打开一个连接,抓取cookies,然后打开一个新连接并传递cookies?我尝试了两种方法,一种是打开初始连接并获取cookies,然后打开一个新连接并将cookies传递给该方法
如果有帮助的话,肯定有多个cookies
此外,如果您认为我能找到任何有帮助的链接/资源,我将不胜感激
共 (0) 个答案