java爬虫获取外部网站搜索结果

Question

1. 我可以使用什么样的最佳实践和库在外部网站的搜索文本框中输入并收集搜索结果
   
2. 如何处理不同搜索框和复选框的网站，并收集结果
   
3. Selenium可以用来实现自动化吗
   
4. 我应该用Heritrix还是nutch？哪一个更好？我听说nutch有插件。哪个社区更大

Answer 1

您可以使用：

• Selenium API
• HtmlUnit
• HTMLPasser

等等