在Java内部使用Scrapy？

Question

这是this的后续问题：

基本上，我有一个在浏览器中运行的javaapplet，我希望它能抓取一些页面。有没有一种方法可以使用Java获得python驱动的scrapy的所有好处？在

（为了增加一把扳手，我正在开发一台Windows机器。。。这是我第一次尝试使用Python，所以在考虑将它们结合使用时，我不知道有什么限制。也许有更好的方法可以使用Java来实现呢？）在

Answer 1

就像你上一个问题一样。Jython不能使用，因为scrapy是纯的Python。通常您应该使用jython来访问Java库，而不是相反。在

Python答案

为了回答您最初的问题，我将使用python单独开发我的抓取应用程序，并有一个中间的web服务层来与Java通信小程序。你可以在python中实现web服务侦听器，该侦听器侦听请求，然后在javaapplet中使用该web服务。在

没有其他解决方案可以保证您的稳定性，因为没有与python和java通信的标准方法，所以我肯定会选择web服务。在

Java答案

Apache Nutch似乎是一个很好的起点，它不仅仅是一个抓取库（p.S:我对它没有第一手的经验），这似乎是一个过度的杀戮，但是由于您的应用程序已经是Java语言，所以使用这个选项似乎更好。在

最终，它很大程度上取决于您的需求。pythonscrapy可能更快地启动并运行，如果您想实现一个全面的web爬虫，那么apachenutch似乎是一个不错的选择。在