从Google新闻中获取文章并用Java下载

Question

我该如何编写一个程序，从谷歌新闻中获取文章并下载到我的电脑上

我发现谷歌新闻已经有了内置的RSS功能，但我需要下载整篇文章（文本和全部），而不仅仅是标题

最好是，我想下载这些文章作为PDF或HTML文件，但对于初学者来说，仅仅获取一些URL将是令人惊讶的

这里有一些关于从谷歌新闻获取文章的问题，但到目前为止，我发现没有什么特别有用的。任何帮助都将不胜感激

谢谢

Answer 1

撇开法律问题不谈，这是可能的，见Apache HttpComponents。下面是一个如何使用它的示例（taken from here）：

DefaultHttpClient httpclient = new DefaultHttpClient();
if ( useProxy == true ) {
    HttpHost proxy = new HttpHost(proxyStr, 80, "http");
    httpclient.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY, proxy);
}

HttpGet httpget = new HttpGet(urlStr);
httpget.addHeader("Authorization", "Basic " + encodedAuth);

HttpResponse response = httpclient.execute(httpget);

但是在你做这样的事情之前要注意谷歌TOS