擅长:python、mysql、java
<ol>
<li>我建议您使用BeautifulSoup解决问题1和2。你知道吗</li>
<li>对于3和5,您可以使用seleniumwebdriver(作为python库提供)。
使用Selenium,您可以执行所有可能的操作(例如登录、更改下拉值、导航等),然后您可以通过driver.page\u源(您可能需要使用睡眠功能等待内容完全加载)</li>
<li>对于6,您可以使用自己的API来获取新闻提要及其链接的列表(大部分返回的对象都带有指向特定新闻提要的链接),一旦获得链接,就可以使用BeautifulSoup来获取web内容。你知道吗</li>
</ol>
<p>注意:请务必阅读每个网站的条款和条件之前,刮,因为其中一些提到自动数据收集是不道德的行为,我们不应该做的专业。你知道吗</p>