从google sch获取标签的作者姓名和URL

Question

我想写一个CSV文件的所有作者的名单，他们的网址到一个CSV文件谁分类自己作为一个特定的标签谷歌学者。例如，如果我们要使用'security'，我希望得到以下输出：

author          url
Howon Kim       https://scholar.google.pl/citations?user=YUoJP-oAAAAJ&hl=pl
Adrian Perrig   https://scholar.google.pl/citations?user=n-Oret4AAAAJ&hl=pl
...             ...

我写了这段代码打印每个作者的名字

^{pr2}$

但是，这只适用于第一页。相反，我想浏览每一页。我该怎么做？在

Answer 1

我不是为你写代码的。。但我会给你一个大概的计划。在

看这页的底部。看到下一个按钮了吗？搜索它包含的div有一个id，它应该很容易找到。我用selenium做这个，找到下一个按钮（右）并单击它。等待页面加载，刮擦重复。处理边缘情况（缺页等）。在

如果url中的after_author=*位没有改变，您可以只增加url开头。。但是除非你想破解这个代码（不太可能），那么只要点击next按钮。在

Answer 2

此页使用<button>而不是<a>链接到下一页/上一页。在

下一页的按钮有aria-label="Następna"。在

下一页有两个按钮，但您可以使用其中任何一个。在

按钮有JavaScript代码以重定向到新页面

 window.location=url_to_next_page

但它是简单的文本，所以您可以使用切片来只获取url

^{pr2}$

---

顺便说一句：如果你说波兰语，那么你可以访问Facebook:Python Poland或Python: pierwsze kroki