Python Selenium 自动重定向问题

Question

我在抓取这个网站的时候遇到了一些问题：https://www.mca.gov.in/content/mca/global/en/home.html。

每次我用selenium或者undetectedchromedriver打开这个网站时，它都会自动跳转回首页，但如果我用普通浏览器打开就没问题。

我尝试了很多方法，比如禁用锚点标签，但都没有效果。我只是想停留在这个网站上，我已经找到了处理验证码的方法。

这是我一直在运行和测试的代码：

import undetected_chromedriver as uc
import time

driver = uc.Chrome()

driver.get("https://www.mca.gov.in/content/mca/global/en/mca/master-data/MDS.html")

time.sleep(10)

driver.quit()

Answer 1

具体发生了什么很难说，但这里有一些一般性的建议：

• 你是不是在用无头模式运行Chrome驱动？有些网站能检测到这一点。例如，如果你用无头浏览器访问 这个网站，你会发现它能识别出你的浏览器是无头的。所以一个解决办法就是用有头浏览器来抓取网站

• 你也可以尝试使用一个 网页抓取API，它可以帮你处理所有复杂的工作。不过这些服务通常不是免费的。