为什么python的抓取结果与眉毛不同

Question

我可以在浏览器中浏览https://www.xiami.com/artist/O9fc383页面，但当我用chrome驱动程序解析它时，我得到了如下不同的源代码，这样我就不能抓取那个页面了，我该怎么办？浏览器中没有源的此表单。在

...
<form action="//www.xiami.com:443/artist/O9fc383/_____tmd_____/verify/" id="nc-verify-form" method="GET">
...
<script>
    var referrer=document.referrer;
    if (referrer && referrer.indexOf("__tmd__")===-1 ){
        localStorage.x5referer = document.referrer;
    }else{
        localStorage.x5referer = window.location.href;
    }
</script>

Answer 1

你用什么样的lib来刮擦？如果使用beautifulsoup或urllib，则无法从javascript生成代码。你得用些像硅元素的东西 Scraping a JS-Rendered Page