Python/R中的Web抓取javascript

Question

我正在做一些个人数据科学项目，其中一个项目就是看看收音机里播放某些歌曲的频率。在

http://www.iheart.com/live/radio-1045-3401/

查看上面的URL，当我查看页面源代码时，没有填充感兴趣的值。不知道为什么，但是当我在chrome中使用inspect元素时，当我将鼠标悬停在“Now Playing”标题上时，我可以看到song和artist的值。在

示例：

a class="player-song" href="/artist/rem-3610/songs/-2450662/" title="Losing My Religion" data-reactid=".1hpdfx1l4ow.a.1.0.1.1">Losing My Religion</a

我的两个问题是：

1. 为什么页面源代码中没有显示，但我可以在Inspect元素下看到它？在
2. 我将如何从网上抓取这些信息，因为它没有出现在网页来源？在

Answer 1

1. 大多数涉及动态元素的网页都有由Javascript生成和插入的页面元素，浏览器会为您解析和执行这些元素。你已经猜到了，我猜，根据题目。在

   您在页面源代码中看到的是Javascript启动并更新它之前的原始HTML。

2. 你想要一个headless browser：一个没有图形用户界面的浏览器。这将为您解析和执行Javascript，并相应地更新页面HTML。

---

{a}这里是^。请注意，您可以用任何语言执行此任务。在