在web抓取时找不到包含JSON信息的请求URL

Question

我捡到一些python的网页抓取。 如果我转到这个website，我想提取公司的描述和投资者名单

我设法找到了Chrome inspect的XHR并找到了描述的json文件。然而，我似乎找不到任何关于它从何处以及如何获得投资者名单的信息（低于排名前10位）

我也经历过类似的堆栈溢出问题Scraping: cannot access information from web，Trying to scrape - no response from XHR，Empty value from web scraping with python beautiful soup

url = "https://bors.e24.no/#!/instrument/ZWIPE-ME.MERK"
website_url = requests.get(url, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36'}).text
r = requests.get(url, headers=headers)
r.json()

如果我使用这个url（url=“https://bors.e24.no/server/suggest?group=SEARCH_TICKERS&query=Zwipe”），我可以提取ISIN和描述。但是，我找不到Topp10列表的任何请求URL

在这个例子中，如果这个url，我希望看到这个列表：

TOPP 10 AKSJONÆRER  INNSIDERE
Ti største eiere    Eierandel
AVANZA BANK AB  16,75%
NORDNET BANK AB 6,78%
SKANDINAVISKA ENSKILDA BANKEN AB    6,77%
ARCANUM EIENDOM AS  5,99%
PHOTON FUTURE LIMITED   5,74%
LAUNCH AS   5,33%
SUNDT AS    5,02%
CONCITO AS  3,36%
TELECOM AS  2,13%
ADVISUM AS  1,66%

这是我在Chrome上看到的

Answer 1

显然，这些数据是在一个网络插座后面

铬检查->；网络->；WS（Websocket）[PIC1]->；组件->；标题[PIC2]

当您找到websocket连接url时，您可以按照代码操作并接收pong应答。我还在messages选项卡（而不是Headers）中找到了接收top10列表所需发送的消息

ws = create_connection("wss://bors.e24.no/server/components")
message = "ping"
ws.send(message)
While True:
    result =  ws.recv() 
    Print("Received ", result) #receive a pong