我想提取一个网站中的所有评论。使用iframe进行评论部分的网站。我已经试过用硒来刮它了。但不幸的是,我只能勉强得到一条评论。如何刮取其余的注释并将其归档到csv或xmls
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
page = driver.get("https://finance.detik.com/berita-ekonomi-bisnis/d-5307853/ri-disebut-punya-risiko-korupsi-yang-tinggi?_ga=2.13736693.357978333.1608782559-293324864.1608782559")
iframe = WebDriverWait(driver,20).until(EC.presence_of_element_located((By.XPATH, "//iframe[@class='xcomponent-component-frame xcomponent-visible']")))
driver.switch_to.frame(iframe)
xpath = '//*[@id="cmt66363941"]/div[1]/div[1]'
extract_name = WebDriverWait(driver,20).until(EC.presence_of_element_located((By.XPATH, xpath)))
username=extract_name.text
xpath = '//*[@id="cmt66363941"]/div[1]/div[2]'
extract_comment = WebDriverWait(driver,20).until(EC.presence_of_element_located((By.XPATH, xpath)))
comment=extract_comment.text
print(username, comment)
King Akbarmachinery
3 hari yang lalu selama korupsi tidak dihukum mati disanalah korupsi masih liar dan ada kalaupun dibuat hukum mati setidaknya bisa mengurangi angka korupsi itu
Laporkan
2BalasBagikan:
顺便问一下,如何从输出中删除这一行
Laporkan
2BalasBagikan:
这就是如何使用requests模块来实现相同的功能,该模块发出带有适当参数的post请求,这些参数应该能够在所有页面中获取内容
您应该概括您的路径,以便同时获取所有用户和所有注释。您可以使用
presence_of_all_elements_located
获取所有注释和所有用户相关问题 更多 >
编程相关推荐