在导航器上抓取新闻的工具
navernewscrawler的Python项目详细描述
Naver News Crawler
h2介绍 输入搜索词和开始日期以及最后日期，将在naver Potal上发布的新闻 是划痕的脚本。NAVER Potal发布的新闻。 http://news.naver.com 从这一点开始，除了这些新闻之外的新闻不进行划痕。
h2同期 为了多种目的，《p》新闻想要进行划痕的需求增加了。只是。 现有的脚本不能在特定时间内扫描新闻。牙齿 脚本对现有的脚本进行改善、完善，日期及结果物的页面 指定了数字。例如2018-12-26日对“独岛”的新闻搜索 指定结果物的开始页面和最后一页进行扫描 可指定日期（如2018-12-26至2018-12-30 到。结果物有新闻标题、新闻公司、日期、测试四种。
安装“h2”这个脚本只支持python 3.7。
(sudo) pip3 install navernewscrawler
或repository中setup.py复制并直接输入。
python3.7 setup.py install
可以看到《li》-h或-help:help message。- bd或-beginate：指定划痕开始日期。年，月，日
分为“-”。如2018-12-26，2018-06-19
指定《li》-ed或endate：划痕最后一天。- -p或-page：在新闻结果页面中要进行划痕的第一页
指定。默认为页面1。
- -max page或者-max page：新闻结果页面中的最后一页
指定。默认为页面5。每一页看10条新闻结果
因为可能，一天刮50条新闻。
将- -c或-csv:划痕结果保存在CSV文件中。
《li》-d或dump：将划痕结果展现在控制台上。
《h2》示例
-
输入
Comment时基本开始日期news scrape最后日期json
保存为文件。例如2018年12月26日至2019年12月26日
如果把新闻泄露出去的话结果。
20181226新闻scrape 20191226.json保存。
2018-12-26，2018-12-27两天内，关于独岛的新闻，结果物页
从1到3进行划痕。
navernewscrawler 독도 -bd 2018-12-26 -ed 2018-12-27 -p 1 -max_page 3
- 2018-12-26一天内，关于独岛的新闻，结果物页面1到3
要做划痕了结果保存为csv文件。
navernewscrawler 독도 -bd 2018-12-26 -ed 2018-12-26 -p 1 -max_page 3 -c
《h2》结果物《/h2》
[{'title': '우리나라 국회의원들, 일본에서 보낸 독도 방문 항의 서한 반송해',
'date': '2018-12-26 ',
'company': 'YTN',
'text': '지난 10월 22일 독도를 방문한 국회 교육위원회 소속 의원들이 일본 자민당 소속 중의원 등이 보낸 항의 서한을 되돌려보낸 사실이 뒤늦게 알려졌다.일본 언론에 따르면, 일본 자민당 소속 중의원이자 \'일본 영토를 지키기 위해 행동하는 의원 연맹\' 소속 신도 요시타카 의원은 25일 기자회견을 열어 한국 국회의원들이 반송한 서한을 공개했다.\'일본 영토를 지키기 위한 의원 연맹\'은 "독도가 한국 땅인 근거를 대라"는 내용을 담은 항의서한 13통 중 10통은 뜯어진 채로, 나머지는 봉투 없이, 다른 한 통은 반송되지 않았다고 밝혔다.지난 10월, 독도를 방문했던 국회 교육의원이었던 이찬열 바른미래당 의원은 독도 방문 후에 이미 항의 서한을 받지 않겠다는 의지를 표명한 바 있다. 이찬열 의원은 독도가 우리 땅인 근거를 대라는 질문에 대해 "답변할 이유가 없다"고 잘라 말하기도 했다.이찬열 의원은 CBS와의 인터뷰에서 "(반대로) 당신들이 독도가 일본 땅이라고 주장하는 근거를 대봐라"라며 "일본이 군국주의의 야심만 드러내고 있다"고 말한 바 있다.[사진 = 일본 영토를 지키기 위해 행동하는 의원 연맹, 이찬열 의원 트위터]YTN PLUS 최가영 기자 (weeping07@ytnplus.co.kr) ▶ 24시간 실시간 뉴스 생방송 보기 ▶ 네이버 메인에서 YTN을 구독해주세요! [저작권자(c) YTN & YTN PLUS 무단전재 및 재배포 금지]'},
{'title': "日의원이 韓의원에 보낸 '독도 영유권' 질문서 반송",
'date': '2018-12-26 ',
'company': '연합뉴스',
'text': '(도쿄=연합뉴스) 김정선 특파원 = 일본 여야 의원들로 구성된 모임이 지난 10월 독도를 방문한 우리나라 국회의원들에게 한국의 독도 영유권 주장 근거를 제시하라며 보냈던 공개질문서가 반송된 것으로 나타났다. 26일 NHK 등에 따르면 \'일본 영토를 지키기 위해 행동하는 의원연맹\'(이하 의원연맹)의 신도 요시타카(新藤義孝·자민당) 회장은 전날 기자회견에서 지난달 발송한 질문서가 그대로 반송됐다고 밝혔다. 의원연맹은 지난 10월 22일 한국의 국회 교육위원회 소속 의원들이 독도를 방문하자 다음 달 이를 용납할 수 없다며 한국 측의 영유권 근거 등을 제시하라는 질문서를 보냈다. \'독도는 우리땅\'(서울=연합뉴스) 김주성 기자 = 일본 시마네(島根)현이 \'다케시마(竹島·일본이 주장하는 독도 명칭)의 날\' 행사를 주최한 2017년 2월 22일 오후 서울 종로구 주한일본대사관 옛터 앞에서 나라살리기국민운동본부 참가 학생들이 일본의 독도 침탈 야욕을 규탄한 뒤 만세삼창을 하고 있다. 2017.2.22 utzza@yna.co.kr 의원연맹은 한국 국회의원 13명에게 질문서를 보냈지만 12통이 반송됐다고 산케이신문은 전했다. 신도 회장은 기자회견에서 질문서가 반송된 것에 대해 "매우 유감"이라며 "독선적 행동밖에 하지 않는 국가의 미래는 매우 걱정스럽다"고 주장했다. 신도 의원은 "한일관계는 다케시마(竹島·일본이 주장하는 독도의 명칭) 문제가 근원에 박혀 있어 이것이 빠지지 않는 한 진정한 신뢰로는 이어지지 않을 것"이라고 말했다고 방송은 덧붙였다. jsk@yna.co.kr▶뭐 하고 놀까? #흥 ▶쇼미더뉴스! 오늘 많이 본 뉴스영상 ▶네이버 홈에서 [연합뉴스] 채널 구독하기'}]
阅读Json文件
import codecs
import json
with codecs.open('파일이름.json', 'r', 'utf-8') as f:
news = json.load(f, encoding='utf-8')
Introduction
Comment时基本开始日期news scrape最后日期json 保存为文件。例如2018年12月26日至2019年12月26日 如果把新闻泄露出去的话结果。 20181226新闻scrape 20191226.json保存。
2018-12-26，2018-12-27两天内，关于独岛的新闻，结果物页 从1到3进行划痕。
navernewscrawler 독도 -bd 2018-12-26 -ed 2018-12-27 -p 1 -max_page 3
navernewscrawler 독도 -bd 2018-12-26 -ed 2018-12-26 -p 1 -max_page 3 -c
[{'title': '우리나라 국회의원들, 일본에서 보낸 독도 방문 항의 서한 반송해',
'date': '2018-12-26 ',
'company': 'YTN',
'text': '지난 10월 22일 독도를 방문한 국회 교육위원회 소속 의원들이 일본 자민당 소속 중의원 등이 보낸 항의 서한을 되돌려보낸 사실이 뒤늦게 알려졌다.일본 언론에 따르면, 일본 자민당 소속 중의원이자 \'일본 영토를 지키기 위해 행동하는 의원 연맹\' 소속 신도 요시타카 의원은 25일 기자회견을 열어 한국 국회의원들이 반송한 서한을 공개했다.\'일본 영토를 지키기 위한 의원 연맹\'은 "독도가 한국 땅인 근거를 대라"는 내용을 담은 항의서한 13통 중 10통은 뜯어진 채로, 나머지는 봉투 없이, 다른 한 통은 반송되지 않았다고 밝혔다.지난 10월, 독도를 방문했던 국회 교육의원이었던 이찬열 바른미래당 의원은 독도 방문 후에 이미 항의 서한을 받지 않겠다는 의지를 표명한 바 있다. 이찬열 의원은 독도가 우리 땅인 근거를 대라는 질문에 대해 "답변할 이유가 없다"고 잘라 말하기도 했다.이찬열 의원은 CBS와의 인터뷰에서 "(반대로) 당신들이 독도가 일본 땅이라고 주장하는 근거를 대봐라"라며 "일본이 군국주의의 야심만 드러내고 있다"고 말한 바 있다.[사진 = 일본 영토를 지키기 위해 행동하는 의원 연맹, 이찬열 의원 트위터]YTN PLUS 최가영 기자 (weeping07@ytnplus.co.kr) ▶ 24시간 실시간 뉴스 생방송 보기 ▶ 네이버 메인에서 YTN을 구독해주세요! [저작권자(c) YTN & YTN PLUS 무단전재 및 재배포 금지]'},
{'title': "日의원이 韓의원에 보낸 '독도 영유권' 질문서 반송",
'date': '2018-12-26 ',
'company': '연합뉴스',
'text': '(도쿄=연합뉴스) 김정선 특파원 = 일본 여야 의원들로 구성된 모임이 지난 10월 독도를 방문한 우리나라 국회의원들에게 한국의 독도 영유권 주장 근거를 제시하라며 보냈던 공개질문서가 반송된 것으로 나타났다. 26일 NHK 등에 따르면 \'일본 영토를 지키기 위해 행동하는 의원연맹\'(이하 의원연맹)의 신도 요시타카(新藤義孝·자민당) 회장은 전날 기자회견에서 지난달 발송한 질문서가 그대로 반송됐다고 밝혔다. 의원연맹은 지난 10월 22일 한국의 국회 교육위원회 소속 의원들이 독도를 방문하자 다음 달 이를 용납할 수 없다며 한국 측의 영유권 근거 등을 제시하라는 질문서를 보냈다. \'독도는 우리땅\'(서울=연합뉴스) 김주성 기자 = 일본 시마네(島根)현이 \'다케시마(竹島·일본이 주장하는 독도 명칭)의 날\' 행사를 주최한 2017년 2월 22일 오후 서울 종로구 주한일본대사관 옛터 앞에서 나라살리기국민운동본부 참가 학생들이 일본의 독도 침탈 야욕을 규탄한 뒤 만세삼창을 하고 있다. 2017.2.22 utzza@yna.co.kr 의원연맹은 한국 국회의원 13명에게 질문서를 보냈지만 12통이 반송됐다고 산케이신문은 전했다. 신도 회장은 기자회견에서 질문서가 반송된 것에 대해 "매우 유감"이라며 "독선적 행동밖에 하지 않는 국가의 미래는 매우 걱정스럽다"고 주장했다. 신도 의원은 "한일관계는 다케시마(竹島·일본이 주장하는 독도의 명칭) 문제가 근원에 박혀 있어 이것이 빠지지 않는 한 진정한 신뢰로는 이어지지 않을 것"이라고 말했다고 방송은 덧붙였다. jsk@yna.co.kr▶뭐 하고 놀까? #흥 ▶쇼미더뉴스! 오늘 많이 본 뉴스영상 ▶네이버 홈에서 [연합뉴스] 채널 구독하기'}]
import codecs
import json
with codecs.open('파일이름.json', 'r', 'utf-8') as f:
news = json.load(f, encoding='utf-8')
This is a script that scrapes Naver news results of a query word(s). The scraped results only include news published on naver news portal, which begins with url http://news.naver.com. This tool does not scrape results that do not begin with this url.
The scraped results include the title, text, date, and the media source.
Motivation
There has been rise in demand for scraping news online, yet there has not been a proper tool that allows scraping Korean news online. This tool allows users to scrape news published on Naver, one of the largest web portals in South Korea. Pre-existing tools only allow crawling a single query result that does not allow collection of new results over time. This tool allows collection of news published on Naver over a period of time, and also provides the user with the option to limit the scrape results per date. For instance, news results per day may reach more than 40,000 page results, but the user can limit the scope by setting the starting page and the ending page using command line options.
Installation
This script only runs on Python 3.7.
(sudo) pip3 install navernewscrawler
Or you can download setup.py and directly install the file.
python3.7 setup.py install
Commands
- -h or –help: See the help message
- -bd or –begindate: Set the begin date in ‘Y-M-D’ format. ex: 2018-12-26, 2018-06-19. The default is 2018-12-26.
- -ed or –enddate: Set the end date. The default is 2018-12-26.
- -p or –page: Out of all news results, set the starting page. Default is 1.
- -max_page or –max_page: Out of all news results, set the end page. Default is 5.
- -c or –csv: Save the scraped results to CSV file.
- -d or –dump: Show the scraped results in console.
Example
The default setting is that the output is stored in .json format. The name of the file is ‘start date_news_scrape_end date’. ex: 20181226_news_scrape_20191226.json
Below scrapes the news results querrying“独岛”for two days: 2018-12-26 and 2018-12-27
navernewscrawler 독도 -bd 2018-12-26 -ed 2018-12-27 -p 1 -max_page 3
-
《li》Below scrapes the news results querrying“独岛”for one
day: 2018-12-26, and stores the results to CSV file.
navernewscrawler 독도 -bd 2018-12-26 -ed 2018-12-26 -p 1 -max_page 3 -c
Results
[{'title': '우리나라 국회의원들, 일본에서 보낸 독도 방문 항의 서한 반송해',
'date': '2018-12-26 ',
'company': 'YTN',
'text': '지난 10월 22일 독도를 방문한 국회 교육위원회 소속 의원들이 일본 자민당 소속 중의원 등이 보낸 항의 서한을 되돌려보낸 사실이 뒤늦게 알려졌다.일본 언론에 따르면, 일본 자민당 소속 중의원이자 \'일본 영토를 지키기 위해 행동하는 의원 연맹\' 소속 신도 요시타카 의원은 25일 기자회견을 열어 한국 국회의원들이 반송한 서한을 공개했다.\'일본 영토를 지키기 위한 의원 연맹\'은 "독도가 한국 땅인 근거를 대라"는 내용을 담은 항의서한 13통 중 10통은 뜯어진 채로, 나머지는 봉투 없이, 다른 한 통은 반송되지 않았다고 밝혔다.지난 10월, 독도를 방문했던 국회 교육의원이었던 이찬열 바른미래당 의원은 독도 방문 후에 이미 항의 서한을 받지 않겠다는 의지를 표명한 바 있다. 이찬열 의원은 독도가 우리 땅인 근거를 대라는 질문에 대해 "답변할 이유가 없다"고 잘라 말하기도 했다.이찬열 의원은 CBS와의 인터뷰에서 "(반대로) 당신들이 독도가 일본 땅이라고 주장하는 근거를 대봐라"라며 "일본이 군국주의의 야심만 드러내고 있다"고 말한 바 있다.[사진 = 일본 영토를 지키기 위해 행동하는 의원 연맹, 이찬열 의원 트위터]YTN PLUS 최가영 기자 (weeping07@ytnplus.co.kr) ▶ 24시간 실시간 뉴스 생방송 보기 ▶ 네이버 메인에서 YTN을 구독해주세요! [저작권자(c) YTN & YTN PLUS 무단전재 및 재배포 금지]'},
{'title': "日의원이 韓의원에 보낸 '독도 영유권' 질문서 반송",
'date': '2018-12-26 ',
'company': '연합뉴스',
'text': '(도쿄=연합뉴스) 김정선 특파원 = 일본 여야 의원들로 구성된 모임이 지난 10월 독도를 방문한 우리나라 국회의원들에게 한국의 독도 영유권 주장 근거를 제시하라며 보냈던 공개질문서가 반송된 것으로 나타났다. 26일 NHK 등에 따르면 \'일본 영토를 지키기 위해 행동하는 의원연맹\'(이하 의원연맹)의 신도 요시타카(新藤義孝·자민당) 회장은 전날 기자회견에서 지난달 발송한 질문서가 그대로 반송됐다고 밝혔다. 의원연맹은 지난 10월 22일 한국의 국회 교육위원회 소속 의원들이 독도를 방문하자 다음 달 이를 용납할 수 없다며 한국 측의 영유권 근거 등을 제시하라는 질문서를 보냈다. \'독도는 우리땅\'(서울=연합뉴스) 김주성 기자 = 일본 시마네(島根)현이 \'다케시마(竹島·일본이 주장하는 독도 명칭)의 날\' 행사를 주최한 2017년 2월 22일 오후 서울 종로구 주한일본대사관 옛터 앞에서 나라살리기국민운동본부 참가 학생들이 일본의 독도 침탈 야욕을 규탄한 뒤 만세삼창을 하고 있다. 2017.2.22 utzza@yna.co.kr 의원연맹은 한국 국회의원 13명에게 질문서를 보냈지만 12통이 반송됐다고 산케이신문은 전했다. 신도 회장은 기자회견에서 질문서가 반송된 것에 대해 "매우 유감"이라며 "독선적 행동밖에 하지 않는 국가의 미래는 매우 걱정스럽다"고 주장했다. 신도 의원은 "한일관계는 다케시마(竹島·일본이 주장하는 독도의 명칭) 문제가 근원에 박혀 있어 이것이 빠지지 않는 한 진정한 신뢰로는 이어지지 않을 것"이라고 말했다고 방송은 덧붙였다. jsk@yna.co.kr▶뭐 하고 놀까? #흥 ▶쇼미더뉴스! 오늘 많이 본 뉴스영상 ▶네이버 홈에서 [연합뉴스] 채널 구독하기'}]
- 项目
标签：
欢迎加入QQ群-->： 979659372
