如何从文本文件中读取URL列表并将所有响应保存到一个文本文件中？

Question

我在一个文本文件中有一个URL列表。我希望将文本文件中的url输入到我的代码脚本中，而不是将每个url粘贴到脚本中，但不确定如何这样做。我还想将所有回复保存到一个文本文件中。多谢各位

import requests
from datetime import datetime

def run():

    url = "https://en.wikipedia.org/wiki/NBA"

    payload = {}
    headers= {}

    response = requests.request("POST", url, headers=headers, data = payload)

    print(response.text)

startTime = datetime.now()
run()
print(datetime.now() - startTime)

文件：Wiki.text

https://en.wikipedia.org/wiki/NBA
https://en.wikipedia.org/wiki/NFL
https://en.wikipedia.org/wiki/MLB
https://en.wikipedia.org/wiki/NHL

Answer 1

尝试此操作，它将返回Wiki.txt中每个页面的代码以及获取代码所用的时间：

import requests
from datetime import datetime
def run():
    links_file = open('Wiki.txt', 'r')
    outputs_file = open('outputs.txt', 'a')
    for link in links_file.readlines():  # run for ever line in file
            payload = {}
            headers = {}

            response = requests.request("POST", link, headers=headers, data=payload)

            outputs_file.write(response.text + '\n')
    links_file.close()
    outputs_file.close()

startTime = datetime.now()
run()
print(datetime.now() - startTime)

基本上，您需要做的就是添加一个循环，该循环针对文件中的每一行运行，并将生成的代码添加到另一个文本文件中

Answer 2

您可以这样做：

import requests
list_of_pages = open('list_of_links.txt', 'r+')
save = open('output.txt', 'a+')
save.truncate(0)
for page_link in list_of_pages:
    url = page_link
    payload = {}
    headers = {}
    response = requests.request("POST", url, headers=headers, data=payload)
    save.write(str(response) + "\n")