我希望实现request
对象的多线程或多处理。你知道吗
我的代码如下:
def validate(testurl):
json_d = {"task_id": "user_uid","data": {"document1":testurl}}
response = requests.post("https://example.net.com/document",headers=headers,json=json_d)
my_data1 = response.text
with open("testurl.txt","a+") as file:
file.write(my_data1)
my_data = json.loads(my_data1)
result = {'bool_value':my_data['data']}
return result
有没有一种方法可以对超过5000个URL的apply()
函数进行多线程或多进程处理?例如:
df['res'] = df['testurl'].apply(validate)
我应该在下面用这个吗?你知道吗
from joblib import parallel, delayed
你可以使用迅捷或dask来做这件事。你可以参考https://gdcoder.com/speed-up-pandas-apply-function-using-dask-or-swifter-tutorial/
相关问题 更多 >
编程相关推荐