试图将大量数据从BigQuery传输到MongoDB

Question

我正在尝试将大量数据从BigQuery传输到MongoDB。 我的BigQuery每天有16.5GB的数据

目前，我的做法是：

bq = bigquery.Client()
query_job = bq.query(sql)
results = query_job.result()

documents = []
for row in results:
  for i in row:
    documents.append(json.loads(i))

但这种方法会导致崩溃（RAM使用（70GB））。 因此，我将其加载到一个列表中，并将其重新加载到MongoDB的多进程中

我想知道有没有办法： 1.加载速度更快？ 2.在上传到MongoDB的同时加载

谢谢