我们正在研究pandas.io.gbq
,我们注意到一些大型结果集的异常行为。代码大致如下(其中bq
来自bq.py)。数据的前几页返回有效的pagetoken,但之后每对都不返回。可以在以下位置查看返回的JSON修剪副本:
https://gist.github.com/jacobschaer/8309204
import bq
import bigquery_client
#.
#.
#.
client = bq.Client.Get()
kwds = {'timeoutMs': 0, u'projectId': u'xxxxxxx', 'startIndex': 0, 'maxResults': 1000000, u'jobId': u'bqjob_r36320b28158a7c96_000001436eb0431c_1'}
data = client.apiclient.jobs().getQueryResults(**kwds).execute()
这可能与:BigQuery paging issues with tableData.list()
最终,结果集中会出现重复项。在
我可以帮你弄清真相。上面的代码片段将启动获取第一组查询结果的操作,并应生成一个页面标记。听起来像是你在后面的电话里遇到了问题-你能告诉我你是怎么打后续电话的吗?在
你能为我澄清一些事情吗,你还提到前几页返回有效的页标记,然后每几页都不返回。你的意思是你得到的页面根本不包含pagetoken?或者你的意思是有些页面包含有效的页面令牌但没有结果?在
相关问题 更多 >
编程相关推荐