从json文件创建pandas数据帧;获取内存

2021-05-13 14:26:11 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试将json文件读入熊猫数据帧:

df = pd.read_json('output.json',orient='index')

但我得到了一个错误:

^{pr2}$

我也尝试过用gzip来阅读:

def parse(path):
  g = gzip.open(path, 'rb')
  for l in g:
  yield eval(l)

def getDF(path):
 i = 0
 df = {}

 for d in parse(path):
   df[i] = d
   i +=1
   #if i == 10000: break ## hack for local testing

 return pd.DataFrame.from_dict(df,orient='index')

 pathname ='./output.json.gz'
 df = getDF(pathname)

但出现了分割错误。如何读取json文件(或json.gz版)这么大?在

json文件的头如下所示:

{“reviewId”:“ARMDSTEI0Z7YW”,“asin”:“0077614992”,“reviewerName”:“dodo”,“helpable”:[0,0],“unixReviewTime”:1360886400,“reviewText”:“这本书是大学课堂的必备条件。它还可以使用,尽管它在我的特定类中使用得不多,“总体”:5.0,“reviewTime”:“02.15,2013”,“summary”:“很好”} {“reviewId”:“A3FYN0SZYWN74”,“asin”:“0615208479”,“reviewerName”:“Marilyn Mitzel”,“helpive”:[0,0],“unixReviewTime”:1228089600,“reviewText”:“这是给任何想要保留现有或找回失去的东西的人的绝佳礼物。我买它是为了我77岁的母亲,她和我自己都中风了,我55岁了,和我们大多数人一样,我的记忆力开始衰退。你知道怎么回事。不记得我把钥匙放哪儿了,记不起名字,忘了数字。作为一名医学记者,我在研究锻炼大脑的重要性。我听说了有氧运动,它可以帮助改善甚至恢复记忆。我没有什么可失去的,妈妈也没有,所以我们试了一下,结果很惊讶很好。我的记忆力提高得很快。我以前每件事都得给自己写笔记。再也不会了。我不需要把所有的东西都写下来,就可以记住我的购物清单和差事。我现在甚至能记住电话号码了。你必须坚持下去。就像每周去健身房锻炼几次一样,你也必须为自己的身体做同样的事情大脑。但是这很有趣,给你一种新的自信感,因为你会感觉更敏锐。在你的游戏之上说话。那个在当今这个竞争激烈的世界里,跟上年轻人的步伐很重要。至于妈妈,她的中风已经两年多了,我们以为她再也不会恢复脑力了,但她的大脑仍在继续改善。在过去的几个月里,我们注意到了一个很大的不同,因为她一直在定期做脑力有氧运动。她上钩了,我们是信徒。玛丽莲Mitzel/Aventura,FL,“整体”:5.0,“reviewTime”:“12.1,2008”,“summary”:“真是太神奇了!”} {“reviewId”:“A2J0WRZSAAHUAP”,“asin”:“0615269990”,“reviewerName”:“icu rn”,“helpable”:[0,0],“unixReviewTime”:1396742400,“reviewText”:“非常有助于了解不同的疾病过程,易于理解。你不必是医学院的学生才能玩。你也可以单独或与几个玩家一起玩,“整体”:5.0,“reviewTime”:“0462014”,“summary”:“Must have”}