如何读取多个pickle文件并将其存储在数据库中?

2024-04-29 14:26:40 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试合并4,30000个pickle文件,每个文件包含两个列表

例如:

引理=['pañcan',['ratna',['mukhya',['ca','uparatna','catu']ṣṭaya']]

形态类=['41'],['41'],['41'],['2','3','31']

我想创建一个DB文件(sqlite),它包含两列,其中一列是引理[I][j],另一列是形态类[I][j]

对于上面的示例,我的数据库如下所示:

形态学引理

帕尼坎41

拉特纳41

穆赫亚41

钙2

乌帕拉特纳3号

卡图ṣṭ阿雅31

实现这一目标的最快方法是什么?我在python中使用了sqlite3,并使用for循环遍历每个pickle并存储它。这样做要花很多时间

总文件大小=2.3GB


Tags: 文件示例列表dbsqlitecanpickle形态