如何在TFRecord中保存可变长度的列表列表?

2024-03-28 20:35:12 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个由嵌套序列组成的数据集,例如,一个数据点如下所示:

p1 = [[1,1,1], [2,2], [3,3,3]]

但另一个数据点可能如下所示:

^{pr2}$

我不确定如何在TFRecords中保存列表列表,因为我发现的所有示例只保存长度不等的非嵌套列表。我计划然后使用padded_batch来创建形状的3D张量 [batch size, max number of lists, max number of tokens in a list]


Tags: of数据示例number列表sizetfrecordsbatch
1条回答
网友
1楼 · 发布于 2024-03-28 20:35:12

一种方法是按顺序存储每个值。例如,您的第一个示例将存储为[1,1,1,2,2,3,3,3]。为了重现原始序列,还可以存储原始长度-[3,2,3],然后在预处理中重建。我建议从一开始就填充嵌套序列,这样您就可以通过一个简单的整形操作进入/离开平面/嵌套。在

相关问题 更多 >