从大文本文件中随机选择数据

2024-03-29 14:05:59 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在64位Windows7中使用8GB RAM。你知道吗

我有一个30GB的文本文件,其中有一列数字数据。你知道吗

我必须随机选择5%的线随机。 我是这样开始的:

fi = "data.txt"
lines = fi.read().splitlines()

Memory Error...

你们有什么想法吗,伙计们?你知道吗


Tags: 数据txtreaddata数字errorfiram
1条回答
网友
1楼 · 发布于 2024-03-29 14:05:59

如果“大约5%”对您来说足够好,您可以逐行阅读文件,并给每行5%的机会被包括在您的列表中:

import random
result = []
with open("data.txt") as f:
    for line in f:
        if random.random() < 0.05:
            result.append(line)

相关问题 更多 >