如何在将文件读入numpy array或simi时使用regex作为分隔符函数

Question

我有一个txt文件：

.xsh 1:
..sxi
..kuxz
...iucdb
...khjub
..kjb
.hjub 2:
..ind
..ljnasdc
...kicd
...lijnbcd
.split 3:
..asd

我想将这个文件加载到一个numpy数组中（因为numpy处理起来很快），以便在加载时更快地开始解析。所以说，我希望它在每个分隔符上拆分文件

^{pr2}$

现在我试着这样做：

import numpy as np
import os,re
path = 'C:\\temp'
filename = 'file.txt'
delim = '(^\.\w+\s\d+\:)'
delimFunc = (lambda s: re.split(delim,s))
fname = os.path.join(path,filename)
ar=np.loadtxt(fname, dtype = str, delimiter = delimFunc)
print len(ar)

在这里，它并没有按照我想要的方式拆分，而是在每一条换行符上拆分。有没有可能让纽比，熊猫或其他任何快速图书馆的行为方式，我想在这里？在

我想要结果：

[[.xsh 1:
..sxi
..kuxz
...iucdb
...khjub
..kjb]
[.hjub 2:
..ind
..ljnasdc
...kicd
...lijnbcd]
[.split 3:
..asd]]

Answer 1

我认为pandas支持这种开箱即用的方式，如果您可以选择的话。在

看看https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html

sep参数：

sep : str, default ‘,’

Delimiter to use. If sep is None, the C engine cannot automatically detect the separator, but the Python parsing engine can, meaning the latter will be used and automatically detect the separator by Python’s builtin sniffer tool, csv.Sniffer. In addition, separators longer than 1 character and different from '\s+' will be interpreted as regular expressions and will also force the use of the Python parsing engine. Note that regex delimiters are prone to ignoring quoted data. Regex example: '\r\t'

您还可以使用.values方法iirc将pandas数据帧转换回numpy数组

（https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.values.html）