我对编程、Python和Pandas不熟悉,所以希望这不是一个愚蠢的问题。
我从here下载了一些外汇数据。一个月的数据量约为50mil行,以CSV格式对所有对。
我希望最终能够跨多个时间框架和工具测试一个策略。在
下面是我使用的代码:
file_address = '/Users/Oliver/PyCharm/FX_app/test_data/EURUSD_test.csv'
df = pd.read_csv( file_address,
names = ['Symbol', 'Date_Time', 'Bid', 'Ask'],
index_col = 1,
parse_dates = True,
converters = { 'Date_Time': convert_string_to_datetime }
)
# a non-PEP8 format
# didactic purpose
除了被截断的测试文件外,此读入过程需要很长时间。在
任何帮助都将不胜感激。在
我曾经玩过一些现金股票的逐点数据(最高30%的流动性股票,每天超过500万的记录)。下面是我使用
chunksize
和hdf5
处理文件读取问题的策略。在不错,我们只需要2秒左右,就可以在以后的会话中从HDF5读取整个文件。在
相关问题 更多 >
编程相关推荐