数据迁移实用程序
into的Python项目详细描述
python中的数据迁移
示例
在不同容器之间迁移数据
>>>fromintoimportinto>>>into(list,(1,2,3))[1,2,3]
它在小型内存容器(如上所述)和大型内核外容器上运行 容器(如下所示)
>>>into('postgresql://user:pass@host::my-table','myfile.hdf5::/data')Table('my-table',MetaData(bind=Engine(postgresql://user:****@host)),...)
利用现有的Python生态系统。上面的例子使用 sqlalchemy用于SQL交互,h5py用于HDF5交互。
方法
使用小型数据转换函数在 键入对。网络如下:
每个节点都是一个容器类型(如pandas.DataFrame或 sqlalchemy.Table)并且每个有向边都是一个转换或 将一个容器附加到另一个容器中。我们注释这些函数/边 相对成本。
这种网络方法允许into在任何 两种类型(谢谢networkx)。出于性能原因,这些功能通常 利用非python系统,如numpy数组或本机CSV->SQL加载 功能。into不仅仅依赖于python迭代器。
这种网络方法也很健壮。当库丢失或运行时 出现错误into可以绕过这些洞并找到新路径。
这种网络方法是可扩展的。编写小函数和 将它们注册到整个图形中。下面的例子展示了我们 从pandas.DataFrame转换为numpy.ndarray。
fromintoimportconvert@convert.register(np.ndarray,pd.DataFrame,cost=1.0)defdataframe_to_numpy(df,**kwargs):returndf.to_records(index=False)
我们用目标和源类型以及 相对成本。这个装饰物建立了一个合同 函数必须实现,在本例中是使用fastDataFrame.to_records 方法。对于{ TT12}$,存在类似的函数,以添加到现有数据中,并且 resource用于uri解析。
- convert:将数据集转换为新容器
- ^ TT12}$:将数据集添加到现有容器
- resource:给定一个uri,找到适当的数据资源
- into:根据输入调用上面的一个。 例如into(list, (1, 2, 3)) -> convert(list, (1, 2, 3)) 而L = []; into(L, (1, 2, 3)) -> append(L, (1, 2, 3))
最后,into还知道哪些容器必须驻留在内存中,以及 但事实并非如此。在上图中,红色的节点对 大于内存数据集。两个核心外数据集之间的转换 仅在红色节点的子图上操作。
许可证
新的疯牛病。见License File。
历史记录
into是从Blaze项目中分解出来的。