数据迁移实用程序
odo的Python项目详细描述
python中的数据迁移
示例
ODO在不同容器之间迁移数据
>>>fromodoimportodo>>>odo((1,2,3),list)[1,2,3]
它在小型内存容器(如上所述)和大型内核外容器上运行 容器(如下所示)
>>>odo('myfile.hdf5::/data','postgresql://user:pass@host::my-table')Table('my-table',MetaData(bind=Engine(postgresql://user:****@host)),...)
ODO利用现有的Python生态系统。上面使用的例子 sqlalchemy用于SQL交互,h5py用于HDF5交互。
方法
ODO使用小型数据转换功能在 键入对。网络如下:
每个节点都是一个容器类型(如pandas.DataFrame或 sqlalchemy.Table)并且每个有向边都是一个转换或 将一个容器附加到另一个容器中。我们注释这些函数/边 相对成本。
这种网络方法允许odo在任何 两种类型(谢谢networkx)。出于性能原因,这些功能通常 利用非python系统,如numpy数组或本机CSV->SQL加载 功能。odo不仅仅依赖于python迭代器。
这种网络方法也很健壮。当库丢失或运行时 出现错误odo可以绕过这些洞并找到新路径。
这种网络方法是可扩展的。编写小函数和 将它们注册到整个图形中。下面的例子展示了我们 从pandas.DataFrame转换为numpy.ndarray。
fromodoimportconvert@convert.register(np.ndarray,pd.DataFrame,cost=1.0)defdataframe_to_numpy(df,**kwargs):returndf.to_records(index=False)
我们用目标和源类型以及 相对成本。这个装饰物建立了一个合同 函数必须实现,在本例中是使用fastDataFrame.to_records 方法。对于{ TT12}$,存在类似的函数,以添加到现有数据中,并且 resource用于uri解析。
- convert:将数据集转换为新容器
- ^ TT12}$:将数据集添加到现有容器
- resource:给定一个uri,找到适当的数据资源
- odo:根据输入调用上面的一个。 例如odo((1, 2, 3), list) -> convert(list, (1, 2, 3)) 而L = []; odo((1, 2, 3), L) -> append(L, (1, 2, 3))
最后,odo还知道哪些容器必须驻留在内存中,以及 但事实并非如此。在上图中,红色的节点对 大于内存数据集。两个核心外数据集之间的转换 仅在红色节点的子图上操作。
许可证
新的疯牛病。见License File。
历史记录
odo是从Blaze项目中计算出来的。