开放式像素化茎支架
libertem的Python项目详细描述
Libertem是一个开源平台,用于对pixelated扫描透射电子显微镜(STEM)数据进行高通量分布式处理。
它设计用于PC机、单服务器节点、集群和云服务上的高吞吐量和可扩展性。在集群上,它可以使用具有快速分布式的hadoop文件系统 高性能固态硬盘上的本地存储。这样,它可以在一个由库存组件构建的紧凑且经济高效的系统上实现非常高的集体IO性能。 通过缓存的文件系统读取,使用四核CPU,每个处理节点的吞吐量可达14 GB/s。
Linux、Mac OS X和Windows支持Libertem。其他平台 这样就可以安装python 3和所需的包。图形用户界面正在运行 在网络浏览器中。
Libertem当前打开大多数用于像素化茎的文件格式:
- 原始二进制文件,例如Thermo Fisher EMPAD检测器
- 量子探测器mib格式(目前为alpha格式,更多测试和样本文件高度赞赏)
- nanomegas.blo块文件
- gatan k2is原始格式(当前为beta版)
- 基于hdf5的格式,如hyperspy文件、nexus和emd
- 如果您有兴趣支持其他格式,请与我们联系!
0.1版本实现了任何可以通过对每个检测器帧应用掩码来完成的操作, 例如许多虚拟探测器方法(虚拟亮场,虚拟haadf,…)或质心。
0.1版本的gui允许使用基本的虚拟 探测器、质心和单个探测器框架的显示。
python api可以用于具有任意掩码的更复杂的操作和其他特性,如数据导出。在examples directory中提供了jupyter笔记本的示例。 如果您在运行示例时遇到问题,请通过提交问题通知我们 或者通过joining our Gitter chat。
Libertem适合作为其他应用程序(包括实时数据流)的高性能处理后端。Contact us如果你感兴趣的话!
作为本地用户的单节点系统进行的部署经过了彻底的测试,在0.1版本中可以认为是稳定的。群集上的部署是 实验性的,仍然需要一些额外的工作,见Issue #105。
Libertem正在迅速发展,并根据用户的需求和贡献确定功能的优先级。在未来我们希望实现实时采集,并为所有像素化的STEM应用提供更多的分析方法。 如果你想影响这个方向 项目正在进行中,或者如果您想参与,请加入我们的gitter chat, 我们的development mailing list, 还有我们的general mailing list。
安装
短版本:
$ virtualenv -p python3.6 ~/libertem-venv/ $ source ~/libertem-venv/bin/activate (libertem) $ pip install libertem[torch]
详情请参阅our documentation!