提高海洋声纳数据分析的互操作性和可扩展性
echopype的Python项目详细描述
Echopype
Echopype是为增强互操作性和可伸缩性而构建的包 在海洋声纳数据处理中。 这些数据广泛用于获取有关分布和 大量的海洋动物,如鱼和磷虾。 我们收集大量声纳数据的能力 海洋平台在过去十年中有了显著的增长。 然而,大多数新数据仍然没有得到充分利用。 Echopype旨在解决这个问题的根本原因——缺乏 可互操作的数据格式和可伸缩的分析工作流,能够很好地适应 随着数据量的增加-通过提供开源工具作为 科学家利用这些新数据进行发现。
有关详细信息,请参见echopype documentation。
功能
Echopype包括以下工具:
- 将不同制造商指定的数据文件转换为可互操作的 NetCDF格式。
- 利用本地或云存储处理大量声纳数据 python分布式计算库。
当前版本支持.raw数据文件的文件转换 由Simrad EK60回声探测仪采集。其他类型数据的转换 文件,包括来自azfp echosounder的.01A文件,以及.raw文件 来自simrad宽带ek80回声探测仪和来自adcp的{em1}$raw beam数据 (声学多普勒电流剖面仪)将在未来的版本中增加。
安装
要安装Echopype,请在终端中执行以下操作:
$ pip install echopype
使用echopype
文件转换
将.raw文件批量转换为 终端,do:
$ echopype_converter -s ek60 data/*.raw
这将生成具有相同前导的对应.nc文件 文件名为同一目录中的原始.raw文件。
要在python会话中使用ek60数据转换器,可以执行以下操作:
# import as part of a submodulefromechopype.convertimportConvertEK60data_tmp=ConvertEK60('FILENAME.raw')data_tmp.raw2nc()
或:
# import the full moduleimportechopypeasepdata_tmp=ep.convert.ConvertEK60('FILENAME.raw')data_tmp.raw2nc()
与命令行的情况相同,这将生成一个FILENAME.nc 与FILENAME.raw在同一目录中。
ConvertEK60实例包含从 .raw文件,因此最好在完成后将其从内存中清除 转换。
数据分析
Echopype的数据分析功能正在积极开发中。 EchoPype当前支持:
- 校准和回波积分以获得体积后向散射强度(SV) 从EK60收集的功率数据。
- 通过抑制自适应估计值以下的数据点进行简单的噪声去除 噪音地板[1]。
- 装箱和平均以获得平均体积后向散射强度(MVBS) 根据校准数据。
执行这些分析的步骤总结如下:
fromechopype.modelimportEchoDatadata=EchoData('FILENAME.nc')data.calibrate()# Calibration and echo-integrationdata.remove_noise(save=True)# Save denoised Sv to FILENAME_Sv_clean.ncdata.get_MVBS(save=True)# Save MVBS to FILENAME_MVBS.nc
注意,默认情况下,方法calibrate保存校准的卷 反向散射强度(sv)到FILENAME_Sv.nc,而方法remove_noise 默认情况下,get_MVBS不会生成新文件。计算结果 从这两个方法可以从data.Sv_clean和^{tt15}访问$ 作为xarray数据集。所有输出都是具有适当维度的数组数据集 标记。
许可证
EchoPype是在开源Apache2.0许可下获得许可的。
这个项目由Wu-Jung Lee(@leewujung)领导。 其他贡献者包括:
- Valentina Staneva (@valentina-s)
- Marian Peña (@marianpena)
- Mark Langhirt(@bnwkeys)
- Erin LaBrecque (@erinann)
- Emma Ozanich (@emma ozanich)
- Aaron Marburg (@amarburg)
参考文献
[1] | De Robertis and Higginbottoms (2007) A post-processing technique to estimate the signal-to-noise ratio and remove echosounder background noise. ICES J. Mar. Sci. 64(6): 1282–1291. |
版权所有(C)2018-,吴荣利,华盛顿大学应用物理实验室。