检索virtualen中Python库的外部C/Fortran依赖项列表

2024-04-25 12:23:36 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在维护一个使用大量Python库(如numpypandasnetcdf4)的项目,这些库具有libhdf5、ATLAS、LAPACK等依赖项。在使用pip安装之前,我已经通过系统包管理器安装了这些库。现在需要列出所有需要的依赖项,包括C/Fortran依赖项。(当然,Python使用pip freezepipdeptree非常容易)有什么方法可以显示正在使用哪些链接的C/Fortran库吗?如果做不到这一点,是否有任何方法可以显示使用C依赖项的Python库的构建选项?你知道吗

EDIT:this answer详细说明了如何通过lddnumpy和其他具有C依赖关系的库执行此操作。建议的方法是什么?你知道吗


Tags: pip项目方法numpypandas管理器链接系统
1条回答
网友
1楼 · 发布于 2024-04-25 12:23:36

在Linux系统上,您可以让动态链接器转储各种调试信息,您可以从中收集此类信息(请参见ld.so(8))。例如,我有一个名为plot_all的python程序,如果我将其调用为:

LD_DEBUG=libs plot_all 2> ld-libs-output

然后动态链接器将其所有库文件信息输出到文件ld-libs-output。这将包含要运行的文件的每个动态库依赖项。如果进一步处理,例如:

grep "calling init" ld-libs-output | cut -f3 -d: | sort | uniq > LDLibs

您将获得在执行python脚本的过程中加载的所有唯一库的排序列表。如果您想将其转换为依赖信息,可以使用分发工具将文件映射到包。在Gentoo上,我可以使用如下命令查询拥有这些库的包:

 equery -q b -n $(cat LDLibs | grep "calling init" | cut -f3 -d: | sort | uniq) | sort | uniq

此命令的输出是所有包的排序列表,这些包至少拥有一个在脚本执行期间动态加载的库:

app-arch/bzip2
app-arch/lz4
app-arch/xz-utils
dev-lang/python
dev-libs/expat
dev-libs/glib
dev-libs/icu
dev-libs/libffi
dev-libs/libpcre
dev-libs/libxml2
dev-libs/openssl
dev-python/h5py
dev-python/matplotlib
dev-python/mpi4py
dev-python/numpy
dev-python/pillow
dev-python/PyQt5
dev-python/sip
dev-qt/qtcore
dev-qt/qtdbus
dev-qt/qtgui
dev-qt/qtsvg
dev-qt/qtwidgets
media-gfx/graphite2
media-libs/fontconfig
media-libs/freetype
media-libs/harfbuzz
media-libs/jpeg
media-libs/libpng
media-libs/openjpeg
media-libs/tiff
sci-libs/blas-reference
sci-libs/cblas-reference
sci-libs/hdf5
sci-libs/lapack-reference
sci-libs/szip
sys-apps/attr
sys-apps/dbus
sys-apps/hwloc
sys-apps/systemd
sys-apps/util-linux
sys-cluster/openmpi
sys-devel/gcc
sys-libs/glibc
sys-libs/libcap
sys-libs/zlib
sys-process/numactl
x11-drivers/nvidia-drivers
x11-libs/libICE
x11-libs/libpciaccess
x11-libs/libSM
x11-libs/libX11
x11-libs/libXau
x11-libs/libxcb
x11-libs/libXcursor
x11-libs/libXdmcp
x11-libs/libXext
x11-libs/libXfixes
x11-libs/libXi
x11-libs/libxkbcommon
x11-libs/libXrender
x11-libs/xcb-util
x11-libs/xcb-util-image
x11-libs/xcb-util-keysyms
x11-libs/xcb-util-renderutil
x11-libs/xcb-util-wm

这个列表相当冗长,你可以看到它拉在依赖包相当深,远远超过了我们真正需要的,有些是环境相关的(例如,对nvidia驱动程序的依赖将不适用于没有nvidia图形卡的人)。要将它变成一个有用的列表,您必须查看依赖关系图,并且只依赖于顶级包,因为这些包将隐式地引入它们下面的包。通过分析这些包的一级依赖关系,可以将所有包都拉入一个最小列表:

dev-python/h5py
dev-python/matplotlib
dev-python/pillow
sys-libs/glibc

然后,我将对python包中的任何其他脚本重复此操作,并将所有信息合并到包的主依赖项列表中。你知道吗


这将使您了解发现python脚本所依赖的发行版包的一般工作流。在我的例子中,python外部的所有C/Fortran依赖项都是由发行版python包引入的,但是这个过程会发现需要的任何其他顶级包。工作流将需要修改到您的发行版工具中,以便将文件与包匹配并分析依赖关系。你知道吗

相关问题 更多 >