Python/Pip打包;如何将构建的文件移动到安装目录

2024-05-15 16:30:20 发布

您现在位置:Python中文网/ 问答频道 /正文

我一直在研究Python包,它包着一些需要从源构建的C++库。我用CMake构建了这些,我希望整个过程最终都是可以‘pip安装’的。我马上就到了,但是我在让CMake构建的库最终进入Python最终安装目录时遇到了问题。在

奇怪的是,我设法让它们进入最后的“轮子”,但它们不在我的site_packages目录中。在

我的设置.py文件如下所示:

import os
import re
import sys
import sysconfig
import site
import platform
import subprocess
import pathlib

from distutils.version import LooseVersion
from setuptools import setup, Extension
from setuptools.command.build_ext import build_ext as build_ext_orig

class CMakeExtension(Extension):
    def __init__(self, name, sourcedir=''):
        Extension.__init__(self, name, sources=[])
        self.sourcedir = os.path.abspath(sourcedir)

class CMakeBuild(build_ext_orig):
    def run(self):
        try:
            out = subprocess.check_output(['cmake', '--version'])
        except OSError:
            raise RuntimeError("CMake must be installed to build the following extensions: " +
                               ", ".join(e.name for e in self.extensions))

        if platform.system() == "Windows":
            raise RuntimeError("Sorry, pyScannerBit doesn't work on Windows platforms. Please use Linux or OSX.")

        for ext in self.extensions:
            self.build_extension(ext)

    def build_extension(self, ext):
        extdir = os.path.abspath(os.path.dirname(self.get_ext_fullpath(ext.name)))
        cmake_args = ['-DCMAKE_LIBRARY_OUTPUT_DIRECTORY=' + extdir,
                      '-DPYTHON_EXECUTABLE=' + sys.executable,
                      '-DCMAKE_VERBOSE_MAKEFILE:BOOL=OFF',
                      '-Wno-dev',
                      '-DCMAKE_RUNTIME_OUTPUT_DIRECTORY=' + extdir,
                      '-DSCANNERBIT_STANDALONE=True',
                      '-DCMAKE_INSTALL_RPATH=$ORIGIN',
                      '-DCMAKE_BUILD_WITH_INSTALL_RPATH:BOOL=ON',
                      '-DCMAKE_INSTALL_RPATH_USE_LINK_PATH:BOOL=ON',
                      '-DCMAKE_INSTALL_PREFIX:PATH=' + extdir,
                     ]

        cfg = 'Debug' if self.debug else 'Release'
        build_args = ['--config', cfg]

        if platform.system() == "Windows":
            cmake_args += ['-DCMAKE_LIBRARY_OUTPUT_DIRECTORY_{}={}'.format(cfg.upper(), extdir)]
            if sys.maxsize > 2**32:
                cmake_args += ['-A', 'x64']
            build_args += ['--', '/m']
        else:
            cmake_args += ['-DCMAKE_BUILD_TYPE=' + cfg]
            build_args += ['--', '-j2']

        env = os.environ.copy()
        env['CXXFLAGS'] = '{} -DVERSION_INFO=\\"{}\\"'.format(env.get('CXXFLAGS', ''),
                                                              self.distribution.get_version())

        if not os.path.exists(self.build_temp):
            os.makedirs(self.build_temp)

        # untar ScannerBit tarball
        subprocess.check_call(['tar','-C','pyscannerbit/scannerbit/untar/ScannerBit','-xf','pyscannerbit/scannerbit/ScannerBit_stripped.tar','--strip-components=1'], cwd=ext.sourcedir, env=env)

        # First cmake
        subprocess.check_call(['cmake', ext.sourcedir] + cmake_args, cwd=self.build_temp, env=env)
        # Build all the scanners
        subprocess.check_call(['cmake', '--build', '.', '--target', 'multinest'] + build_args, cwd=self.build_temp)
        # Re-run cmake to detect built scanner plugins
        subprocess.check_call(['cmake', ext.sourcedir], cwd=self.build_temp)
        # Main build
        subprocess.check_call(['cmake', '--build', '.'] + build_args, cwd=self.build_temp)
        # Install
        #subprocess.check_call(['cmake', '--build', '.', '--target', 'install'], cwd=self.build_temp)

setup(
    name='pyscannerbit',
    version='0.0.8',
    author='Ben Farmer',
    # Add yourself if you contribute to this package
    author_email='ben.farmer@gmail.com',
    description='A python interface to the GAMBIT scanning module, ScannerBit',
    long_description='',
    ext_modules=[CMakeExtension('_interface')],
    cmdclass=dict(build_ext=CMakeBuild),
    zip_safe=False,
    packages=['pyscannerbit'],
)

如您所见,我告诉CMake在'extdir'中构建库,结果是这样

^{pr2}$

我以为这些文件只会从这里复制(或者其他临时目录?)最终的安装路径中,但可能不是这样工作的(尽管我前面说过,这些构建的文件do最终在生成的轮子中结束)。这些生成的文件需要添加到吗清单.in或者是一些“数据包”之类的东西?目前它们并没有被列在任何地方,因为据我所知,它们是用来在构建前移动文件,而不是在构建后。目前我只使用清单.in确保我的sdist tarball正确填充。在

为了完整起见,我使用pip构建包,如下所示:

python setup.py sdist
pip install -v dist/pyscannerbit-0.0.8.tar.gz

这只是为了让我知道tarball的构建可以工作,以便以后与PyPI一起使用。在

如果您想尝试,源代码在github上:https://github.com/bjfar/pyscannerbit


Tags: importbuildselfenvcmakeifoscheck
1条回答
网友
1楼 · 发布于 2024-05-15 16:30:20

好吧,看来我只是走错了路。我以前将CMAKE_LIBRARY_OUTPUT_DIRECTORY设置为

extdir = os.path.abspath(os.path.dirname(self.get_ext_fullpath(ext.name)))

但我需要指出的是

^{pr2}$

其中pyscannerbit是包的名称。否则,文件将在生成发生的父目录中结束,而不是在项目目录中。这样它们就不会被复制到安装路径。在

相关问题 更多 >