输入通配符约束Snakem

Question

我是snakemake新手，我正在使用它将两个管道的步骤合并到一个更大的管道中。有几个步骤会创建相似名称的文件，但我无法找到限制通配符的方法，因此我在一个步骤中遇到了一个Missing input files for rule错误，我无法解决。在

完整的snakefile很长，可以在这里找到：https://mdd.li/snakefile

相关章节如下（文件部分缺失）：

wildcard_constraints:
    sdir="[^/]+",
    name="[^/]+",
    prefix="[^/]+"

# Several mapping rules here

rule find_intersecting_snps:
    input:
        bam="hic_mapping/bowtie_results/bwt2/{sdir}/{prefix}_hg19.bwt2pairs.bam"
    params:
        hornet=os.path.expanduser(config['hornet']),
        snps=config['snps']
    output:
        "hic_mapping/bowtie_results/bwt2/{sdir}/{prefix}_hg19.bwt2pairs.remap.fq1.gz",
        "hic_mapping/bowtie_results/bwt2/{sdir}/{prefix}_hg19.bwt2pairs.remap.fq2.gz",
        "hic_mapping/bowtie_results/bwt2/{sdir}/{prefix}_hg19.bwt2pairs.keep.bam",
        "hic_mapping/bowtie_results/bwt2/{sdir}/{prefix}_hg19.bwt2pairs.to.remap.bam",
        "hic_mapping/bowtie_results/bwt2/{sdir}/{prefix}_hg19.bwt2pairs.to.remap.num.gz"
    shell:
        dedent(
            """\
            python2 {params.hornet}/find_intersecting_snps.py \
            -p {input.bam} {params.snps}
            """
        )

# Several remapping steps, similar to the first mapping steps, but in a different directory

rule wasp_merge:
    input:
        "hic_mapping/bowtie_results/bwt2/{sdir}/{prefix}_hg19.bwt2pairs.keep.bam",
        "hic_mapping/wasp_results/{sdir}_{prefix}_filt_hg19.remap.kept.bam"
    output:
        "hic_mapping/wasp_results/{sdir}_{prefix}_filt_hg19.bwt2pairs.filt.bam"
    params:
        threads=config['job_cores']
    shell:
        dedent(
            """\
            {module}
            module load samtools
            samtools merge --threads {params.threads} {output} {input}
            """
        )

# All future steps use the name style wildcard, like below

rule move_results:
    input:
        "hic_mapping/wasp_results/{name}_filt_hg19.bwt2pairs.filt.bam"
    output:
        "hic_mapping/wasp_results/{name}_filt_hg19.bwt2pairs.bam"
    shell:
        dedent(
            """\
            mv {input} {output}
            """
        )

这个管道实际上是在一个目录结构中执行一些映射步骤，这个目录结构看起来像hic_mapping/bowtie_results/bwt2/<subdir>/<file>（其中subdir是三个不同的目录），然后过滤结果，并在hic_remap/bowtie_results/bwt2/<subdir>/<file>中执行另一个几乎相同的映射步骤，在将结果合并到一个全新的目录并将子目录折叠到文件名中之前：hic_mapping/wasp_results/<subdir>_<file>。在

我遇到的问题是wasp_merge步骤会打断find_intersecting_snps步骤，如果我将子目录名折叠到文件名中，find_intersecting_snps步骤会中断。如果我只维护子目录结构，一切正常。不过，这样做将破坏管道未来的发展步伐。在

我得到的错误是：

^{pr2}$

正确的文件是： hic_mapping/bowtie_results/bwt2/HCASMC5-8/HCASMC-8-CAGAGAGG-TACTCCTT_S8_L006_001_hg19.bwt2pairs.bam

但它正在寻找： hic_mapping/bowtie_results/bwt2/HCASMC5-8_HCASMC-8-CAGAGAGG-TACTCCTT_S8_L006/001_hg19.bwt2pairs.bam

它不是在任何地方创建的，也不是由任何规则定义的。我想这是因为存在由wasp_merge步骤创建的文件而感到困惑： hic_mapping/wasp_results/HCASMC5-8_HCASMC-8-CAGAGAGG-TACTCCTT_S8_L006_001_filt_hg19.bwt2pairs.filt.bam

或者可能是下游文件（在创建此错误的目标之后）： hic_mapping/wasp_results/HCASMC5-8_HCASMC-8-CAGAGAGG-TACTCCTT_S8_L006_001_filt_hg19.bwt2pairs.bam

但是，我不知道为什么这些文件会混淆find_intersecting_snps规则，因为目录结构完全不同。在

我觉得我一定是漏掉了一些显而易见的东西，因为这个错误太荒谬了，但我不知道它是什么。在

Answer 1

问题是目录名和文件名都包含下划线，在最后的文件名中，我用下划线将这两个组件分开。在

通过更改分隔符，或者用从别处获取名称的python函数替换规则，我可以解决这个问题。在

这是有效的：

rule wasp_merge:
    input:
        "hic_mapping/bowtie_results/bwt2/{sdir}/{prefix}_hg19.bwt2pairs.keep.bam",
        "hic_mapping/wasp_results/{sdir}{prefix}_filt_hg19.remap.kept.bam"
    output:
        "hic_mapping/wasp_results/{sdir}{prefix}_filt_hg19.bwt2pairs.filt.bam"
    params:
        threads=config['job_cores']
    shell:
        dedent(
            """\
            {module}
            module load samtools
            samtools merge  threads {params.threads} {output} {input}
            """
        )