如何使用awk在拆分后从列的末尾选择/删除字段？

Question

在一个具有特定列信息的文件中，我希望从行的末尾而不是从开头删除5个字段（即:PG:PB:PI:PW:PC（分隔符是'：'）。你知道吗

GT:AD:DP:GQ:PL:PG:PB:PI:PW:PC
GT:AD:DP:GQ:PL:PG:PB:PI:PW:PC
GT:AD:DP:GQ:PGT:PID:PL:PG:PB:PI:PW:PC
GT:AD:DP:GQ:PGT:PID:PL:PG:PB:PI:PW:PC

假设上述数据来自文件的column #3，我编写了以下代码：

awk 'BEGIN{FS=OFS="\t"} { split($3, a,":")} {print ($1, $2, a[1]":"a[2]":"a[3]":"a[4]":"a[5])}' awk_test.vcf

这段代码拆分并选择前5个字段，但我想删除最后5个字段。从第一个字段中选择将不起作用，因为某些字段（如PGT、PID）插入到某些行中。只有，从末端移除才有效。你知道吗

预期输出：

GT:AD:DP:GQ:PL
GT:AD:DP:GQ:PL
GT:AD:DP:GQ:PGT:PID:PL
GT:AD:DP:GQ:PGT:PID:PL

谢谢你帮我解答问题第一部分的代码。你知道吗

但是，脚本对另一个包含以下数据的文件无效。这里我想用同样的目的更新第9列。这些列是tab separated。但是，我想做的基本上是一样的。你知道吗

2   1463    .   T   TG  433.67  PASS    AC=0;AF=0.00;AN=0;BaseQRankSum=-4.310e-01;ClippingRankSum=0.00;DP=247;ExcessHet=2.9800;FS=0.000;MQ=21.25;MQRankSum=0.00;QD=33.36;ReadPosRankSum=-6.740e-01;SOR=0.784;set=InDels GT:AD:DP:PL:PG:PB:PI:PW:PC  ./.:76,0:76:0,0,0:./.:.:.:./.:. ./.:55,0:55:0,0,0:.:.:.:.:. ./.:68,0:68:0,0,0:.:.:.:.:. ./.:48,0:48:0,0,0:.:.:.:.:.
2   1466    .   TG  T   395.82  PASS    AC=0;AF=0.00;AN=0;BaseQRankSum=1.01;ClippingRankSum=0.00;DP=287;ExcessHet=5.1188;FS=7.707;MQ=18.00;MQRankSum=0.00;QD=17.21;ReadPosRankSum=1.28;SOR=0.074;set=InDels GT:AD:DP:PL:PG:PB:PI:PW:PC  ./.:95,0:95:0,0,0:./.:.:.:./.:. ./.:64,0:64:0,0,0:.:.:.:.:. ./.:75,0:75:0,0,0:.:.:.:.:. ./.:53,0:53:0,0,0:.:.:.:.:.
2   1467    .   G   T   1334.42 PASS    AC=0;AF=0.00;AN=0;BaseQRankSum=0.674;ClippingRankSum=0.00;DP=287;ExcessHet=4.8226;FS=1.328;MQ=23.36;MQRankSum=0.00;QD=28.65;ReadPosRankSum=-4.310e-01;SOR=0.566;set=SNPs    GT:AD:DP:PL:PG:PB:PI:PW:PC  ./.:95,0:95:0,0,0:./.:.:.:./.:. ./.:64,0:64:0,0,0:.:.:.:.:. ./.:75,0:75:0,0,0:.:.:.:.:. ./.:53,0:53:0,0,0:.:.:.:.:.
2   1516    .   C   T   5902.93 PASS    AC=2;AF=0.250;AN=8;BaseQRankSum=0.287;ClippingRankSum=0.00;DP=411;ExcessHet=0.5065;FS=1.489;InbreedingCoeff=0.3492;MQ=59.77;MQRankSum=0.00;QD=28.38;ReadPosRankSum=-7.100e-02;SOR=0.553;set=SNPs    GT:AD:DP:GQ:PL:PG:PB:PI:PW:PC   0/0:122,0:122:99:0,120,1800:0/0:.:.:0/0:.   1/1:1,108:109:99:3935,286,0:.:.:.:.:.   0/0:102,0:102:99:0,120,1800:.:.:.:.:.   0/0:78,0:78:99:0,120,1800:.:.:.:.:.
2   1584    .   CT  C   164.08  PASS    AC=0;AF=0.00;AN=8;DP=717;ExcessHet=0.0812;FS=0.000;InbreedingCoeff=0.9386;MQ=60.00;QD=32.82;SOR=3.611;set=InDels    GT:AD:DP:GQ:PL:PG:PB:PI:PW:PC   0/0:122,0:122:99:0,120,1800:0/0:.:.:0/0:.   0/0:172,0:172:99:0,120,1800:.:.:.:.:.   0/0:102,0:102:99:0,120,1800:.:.:.:.:.   0/0:321,0:321:99:0,120,1800:.:.:.:.:.
2   1609    .   C   A   604.68  PASS    AC=0;AF=0.00;AN=0;DP=386;ExcessHet=0.1158;FS=0.000;InbreedingCoeff=0.8938;MQ=12.32;QD=31.09;SOR=1.061;set=SNPs  GT:AD:DP:PL:PG:PB:PI:PW:PC  ./.:0,0:0:0,0,0:./.:.:.:./.:.   ./.:0,0:0:0,0,0:.:.:.:.:.   ./.:0,0:0:0,0,0:.:.:.:.:.   ./.:386,0:386:0,0,0:.:.:.:.:.
2   1612    .   TGTGAGCTATTTCTTTTACATTTTTCTTTAGATTCTAGGTTAAATTGTGAAGCTGATTATCTTTTTTGTTTACAG T   1298.76 PASS    AC=2;AF=1.00;AN=2;DP=3;ExcessHet=0.1047;FS=0.000;InbreedingCoeff=0.8896;MQ=60.02;QD=29.54;SOR=1.179;set=InDels  GT:AD:DP:GQ:PL:PG:PB:PI:PW:PC   ./.:0,0:0:.:0,0,0:./.:.:.:./.:. ./.:0,0:0:.:0,0,0:.:.:.:.:. ./.:0,0:0:.:0,0,0:.:.:.:.:. 1/1:0,3:3:99:1355,582,0:.:.:.:.:.
2   1657    .   T   A,* 3118.91 PASS    AC=0,2;AF=0.00,1.00;AN=2;BaseQRankSum=0.578;ClippingRankSum=0.00;DP=4;ExcessHet=1.9114;FS=3.474;InbreedingCoeff=0.0821;MQ=26.68;MQRankSum=0.841;QD=28.10;ReadPosRankSum=-5.960e-01;SOR=0.821;set=SNPs   GT:AD:DP:GQ:PL:PG:PB:PI:PW:PC   ./.:0,0,0:0:.:0,0,0,0,0,0:./.:.:.:./.:. ./.:1,0,0:1:.:0,0,0,0,0,0:.:.:.:.:. ./.:0,0,0:0:.:0,0,0,0,0,0:.:.:.:.:. 2/2:0,0,3:3:99:1355,1360,1393,582,615,0:.:.:.:.:.
2   1738    .   A   G   4693.24 PASS    AC=2;AF=0.250;AN=8;BaseQRankSum=0.00;ClippingRankSum=0.00;DP=1595;ExcessHet=0.0577;FS=0.621;InbreedingCoeff=0.6496;MQ=60.00;MQRankSum=0.00;QD=5.46;ReadPosRankSum=0.307;SOR=0.773;set=SNPs  GT:AD:DP:GQ:PL:PG:PB:PI:PW:PC   0/1:389,92:481:99:1748,0,12243:0|1:.,.,.,.,.:935:|:0.5  0/0:318,0:318:99:0,120,1800:.:.:.:.:.   0/1:270,53:323:99:990,0,9096:.:.:.:.:.  0/0:473,0:473:99:0,120,1800:.:.:.:.:.
2   2781    .   T   G   435.07  PASS    AC=1;AF=0.125;AN=8;BaseQRankSum=0.624;ClippingRankSum=0.00;DP=2146;ExcessHet=3.4523;FS=8.450;InbreedingCoeff=-0.0856;MQ=60.06;MQRankSum=-4.630e-01;QD=1.27;ReadPosRankSum=-5.980e+00;SOR=1.436;set=SNPs GT:AD:DP:GQ:PGT:PID:PL:PG:PB:PI:PW:PC   0/0:620,0:620:99:.:.:0,120,1800:0/0:.:.:0/0:.   0/1:309,34:343:99:0|1:2781_T_G:469,0,12941:.:.:.:.:.    0/0:492,0:492:99:.:.:0,120,1800:.:.:.:.:.   0/0:691,0:691:99:.:.:0,120,1800:.:.:.:.:.
2   2786    .   C   G   39.69   PASS    AC=0;AF=0.00;AN=8;BaseQRankSum=0.881;ClippingRankSum=0.00;DP=2145;ExcessHet=4.3933;FS=0.000;InbreedingCoeff=-0.1367;MQ=52.41;MQRankSum=-1.356e+00;QD=1.13;ReadPosRankSum=0.577;SOR=0.527;set=SNPs   GT:AD:DP:GQ:PL:PG:PB:PI:PW:PC   0/0:620,0:620:99:0,120,1800:0/0:.:.:0/0:.   0/0:342,0:342:99:0,120,1800:.:.:.:.:.   0/0:492,0:492:99:0,120,1800:.:.:.:.:.   0/0:691,0:691:99:0,120,1800:.:.:.:.:.
2   2787    .   T   C   993.78  PASS    AC=1;AF=0.125;AN=8;BaseQRankSum=-2.967e+00;ClippingRankSum=0.00;DP=2153;ExcessHet=3.8663;FS=4.941;InbreedingCoeff=-0.1076;MQ=60.06;MQRankSum=-5.100e-01;QD=2.84;ReadPosRankSum=-3.689e+00;SOR=0.875;set=SNPs    GT:AD:DP:GQ:PGT:PID:PL:PG:PB:PI:PW:PC   0/0:620,0:620:99:.:.:0,120,1800:0/0:.:.:0/0:.   0/1:309,41:350:99:0|1:2781_T_G:1027,0,13619:.:.:.:.:.   0/0:492,0:492:99:.:.:0,120,1800:.:.:.:.:.   0/0:691,0:691:99:.:.:0,120,1800:.:.:.:.:.
2   2792    .   A   G   745.21  PASS    AC=1;AF=0.125;AN=8;BaseQRankSum=0.271;ClippingRankSum=0.00;DP=2176;ExcessHet=5.9256;FS=5.964;InbreedingCoeff=-0.2087;MQ=59.48;MQRankSum=-4.920e-01;QD=1.83;ReadPosRankSum=-3.100e-02;SOR=1.389;set=SNPs GT:AD:DP:GQ:PGT:PID:PL:PG:PB:PI:PW:PC   0/0:620,0:620:99:.:.:0,120,1800:0/0:.:.:0/0:.   0/1:332,41:373:99:0|1:2781_T_G:705,0,13295:.:.:.:.:.    0/0:492,0:492:99:.:.:0,120,1800:.:.:.:.:.   0/0:691,0:691:99:.:.:0,120,1800:.:.:.:.:.

我还尝试添加FS/OFS参数，但它不起作用。你知道吗

Answer 1

在澄清了文件的内容之后，下面是我更新的答案：

你可以简单地使用

awk 'BEGIN{FS=OFS="\t"} {$9 = gensub(/(:[^:]+){5}$/,"","1",$9)} 1' yourfile

• 这里我们使用标准的awk字段拆分，因为您的文件是以制表符分隔的。你知道吗
• 我们进一步将正则表达式替换为$9，这是要更改的冒号分隔字符串。你知道吗
• 正则表达式的工作原理与旧答案中的相同，在旧答案中，我的印象是行仅由冒号分隔的字符串组成。你知道吗

---

旧答案 既然您在评论中写了“pipe to python”，那么您是否对sed解决方案持开放态度？你知道吗

sed -r "s/(:[^:]+){5}$//" yourfile

在这里，我们替换（s/...//将...替换为nothing），...表示：

• 从行尾（$）
• 五个（{5}）
• 结肠发生（:）
• 后面是某物（+）
• 不是冒号（[^:]）

这也可以“翻译”成awk：

awk -F: 'BEGIN{FS=OFS="\t"} {$0 = gensub(/(:[^:]+){5}$/,"","1")} 1' yourfile

Answer 2

也许不是最好的awk解决方案，但有效：

awk -F: '{printf($1); for (i=2;i<=NF-5;i++) printf(":%s",$i); printf("\n"); }' file.txt

• 按冒号自然拆分字段
• 打印第一个字段，然后打印其他字段减去最后5个字段（使用NF:number-of-fields预设变量），以冒号开头。你知道吗
• 打印换行符以结束该行。你知道吗

编辑：我知道使用awk更好。正如拉尔斯所说，这是一种更简单、更干净的方式：

awk -F: '{s= $1; for(i = 2; i<= NF-5;i++) s= s FS $i; print s}'

• 使用分隔符值而不是硬编码冒号
• 合成字符串而不是打印所有字段
• 最后打印字符串

如果您想在python脚本中使用它，我建议您使用python编写，更简单、更快：

import csv

with open("file.txt") as fr, open("out.txt","w",newline="") as fw:
    cr = csv.reader(fr,delimiter=":")
    cw = csv.writer(fw,delimiter=":")
    for row in cr:
        cw.writerow(row[:-5])  # write the row but the 5 last fields

如果已经有打开的句柄，可以省略with部分。你知道吗

编辑：由于您在我的回答之后对问题进行了大量编辑，现在您希望从一个特定字段中删除最后5个“字段”（以制表符分隔）。Lars已经正确地回答了awk，让我提出我的python解决方案：

import csv

with open("file.txt") as fr, open("out.txt","w",newline="") as fw:
    cr = csv.reader(fr,delimiter="\t")
    cw = csv.writer(fw,delimiter="\t")
    for row in cr:
        row[8]=":".join(row[8].split(":")[:-5])  # remove 5 last "fields" from 8th field
        cw.writerow(row)  # write the modified row