使用VIP逐行比较图像

Question

背景：我需要比较不同的图像。图像很大（约1400x9000 px）、机器生成且高度受限（特定线性用户界面的屏幕截图），预计几乎相同，不同之处在于以下三种可能性之一：

• 图像1有一个部分图像2丢失
• 图像1缺少图像2具有的部分
• 两个图像都有给定的部分，但其内容不同

我正试图建立一个工具，为人类的评论者突出的差异，基本上是一个面向行的差异的图像版本。为此，我试图扫描图像逐行比较，以确定是否行相同。我的最终目标是一个实际的diff-like输出，它可以检测到部分丢失/添加/不同，并尽快同步相同内容的其余部分的图像，但对于第一个剪切，我将使用一个更简单的方法，将两个图像重叠（alpha混合），不同的线用特定的颜色突出显示（即α与第三行纯色混合）。一开始我尝试使用Python图像库，但是速度太慢了好几个数量级，所以我决定尝试使用vips，这应该要快得多。然而，我完全不知道在使用vips操作之后如何表达我的想法。简单版本的伪代码基本上是：

out = []
# image1 and image2 are expected, but not guaranteed to have the same height
# they are likely to have different heights if different
# most lines are entirely white pixels
for line1, line2 in zip(image1, image2):
    if line1 == line2:
        out.append(line1)
    else:
        # ALL_RED is a line composed of solid red pixels
        out.append(line1.blend(line2, 0.5).blend(ALL_RED, 0.5))

我在我的项目中使用pyvips，但我也对使用普通vips或任何其他绑定的代码感兴趣，因为这些操作是共享的，并且很容易跨方言翻译。你知道吗

编辑：根据请求添加样本图像

编辑2：缺少/添加/更改部分的全尺寸图像：

• reference
• comparison

Answer 1

如果OpenCV和NumPy是您的选项，那么至少对于查找和着色不同的行，会有一个非常简单的解决方案。你知道吗

在我的方法中，我只使用^{}计算像素差异，并使用^{}查找非零行索引。使用这些找到的行索引，我设置了一个额外的黑色图像，并为每行绘制红线。最终的混合只是一些线性混合：

0.5 * image1 + 0.5 * image2

对于所有相等的行，或

0.333 * image1 + 0.333 * image2 + 0.333 * red

对于所有不同的行。你知道吗

以下是最终代码：

import cv2
import numpy as np

# Load images
first = cv2.imread('9gOlq.png', cv2.IMREAD_COLOR)
second = cv2.imread('1Hdx4.png', cv2.IMREAD_COLOR)

# Calcluate absolute differences between images
diff = np.abs(np.float32(first) - np.float32(second))

# Find all non-zero rows
nz_rows = np.unique(np.nonzero(diff)[0])

# Set up image with red lines
red = np.zeros(first.shape, np.uint8)
red[nz_rows, :, :] = [0, 0, 255]

# Set up output image
output = np.uint8(0.5 * first + 0.5 * second)
output[nz_rows, :, :] = 0.333 * first[nz_rows, :, :] + 0.333 * second[nz_rows, :, :] + 0.333 * red[nz_rows, :, :]

# Show results
cv2.imshow("diff", np.array(diff, dtype=np.uint8))
cv2.imshow("output", output)
cv2.waitKey()
cv2.destroyAllWindows()

差异图像diff如下所示：

最后的output是这样的：

这将是有趣的，看到两个输入图像与省略的部分，如您在您的问题中所描述的。另外，使用原始大小的图像测试这种方法也是必要的，因为您提到了时间是至关重要的。你知道吗

不管怎样-希望有帮助！你知道吗

Answer 2

使用diff怎么样？很快。你所需要做的就是每次把png转换成文本扫描线，然后解析diff输出。你知道吗

例如：

#!/usr/bin/env python3

import sys
import os
import re
import pyvips

# calculate a checksum for each scanline and write to name_out    
def scanline_checksum(name_in, name_out):
    a = pyvips.Image.new_from_file(name_in, access="sequential")
    # unfold colour channels to make a wider 1-band image
    a = a.bandunfold()
    # xyz makes an index image, where the value of each pixel is its coordinate
    b = pyvips.Image.xyz(a.width, a.height)
    # make a pow gradient image ... each pixel is some power of the x coordinate
    b = b[0] ** 0.5
    # now multiply and sum to make a checksum for each scanline
    # "project" returns sum of columns, sum of rows
    sum_of_columns, sum_of_rows = (a * b).project()
    sum_of_rows.write_to_file(name_out)

to_csv(sys.argv[1], "1.csv")
to_csv(sys.argv[2], "2.csv")

os.system("diff 1.csv 2.csv > diff.csv")

for line in open("diff.csv", "r"):
    match = re.match("(\\d+),(\\d+)c(\\d+),(\\d+)", line)
    if not match:
        continue
    print(line)

我看到你的两张测试图片：

$ time ./diff.py 1.png 2.png 
264,272c264,272
351,359c351,359
real    0m0.346s
user    0m0.445s
sys 0m0.033s

在这台旧笔记本电脑上。你所需要做的就是使用那些“更改”命令来标记你的图像。你知道吗