基于python和互相关的图像配准

Question

我得到了两张图片，显示了同样的内容：二维高斯形状的斑点。我把这两个16位png文件称为“left.png”和“right.png”。但由于它们是通过稍微不同的光学设置获得的，相应的光斑（物理上相同）出现在稍微不同的位置。也就是说，右边的部分有轻微的拉伸，扭曲，或者说是非线性的。所以我想从左到右进行转换。

所以对于左边的每一个像素，它的x和y坐标，我想要一个函数，给我一个位移向量的分量，它指向右边对应的像素。

在前一种方法中，我试图得到相应点的位置，以获得deltaX和deltaY的相对距离。然后，我将这些距离拟合到泰勒展开式，直到T（x，y）的二阶，给出了左边每个像素（x，y）的位移向量的x和y分量，指向右边相应的像素（x'，y'）。

为了得到更一般的结果，我想使用归一化互相关。为此，我从左开始将每个像素值与从右开始的相应像素值相乘，并对这些乘积求和。我正在寻找的转换应该连接最大化总和的像素。所以当和最大化时，我知道我乘以了相应的像素。

我真的试了很多，但没成功。我的问题是你们中是否有人有过类似的想法或做过类似的事情。

import numpy as np
import Image

left = np.array(Image.open('left.png'))
right = np.array(Image.open('right.png'))

# for normalization (http://en.wikipedia.org/wiki/Cross-correlation#Normalized_cross-correlation)    
left = (left - left.mean()) / left.std()
right = (right - right.mean()) / right.std()

如果我能把这个问题说清楚，请告诉我。我还得看看如何用乳胶发问。

非常感谢您的意见。

[左.png]http://i.stack.imgur.com/oSTER.png [右.png]http://i.stack.imgur.com/Njahj.png

恐怕，在大多数情况下，16位图像看起来只是黑色的（至少在我使用的系统上是这样的）：（当然，里面有数据）。

更新1

我试图澄清我的问题。我正在寻找一个向量场，它的位移向量从left.png中的每个像素指向right.png中相应的像素。我的问题是，我不确定我有什么限制。

其中，向量r（分量x和y）指向left.png中的像素，向量r-prime（分量x-prime和y-prime）指向right.png中的相应像素。每r有一个位移矢量。

我之前所做的是，我手动找到向量场d的分量，并将它们拟合成一个二次多项式：

所以我适合：

以及

这对你有意义吗？有可能得到所有具有互相关的delta-x（x，y）和delta-y（x，y）吗？如果对应的像素通过位移向量连接在一起，那么互相关应该最大化，对吧？

更新2

所以我想的算法如下：

1. 变形右.png
2. 得到互相关值
3. 进一步变形right.png
4. 获取互相关值并与之前的值进行比较
5. 如果它更大，变形好，如果不是，重新变形，然后做其他事情
6. 将互相关值最大化后，知道存在什么变形：）

关于变形：一个人可以先沿x和y方向移动以使互相关最大化，然后在第二步中拉伸或压缩x和y相关，在第三步中变形二次x和y相关，并重复此过程迭代？？我真的有一个问题做这个整数坐标。你认为我需要插入图片以获得连续分布吗？？我得再考虑一下：（谢谢大家的参与：）

Answer 1

OpenCV（以及pythonopencv绑定）有一个实现this algorithm的StarDetector类。

作为替代方案，您可以查看OpenCVSIFT类，它代表比例不变的特征变换。

更新

关于您的评论，我理解“正确的”转换将最大化图像之间的互相关，但我不理解您如何选择最大化转换集。也许如果你知道三个匹配点的坐标（通过一些启发式方法或者通过手工选择），如果你希望有亲和力，你可以使用cv2.getAffineTransform这样的东西，为你的最大化过程有一个良好的初始转换。从这里开始，您可以使用小的附加转换来获得一个最大化的集合。但在我看来，这种方法就像是重新发明了SIFT可以处理的东西。

要实际转换测试图像，可以使用cv2.warpAffine，它还可以处理边界值（例如，使用0填充）。要计算互相关，可以使用scipy.signal.correlate2d。

更新

你最近的更新确实为我澄清了一些问题。但我认为位移向量场不是最自然的，这也是误解的来源。我想更多的是沿着全局变换T的线，它应用于左图像的任何点（x，y），在右侧给出（x'，y'）=T（x，y），但是T对每个像素都有相同的分析形式。例如，这可能是位移、旋转、缩放的组合，也可能是一些透视变换。我不能说希望找到这样的变换是否现实，这取决于你的设置，但如果场景在物理上是相同的，我会说，期望一些仿射变换是合理的。这就是我建议cv2.getAffineTransform的原因。从这样的T计算位移向量场当然很简单，因为这只是T（x，y）-（x，y）。

最大的优点是你的变换只有很少的自由度，而不是，我认为，位移向量场中的2N自由度，其中N是亮点的数量。

如果它确实是仿射变换，我建议使用如下算法：

• 确定左侧三个明亮且隔离良好的点
• 对于这三个点中的每一个点，定义一个边界框，这样您就可以希望在正确的图像中识别其中相应的点
• 找到相应点的坐标，例如，使用cv2.matchTemplate中实现的一些相关方法，或者也只通过在边界框中找到最亮的点。
• 一旦有了三对匹配的坐标，就可以计算仿射变换，它用cv2.getAffineTransform将一个集合转换为另一个集合。
• 将此仿射变换应用于左图像，作为检查是否找到右图像的方法，可以计算整体规格化互相关是否高于某个阈值，或者如果将一个图像相对于另一个图像进行置换，则会显著下降。
• 如果你想而且仍然需要它，从你的变换T中简单地计算出位移向量场

更新

似乎cv2.getAffineTransform需要一个笨拙的输入数据类型“float32”。假设源坐标是(sxi,syi)，目标坐标是(dxi,dyi)，需要的是

src = np.array( ((sx0,sy0),(sx1,sy1),(sx2,sy2)), dtype='float32' )
dst = np.array( ((dx0,dy0),(dx1,dy1),(dx2,dy2)), dtype='float32' )

result = cv2.getAffineTransform(src,dst)