Python中的YUV色度通道下采样
当我们把色度通道的宽度和/或高度减半时，应该怎么处理呢？比如说，如果我们从一个全分辨率的色度源中取样，想要为每4个亮度像素（2x2）取一个色度像素，那么我们应该选择哪个色度像素呢？是左上角的那个？还是四个的平均值？又或者其实随便哪个都可以？
这是我现在的代码
if field == 'top':
i = 0
elif field == 'bottom':
i = 1
U = fromstring(Udata, dtype='uint8', count=w/2*h).reshape(h,w/2)
# halve chroma height (it's already half-width from UYVY source) by line skipping
U = U[i::2]
# scale chroma by a factor of 0.5 (2x2 pixels in -> 1 pixel out)
U = (U[0::2, 0::2]>>2) + (U[0::2, 1::2]>>2) + (U[1::2, 0::2]>>2) + (U[1::2, 1::2]>>2) + \
(((U[0::2, 0::2]%4) + (U[0::2, 1::2]%4) + (U[1::2, 0::2]%4) + (U[1::2, 1::2]%4)) >> 2)
2 个回答
2
把YUV 4:2:0格式转换成YUV 4:2:2格式的正确方法是使用一个6个点的FIR滤波器。
这个方法的来源是mpeg2的参考实现，你可以在这里找到：http://www.mpeg.org/MPEG/video/mssg-free-mpeg-software.html
下载“mpegv12.zip”这个文件。
下面是用C语言实现的代码：
/* vertical 1:2 interpolation filter */
static void conv420to422(unsigned char* src, unsigned char* dst)
{
int w, h, i, j, j2;
int jm6, jm5, jm4, jm3, jm2, jm1, jp1, jp2, jp3, jp4, jp5, jp6, jp7;
w = 352>>1;
h = 288>>1;
printf("hello \n");
if (1)
{
/* intra frame */
for (i=0; i<w; i++)
{
for (j=0; j<h; j++)
{
//printf("%d,%d\n", i, j);
j2 = j<<1;
jm3 = (j<3) ? 0 : j-3;
jm2 = (j<2) ? 0 : j-2;
jm1 = (j<1) ? 0 : j-1;
jp1 = (j<h-1) ? j+1 : h-1;
jp2 = (j<h-2) ? j+2 : h-1;
jp3 = (j<h-3) ? j+3 : h-1;
/* FIR filter coefficients (*256): 5 -21 70 228 -37 11 */
/* New FIR filter coefficients (*256): 3 -16 67 227 -32 7 */
dst[w*j2] = Clip[(int)( 3*src[w*jm3]
-16*src[w*jm2]
+67*src[w*jm1]
+227*src[w*j]
-32*src[w*jp1]
+7*src[w*jp2]+128)>>8];
dst[w*(j2+1)] = Clip[(int)( 3*src[w*jp3]
-16*src[w*jp2]
+67*src[w*jp1]
+227*src[w*j]
-32*src[w*jm1]
+7*src[w*jm2]+128)>>8];
}
src++;
dst++;
}
}
else
{
/* intra field */
for (i=0; i<w; i++)
{
for (j=0; j<h; j+=2)
{
j2 = j<<1;
/* top field */
jm6 = (j<6) ? 0 : j-6;
jm4 = (j<4) ? 0 : j-4;
jm2 = (j<2) ? 0 : j-2;
jp2 = (j<h-2) ? j+2 : h-2;
jp4 = (j<h-4) ? j+4 : h-2;
jp6 = (j<h-6) ? j+6 : h-2;
/* Polyphase FIR filter coefficients (*256): 2 -10 35 242 -18 5 */
/* New polyphase FIR filter coefficients (*256): 1 -7 30 248 -21 5 */
dst[w*j2] = Clip[(int)( 1*src[w*jm6]
-7*src[w*jm4]
+30*src[w*jm2]
+248*src[w*j]
-21*src[w*jp2]
+5*src[w*jp4]+128)>>8];
/* Polyphase FIR filter coefficients (*256): 11 -38 192 113 -30 8 */
/* New polyphase FIR filter coefficients (*256):7 -35 194 110 -24 4 */
dst[w*(j2+2)] = Clip[(int)( 7*src[w*jm4]
-35*src[w*jm2]
+194*src[w*j]
+110*src[w*jp2]
-24*src[w*jp4]
+4*src[w*jp6]+128)>>8];
/* bottom field */
jm5 = (j<5) ? 1 : j-5;
jm3 = (j<3) ? 1 : j-3;
jm1 = (j<1) ? 1 : j-1;
jp1 = (j<h-1) ? j+1 : h-1;
jp3 = (j<h-3) ? j+3 : h-1;
jp5 = (j<h-5) ? j+5 : h-1;
jp7 = (j<h-7) ? j+7 : h-1;
/* Polyphase FIR filter coefficients (*256): 11 -38 192 113 -30 8 */
/* New polyphase FIR filter coefficients (*256):7 -35 194 110 -24 4 */
dst[w*(j2+1)] = Clip[(int)( 7*src[w*jp5]
-35*src[w*jp3]
+194*src[w*jp1]
+110*src[w*jm1]
-24*src[w*jm3]
+4*src[w*jm5]+128)>>8];
dst[w*(j2+3)] = Clip[(int)( 1*src[w*jp7]
-7*src[w*jp5]
+30*src[w*jp3]
+248*src[w*jp1]
-21*src[w*jm1]
+5*src[w*jm3]+128)>>8];
}
src++;
dst++;
}
}
}
还有用Python实现的代码：
def conv420to422(src, dst):
"""420 to 422 - vertical 1:2 interpolation filter """
width = 352 # 352
height = 288 # 288
w = width >> 1 # 176
h = height >> 1 # 144
n = 0
k = 0
for i in range(0, w):
for j in range(0, h):
j2 = j<<1
jm3 = 0 if (j < 3) else j - 3
jm2 = 0 if (j < 2) else j - 2
jm1 = 0 if (j < 1) else j - 1
jp1 = j + 1 if (j < h - 1) else h - 1
jp2 = j + 2 if (j < h - 2) else h - 1
jp3 = j + 3 if (j < h - 3) else h - 1
a = (3*src[n+w*jm3]-16*src[n+w*jm2]+67*src[n+w*jm1]+227*src[n+w*j]-32*src[n+w*jp1]+7*src[n+w*jp2]+128)>>8
dst[k+w*j2] = clip(a)
b = (3*src[n+w*jp3]-16*src[n+w*jp2]+67*src[n+w*jp1]+227*src[n+w*j]-32*src[n+w*jm1]+7*src[n+w*jm2]+128)>>8
dst[k+w*(j2+1)] = clip(b)
n += 1
k += 1
return dst
4
理想情况下，你会对数据进行插值处理，以生成尽可能好的图像。不过，我觉得你的问题最好先从亮度（luma）和色度（chroma）样本的位置讲起（可以想象成一台相机，有一个网格专门用来处理亮度，另一个网格用来处理色度）。在子采样中，有多种标准来选择色度相对于亮度样本的位置。
通常情况下，色度样本要么和“左上角”的亮度像素在同一个位置，
XO X XO X
X X X X
XO X XO X
X X X X
要么位于正方形的中心，
X X X X
O O
X X X X
X X X X
O O
X X X X
要么位于正方形的左侧，在两个左边的亮度样本之间。
X X X X
O O
X X X X
X X X X
O O
X X X X
注意，在所有情况下，和至少一些亮度样本在同一位置的色度值都是多个色度值的组合，这通常是通过FIR滤波器来实现的，这也是为什么在反向操作时推荐使用另一种滤波器（不过通过平均也能得到不错的结果）。