如何使用GLSL正确解开V210视频帧？

我建议先写一个只进行像素重新排序的着色器,并保持插值.

它确实需要额外的视频RAM和另一个渲染通道,但它并不一定要慢:如果你包括重新缩放,你需要计算4个中间像素的内容,然后在它们之间进行插值.如果为插值创建单独的着色器,则可以像使用硬件插值返回单个纹理查找的结果一样简单.

为颜色样本重新排列设置正确的着色器后,您始终可以将其转换为函数.

那么如何编写重新排列着色器？

您的输入如下所示:

  U Y V A | Y U Y A | V Y U A | Y V Y A

让我们简单地假设您只想读Y.然后您可以制作一个非常简单的1d纹理(720列x 1行).每个纹理单元格都有两个值:列偏移从哪里读取值.其次,我们需要在该单元格中Y样本的位置:

  U Y V A | Y U Y A | V Y U A | Y V Y A


  0      1      2      3      4      5   ..... // out column (0-720)

  0      1      1      2      3      3   ..... // source column index (0-480)
  1      0      2      1      0      2   ..... // Y sample index in column (range 0-2)

要获得Y(亮度)值,请使用屏幕x位置索引行纹理.然后你知道要读取哪个源纹素.然后取第二个组件,并使用它来获取正确的样本.在DirectX中,您只需vec4/float4使用整数索引a 即可选择R/G/B/A值.我希望GLSL支持同样的东西.

所以现在你有了Y.对U和V重复上述过程.

一旦你开始工作,你可以尝试通过巧妙地在一个纹理中更有效地包装上述信息来优化,而不是三个不同的纹理.或者,您可以尝试考虑线性函数,在舍入后生成列索引.这将为您节省许多纹理查找.

但也许整个优化在你的场景中没有实际意义.只需让最简单的案例先行.

我特意没有为你编写着色器代码,因为我对DirectX非常熟悉.但这应该让你开始.

祝好运!

这是完成的着色器,包含所有通道和RGB转换(但不执行过滤):

#version 130
#extension GL_EXT_gpu_shader4 : enable
in vec2 texcoord;
uniform mediump sampler2D tex;
out mediump vec4 color;

// YUV offset
const vec3 yuvOffset = vec3(-0.0625, -0.5, -0.5);

// RGB coefficients
// BT.601 colorspace
const vec3 Rcoeff = vec3(1.1643,  0.000,  1.5958);
const vec3 Gcoeff = vec3(1.1643, -0.39173, -0.81290);
const vec3 Bcoeff = vec3(1.1643,  2.017,  0.000);

// U Y V A | Y U Y A | V Y U A | Y V Y A

int GROUP_FOR_INDEX(int i) {
  return i / 4;
}

int SUBINDEX_FOR_INDEX(int i) {
  return i % 4;
}

int _y(int i) {
  return 2 * i + 1;
}

int _u(int i) {
  return 4 * (i/2);
}

int _v(int i) {
  return 4 * (i / 2) + 2;
}

int offset(int i) {
  return i + (i / 3);
}

vec3 ycbcr2rgb(vec3 yuvToConvert) {
  vec3 pix;
  yuvToConvert += yuvOffset;
  pix.r = dot(yuvToConvert, Rcoeff);
  pix.g = dot(yuvToConvert, Gcoeff);
  pix.b = dot(yuvToConvert, Bcoeff);
  return pix;
}

void main(void) {
  ivec2 size = textureSize2D(tex, 0).xy; // 480x486
  ivec2 sizeOrig = ivec2(size.x * 1.5, size.y); // 720x486

  // interpolate 0,0 -> 1,1 texcoords to 0,0 -> 720,486
  ivec2 texcoordDenorm = ivec2(texcoord * sizeOrig);

  // 0 1 1 2 3 3 4 5 5 6 7 7 etc.
  int yOffset = offset(_y(texcoordDenorm.x));
  int sourceColumnIndexY = GROUP_FOR_INDEX(yOffset);

  // 0 0 1 1 2 2 4 4 5 5 6 6 etc.
  int uOffset = offset(_u(texcoordDenorm.x));
  int sourceColumnIndexU = GROUP_FOR_INDEX(uOffset);

  // 0 0 2 2 3 3 4 4 6 6 7 7 etc.
  int vOffset = offset(_v(texcoordDenorm.x));
  int sourceColumnIndexV = GROUP_FOR_INDEX(vOffset);

  // 1 0 2 1 0 2 1 0 2 etc.
  int compY = SUBINDEX_FOR_INDEX(yOffset);

  // 0 0 1 1 2 2 0 0 1 1 2 2 etc.
  int compU = SUBINDEX_FOR_INDEX(uOffset);

  // 2 2 0 0 1 1 2 2 0 0 1 1 etc.
  int compV = SUBINDEX_FOR_INDEX(vOffset);

  vec4 y = texelFetch(tex, ivec2(sourceColumnIndexY, texcoordDenorm.y), 0);
  vec4 u = texelFetch(tex, ivec2(sourceColumnIndexU, texcoordDenorm.y), 0);
  vec4 v = texelFetch(tex, ivec2(sourceColumnIndexV, texcoordDenorm.y), 0);

  vec3 outColor = ycbcr2rgb(vec3(y[compY], u[compU], v[compV]));

  color = vec4(outColor, 1.0);
}

如果图像将在屏幕上放大,那么您可能希望进行双线性过滤,但这需要在着色器中执行.